Hive:安装部署

基于Hadoop的数据仓库及分析工具,将结构化的数据文件映射为一张数据库表,提供了类SQL的HiveQL语言,它将HiveQL语句转译成M/R-Job然后在Hadoop集群中执行,Hive的表其本质就是HDFS上的目录或文件。

元数据

元数据包含表的名字、表的列和分区及其属性,Hive默认使用Derby数据库存储元数据,在哪个目录执行hive,程序就会在该目录下新建元数据文件,使用MySQL需要在hive-site.xml文件中进行配置连接参数。

安装MySQL数据库

如有可访问的MySQL数据库,可跳过该步骤

在线安装

1、执行安装命令

1
yum -y install mariadb mariadb-server

2、开启/关闭服务

1
2
systemctl start mariadb.service  # 开启服务
systemctl stop mariadb.service # 关闭服务

3、初始化(需要开启服务)

1
mysql_secure_installation

4、授权远程登录(MySQL命令行中执行)

1
grant all privileges on *.* to 'root'@'%' identified by '远程登录时使用的密码' with grant option;

5、其他说明
数据存放路径: /var/lib/mysql
数据存放路径: /etc/my.cnf

离线安装

1、下载Linux下通用包,并解压到/usr/local/mysql下,删除/etc/my.conf和/etc/my.conf.d
2、安装依赖包

1
2
rpm -i libaio-版本号.rpm
rpm -i libaio-devel-版本号.rpm

3、添加mysql用户组和用户

1
2
groupadd mysql
useradd -r -g mysql -s /bin/false mysql

4、新建数据文件

1
2
mkdir /usr/local/mysql/mysql-files
chmod 750 /usr/local/mysql/mysql-files

5、修改所属用户和用户组

1
2
chown -R mysql /usr/local/mysql
chgrp -R mysql /usr/local/mysql

6、初始化

1
2
3
4
# 默认密码为空
/usr/local/mysql/bin/mysqld --initialize-insecure --user=mysql
# 随机密码,注意执行完后提示的随机密码
/usr/local/mysql/bin/mysqld -- --initialize --user=mysql

7、设置加密连接(可选)

1
/usr/local/mysql/bin/mysql_ssl_rsa_setup

8、设置服务

1
2
3
4
5
6
7
8
# 拷贝文件
cp /usr/local/mysql/support-files/mysql.server /etc/init.d/mysql
# 设置开机启动
chkconfig --add /etc/init.d/mysql
chkconfig --level 345 mysql on
# 服务管理
service mysql start # 开启服务
service mysql stop # 关闭服务

9、修改密码(可选)

1
/usr/local/mysql/bin/mysqladmin -uroot -p password

10、授权远程登录(MySQL命令行中执行)

1
grant all privileges on *.* to 'root'@'%' identified by '远程登录时使用的密码' with grant option;

11、调优:新建/etc/my.conf文件并配置

安装Hive

1、解压
2、配置如下两个环境变量(根据实际路径进行配置)

1
2
JAVA_HOME=/opt/jdk
HADOOP_HOME=/opt/hadoop

3、修改[HIVE_HOME]/conf/hive-site.xml,如不存在可新建

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<configuration>
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://127.0.0.1:3306/hive</value>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>root</value>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>123456</value>
</property>
</configuration>

4、初始化元数据(需要将MySQL驱动包复制进lib目录下)

1
schematool -initSchema -dbType mysql

5、执行hive命令检测是否安装成功

  • 本文作者: Harmel
  • 本文链接: http://www.harmel.cn/2018/09/hive-install.html
  • 版权声明: 文章如无特别说明,则表明该文章为原创文章,如需要转载,请注明出处。
  • 本站说明: 本站使用阿里云服务器,如果您喜欢我的网站,欢迎收藏,能捐赠支持一下就再好不过了。