本文环境如下:
操作系统:CentOS 6 32位
Hive版本:2.0.0
JDK版本:1.8.0_77 32位
Hadoop版本:2.6.4
MySQL版本:5.6.30
1. 准备工作
1.1 Hive
先完成CentOS下Hive2.0.0单机模式安装详解中的前三个步骤。
Hive和Hadoop一样,有3种启动模式,分别是单机模式,伪分布模式,分布模式。这里说一下分布模式(集群模式)的安装部署方案。
1.2 MySQL
Hive默认使用derby数据库存储元数据,但是该数据库不适用于生产环境,这边使用MySQL作为元数据的存储数据库。
所以需要先安装好MySQL
。
1.3 Hadoop
Hive依赖Hadoop,所以需要先安装并启动好Hadoop。
2. 数据库相关
2.1 创建MySQL用户
create user 'hive' identified by 'hive';
grant all privileges on *.* to 'hive' with grant option;
flush privileges;
create database hive;
2.2 拷贝MySQL驱动文件
下载地址:https://dev.mysql.com/downloads/connector/j/ ,解压后拷贝其中的mysql-connector-java-5.1.38-bin.jar
到hive的lib文件夹下。
3. 修改配置文件
cd /opt/hive-2.0.0/conf
vi hive-site.xml
修改以下配置
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql:https://localhost:3306/hive?createDatabaseIfNotExist=true</value>
<description>JDBC connect string for a JDBC metastore</description>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
<description>Driver class name for a JDBC metastore</description>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>hive</value>
<description>username to use against metastore database</description>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>hive</value>
<description>password to use against metastore database</description>
</property>
4. 初始化数据库
schematool -initSchema -dbType mysql
出现以下几行说明初始化成功:
Starting metastore schema initialization to 2.0.0
Initialization script hive-schema-2.0.0.mysql.sql
Initialization script completed
schemaTool completed
5. 启动程序
hive
如果出现hive>
提示符则说明启动成功
6. 导入数据到hive测试
6.1 创建测试数据
vi /root/hive-test.txt
输入以下内容(数字和单词之间空格分隔)
1 hadoop
2 hive
3 hbase
4 hello
6.2 导入数据
输入hive
,进入hive命令行,执行以下命令
CREATE TABLE IF NOT EXISTS words (id INT,word STRING)ROW FORMAT DELIMITED FIELDS TERMINATED BY " " LINES TERMINATED BY "\n";
LOAD DATA LOCAL INPATH '/root/hive-test.txt' OVERWRITE INTO TABLE words;
6.3 查询数据
select * from words;
如果正常显示数据则说明导入成功。
6.4 插入数据
insert into words values(5,'nihao');
这个时候我们可以看到程序运行了一个mr作业。
7. 常见错误
7.1 运行hive时出现
Exception in thread "main" java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient
at org.apache.hadoop.hive.metastore.MetaStoreUtils.newInstance(MetaStoreUtils.java:1550)
at org.apache.hadoop.hive.metastore.RetryingMetaStoreClient.<init>(RetryingMetaStoreClient.java:86)
at org.apache.hadoop.hive.metastore.RetryingMetaStoreClient.getProxy(RetryingMetaStoreClient.java:132)
at org.apache.hadoop.hive.metastore.RetryingMetaStoreClient.getProxy(RetryingMetaStoreClient.java:104)
at org.apache.hadoop.hive.ql.metadata.Hive.createMetaStoreClient(Hive.java:3080