Hive
文章平均质量分 73
Lnho
发表是最好的记忆
展开
-
CentOS下Hive2.0.0集群模式安装详解
本文环境如下: 操作系统:CentOS 6 32位 Hive版本:2.0.0 JDK版本:1.8.0_77 32位 Hadoop版本:2.6.41. 准备工作先完成CentOS下Hive2.0.0单机模式安装详解中的前三个步骤。 Hive和Hadoop一样,有3种启动模式,分别是单机模式,伪分布模式,分布模式。这里说一下分布模式(集群模式)的安装部署方案。 这边使用My原创 2016-05-09 19:38:19 · 8048 阅读 · 5 评论 -
CentOS下Hive2.0.0单机模式安装详解
本文环境如下: 操作系统:CentOS 6 32位 Hive版本:2.0.0 JDK版本:1.8.0_77 32位 Hadoop版本:2.6.41. 所需要的环境Hive 2.0需要以下运行环境: Java 1.7以上(强烈建议使用Java 1.8) Hadoop 2.X2. 下载、解压Hive安装包Hive官网地址: https://hive.apache.org/原创 2016-05-03 20:23:38 · 14049 阅读 · 0 评论 -
HiveQL基本操作整理
1. 创建操作1.1 创建表CREATE TABLE pokes (foo INT, bar STRING);1.2 基于现有的表结构创建一个新表create table new_table like records;1.3 创建视图:CREATE VIEW valid_records AS SELECT * FROM records2 WHERE temperature !=9999;1.4原创 2016-05-12 09:12:09 · 7941 阅读 · 1 评论 -
Hive体系结构(四)注意事项与扩展特性
Hive体系结构(一)架构与基本组成 Hive体系结构(二)Hive的执行原理、与关系型数据库的比较 Hive体系结构(三)元数据库与基本操作 Hive体系结构(四)注意事项与扩展特性1. 使用HIVE注意点字符集 Hadoop和Hive都是用UTF-8编码的,所以, 所有中文必须是UTF-8编码, 才能正常使用。 备注:中文数据load到表里面,,如果字符集不同,很有可能转载 2016-05-15 18:00:39 · 12141 阅读 · 0 评论 -
Hive体系结构(三)元数据库与基本操作
Hive体系结构(一)架构与基本组成 Hive体系结构(二)Hive的执行原理、与关系型数据库的比较 Hive体系结构(三)元数据库与基本操作1. Hive元数据库Hive将元数据存储在RDBMS 中,一般常用的有MYSQL和DERBY。 hive元数据对应的表约有20个,其中和表结构信息有关的有9张,其余的10多张或为空,或只有简单的几条记录,以下是部分主要表的简要说明。 表名转载 2016-05-15 17:34:04 · 6355 阅读 · 0 评论 -
Hive体系结构(一)架构与基本组成
1 Hive的体系结构划分下面是Hive的架构图: 1. 用户接口主要有三个:CLI,Client 和 WUI。其中最常用的是CLI,Cli启动的时候,会同时启动一个Hive副本。Client是Hive的客户端,用户连接至Hive Server。在启动 Client模式的时候,需要指出Hive Server所在节点,并且在该节点启动Hive Server。 WUI是通过浏览器访问Hive。转载 2016-05-12 14:13:14 · 13663 阅读 · 0 评论 -
Hive体系结构(二)Hive的执行原理、与关系型数据库的比较
接上篇:Hive体系结构(一)架构与基本组成1. Hive执行原理Hive构建在Hadoop之上, 1. HQL中对查询语句的解释、优化、生成查询计划是由Hive完成的 2. 所有的数据都是存储在Hadoop中 3. 查询计划被转化为MapReduce任务,在Hadoop中执行(有些查询没有MR任务,如:select * from table) 4. Hadoop和Hive都是用UTF-8编转载 2016-05-15 17:11:27 · 11760 阅读 · 0 评论 -
HiveJDBC与其他JDBC一起使用时出现java.lang.IllegalArgumentException: Bad URL format
程序中需要使用JDBC的方式同时访问Hive和MySQL,发现在获取MySQL连接的时候(DriverManager.getConnection方法)出现Hive的类中的Bad URL format异常。代码如下: public Connection getMySqlConn() { Connection conn = null; try {原创 2017-07-07 11:40:47 · 3321 阅读 · 5 评论