hivemap转string_深入学习Hive应用场景及架构原理

Hive背景介绍

Hive最初是Facebook为了满足对海量社交网络数据的管理和机器学习的需求而产生和发展的。互联网现在进入了大数据时代&＃xff0c;大数据是现在互联网的趋势&＃xff0c;而hadoop就是大数据时代里的核心技术&＃xff0c;但是hadoop的mapreduce操作专业性太强&＃xff0c;所以facebook在这些基础上开发了hive框架&＃xff0c;毕竟世界上会sql的人比会java的人多的多&＃xff0c;hive可以说是学习hadoop相关技术的一个突破口。那么&＃xff0c;hive是什么呢?

Hive简介

简单的说&＃xff1a;hive是基于hadoop的数据仓库。

那么为什么说hive是基于Hadoop的呢&＃xff1f;

之所以说hive是构建在Hadoop之上的数据仓库&＃xff0c;简单的说是因为&＃xff1a;

①数据存储在hdfs上

②数据计算用mapreduce

下面我们来深入分析一下&＃xff1a;

Hive是一种建立在Hadoop文件系统上的数据仓库架构&＃xff0c;并对存储在HDFS中的数据进行分析和管理&＃xff1b;它可以将结构化的数据文件映射为一张数据库表&＃xff0c;并提供完整的 SQL 查询功能&＃xff0c;可以将 SQL 语句转换为 MapReduce 任务进行运行&＃xff0c;通过自己的 SQL 去 查询分析需要的内容&＃xff0c;这套 SQL 简称 Hive SQL(HQL)&＃xff0c;使不熟悉 MapReduce 的用户也能很方便地利用 SQL 语言对数据进行查询、汇总、分析。同时&＃xff0c;这个语言也允许熟悉 MapReduce 开发者们开发自定义的mappers和reducers来处理内建的mappers和reducers无法完成的复杂的分析工作。Hive还允许用户编写自己定义的函数UDF&＃xff0c;用来在查询中使用。Hive中有3种UDF&＃xff1a;User Defined Functions(UDF)、User Defined Aggregation Functions(UDAF)、User Defined Table Generating Functions(UDTF)。也就是说对存储在HDFS中的数据进行分析和管理&＃xff0c;我们不想使用手工&＃xff0c;我们建立一个工具吧&＃xff0c;那么这个工具就可以是hive。

Hive常见的应用场景

(1)日志分析&＃xff1a;大部分互联网公司使用hive进行日志分析&＃xff0c;包括百度、淘宝等。

1)统计网站一个时间段内的pv、uv

2)多维度数据分析

(2)海量结构化数据离线分析

Hive的特点(优缺点)

(一)hive的优点

(1)简单容易上手&＃xff1a;提供了类SQL查询语言HQL

(2)可扩展&＃xff1a;为超大数据集设计了计算/扩展能力(MR作为计算引擎&＃xff0c;HDFS作为存储系统)

一般情况下不需要重启服务Hive可以自由的扩展集群的规模。

(3)提供统一的元数据管理

(4)延展性&＃xff1a;Hive支持用户自定义函数&＃xff0c;用户可以根据自己的需求来实现自己的函数

(5)容错&＃xff1a;良好的容错性&＃xff0c;节点出现问题SQL仍可完成执行

(二)hive的缺点(局限性)

(1)hive的HQL表达能力有限

1)迭代式算法无法表达&＃xff0c;比如pagerank

2)数据挖掘方面&＃xff0c;比如kmeans

(2)hive的效率比较低

1)hive自动生成的mapreduce作业&＃xff0c;通常情况下不够智能化

2)hive调优比较困难&＃xff0c;粒度较粗

3)hive可控性差

Hive 工作原理

Hive 工作原理如下图所示。

Hive构建在Hadoop之上

(1)HQL中对查询语句的解释、优化、生成查询计划是由Hive完成的

(2)所有的数据都是存储在Hadoop中

(3)查询计划被转化为MapReduce任务&＃xff0c;在Hadoop中执行(有些查询没有MR任务&＃xff0c;如&＃xff1a;select * from table)

(4)Hadoop和Hive都是用UTF-8编码的

Hive编译器的组成&＃xff1a;

Hive和数据库的异同

由于Hive采用了SQL的查询语言HQL&＃xff0c;因此很容易将Hive理解为数据库。其实从结构上来看&＃xff0c;Hive和数据库除了拥有类似的查询语言&＃xff0c;再无类似之处。数据库可以用在Online的应用中&＃xff0c;但是Hive是为数据仓库而设计的&＃xff0c;清楚这一点&＃xff0c;有助于从应用角度理解Hive的特性。

Hive和数据库的比较如下表&＃xff1a;

MapReduce 开发人员可以把自己写的 Mapper 和 Reducer 作为插件支持 Hive 做更复杂的数据分析。 它与关系型数据库的 SQL 略有不同&＃xff0c;但支持了绝大多数的语句(如 DDL、DML)以及常见的聚合函数、连接查询、条件查询等操作。

Hive 不适合用于联机(online) 事务处理&＃xff0c;也不提供实时查询功能。它最适合应用在基于大量不可变数据的批处理作业。Hive 的特点是可 伸缩(在Hadoop 的集群上动态的添加设备)&＃xff0c;可扩展、容错、输入格式的松散耦合。Hive 的入口是DRIVER &＃xff0c;执行的 SQL 语句首先提交到 DRIVER 驱动&＃xff0c;然后调用 COMPILER 解释驱动&＃xff0c; 最终解释成 MapReduce 任务执行&＃xff0c;最后将结果返回。

Hive 数据类型

Hive 提供了基本数据类型和复杂数据类型&＃xff0c;复杂数据类型是 Java 语言所不具有的。本课程介绍 Hive 的两种数据类型以及数据类型之间的转换。

(一)基本数据类型

由上表我们看到hive不支持日期类型&＃xff0c;在hive里日期都是用字符串来表示的&＃xff0c;而常用的日期格式转化操作则是通过自定义函数进行操作。

hive是用java开发的&＃xff0c;hive里的基本数据类型和java的基本数据类型也是一一对应的&＃xff0c;除了string类型。有符号的整数类型&＃xff1a;TINYINT、SMALLINT、INT和BIGINT分别等价于java的byte、short、int和long原子类型&＃xff0c;它们分别为1字节、2字节、4字节和8字节有符号整数。Hive的浮点数据类型FLOAT和DOUBLE,对应于java的基本类型float和double类型。而hive的BOOLEAN类型相当于java的基本数据类型boolean。

对于hive的String类型相当于数据库的varchar类型&＃xff0c;该类型是一个可变的字符串&＃xff0c;不过它不能声明其中最多能存储多少个字符&＃xff0c;理论上它可以存储2GB的字符数。

(二)复杂数据类型

Hive 有三种复杂数据类型 ARRAY、MAP 和 STRUCT。ARRAY 和 MAP 与 Java 中的 Array 和 Map 类似&＃xff0c;而STRUCT 与 C语言中的 Struct 类似&＃xff0c;它封装了一个命名字段集合&＃xff0c;复杂数据类型允许任意层次的嵌套。

复杂数据类型的声明必须使用尖括号指明其中数据字段的类型。定义三列&＃xff0c;每列对应一种复杂的数据类型&＃xff0c;如下所示。

CREATE TABLE complex( col1 ARRAY, col2 MAP, col3 STRUCT )

(三)类型转化

Hive 的原子数据类型是可以进行隐式转换的&＃xff0c;类似于 Java 的类型转换&＃xff0c;例如某表达式使用 INT 类型&＃xff0c;TINYINT 会自动转换为 INT 类型&＃xff0c; 但是 Hive 不会进行反向转化&＃xff0c;例如&＃xff0c;某表达式使用 TINYINT 类型&＃xff0c;INT 不会自动转换为 TINYINT 类型&＃xff0c;它会返回错误&＃xff0c;除非使用 CAST 操作。

(1)隐式类型转换规则如下。

1)、任何整数类型都可以隐式地转换为一个范围更广的类型&＃xff0c;如 TINYINT 可以转换成 INT&＃xff0c;INT 可以转换成 BIGINT。

2)、所有整数类型、FLOAT 和 String 类型都可以隐式地转换成 DOUBLE。

3)、TINYINT、SMALLINT、INT 都可以转换为 FLOAT。

4)、BOOLEAN 类型不可以转换为任何其它的类型。

(2)可以使用 CAST 操作显示进行数据类型转换&＃xff0c;例如 CAST(&＃39;1&＃39; AS INT) 将把字符串&＃39;1&＃39; 转换成整数 1&＃xff1b;如果强制类型转换失败&＃xff0c;如执行 CAST(&＃39;X&＃39; AS INT)&＃xff0c;表达式返回空值 NULL。

Hive 架构

下面是Hive的架构图。

Hive的体系结构可以分为以下几部分

(1)用户接口主要有三个&＃xff1a;CLI&＃xff0c;Client 和 WUI。其中最常用的是CLI&＃xff0c;Cli启动的时候&＃xff0c;会同时启动一个Hive副本。Client是Hive的客户端&＃xff0c;用户连接至Hive Server。在启动 Client模式的时候&＃xff0c;需要指出Hive Server所在节点&＃xff0c;并且在该节点启动Hive Server。 WUI是通过浏览器访问Hive。

(2)Hive将元数据存储在数据库中&＃xff0c;如mysql、derby。Hive中的元数据包括表的名字&＃xff0c;表的列和分区及其属性&＃xff0c;表的属性(是否为外部表等)&＃xff0c;表的数据所在目录等。

(3)解释器、编译器、优化器完成HQL查询语句从词法分析、语法分析、编译、优化以及查询计划的生成。生成的查询计划存储在HDFS中&＃xff0c;并在随后有MapReduce调用执行。

(4)Hive的数据存储在HDFS中&＃xff0c;大部分的查询、计算由MapReduce完成(包含*的查询&＃xff0c;比如select * from tbl不会生成MapRedcue任务)。

(一)用户接口

Hive 对外提供了三种服务模式&＃xff0c;即 Hive 命令行模式(CLI)&＃xff0c;Hive 的 Web 模式(WUI)&＃xff0c;Hive 的远程服务(Client)。下面介绍这些服务的用法。

1、 Hive 命令行模式

Hive 命令行模式启动有两种方式。执行这条命令的前提是要配置 Hive 的环境变量。

1) 进入 /home/hadoop/app/hive 目录&＃xff0c;执行如下命令。

./hive

2) 直接执行命令。

hive --service cli

Hive 命令行模式用于 Linux 平台命令行查询&＃xff0c;查询语句基本跟 MySQL 查询语句类似&＃xff0c;运行结果如下所示。

[hadoop&＃64;djt01 hive]$ hive hive> show tables; OK stock stock_partition tst Time taken: 1.088 seconds, Fetched: 3 row(s) hive> select * from tst; OK Time taken: 0.934 seconds hive> exit; [hadoop&＃64;djt01 hive]$

2、Hive Web 模式

Hive Web 界面的启动命令如下。

hive --service hwi

通过浏览器访问 Hive&＃xff0c;默认端口为 9999。

3、 Hive 的远程服务

远程服务(默认端口号 10000)启动方式命令如下&＃xff0c;“nohup...&” 是 Linux 命令&＃xff0c;表示命令在后台运行。

nohup hive --service hiveserver & //在Hive 0.11.0版本之前&＃xff0c;只有HiveServer服务可用 nohup hive --service hiveserver2 & //在Hive 0.11.0版本之后&＃xff0c;提供了HiveServer2服务

Hive 远程服务通过 JDBC 等访问来连接 Hive &＃xff0c;这是程序员最需要的方式。

本课程我们安装的是hive1.0版本&＃xff0c;所以启动 hive service 命令如下。

hive --service hiveserver2 & //默认端口10000 hive --service hiveserver2 --hiveconf hive.server2.thrift.port 10002 & //可以通过命令行直接将端口号改为10002

hive的远程服务端口号也可以在hive-default.xml文件中配置&＃xff0c;修改hive.server2.thrift.port对应的值即可。

hive.server2.thrift.port 10000 Port number of HiveServer2 Thrift interface when hive.server2.transport.mode is &＃39;binary&＃39;.

Hive 的 JDBC 连接和 MySQL 类似&＃xff0c;如下所示。

import java.sql.Connection; import java.sql.DriverManager; import java.sql.SQLException; public class HiveJdbcClient { private static String driverName &＃61; "org.apache.hive.jdbc.HiveDriver";//hive驱动名称 hive0.11.0之后的版本 //private static String driverName &＃61; "org.apache.hadoop.hive.jdbc.HiveDriver";//hive驱动名称 hive0.11.0之前的版本 public static void main(String[] args) throws SQLException { try{ Class.forName(driverName); }catch(ClassNotFoundException e){ e.printStackTrace(); System.exit(1); } //第一个参数&＃xff1a;jdbc:hive://djt01:10000/default 连接hive2服务的连接地址 //第二个参数&＃xff1a;hadoop 对HDFS有操作权限的用户 //第三个参数&＃xff1a;hive 用户密码 在非安全模式下&＃xff0c;指定一个用户运行查询&＃xff0c;忽略密码 Connection con &＃61; DriverManager.getConnection("jdbc:hive://djt01:10000/default", "hadoop", ""); System.out.print(con.getClientInfo()); } }

(二)元数据存储。

Hive将元数据存储在RDBMS中&＃xff0c;有三种模式可以连接到数据库&＃xff1a;

(1) 单用户模式。此模式连接到一个In-memory 的数据库Derby&＃xff0c;一般用于Unit Test。

(2)多用户模式。通过网络连接到一个数据库中&＃xff0c;是最经常使用到的模式。

(3) 远程服务器模式。用于非Java客户端访问元数据库&＃xff0c;在服务器端启动MetaStoreServer&＃xff0c;客户端利用Thrift协议通过MetaStoreServer访问元数据库。

对于数据存储&＃xff0c;Hive没有专门的数据存储格式&＃xff0c;也没有为数据建立索引&＃xff0c;用户可以非常自由的组织Hive中的表&＃xff0c;只需要在创建表的时候告诉Hive数据中的列分隔符和行分隔符&＃xff0c;Hive就可以解析数据。Hive中所有的数据都存储在HDFS中&＃xff0c;存储结构主要包括数据库、文件、表和视图。Hive中包含以下数据模型&＃xff1a;Table内部表&＃xff0c;External Table外部表&＃xff0c;Partition分区&＃xff0c;Bucket桶。Hive默认可以直接加载文本文件&＃xff0c;还支持sequence file 、RCFile。

(三)解释器、编译器、优化器。

1)解析器(parser)&＃xff1a;将查询字符串转化为解析树表达式。

2)语义分析器(semantic analyzer)&＃xff1a;将解析树表达式转换为基于块(block-based)的内部查询表达式。

3)逻辑策略生成器(logical plan generator)&＃xff1a;将内部查询表达式转换为逻辑策略&＃xff0c;这些策略由逻辑操作树组成。

4)优化器(optimizer)&＃xff1a;通过逻辑策略构造多途径并以不同方式重写。

Hive 文件格式

hive文件存储格式包括以下几类&＃xff1a;

1、TEXTFILE

2、SEQUENCEFILE

3、RCFILE

4、ORCFILE(0.11以后出现)

其中TEXTFILE为默认格式&＃xff0c;建表时不指定默认为这个格式&＃xff0c;导入数据时会直接把数据文件拷贝到hdfs上不进行处理。

SEQUENCEFILE&＃xff0c;RCFILE&＃xff0c;ORCFILE格式的表不能直接从本地文件导入数据&＃xff0c;数据要先导入到textfile格式的表中&＃xff0c; 然后再从表中用insert导入SequenceFile,RCFile,ORCFile表中。

(一)TEXTFILE 格式

默认格式&＃xff0c;数据不做压缩&＃xff0c;磁盘开销大&＃xff0c;数据解析开销大。 可结合Gzip、Bzip2使用(系统自动检查&＃xff0c;执行查询时自动解压)&＃xff0c;但使用这种方式&＃xff0c;hive不会对数据进行切分&＃xff0c; 从而无法对数据进行并行操作。

示例&＃xff1a;

create table if not exists textfile_table( site string, url string, pv bigint, label string) row format delimited fields terminated by &＃39;&＃39; stored as textfile; 插入数据操作&＃xff1a; set hive.exec.compress.output&＃61;true; set mapred.output.compress&＃61;true; set mapred.output.compression.codec&＃61;org.apache.hadoop.io.compress.GzipCodec; set io.compression.codecs&＃61;org.apache.hadoop.io.compress.GzipCodec; insert overwrite table textfile_table select * from textfile_table;

(二)SEQUENCEFILE 格式

SequenceFile是Hadoop API提供的一种二进制文件支持&＃xff0c;其具有使用方便、可分割、可压缩的特点。 SequenceFile支持三种压缩选择&＃xff1a;NONE&＃xff0c;RECORD&＃xff0c;BLOCK。Record压缩率低&＃xff0c;一般建议使用BLOCK压缩。

示例&＃xff1a;

create table if not exists seqfile_table( site string, url string, pv bigint, label string) row format delimited fields terminated by &＃39;&＃39; stored as sequencefile; 插入数据操作&＃xff1a; set hive.exec.compress.output&＃61;true; set mapred.output.compress&＃61;true; set mapred.output.compression.codec&＃61;org.apache.hadoop.io.compress.GzipCodec; set io.compression.codecs&＃61;org.apache.hadoop.io.compress.GzipCodec; SET mapred.output.compression.type&＃61;BLOCK; insert overwrite table seqfile_table select * from textfile_table;

(三)RCFILE 文件格式

RCFILE是一种行列存储相结合的存储方式。首先&＃xff0c;其将数据按行分块&＃xff0c;保证同一个record在一个块上&＃xff0c;避免读一个记录需要读取多个block。其次&＃xff0c;块数据列式存储&＃xff0c;有利于数据压缩和快速的列存取。

RCFILE文件示例&＃xff1a;

create table if not exists rcfile_table( site string, url string, pv bigint, label string) row format delimited fields terminated by &＃39;&＃39; stored as rcfile; 插入数据操作&＃xff1a; set hive.exec.compress.output&＃61;true; set mapred.output.compress&＃61;true; set mapred.output.compression.codec &＃61;org.apache.hadoop.io.compress.GzipCodec; set io.compression.codecs &＃61;org.apache.hadoop.io.compress.GzipCodec; insert overwrite table rcfile_table select * from textfile_table;

(四)再看TEXTFILE、SEQUENCEFILE、RCFILE三种文件的存储情况&＃xff1a;

总结&＃xff1a; 相比TEXTFILE和SEQUENCEFILE&＃xff0c;RCFILE由于列式存储方式&＃xff0c;数据加载时性能消耗较大&＃xff0c;但是具有较好的压缩比和查询响应。数据仓库的特点是一次写入、多次读取&＃xff0c;因此&＃xff0c;整体来看&＃xff0c;RCFILE相比其余两种格式具有较明显的优势。