hive序列生成_Hive实现自增列的两种方法

多维数据仓库中的维度表和事实表一般都需要有一个代理键&＃xff0c;作为这些表的主键&＃xff0c;代理键一般由单列的自增数字序列构成。Hive没有关系数据库中的自增列&＃xff0c;但它也有一些对自增序列的支持&＃xff0c;通常有两种方法生成代理键&＃xff1a;使用row_number()窗口函数或者使用一个名为UDFRowSequence的用户自定义函数(UDF)。

假设有维度表tbl_dim和过渡表tbl_stg&＃xff0c;现在要将tbl_stg的数据装载到tbl_dim&＃xff0c;装载的同时生成维度表的代理键。

用row_number()函数生成代理键

insertintotbl_dim

selectrow_number() over (orderbytbl_stg.id) &＃43; t2.sk_max, tbl_stg.*

fromtbl_stg

crossjoin(selectcoalesce(max(sk),0) sk_maxfromtbl_dim) t2;

上面语句中&＃xff0c;先查询维度表中已有记录最大的代理键值&＃xff0c;如果维度表中还没有记录&＃xff0c;利用coalesce函数返回0。然后使用cross join连接生成过渡表和最大代理键值的笛卡尔集&＃xff0c;最后使用row_number()函数生成行号&＃xff0c;并将行号与最大代理键值相加的值&＃xff0c;作为新装载记录的代理键。

用UDFRowSequence生成代理键

addjar hdfs:///user/hive-contrib-2.0.0.jar;

createtemporaryfunctionrow_sequenceas&＃39;org.apache.hadoop.hive.contrib.udf.udfrowsequence&＃39;;

insertintotbl_dim

selectrow_sequence() &＃43; t2.sk_max, tbl_stg.*

fromtbl_stg

crossjoin(selectcoalesce(max(sk),0) sk_maxfromtbl_dim) t2;

hive-contrib-2.0.0.jar中包含一个生成记录序号的自定义函数udfrowsequence。上面的语句先加载JAR包&＃xff0c;然后创建一个名为row_sequence()的临时函数作为调用UDF的接口&＃xff0c;这样可以为查询的结果集生成一个自增伪列。之后就和row_number()写法类似了&＃xff0c;只不过将窗口函数row_number()替换为row_sequence()函数。

这里需要强调下&＃xff1a;

第二种方式使用为apache版本的hive。对于CDH版本hive需要在集群的中找到其相关jar&＃xff0c;

具体步骤&＃xff1a;

1.进入集群如[root&＃64;sdzn-server06 dm_lots]# find / -name hive-contrib-*

准确找到jar包和路经。如/opt/cloudera/parcels/CDH-5.3.6-1.cdh5.3.6.p0.11/jars/hive-contrib-0.13.1-cdh5.3.6.jar

2.将其放入到对应(自定义)的集群下的目录

如图

3.创建函数

create temporary function row_sequence as &＃39;org.apache.hadoop.hive.contrib.udf.UDFRowSequence&＃39;;

这里需要注意org.apache.hadoop.hive.contrib.udf.UDFRowSequence必须完全正确否则&＃xff0c;创建失败&＃xff01;

查看方式&＃xff1a;

将jar导出并解压&＃xff0c;一一核对即可&＃xff01;

摘自&＃xff1a;http://blog.csdn.net/wzy0623/article/details/53893174博文&＃xff01;