Sqoop使用指南

SQOOP1 数据加载

如果要用Sqoop 1来将数据从Teradata中&＃xff0c;可以安装sqoop connector。安装完了之后&＃xff0c;可以执行以下命令来完成数据的加载。

sqoop import --connect jdbc:teradata://teradataIP/DATABASE&＃61;databasename --username teradata_username \
--password teradata_passwd --table taradata_table --split-by split_by_column_name \
--hive-import --hive-table hive_database.hive_table -m 2 --fields-terminated-by &＃39;\001&＃39; \
--lines-terminated-by &＃39;\n&＃39; --hive-overwrite -- --input-method split.by.amp

参数基本还是很直白的。

--split-by 是用于表没有PK的情况。在Teradata数据库中&＃xff0c;一般用PI(Primary Index)来对数据表进行hash&＃xff0c;以便提高查询效率&＃xff0c;所以用sqoop抽取数据的时候&＃xff0c;可以用pi 字段作为split-by的参数值

-m 是mapper数量&＃xff0c;可以考虑调大&＃xff0c;提高并行度。