问
Avrodata文件和序列文件之间关于Apache sqoop的区别
史军2927 发布于 2023-01-09 10:11在sqoop的角度来看,将关系表导入序列文件之间的区别是什么 -
sqoop import --connect connectionString \ --username userName –P --table tableName \ --as-sequencefile
并将其导入为avrodata文件,如 -
sqoop import --connect connectionString \ --username userName –P --table tableName \ --as-avrodatafile
序列文件和avrodata文件之间的实际区别是什么？
1 个回答
-
SequenceFiles是一种二进制格式,用于将各个记录存储在自定义记录特定的数据类型中.此格式支持以二进制表示形式精确存储所有数据,并且适用于存储二进制数据(例如,VARBINARY列),或者主要由自定义MapReduce程序操作的数据(从SequenceFiles读取比从文本读取更高的性能)文件,因为不需要解析记录).
Avro数据文件是一种紧凑,高效的二进制格式,可提供与其他编程语言编写的应用程序的互操作性.Avro还支持版本控制,因此当例如在表中添加或删除列时,可以处理先前导入的数据文件以及新的数据文件.
道格切割自己给出了区别
http://www.quora.com/What-are-the-advantages-of-Avros-object-container-file-format-over-the-SequenceFile-container-format
2023-01-09 10:13 回答
xkxk22
撰写答案
今天，你开发时遇到什么问题呢？
立即提问
京公网安备 11010802041100号