获取几行HDFS数据

 gerardlong 发布于 2023-01-20 18:52

2 GB在我的数据中有数据HDFS.

是否可以随机获取数据.就像我们在Unix命令行中所做的那样

cat iris2.csv |head -n 50

Viacheslav R.. 34

本土

hadoop fs -cat /your/file | head

这里效率很高,因为只要头部读完所有线条,猫就会关闭溪流.

为了获得尾部,hadoop中有一个特殊的有效命令:

hadoop fs -tail /your/file

不幸的是,它返回数据的最后一千字节,而不是给定数量的行.

撰写答案
今天,你开发时遇到什么问题呢?
立即提问
热门标签
PHP1.CN | 中国最专业的PHP中文社区 | PNG素材下载 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有