HDFS目录中的文件计数

你也可以尝试:

hdfs dfs -ls -R /path/to/your/directory/ | grep -E '^-' | wc -l

计数

Usage: hadoop fs -count [-q] <paths>

计算与指定文件模式匹配的路径下的目录,文件和字节数.输出列为:DIR_COUNT,FILE_COUNT,CONTENT_SIZE FILE_NAME.

带-q的输出 列为: QUOTA,REMAINING_QUATA,SPACE_QUOTA,REMAINING_SPACE_QUOTA,DIR_COUNT,FILE_COUNT,CONTENT_SIZE,FILE_NAME.

例:

hadoop fs -count hdfs://nn1.example.com/file1 hdfs://nn2.example.com/file2
hadoop fs -count -q hdfs://nn1.example.com/file1

退出代码:

成功时返回0,错误时返回-1.

您可以只使用FileSystem并迭代路径中的文件.这是一些示例代码

int count = 0;
FileSystem fs = FileSystem.get(getConf());
boolean recursive = false;
RemoteIterator<LocatedFileStatus> ri = fs.listFiles(new Path("hdfs://my/path"), recursive);
while (ri.hasNext()){
    count++;
    ri.next();
}

FileSystem fs = FileSystem.get(conf);
Path pt = new Path("/path");
ContentSummary cs = fs.getContentSummary(pt);
long fileCount = cs.getFileCount();