我想知道是否有任何命令/表达式只能获取hadoop中的文件名.我只需要获取文件名,当我这样做时hadoop fs -ls
会打印整个路径.
我试过下面,但只是想知道是否有更好的方法来做到这一点.
hadoop fs -ls|cut -d ' ' -f17
Jakub Kotows.. 30
似乎hadoop ls不支持输出文件名的任何选项,甚至只支持最后一列.
如果您想要可靠地获取最后一列,您应该首先将空格转换为单个空格,以便您可以解决最后一列:
hadoop fs -ls | sed '1d;s/ */ /g' | cut -d\ -f8
这将为您提供最后一列,但文件包含整个路径.如果你只想要文件名,你可以使用basename作为@rojomoke建议:
hadoop fs -ls | sed '1d;s/ */ /g' | cut -d\ -f8 | xargs -n 1 basename
我也过滤了第一行说的 Found ?x items
注意:请注意,正如@ felix-frank在注释中指出的那样,上述命令将无法正确保存具有多个连续空格的文件名.因此,Felix提出了一个更正确的解决方案:
hadoop fs -ls /tmp | sed 1d | perl -wlne'print +(split " ",$_,8)[7]'
我希望这可以帮助某人 - 版本2.8.x +(也可用于3) -
hadoop fs -ls -C /paths/
似乎hadoop ls不支持输出文件名的任何选项,甚至只支持最后一列.
如果您想要可靠地获取最后一列,您应该首先将空格转换为单个空格,以便您可以解决最后一列:
hadoop fs -ls | sed '1d;s/ */ /g' | cut -d\ -f8
这将为您提供最后一列,但文件包含整个路径.如果你只想要文件名,你可以使用basename作为@rojomoke建议:
hadoop fs -ls | sed '1d;s/ */ /g' | cut -d\ -f8 | xargs -n 1 basename
我也过滤了第一行说的 Found ?x items
注意:请注意,正如@ felix-frank在注释中指出的那样,上述命令将无法正确保存具有多个连续空格的文件名.因此,Felix提出了一个更正确的解决方案:
hadoop fs -ls /tmp | sed 1d | perl -wlne'print +(split " ",$_,8)[7]'
以下命令仅返回文件名:
hdfs dfs -stat "%n" my/path/*