如何在Hadoop Reduce中获取当前文件名

 时尚经典语录覀--- 发布于 2023-02-09 18:46

我正在使用WordCount示例,在Reduce函数中,我需要获取文件名.

public static class Reduce extends MapReduceBase implements Reducer {
  public void reduce(Text key, Iterator values, OutputCollector output, Reporter reporter) throws IOException {
    int sum = 0;
    while (values.hasNext()) {
      sum += values.next().get();
    }
    String filename = ((FileSplit)(.getContext()).getInputSplit()).getPath().getName();
    // ----------------------------^ I need to get the context and filename!
    key.set(key.toString() + " (" + filename + ")");
    output.collect(key, new IntWritable(sum));
  }
}

这是上面修改过的代码,我想要获取要为该单词打印的文件名.我尝试了遵循Java Hadoop:我如何创建作为输入文件的输出器并给出一个输出,即每个文件中的行数?但我无法得到这个context物体.

我是hadoop的新手,需要这个帮助.有帮助吗?

撰写答案
今天,你开发时遇到什么问题呢?
立即提问
热门标签
PHP1.CN | 中国最专业的PHP中文社区 | PNG素材下载 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有