Flume不写入HDFS,除非被杀死

我按照链接设置了TwitterSource和HDFS接收器.

用于启动代理的命令:

bin/flume-ng agent -n TwitterAgent -c conf -f conf/flume-conf.properties -Dflume.root.logger=DEBUG,console

我成功地做到了这一点,但现在有一个问题.在停止水槽剂之前,输出不会被写入.一旦我杀死了我的水槽代理,就会写入HDFS.

我这里有两个问题:

1)如何阻止水槽代理 - 除了做CTRL + C之外还有什么方法.

2)我可以随时随地将水槽代理写入HDFS,而不必杀死代理.

注意:在终止进程后,写入的文件的扩展名为.tmp.这是预期的吗？

编辑:

TwitterAgent.sinks.HDFS.hdfs.rollSize = 0
TwitterAgent.sinks.HDFS.hdfs.rollCount = 10000
TwitterAgent.sinks.HDFS.hdfs.rollInterval = 600

Donald Miner.. 8

写了多少数据？我打赌它不写,因为你没有收集足够的东西来触发使用默认配置参数刷新HDFS.有许多方法可以配置HDFS接收器,以便以可预测的方式进行刷新.您可以设置它以便在许多事件(hdfs.rollCount),间隔(hdfs.rollInterval)或大小(hdfs.rollSize)上刷新.发生的事情是当你杀死代理时,它会清理当前正在做的事情并冲洗......所以基本上你是通过杀死它来强迫它.

你也可以尝试降低hdfs.batchSize.

请记住,Hadoop喜欢更大的文件.一般来说,你应该尽量避免使用大量的小文件.所以在这里经常滚动时要小心.

像你一样在前台运行它,ctrl + c或kill是阻止它的唯一真正方法.在生产中,您应该使用具有启动/停止/重启的init脚本.