如何使Spark Streaming(Spark 1.0.0)读取Kafka的最新数据(Kafka Broker 0.8.1)

我的火花流应用程序从Kafka获取数据并对它们进行处理.

如果应用程序失败,大量数据存储在Kafka中,并且在下一次启动Spark Streaming应用程序时,它会崩溃,因为一次消耗的数据太多.由于我的应用程序不关心过去的数据,因此仅使用当前(最新)数据是完全正常的.

我找到了"auto.reset.offest"选项,它在Spark中的表现略有不同.它会删除存储在zookeeper中的偏移量(如果已配置).尽管如此,它的意外行为,应该是在删除后从最新的数据中获取数据.

但我发现它不是.在使用数据之前,我看到所有的偏移都被清理干净了.然后,由于默认行为,它应该按预期获取数据.但由于数据太多,它仍然会崩溃.

当我使用"Kafka-Console-Consumer"清理偏移并消耗最新数据并运行我的应用程序时,它按预期工作.

所以看起来"auto.reset.offset"不起作用,火花流中的kafka消费者从默认的"最小"偏移量中获取数据.

您是否知道如何从最新的火花流中消耗Kafka数据？

我使用的是spark-1.0.0和Kafka-2.10-0.8.1.

提前致谢.