我正在为高容量高速分布式应用编写Kafka Consumer.我只有一个主题,但传入消息的速率非常高.拥有多个服务于更多消费者的分区将适用于此用例.最好的消费方式是拥有多个流阅读器.根据文档或可用样本,ConsumerConnector提供的KafkaStream数量基于主题数量.想知道如何获得多个KafkaStream读取器[基于分区],这样我可以跨每个流跨越一个线程或从多个线程中的相同KafkaStream读取将从多个分区进行并发读取?
任何见解都非常感谢.