消费者再平衡如何在卡夫卡工作？

取决于"被阻止"的含义.如果您的意思是"触发重新平衡时现有连接已关闭",则答案为是.遗憾的是,目前Kafka的再平衡算法并不完美.

以下是消费者再平衡期间发生的事情.

假设我们有一个包含10个分区(0-9)的主题,以及一个consumer1使用它的消费者(让它命名).当第二个消费者出现(consumer2)时,重新平衡任务会触发它们(consumer1获取事件,consumer2进行初始重新平衡).现在consumer1关闭所有现有连接(即使是那些将很快重新打开的连接),并在Zookeeper中为所有10个分区释放分区所有权.

然后它运行分区分配算法并决定应该声明哪些分区,并再次声明Zookeeper中的分区所有权.如果声明成功,则consumer1开始获取新分区.

同时consumer2运行分区分配算法并尝试在Zookeeper中声明其分区.只有在consumer1释放这些分区的所有权时,声明才会成功.当声明成功consumer2开始提取时,或者如果未能在给定的重试次数内声明分区,则会出现rebalance failed after n retries异常.

正如您所注意到的那样,不再仅仅关闭连接并释放分区的所有权consumer1不再拥有,它会不必要地关闭所有连接并重新启动,只需较少的分区.添加分区的相同故事(当我们通过通配符过滤器和新主题消耗时) - 所有连接都关闭然后再次打开而不是仅打开新连接.

所以我希望这能解决你的问题 - 在重新平衡开始时取消停止.