You are viewing a plain text version of this content. The canonical link for it is here.

Posted to user-zh@flink.apache.org by cs <58...@qq.com> on 2019/12/06 05:56:19 UTC

flink消费kafka得问题

Hi all,请教一个问题，我起了两个一模一样得flink程序，消费得同一个topic使用的同一个group id。根据程序得运行情况看，两个程序可以同时获取kakfa得全量数据。但我想要得情况是每个flink程序只消费一半得数据，既同一个group id应该做组内竞争得关系。我应该配置什么吗？

Re: flink消费kafka得问题

Posted by Charoes <ch...@gmail.com>.

hi,
参考文档里， 两个flink可以消费不同的partitions.

Map<KafkaTopicPartition, Long> specificStartOffsets = new
HashMap<>();specificStartOffsets.put(new
KafkaTopicPartition("myTopic", 0), 23L);specificStartOffsets.put(new
KafkaTopicPartition("myTopic", 1), 31L);specificStartOffsets.put(new
KafkaTopicPartition("myTopic", 2), 43L);
myConsumer.setStartFromSpecificOffsets(specificStartOffsets);


On Fri, Dec 6, 2019 at 1:56 PM cs <58...@qq.com> wrote:

> Hi all,请教一个问题，我起了两个一模一样得flink程序，消费得同一个topic使用的同一个group
> id。根据程序得运行情况看，两个程序可以同时获取kakfa得全量数据。但我想要得情况是每个flink程序只消费一半得数据，既同一个group
> id应该做组内竞争得关系。我应该配置什么吗？