You are viewing a plain text version of this content. The canonical link for it is here.

Posted to user-zh@flink.apache.org by xuhaiLong <xi...@163.com> on 2023/02/13 03:10:39 UTC

flink connector kafka，单条 msg 为 7kb，poll 较慢


hi all


最近遇到一个问题，flink消费 kafka，kafka单条 msg 大概在 7kb（json 格式，value值大），流量较大，很快会产生堆积。处理逻辑已经过调优，目前的瓶颈是在 poll 消息的时候，1w条消息（总共70mb）大概要3s才能拉取结束，已经尝试调节过consumer配置，没有较好的性能提升，请问有较好解决的方案吗？
props.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");

props.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
props.put(ConsumerConfig.MAX_PARTITION_FETCH_BYTES_CONFIG, "10485760"); //10m
props.put(ConsumerConfig.FETCH_MAX_WAIT_MS_CONFIG, "1000");
props.put(ConsumerConfig.MAX_POLL_RECORDS_CONFIG, "1000");




| |
xuhaiLong
|
|
xiaguo98@163.com
|