You are viewing a plain text version of this content. The canonical link for it is here.

Posted to user-zh@flink.apache.org by xiaohui zhang <xh...@gmail.com> on 2021/02/24 14:57:31 UTC

UpsertKafka状态保存问题

大家好：
我在flink1.12.1上，通过SQL API测试upsertKafka，使用hdfs保存checkpoint数据，每30分钟进行一次checkpoint。kafka消息key和value均使用json格式。
持续写入300w不同主键的数据，checkpoint大小持续增加，最终生成save point时，大小接近300M。
请问UpsertKafka模式下，state中是否会一直保存所有的key？未被访问的key是否会被清空呢？