You are viewing a plain text version of this content. The canonical link for it is here.
Posted to user-zh@flink.apache.org by lxk <lx...@163.com> on 2023/07/25 03:21:51 UTC

Flink窗口状态清除疑问

相关配置:
Flink:1.16

| Checkpointing Mode | Exactly Once |
| Checkpoint Storage | FileSystemCheckpointStorage |
| State Backend | EmbeddedRocksDBStateBackend |
| Interval | 8m 0s |


我有一个程序,主要是用来统计一些热门商品之类的数据
具体代码如下:
.keyBy(data -> data.getShopId() + data.getYh_productid())
.window(TumblingEventTimeWindows.of(Time.minutes(30)))
.sum("count").name("clickCount");


按照官方文档的说法,状态在窗口触发后应该就会清除。但是我在webui上以及grafana监控上看到的checkpoint大小一直在增长。
webui:https://pic.imgdb.cn/item/64bf3efa1ddac507cc6484d5.jpg
grafana:https://pic.imgdb.cn/item/64bf3fb71ddac507cc65a2c4.jpg
想知道下这个具体的原因可能是啥

Re: Flink窗口状态清除疑问

Posted by yidan zhao <hi...@gmail.com>.
首先你窗口是30min,刚刚开始肯定会是涨的。
其次,后续稳定后,继续涨可能是因为流量在变化。
最后,流量不变情况下,还可能受到延迟的影响。

lxk <lx...@163.com> 于2023年7月25日周二 11:22写道:
>
> 相关配置:
> Flink:1.16
>
> | Checkpointing Mode | Exactly Once |
> | Checkpoint Storage | FileSystemCheckpointStorage |
> | State Backend | EmbeddedRocksDBStateBackend |
> | Interval | 8m 0s |
>
>
> 我有一个程序,主要是用来统计一些热门商品之类的数据
> 具体代码如下:
> .keyBy(data -> data.getShopId() + data.getYh_productid())
> .window(TumblingEventTimeWindows.of(Time.minutes(30)))
> .sum("count").name("clickCount");
>
>
> 按照官方文档的说法,状态在窗口触发后应该就会清除。但是我在webui上以及grafana监控上看到的checkpoint大小一直在增长。
> webui:https://pic.imgdb.cn/item/64bf3efa1ddac507cc6484d5.jpg
> grafana:https://pic.imgdb.cn/item/64bf3fb71ddac507cc65a2c4.jpg
> 想知道下这个具体的原因可能是啥