You are viewing a plain text version of this content. The canonical link for it is here.

Posted to user-zh@flink.apache.org by Tianwang Li <li...@gmail.com> on 2020/09/10 13:18:41 UTC

Flink1.10.0 的checkpoint越来越大

Flink1.10.0 的checkpoint越来越大，
但是，我到TM机器上看，flink-io-xxx 目录也没有那么大，是统计指标大问题吗？


307
> COMPLETED
> 30/30 20:55:40 20:55:54 14s 8.62 GB 0 B
> 306
> COMPLETED
> 30/30 20:50:40 20:50:55 15s 8.59 GB 0 B
> 305
> COMPLETED
> 30/30 20:45:40 20:45:54 13s 8.56 GB 0 B
> 304
> COMPLETED
> 30/30 20:40:40 20:40:55 15s 8.53 GB 0 B
> 303
> COMPLETED
> 30/30 20:35:40 20:35:53 12s 8.49 GB 0 B


总共才10个TM。

root@task-manager-ss-0:/tmp# du -sh flink-io-*
>
> 280M flink-io-980ead9f-5e79-461f-9f65-337130d26da3
>



-- 
**************************************
 tivanli
**************************************

Re: Flink1.10.0 的checkpoint越来越大

Posted by Congxian Qiu <qc...@gmail.com>.

Hi
   对于 checkpoint size 持续变大的情况，可以考虑下：
   1）你使用啥 backend，是否使用 incremental 模式；checkpoint interval 是多少，tps
大概多少。这些数据用于评估 rocksdb incremental 下 checkpoint size 的大小
   2）看一下 hdfs 上的 checkpoint 路径占用大小是否有变化
   3）像 hk__lrzy 说的那样，state 是否没有清理（这里还需要看下 window 相关的）
Best,
Congxian


hk__lrzy <hk...@163.com> 于2020年9月11日周五 下午2:44写道：

> 状态每次有做过清理么。还是在原始基础上进行add的呢，可以贴下代码
>
>
>
> --
> Sent from: http://apache-flink.147419.n8.nabble.com/

Re: Flink1.10.0 的checkpoint越来越大

Posted by hk__lrzy <hk...@163.com>.

状态每次有做过清理么。还是在原始基础上进行add的呢，可以贴下代码



--
Sent from: http://apache-flink.147419.n8.nabble.com/