You are viewing a plain text version of this content. The canonical link for it is here.
Posted to user-zh@flink.apache.org by liangji <ji...@gmail.com> on 2021/03/26 08:38:29 UTC
flink 1.11 cp size越来越大
读取kafka数据写入mysql
1、部分代码如下
<http://apache-flink.147419.n8.nabble.com/file/t538/QQ%E6%88%AA%E5%9B%BE20210326162857.jpg>
2、从cp图中看到cp size越来越大，7天的时间从400m增加到了快2g
<http://apache-flink.147419.n8.nabble.com/file/t538/QQ%E6%88%AA%E5%9B%BE20210326163404.jpg>
下面是一次cp的详细数据，两次window的过程中cp size很大
<http://apache-flink.147419.n8.nabble.com/file/t538/QQ%E6%88%AA%E5%9B%BE20210326163020.jpg>
3、近7天的kafka消息量如下
<http://apache-flink.147419.n8.nabble.com/file/t538/QQ%E6%88%AA%E5%9B%BE20210326163045.jpg>
请问大佬们，cp size为啥会越来越大？或者有什么排查思路吗？
--
Sent from: http://apache-flink.147419.n8.nabble.com/
回复：flink 1.11 cp size越来越大
Posted by Shuai Xia <jk...@dingtalk.com.INVALID>.
Hi,有看过HDFS上真实的CK文件大小么,可以参考下这个邮件
http://apache-flink.147419.n8.nabble.com/Flink-sql-checkpoint-td10176.html#a10200
------------------------------------------------------------------
发件人：liangji <ji...@gmail.com>
发送时间：2021年3月26日(星期五) 16:39
收件人：user-zh <us...@flink.apache.org>
主 题：flink 1.11 cp size越来越大
读取kafka数据写入mysql
1、部分代码如下
<http://apache-flink.147419.n8.nabble.com/file/t538/QQ%E6%88%AA%E5%9B%BE20210326162857.jpg>
2、从cp图中看到cp size越来越大，7天的时间从400m增加到了快2g
<http://apache-flink.147419.n8.nabble.com/file/t538/QQ%E6%88%AA%E5%9B%BE20210326163404.jpg>
下面是一次cp的详细数据，两次window的过程中cp size很大
<http://apache-flink.147419.n8.nabble.com/file/t538/QQ%E6%88%AA%E5%9B%BE20210326163020.jpg>
3、近7天的kafka消息量如下
<http://apache-flink.147419.n8.nabble.com/file/t538/QQ%E6%88%AA%E5%9B%BE20210326163045.jpg>
请问大佬们，cp size为啥会越来越大？或者有什么排查思路吗？
--
Sent from: http://apache-flink.147419.n8.nabble.com/