You are viewing a plain text version of this content. The canonical link for it is here.

Posted to user-zh@flink.apache.org by jinzhuguang <ji...@163.com> on 2023/09/20 11:48:42 UTC

Flink cdc 2.0 历史数据太大，导致log积压怎么解决

以mysql cdc为例，现在的f整体流程是先同步全量数据，再开启增量同步；我看代码目前增量的初始offset选择的是所有全量split的最小的highwatermark。那我如果全量数据很大，TB级别，全量同步可能需要很久，但是binlog又不能删除，这样堆积起来会占用很大的空间，不知道这个问题现在有什么常见的解法吗？