You are viewing a plain text version of this content. The canonical link for it is here.
Posted to user-zh@flink.apache.org by Mobile <go...@qq.com.INVALID> on 2025/02/08 09:41:30 UTC
flink-cdc pipeline无法写入paimon
各位开发者，你们好！
我在使用flink-cdc 3.3.0，想要将mysql数据整库同步至paimon中。flink-cdc任务提交正常，flink集群也正常，但是观察到source的Records Sent指标长时间未发生变化，而后排查到sink算子有接收到数据但未正常写入paimon（详见附件）。请问我该如何排查并解决这一问题呢？
祝好！
Re:Re:flink-cdc pipeline无法写入paimon
Posted by AaronFae <aa...@163.com>.
我这边解决了，Committer 提交数据是依赖 Checkpoint 完成的，过程：尝试了很多参数去配置 Checkpoint 的 Interval，最后是 conf/config.yaml 下的 execution.checkpointing.interval 生效了，能产生 Checkpoint，数据成功写到 Paimon。
在 2025-02-20 18:02:50，"AaronFae" <aa...@163.com> 写道：
>
>
>
>我是数据能到Sink Writer阶段，到不了Sink Committer，没有产生Checkpoint，目前还在排查。
>
>
>
>
>
>
>
>
>
>
>
>
>
>在 2025-02-08 17:41:30，"Mobile" <go...@qq.com.INVALID> 写道：
>
>各位开发者，你们好！
>
>
> 我在使用flink-cdc 3.3.0，想要将mysql数据整库同步至paimon中。flink-cdc任务提交正常，flink集群也正常，但是观察到source的Records Sent指标长时间未发生变化，而后排查到sink算子有接收到数据但未正常写入paimon（详见附件）。请问我该如何排查并解决这一问题呢？
>
>
>祝好！
Re:flink-cdc pipeline无法写入paimon
Posted by AaronFae <aa...@163.com>.
我是数据能到Sink Writer阶段，到不了Sink Committer，没有产生Checkpoint，目前还在排查。
在 2025-02-08 17:41:30，"Mobile" <go...@qq.com.INVALID> 写道：
各位开发者，你们好！
我在使用flink-cdc 3.3.0，想要将mysql数据整库同步至paimon中。flink-cdc任务提交正常，flink集群也正常，但是观察到source的Records Sent指标长时间未发生变化，而后排查到sink算子有接收到数据但未正常写入paimon（详见附件）。请问我该如何排查并解决这一问题呢？
祝好！
Re: flink-cdc pipeline无法写入paimon
Posted by Yanquan Lv <de...@gmail.com>.
你好。你这里看起来有两个问题：
1. source的Records Sent指标长时间未发生变化
可以从 Flink WebUI 找到 Source 的第一个 subtask 对应的 taskmanager，查看日志是否显示正在读取数据，如果在读取数据，日志中会展示在读取的 binlog 文件信息，并且在向前推进。
或者对当前作业做一次 savepoint，并且将 sink 的类型改成 values，从这个 savepoint 启动后看下 taskmanager 的标准输出（stdout）是否有打印相关数据信息。
2. sink算子有接收到数据但未正常写入paimon
可以排查 sink 是否做 checkpoint 成功，Paimon 文件中是否写出了新的数据文件，是否生成了新的快照文件（随时间增加）。
> 2025年2月8日 17:41，Mobile <go...@qq.com.INVALID> 写道：
>
> 各位开发者，你们好！
>
> 我在使用flink-cdc 3.3.0，想要将mysql数据整库同步至paimon中。flink-cdc任务提交正常，flink集群也正常，但是观察到source的Records Sent指标长时间未发生变化，而后排查到sink算子有接收到数据但未正常写入paimon（详见附件）。请问我该如何排查并解决这一问题呢？
>
> 祝好！