You are viewing a plain text version of this content. The canonical link for it is here.
Posted to user-zh@flink.apache.org by yu'an huang <h....@gmail.com> on 2022/03/01 13:39:58 UTC

Re: flink-connector-jdbc sink mysql是否存在乱序问题

Hi,

似乎我这里无法看到你发的图片。如果你的例子是从kafka读消息并写入mysql 数据库的话,由于executor的处理速度不完全相同等原因,有可能写入的顺序不是source读到的顺序但是数据是不会丢的。


> On 28 Feb 2022, at 4:56 PM, Guo Thompson <gw...@gmail.com> wrote:
> 
>   入口:
> 
> 批量处理:
> 
> 刷盘:
> executeBatch按理来讲就是mysql的一个事务。
> 
> 
> 疑惑:从flush中可以看到,底层是分开了两个executeBatch,举一个例子:
> kafka里面消息从flink-cdc通过debizium采集出来,对update的mysql操作会对应两条消息(op:d,op:c),这时候如果d和c两条消息在不同的executor中,在不同的executeBatch,会不会导致乱序?最终丢数据??
> 
>