flink cdc + kafka场景下增加kafka分区数问题

["casel.chen" <ca...@126.com>]

flink cdc 消费mysql写到kafka场景下一开始数据量不大给的分区数可能只有3，后面业务数据量上来了需要添加分区数，例如12。那么问题来了，如何确保同一条记录的数据变更历史发到同一个kafka分区以确保下游消费的顺序性？重启作业好像也不能解决这个问题吧？

Re:Re: flink cdc + kafka场景下增加kafka分区数问题

["casel.chen" <ca...@126.com>]

是的，消息key是由 `库名+表名+主键值` 组成的

















在 2022-09-26 23:29:18，"yidan zhao" <hi...@gmail.com> 写道：
>之前是如何实现的，通过 kafka 的record key？
>
>casel.chen <ca...@126.com> 于2022年9月26日周一 23:21写道：
>>
>> flink cdc 消费mysql写到kafka场景下一开始数据量不大给的分区数可能只有3，后面业务数据量上来了需要添加分区数，例如12。那么问题来了，如何确保同一条记录的数据变更历史发到同一个kafka分区以确保下游消费的顺序性？重启作业好像也不能解决这个问题吧？

Re: flink cdc + kafka场景下增加kafka分区数问题

[yidan zhao <hi...@gmail.com>]

之前是如何实现的，通过 kafka 的record key？

casel.chen <ca...@126.com> 于2022年9月26日周一 23:21写道：
>
> flink cdc 消费mysql写到kafka场景下一开始数据量不大给的分区数可能只有3，后面业务数据量上来了需要添加分区数，例如12。那么问题来了，如何确保同一条记录的数据变更历史发到同一个kafka分区以确保下游消费的顺序性？重启作业好像也不能解决这个问题吧？

回复：flink cdc + kafka场景下增加kafka分区数问题

[JasonLee <17...@163.com>]

Hi
跟重启作业没关系哈，你需要自定义写入 kafka 的分区策略。


Best
JasonLee


---- 回复的原邮件 ----
| 发件人 | casel.chen<ca...@126.com> |
| 发送日期 | 2022年09月26日 23:21 |
| 收件人 | user-zh@flink.apache.org<us...@flink.apache.org> |
| 主题 | flink cdc + kafka场景下增加kafka分区数问题 |
flink cdc 消费mysql写到kafka场景下一开始数据量不大给的分区数可能只有3，后面业务数据量上来了需要添加分区数，例如12。那么问题来了，如何确保同一条记录的数据变更历史发到同一个kafka分区以确保下游消费的顺序性？重启作业好像也不能解决这个问题吧？