You are viewing a plain text version of this content. The canonical link for it is here.
Posted to user-zh@flink.apache.org by zhongbaoluo <zh...@shxgroup.net> on 2020/10/21 11:55:21 UTC
flink sql CDC 同步到 hive的问题咨询
请问，我们有一个需求；需要把 mysql 数据通过CDC 方案实时同步到 hive 数据库，flink 同步的时候正对 update 和 delete 操作是否有什么解决方案？
**********************************************************************
Thanks & Best Regards!
杉欣集团-技术研究院 云平台
钟保罗
上海浦东新区东方路3261号振华广场B座23楼（杉欣集团）
email: zhongbaoluo@shxgroup.net
手机: 18157855633
回复: flink sql CDC 同步到 hive的问题咨询
Posted by 史 正超 <sh...@outlook.com>.
目前还不支持，因为hive不支持更新，而且filesystem connector的实现并不是DynamicTableFactory (FLIP-95 connector)，还是之前的老接口。
如果你不希望做更新操作入到hive的话，有一种思路是更改mysql-cdc的源码，让它支持的ChangeLogMode只为INSERT，然后增加一个`DebeziumDeserializationSchema`类，把每条消息当成 insert 消息去解析，把所有字段声明出来。
________________________________
发件人: zhongbaoluo <zh...@shxgroup.net>
发送时间: 2020年10月21日 11:55
收件人: user-zh <us...@flink.apache.org>
主题: flink sql CDC 同步到 hive的问题咨询
请问，我们有一个需求；需要把 mysql 数据通过CDC 方案实时同步到 hive 数据库，flink 同步的时候正对 update 和 delete 操作是否有什么解决方案？
**********************************************************************
Thanks & Best Regards!
杉欣集团-技术研究院 云平台
钟保罗
上海浦东新区东方路3261号振华广场B座23楼（杉欣集团）
email: zhongbaoluo@shxgroup.net
手机: 18157855633