You are viewing a plain text version of this content. The canonical link for it is here.
Posted to user-zh@flink.apache.org by MuChen <93...@qq.com> on 2020/09/15 09:00:45 UTC
flink-sql cdc 支持哪些sink?是否支持sink到开启了update的hive
hi,all:
如题：flink-sql cdc 支持哪些sink?是否支持sink到开启了update的hive？
目前有建设近实时数仓的需求，需要支持在hive中join日志数据和业务数据。
基于日志的数据已经通过flink-sql加载到hive（分钟级延迟），但是对于存储于MySQL中的业务数据，使用flink-sql cdc是否能够近实时更新到hive呢？如果不可以，是否有其他方案？
Re: flink-sql cdc 支持哪些sink?是否支持sink到开启了update的hive
Posted by 刘大龙 <ld...@zju.edu.cn>.
CDC数据Hive本身目前不支持更新，需要看一下数据湖方案，比如Hudi或Iceberg
> -----原始邮件-----
> 发件人: MuChen <93...@qq.com>
> 发送时间: 2020-09-15 17:00:45 (星期二)
> 收件人: user-zh <us...@flink.apache.org>
> 抄送:
> 主题: flink-sql cdc 支持哪些sink?是否支持sink到开启了update的hive
>
> hi,all:
> 如题：flink-sql cdc 支持哪些sink?是否支持sink到开启了update的hive？
>
>
> 目前有建设近实时数仓的需求，需要支持在hive中join日志数据和业务数据。
> 基于日志的数据已经通过flink-sql加载到hive（分钟级延迟），但是对于存储于MySQL中的业务数据，使用flink-sql cdc是否能够近实时更新到hive呢？如果不可以，是否有其他方案？
------------------------------