You are viewing a plain text version of this content. The canonical link for it is here.

Posted to user-zh@flink.apache.org by "casel.chen" <ca...@126.com> on 2022/09/19 11:41:36 UTC

flink hybrid source问题

我有一个flink实时计算场景是需要先从MaxCompute读取一张表的存量数据，再从相应的kafka topic读取增量数据，一并进行计算处理。
看了一下需要用到hybrid source，目前最新flink社区版提供了Kafka/Hive/File Source，其他数据源的source是需要自己开发吗？社区有没有一个贡献source的地方？
有没有介绍如何自定义基于新版source架构的source文章或博客呢？谢谢！

Re: flink hybrid source问题

Posted by yh z <zh...@gmail.com>.

你好，hybrid source 现在需要基于 FLIP-27 source 来实现(如：FileSource, KafkaSource)，对于非
FLIP-27 source 需要做一些修改后才可以使用。如果想参与 hybird source 的扩展，可以在 slack
中加入flink社群，并发起讨论。 关于 source 相关的文档，可以查看官网和 flip 设计和讨论页面（
https://cwiki.apache.org/confluence/display/FLINK/FLIP-150%3A+Introduce+Hybrid+Source
）（
https://cwiki.apache.org/confluence/display/FLINK/FLIP-27%3A+Refactor+Source+Interface
）。希望能帮到你。

casel.chen <ca...@126.com> 于2022年9月19日周一 19:42写道：

> 我有一个flink实时计算场景是需要先从MaxCompute读取一张表的存量数据，再从相应的kafka topic读取增量数据，一并进行计算处理。
> 看了一下需要用到hybrid source，目前最新flink社区版提供了Kafka/Hive/File
> Source，其他数据源的source是需要自己开发吗？社区有没有一个贡献source的地方？
> 有没有介绍如何自定义基于新版source架构的source文章或博客呢？谢谢！