You are viewing a plain text version of this content. The canonical link for it is here.
Posted to user-zh@flink.apache.org by 张阳 <70...@qq.com.INVALID> on 2021/12/06 07:54:46 UTC
回复： flink结合历史数据怎么处理
因为数据量有600w 所以担心初始化时间太长 或者性能问题
------------------ 原始邮件 ------------------
发件人: "user-zh" <xbjtdcq@gmail.com>;
发送时间: 2021年12月6日(星期一) 下午2:38
收件人: "user-zh"<user-zh@flink.apache.org>;
主题: Re: flink结合历史数据怎么处理
如果你的数据源是 数据库，你可以尝试下 Flink CDC Connectors[1], 这些Connector 就是 hybrid source， 先读历史全量数据，再读增量数据，
历史和增量阶段是无缝衔接的。
祝好，
Leonard
[1] https://ververica.github.io/flink-cdc-connectors/release-2.1/content/connectors/mysql-cdc.html
> 2021年12月2日 下午2:40，张阳 <zhangyang1010110@qq.com.INVALID> 写道：
>
> 统计的指标有大量的历史数据，怎么把历史的数据和今天的实时数据进行汇总呢。
Re: flink结合历史数据怎么处理
Posted by Leonard Xu <xb...@gmail.com>.
MySQL CDC connector 支持并发读取的，读取过程也不会用锁，600万的数据量很小了，百亿级的分库分表我们和社区用户测试下都是ok的，你可以自己试试。
祝好，
Leonard
> 2021年12月6日 下午3:54，张阳 <70...@qq.com.INVALID> 写道：
>
> 因为数据量有600w 所以担心初始化时间太长 或者性能问题
>
>
>
>
> ------------------ 原始邮件 ------------------
> 发件人: "user-zh" <xbjtdcq@gmail.com>;
> 发送时间: 2021年12月6日(星期一) 下午2:38
> 收件人: "user-zh"<user-zh@flink.apache.org>;
>
> 主题: Re: flink结合历史数据怎么处理
>
>
>
> 如果你的数据源是 数据库，你可以尝试下 Flink CDC Connectors[1], 这些Connector 就是 hybrid source， 先读历史全量数据，再读增量数据，
> 历史和增量阶段是无缝衔接的。
>
> 祝好，
> Leonard
> [1] https://ververica.github.io/flink-cdc-connectors/release-2.1/content/connectors/mysql-cdc.html
>
>
> > 2021年12月2日 下午2:40，张阳 <zhangyang1010110@qq.com.INVALID> 写道：
> >
> > 统计的指标有大量的历史数据，怎么把历史的数据和今天的实时数据进行汇总呢。