You are viewing a plain text version of this content. The canonical link for it is here.
Posted to user-zh@flink.apache.org by 张阳 <zh...@qq.com.INVALID> on 2021/12/02 06:40:06 UTC
flink结合历史数据怎么处理
统计的指标有大量的历史数据，怎么把历史的数据和今天的实时数据进行汇总呢。
Re: flink结合历史数据怎么处理
Posted by Leonard Xu <xb...@gmail.com>.
MySQL CDC connector 支持并发读取的，读取过程也不会用锁，600万的数据量很小了，百亿级的分库分表我们和社区用户测试下都是ok的，你可以自己试试。
祝好，
Leonard
> 2021年12月6日 下午3:54，张阳 <70...@qq.com.INVALID> 写道：
>
> 因为数据量有600w 所以担心初始化时间太长 或者性能问题
>
>
>
>
> ------------------ 原始邮件 ------------------
> 发件人: "user-zh" <xbjtdcq@gmail.com>;
> 发送时间: 2021年12月6日(星期一) 下午2:38
> 收件人: "user-zh"<user-zh@flink.apache.org>;
>
> 主题: Re: flink结合历史数据怎么处理
>
>
>
> 如果你的数据源是 数据库，你可以尝试下 Flink CDC Connectors[1], 这些Connector 就是 hybrid source， 先读历史全量数据，再读增量数据，
> 历史和增量阶段是无缝衔接的。
>
> 祝好，
> Leonard
> [1] https://ververica.github.io/flink-cdc-connectors/release-2.1/content/connectors/mysql-cdc.html
>
>
> > 2021年12月2日 下午2:40，张阳 <zhangyang1010110@qq.com.INVALID> 写道：
> >
> > 统计的指标有大量的历史数据，怎么把历史的数据和今天的实时数据进行汇总呢。
回复： flink结合历史数据怎么处理
Posted by 张阳 <70...@qq.com.INVALID>.
因为数据量有600w 所以担心初始化时间太长 或者性能问题
------------------ 原始邮件 ------------------
发件人: "user-zh" <xbjtdcq@gmail.com>;
发送时间: 2021年12月6日(星期一) 下午2:38
收件人: "user-zh"<user-zh@flink.apache.org>;
主题: Re: flink结合历史数据怎么处理
如果你的数据源是 数据库，你可以尝试下 Flink CDC Connectors[1], 这些Connector 就是 hybrid source， 先读历史全量数据，再读增量数据，
历史和增量阶段是无缝衔接的。
祝好，
Leonard
[1] https://ververica.github.io/flink-cdc-connectors/release-2.1/content/connectors/mysql-cdc.html
> 2021年12月2日 下午2:40，张阳 <zhangyang1010110@qq.com.INVALID> 写道：
>
> 统计的指标有大量的历史数据，怎么把历史的数据和今天的实时数据进行汇总呢。
Re: flink结合历史数据怎么处理
Posted by Leonard Xu <xb...@gmail.com>.
如果你的数据源是 数据库，你可以尝试下 Flink CDC Connectors[1], 这些Connector 就是 hybrid source， 先读历史全量数据，再读增量数据，
历史和增量阶段是无缝衔接的。
祝好，
Leonard
[1] https://ververica.github.io/flink-cdc-connectors/release-2.1/content/connectors/mysql-cdc.html
> 2021年12月2日 下午2:40，张阳 <zh...@qq.com.INVALID> 写道：
>
> 统计的指标有大量的历史数据，怎么把历史的数据和今天的实时数据进行汇总呢。
回复：flink结合历史数据怎么处理
Posted by Xianxun Ye <yx...@163.com>.
flink 1.14发布了hybrid source的特性，可以关注下。可以先读取历史存量bounded数据，再实时消费unbounded数据。
在2021年12月3日 15:21，Michael Ran<gr...@163.com> 写道：
类似jdbc 里面同时进行scan，然后输出。再接流处理呢
在 2021-12-02 14:40:06，"张阳" <zh...@qq.com.INVALID> 写道：
统计的指标有大量的历史数据，怎么把历史的数据和今天的实时数据进行汇总呢。
Re:flink结合历史数据怎么处理
Posted by Michael Ran <gr...@163.com>.
类似jdbc 里面同时进行scan，然后输出。再接流处理呢
在 2021-12-02 14:40:06，"张阳" <zh...@qq.com.INVALID> 写道：
>统计的指标有大量的历史数据，怎么把历史的数据和今天的实时数据进行汇总呢。