You are viewing a plain text version of this content. The canonical link for it is here.

Posted to user-zh@flink.apache.org by liujian <13...@qq.com> on 2021/02/22 03:05:46 UTC

flink生成大宽表

Hi:
&nbsp; &nbsp; 大家好,有3张实时的表,相互关联可以形成大宽表,如何一张都会更新,那么我该如何实现流处理,我目标表放到kudu上
&nbsp; &nbsp;&nbsp;
&nbsp; &nbsp; 我的理解:
&nbsp; &nbsp; &nbsp; &nbsp;直接使用jdbc-connecter将三张表读取,然后join,再写入,会不会有什么问题

回复：flink生成大宽表

Posted by liujian <13...@qq.com>.

我这三张表历史都非常大,直接读取,相当于缓存了吧,可以直接使用flink多流join吗,不需要先写到hbase里面,然后去查询再关联吗




------------------&nbsp;原始邮件&nbsp;------------------
发件人:                                                                                                                        "user-zh"                                                                                    <chenyegit@163.com&gt;;
发送时间:&nbsp;2021年2月22日(星期一) 中午11:12
收件人:&nbsp;"user-zh"<user-zh@flink.apache.org&gt;;

主题:&nbsp;Re:flink生成大宽表



可以用多流join，但是数据延迟会导致join不上，可以侧输出处理下，看业务需求

















在 2021-02-22 11:05:46，"liujian" <13597820935@qq.com&gt; 写道：
&gt;Hi:
&gt;&amp;nbsp; &amp;nbsp; 大家好,有3张实时的表,相互关联可以形成大宽表,如何一张都会更新,那么我该如何实现流处理,我目标表放到kudu上
&gt;&amp;nbsp; &amp;nbsp;&amp;nbsp;
&gt;&amp;nbsp; &amp;nbsp; 我的理解:
&gt;&amp;nbsp; &amp;nbsp; &amp;nbsp; &amp;nbsp;直接使用jdbc-connecter将三张表读取,然后join,再写入,会不会有什么问题

Re:flink生成大宽表

Posted by Ye Chen <ch...@163.com>.

可以用多流join，但是数据延迟会导致join不上，可以侧输出处理下，看业务需求

















在 2021-02-22 11:05:46，"liujian" <13...@qq.com> 写道：
>Hi:
>&nbsp; &nbsp; 大家好,有3张实时的表,相互关联可以形成大宽表,如何一张都会更新,那么我该如何实现流处理,我目标表放到kudu上
>&nbsp; &nbsp;&nbsp;
>&nbsp; &nbsp; 我的理解:
>&nbsp; &nbsp; &nbsp; &nbsp;直接使用jdbc-connecter将三张表读取,然后join,再写入,会不会有什么问题