You are viewing a plain text version of this content. The canonical link for it is here.
Posted to user-zh@flink.apache.org by op <52...@qq.com.INVALID> on 2021/06/23 11:20:28 UTC
回复： Processing-time temporal join is not supported yet
谢谢，Event time temporal join 会保存temporal每个的key的最新状态吗，官网文档说跟两边watermark有关，每太看明白。。。
------------------ 原始邮件 ------------------
发件人: "user-zh" <xbjtdcq@gmail.com>;
发送时间: 2021年6月23日(星期三) 下午5:40
收件人: "user-zh"<user-zh@flink.apache.org>;
主题: Re: Processing-time temporal join is not supported yet
Hi,
Flink SQL 目前支持 Event time temporal join 任意表/视图，还不支持 Processing-time temporal join 任意表/视图（支持Processing-time join 实现了LookupTableSource的表）。
Processing-time temporal join 任意表目前不支持的原因主要是语义问题，具体来说: 在Processing time关联时，Flink SQL 层面还没比较好的机制保证维表加载完后再关联。比如如用来做维表流的kafka中有 1000万 条数据，但目前没有办法实现将这 1000万条先记录全部加载完后主流过来的数据再去关联，在作业启动阶段，主流的数据预期能够关联上的数据可能因为维表还未加载完成而关联不上。
可以参考下 https://issues.apache.org/jira/browse/FLINK-19830 <https://issues.apache.org/jira/browse/FLINK-19830>
祝好
Leonard
> 在 2021年6月23日，17:03，op <520075694@qq.com.INVALID> 写道：
>
> Processing-time temporal join is not supported yet.
回复： Processing-time temporal join is not supported yet
Posted by op <52...@qq.com.INVALID>.
您好，请问靠watermark清理过期数据是指，维表中eventtime小于watermark的数据会被清理掉是吧？就是说不能保证每个key至少保留一份数据
------------------ 原始邮件 ------------------
发件人: "user-zh" <xbjtdcq@gmail.com>;
发送时间: 2021年6月23日(星期三) 晚上7:38
收件人: "user-zh"<user-zh@flink.apache.org>;
主题: Re: Processing-time temporal join is not supported yet
会保留维表状态的，靠watermark清理过期数据。
祝好
Leonard
> 在 2021年6月23日，19:20，op <520075694@qq.com.INVALID> 写道：
>
> 谢谢，Event time&nbsp; temporal join 会保存temporal每个的key的最新状态吗，官网文档说跟两边watermark有关，每太看明白。。。
>
>
>
>
> ------------------&nbsp;原始邮件&nbsp;------------------
> 发件人: "user-zh" <xbjtdcq@gmail.com&gt;;
> 发送时间:&nbsp;2021年6月23日(星期三) 下午5:40
> 收件人:&nbsp;"user-zh"<user-zh@flink.apache.org&gt;;
>
> 主题:&nbsp;Re: Processing-time temporal join is not supported yet
>
>
>
> Hi,
>
> Flink SQL 目前支持 Event time&nbsp; temporal join 任意表/视图，还不支持 Processing-time temporal&nbsp; join 任意表/视图（支持Processing-time&nbsp; join 实现了LookupTableSource的表）。
>
> Processing-time temporal&nbsp; join 任意表目前不支持的原因主要是语义问题，具体来说:&nbsp; 在Processing time关联时，Flink SQL 层面还没比较好的机制保证维表加载完后再关联。比如如用来做维表流的kafka中有 1000万 条数据，但目前没有办法实现将这 1000万条先记录全部加载完后主流过来的数据再去关联，在作业启动阶段，主流的数据预期能够关联上的数据可能因为维表还未加载完成而关联不上。
>
> 可以参考下 https://issues.apache.org/jira/browse/FLINK-19830 <https://issues.apache.org/jira/browse/FLINK-19830&gt;
>
> 祝好
> Leonard
>
>
>
> &gt; 在 2021年6月23日，17:03，op <520075694@qq.com.INVALID&gt; 写道：
> &gt;
> &gt;&nbsp; Processing-time temporal join is not supported yet.
Re: Processing-time temporal join is not supported yet
Posted by Leonard Xu <xb...@gmail.com>.
会保留维表状态的，靠watermark清理过期数据。
祝好
Leonard
> 在 2021年6月23日，19:20，op <52...@qq.com.INVALID> 写道：
>
> 谢谢，Event time temporal join 会保存temporal每个的key的最新状态吗，官网文档说跟两边watermark有关，每太看明白。。。
>
>
>
>
> ------------------ 原始邮件 ------------------
> 发件人: "user-zh" <xbjtdcq@gmail.com>;
> 发送时间: 2021年6月23日(星期三) 下午5:40
> 收件人: "user-zh"<user-zh@flink.apache.org>;
>
> 主题: Re: Processing-time temporal join is not supported yet
>
>
>
> Hi,
>
> Flink SQL 目前支持 Event time temporal join 任意表/视图，还不支持 Processing-time temporal join 任意表/视图（支持Processing-time join 实现了LookupTableSource的表）。
>
> Processing-time temporal join 任意表目前不支持的原因主要是语义问题，具体来说: 在Processing time关联时，Flink SQL 层面还没比较好的机制保证维表加载完后再关联。比如如用来做维表流的kafka中有 1000万 条数据，但目前没有办法实现将这 1000万条先记录全部加载完后主流过来的数据再去关联，在作业启动阶段，主流的数据预期能够关联上的数据可能因为维表还未加载完成而关联不上。
>
> 可以参考下 https://issues.apache.org/jira/browse/FLINK-19830 <https://issues.apache.org/jira/browse/FLINK-19830>
>
> 祝好
> Leonard
>
>
>
> > 在 2021年6月23日，17:03，op <520075694@qq.com.INVALID> 写道：
> >
> > Processing-time temporal join is not supported yet.