You are viewing a plain text version of this content. The canonical link for it is here.
Posted to user-zh@flink.apache.org by 明启 孙 <37...@qq.com> on 2021/05/08 11:12:59 UTC
回复: 回复：关于watermark和window
这个并行的窗口怎么理解，我理解的应该是两个窗口同时存在，窗口触发计算就是水印时间大于窗口endtime，那也就是两个窗口都会触发计算
smq
发件人: 曲洋
发送时间: 2021年5月8日 16:46
收件人: user-zh@flink.apache.org
主题: Re:回复：关于watermark和window
现在是这两点满足的，因为乱序原因存在两个窗口，watermark时间同时大于两个窗口的end_time
在 2021-05-08 16:40:00，"飞翔" <yb...@qq.com> 写道：
>window促发的条件：
>1、watermark时间 >= window_end_time 2、在[window_start_time,window_end_time)中有数据存在
>
>
>------------------ 原始邮件 ------------------
>发件人: "user-zh" <quyanghaoren@126.com>;
>发送时间: 2021年5月8日(星期六) 下午3:16
>收件人: "user-zh"<user-zh@flink.apache.org>;
>
>主题: Re:回复：关于watermark和window
>
>非常感谢你的回答，那是不是也就是说如果窗口过小，periodic watermark
>产生周期也比较长的话，会出现大量窗口延迟？
>
>在 2021-05-08 15:09:06，"Anlen" <2968969309@qq.com> 写道：
>>这两个窗口会按照window 结束时间从小到大触发窗口计算
>>
>>
>>
>>---原始邮件---
>>发件人: "曲洋"<quyanghaoren@126.com&gt;
>>发送时间: 2021年5月8日(周六) 下午2:10
>>收件人: "user-zh"<user-zh@flink.apache.org&gt;;
>>主题: 关于watermark和window
>>
>>
>>各位好，
>>我最近遇到了一个场景，就是当我使用window和periodic watermark的时候。
>>如果我的window时间设置的比较短，比如3秒，然后数据流假设为(6，5，3，1，2，4)。
>>此时watermark还没有产生，那么应该会有两个并行的window被创建（3，1，2）(6，5，4)。
>>这时watermark产生了，时间戳是7，同时超过了这两个窗口的边界.
>>那么此时会发生什么，两个窗口同时触发计算，或者第一窗口触发计算？
Re: 回复: 回复：关于watermark和window
Posted by yidan zhao <hi...@gmail.com>.
没什么传不传的。processWatermark中应该就会直接将2窗口都处理掉了。
曲洋 <qu...@126.com> 于2021年5月10日周一 上午10:31写道：
>
>
>
> 对的，就是两个窗口同时存在，（3，1，2）(6，5，4)这就是两个窗口，然后watermark（7）来了，但是我不知道这个watermark是同时触发
>
> 两个窗口都计算，还是触发第一个，因为watermark也是一种特殊的数据，我看源码也没有找到当一个operater进行processWatermark之后
> 会不会把这个watermark进一步传递给并行的同时存在的窗口，也来触发它。
>
>
>
>
>
>
>
>
>
>
>
> 在 2021-05-08 19:12:59，"明启 孙" <37...@qq.com> 写道：
> >这个并行的窗口怎么理解，我理解的应该是两个窗口同时存在，窗口触发计算就是水印时间大于窗口endtime，那也就是两个窗口都会触发计算
> >
> >smq
> >
> >发件人: 曲洋
> >发送时间: 2021年5月8日 16:46
> >收件人: user-zh@flink.apache.org
> >主题: Re:回复：关于watermark和window
> >
> >
> >
> >
> >
> >
> >
> >现在是这两点满足的，因为乱序原因存在两个窗口，watermark时间同时大于两个窗口的end_time
> >
> >
> >
> >
> >
> >
> >
> >
> >
> >
> >
> >在 2021-05-08 16:40:00，"飞翔" <yb...@qq.com> 写道：
> >>window促发的条件：
> >>1、watermark时间 >= window_end_time
> 2、在[window_start_time,window_end_time)中有数据存在
> >>
> >>
> >>------------------ 原始邮件 ------------------
> >>发件人:
> "user-zh"
> <
> quyanghaoren@126.com>;
> >>发送时间: 2021年5月8日(星期六) 下午3:16
> >>收件人: "user-zh"<user-zh@flink.apache.org>;
> >>
> >>主题: Re:回复：关于watermark和window
> >>
> >>非常感谢你的回答，那是不是也就是说如果窗口过小，periodic watermark
> >>产生周期也比较长的话，会出现大量窗口延迟？
> >>
> >>在 2021-05-08 15:09:06，"Anlen" <2968969309@qq.com> 写道：
> >>>这两个窗口会按照window 结束时间从小到大触发窗口计算
> >>>
> >>>
> >>>
> >>>---原始邮件---
> >>>发件人: "曲洋"<quyanghaoren@126.com&gt;
> >>>发送时间: 2021年5月8日(周六) 下午2:10
> >>>收件人: "user-zh"<user-zh@flink.apache.org&gt;;
> >>>主题: 关于watermark和window
> >>>
> >>>
> >>>各位好，
> >>>我最近遇到了一个场景，就是当我使用window和periodic watermark的时候。
> >>>如果我的window时间设置的比较短，比如3秒，然后数据流假设为(6，5，3，1，2，4)。
> >>>此时watermark还没有产生，那么应该会有两个并行的window被创建（3，1，2）(6，5，4)。
> >>>这时watermark产生了，时间戳是7，同时超过了这两个窗口的边界.
> >>>那么此时会发生什么，两个窗口同时触发计算，或者第一窗口触发计算？
> >
>
Re:回复: 回复：关于watermark和window
Posted by 曲洋 <qu...@126.com>.
对的，就是两个窗口同时存在，（3，1，2）(6，5，4)这就是两个窗口，然后watermark（7）来了，但是我不知道这个watermark是同时触发
两个窗口都计算，还是触发第一个，因为watermark也是一种特殊的数据，我看源码也没有找到当一个operater进行processWatermark之后
会不会把这个watermark进一步传递给并行的同时存在的窗口，也来触发它。
在 2021-05-08 19:12:59，"明启 孙" <37...@qq.com> 写道：
>这个并行的窗口怎么理解，我理解的应该是两个窗口同时存在，窗口触发计算就是水印时间大于窗口endtime，那也就是两个窗口都会触发计算
>
>smq
>
>发件人: 曲洋
>发送时间: 2021年5月8日 16:46
>收件人: user-zh@flink.apache.org
>主题: Re:回复：关于watermark和window
>
>
>
>
>
>
>
>现在是这两点满足的，因为乱序原因存在两个窗口，watermark时间同时大于两个窗口的end_time
>
>
>
>
>
>
>
>
>
>
>
>在 2021-05-08 16:40:00，"飞翔" <yb...@qq.com> 写道：
>>window促发的条件：
>>1、watermark时间 >= window_end_time 2、在[window_start_time,window_end_time)中有数据存在
>>
>>
>>------------------ 原始邮件 ------------------
>>发件人: "user-zh" <quyanghaoren@126.com>;
>>发送时间: 2021年5月8日(星期六) 下午3:16
>>收件人: "user-zh"<user-zh@flink.apache.org>;
>>
>>主题: Re:回复：关于watermark和window
>>
>>非常感谢你的回答，那是不是也就是说如果窗口过小，periodic watermark
>>产生周期也比较长的话，会出现大量窗口延迟？
>>
>>在 2021-05-08 15:09:06，"Anlen" <2968969309@qq.com> 写道：
>>>这两个窗口会按照window 结束时间从小到大触发窗口计算
>>>
>>>
>>>
>>>---原始邮件---
>>>发件人: "曲洋"<quyanghaoren@126.com&gt;
>>>发送时间: 2021年5月8日(周六) 下午2:10
>>>收件人: "user-zh"<user-zh@flink.apache.org&gt;;
>>>主题: 关于watermark和window
>>>
>>>
>>>各位好，
>>>我最近遇到了一个场景，就是当我使用window和periodic watermark的时候。
>>>如果我的window时间设置的比较短，比如3秒，然后数据流假设为(6，5，3，1，2，4)。
>>>此时watermark还没有产生，那么应该会有两个并行的window被创建（3，1，2）(6，5，4)。
>>>这时watermark产生了，时间戳是7，同时超过了这两个窗口的边界.
>>>那么此时会发生什么，两个窗口同时触发计算，或者第一窗口触发计算？
>