You are viewing a plain text version of this content. The canonical link for it is here.

Posted to user-zh@flink.apache.org by BenChen <ha...@163.com> on 2020/10/28 10:54:22 UTC

关于并行下watermark不生成

Hi all，在Flink1.11里面新增了WatermarkStetagy来处理某个并行度下没有数据导致watermark不触发的问题，在1.10里面Flink有什么机制解决这个问题吗？谢谢


| |
BenChen
|
|
haibin369@163.com
|
签名由网易邮箱大师定制

Re:关于并行下watermark不生成

Posted by hailongwang <18...@163.com>.

Hi BenChen,
1. 可以保证需要 watermark 算子之前的算子和前面的算子不是 Forward 。
2. 如果是自己实现的 Connector 的话，可能定时检测调用 SourceFunction#markAsTemporarilyIdle 来标记为 idle，我看目前 Kafka 是刚启动时候进行检测。
Best，
Hailong Wang
在 2020-10-28 17:54:22，"BenChen" <ha...@163.com> 写道：
>Hi all，在Flink1.11里面新增了WatermarkStetagy来处理某个并行度下没有数据导致watermark不触发的问题，在1.10里面Flink有什么机制解决这个问题吗？谢谢
>
>
>| |
>BenChen
>|
>|
>haibin369@163.com
>|
>签名由网易邮箱大师定制
>

Re: 关于并行下watermark不生成

Posted by zhisheng <zh...@gmail.com>.

hi，Benchen

可以考虑在 source 算子后面加一个 rebalance()

Best!
zhisheng

Shubin Ruan <zj...@163.com> 于2020年10月28日周三 下午7:36写道：

> 可以考虑在数据源处进行处理:
>
>
> 设置个时间阈值，若检测到某个 key 下的数据超过时间阈值还未更新，则根据系统的 processing time 按照某种逻辑生成1条水印发送到下游。
> 在 2020-10-28 18:54:22，"BenChen" <ha...@163.com> 写道：
> >Hi
> all，在Flink1.11里面新增了WatermarkStetagy来处理某个并行度下没有数据导致watermark不触发的问题，在1.10里面Flink有什么机制解决这个问题吗？谢谢
> >
> >
> >| |
> >BenChen
> >|
> >|
> >haibin369@163.com
> >|
> >签名由网易邮箱大师定制
> >
>

Re:关于并行下watermark不生成

Posted by Shubin Ruan <zj...@163.com>.

可以考虑在数据源处进行处理:


设置个时间阈值，若检测到某个 key 下的数据超过时间阈值还未更新，则根据系统的 processing time 按照某种逻辑生成1条水印发送到下游。
在 2020-10-28 18:54:22，"BenChen" <ha...@163.com> 写道：
>Hi all，在Flink1.11里面新增了WatermarkStetagy来处理某个并行度下没有数据导致watermark不触发的问题，在1.10里面Flink有什么机制解决这个问题吗？谢谢
>
>
>| |
>BenChen
>|
>|
>haibin369@163.com
>|
>签名由网易邮箱大师定制
>