You are viewing a plain text version of this content. The canonical link for it is here.
Posted to user-zh@flink.apache.org by 李杨烨 <43...@qq.com> on 2020/09/14 09:26:59 UTC
回复： 关于flinksql 滑动窗口数据进不来的问题
在进入stream之前是有数据的，使用hop方法计算之后就没有数据流出了。
水印的设置代码如下：
simpleResults.assignTimestampsAndWatermarks(WatermarkStrategy
.<OrderDetail>forBoundedOutOfOrderness(Duration.ofHours(1))
.withTimestampAssigner((event, timestamp)->event.getGmtPaidLong())
.withIdleness(Duration.ofSeconds(5)));
-------
另外 刚刚我用了processTime做窗口滑动是可以实现的，但是processTime对业务不友好，因此如果根据rowTime可以做是最好的。
------------------ 原始邮件 ------------------
发件人: "user-zh" <libenchao@apache.org>;
发送时间: 2020年9月14日(星期一) 下午5:19
收件人: "user-zh"<user-zh@flink.apache.org>;
主题: Re: 关于flinksql 滑动窗口数据进不来的问题
可以再详细一点描述下问题么，滑动窗口数据进不来，指的是窗口没有触发计算还是数据就没有到窗口呢？
如果只是窗口没有触发计算，一般用了row time的话，可以排查下watermark是否有正常生成。
李杨烨 <438106068@qq.com> 于2020年9月14日周一 下午1:32写道：
> 刚刚邮件图片挂了，上传了新的图片地址：http://chuantu.xyz/t6/741/1600061331x-1224481926.jpg
> 使用rowTime做的滑动
--
Best,
Benchao Li
Re: 关于flinksql 滑动窗口数据进不来的问题
Posted by Benchao Li <li...@apache.org>.
那看起来就是watermark的问题了。你可以在Flink web UI上查看一下对应的算子的watermark是否符合预期。
有一个小tip，watermark本身是由数据来驱动更新的。比如你只有一条数据，那么你的watermark就只能是根据
这条数据计算出来的，不会自动再更新。
李杨烨 <43...@qq.com> 于2020年9月14日周一 下午5:27写道：
> 在进入stream之前是有数据的，使用hop方法计算之后就没有数据流出了。
>
>
> 水印的设置代码如下：
> simpleResults.assignTimestampsAndWatermarks(WatermarkStrategy
> .<OrderDetail>forBoundedOutOfOrderness(Duration.ofHours(1))
> .withTimestampAssigner((event,
> timestamp)->event.getGmtPaidLong())
> .withIdleness(Duration.ofSeconds(5)));
> -------
> 另外 刚刚我用了processTime做窗口滑动是可以实现的，但是processTime对业务不友好，因此如果根据rowTime可以做是最好的。
>
>
> ------------------ 原始邮件 ------------------
> 发件人:
> "user-zh"
> <
> libenchao@apache.org>;
> 发送时间: 2020年9月14日(星期一) 下午5:19
> 收件人: "user-zh"<user-zh@flink.apache.org>;
>
> 主题: Re: 关于flinksql 滑动窗口数据进不来的问题
>
>
>
> 可以再详细一点描述下问题么，滑动窗口数据进不来，指的是窗口没有触发计算还是数据就没有到窗口呢？
>
> 如果只是窗口没有触发计算，一般用了row time的话，可以排查下watermark是否有正常生成。
>
> 李杨烨 <438106068@qq.com> 于2020年9月14日周一 下午1:32写道：
>
> > 刚刚邮件图片挂了，上传了新的图片地址：
> http://chuantu.xyz/t6/741/1600061331x-1224481926.jpg
> > 使用rowTime做的滑动
>
>
>
> --
>
> Best,
> Benchao Li
--
Best,
Benchao Li