You are viewing a plain text version of this content. The canonical link for it is here.
Posted to user-zh@flink.apache.org by Utopia <ge...@gmail.com> on 2020/02/08 18:38:43 UTC
为什么 Flink不支持 Keyed Watermarks
Hi all,
Flink 有支持 Keyed Watermarks 的计划吗？
感觉这是一个很大的缺陷，尤其是在 IoT 数据处理中，每个设备数据上传的速度可能是不一样的。这样的设计导致速度上传快的设备需要等待速度上传慢的设备来推动 watermark。
不用的 key 代表不同的设备，在业务逻辑上是不同的，event time 和数据上传速度也不同，却要共享同一个 Operator 的 watermark，这是没有道理的。
在网上搜索的时候，找到一篇资料也提到了这个问题。https://bigdata.cs.ut.ee/keyed-watermarks-partition-aware-watermark-generation-apache-flink
Best regards
Utopia
回复：Flink为什么 不支持 Keyed Watermarks
Posted by "蒋佳成(Jiacheng Jiang)" <92...@qq.com>.
同问！有人回答吗？
------------------ 原始邮件 ------------------
发件人: "Utopia"<gejunwei110@gmail.com>;
发送时间: 2020年2月9日(星期天) 凌晨2:38
收件人: "user-zh"<user-zh@flink.apache.org>;
主题: Flink为什么 不支持 Keyed Watermarks
Hi all,
Flink 有支持 Keyed Watermarks 的计划吗？
感觉这是一个很大的缺陷，尤其是在 IoT 数据处理中，每个设备数据上传的速度可能是不一样的。这样的设计导致速度上传快的设备需要等待速度上传慢的设备来推动 watermark。
不用的 key 代表不同的设备，在业务逻辑上是不同的，event time 和数据上传速度也不同，却要共享同一个 Operator 的 watermark，这是没有道理的。
在网上搜索的时候，找到一篇资料也提到了这个问题。https://bigdata.cs.ut.ee/keyed-watermarks-partition-aware-watermark-generation-apache-flink
Best regards
Utopia