flink

[Kobeli <li...@qq.com>]

hello flink watermark的问题
flink job使用event time聚合指标， source是多分区的kafka,如果一个分区的数据由于某个原因(比如under-replica), flink job不能消费这个partition的实时消息(只能消费kafka这个分区低水位的消息)。
其它分区正常，由其它分区计算watermark， 过了很久，有问题的partition恢复正常，滞留的消息比watermark晚，会不会造成不计算这些晚到的消息？ 
如果这样，怎么解决？

RE: 回复: flink

[Shi Quan <qu...@outlook.com>]

OutputTag可能能解决问题，看到过相关说明，但是没有实际应用过。有么用过的现身说法下。



BTW，你说的“旁路输出”和OutputTag是一个意思么？



Sent from Mail<https://go.microsoft.com/fwlink/?LinkId=550986> for Windows 10



________________________________
From: deng <bn...@139.com>
Sent: Monday, May 13, 2019 3:22:59 PM
To: user-zh
Subject: 回复: flink

还要看你的delay 时间，如果delay 时间都已经到了，那就不会计算的，flink 会丢弃的。

目前我能想到的是可以利用旁路输出来计算，具体还得看需求，有其它方法 大佬 可以指定一下，谢谢。。。


发件人： Kobeli
发送时间： 2019-05-11 18:44
收件人： user-zh
主题： flink
hello flink watermark的问题
flink job使用event time聚合指标， source是多分区的kafka,如果一个分区的数据由于某个原因(比如under-replica), flink job不能消费这个partition的实时消息(只能消费kafka这个分区低水位的消息)。
其它分区正常，由其它分区计算watermark， 过了很久，有问题的partition恢复正常，滞留的消息比watermark晚，会不会造成不计算这些晚到的消息？
如果这样，怎么解决？

回复: flink

[deng <bn...@139.com>]

还要看你的delay 时间，如果delay 时间都已经到了，那就不会计算的，flink 会丢弃的。

目前我能想到的是可以利用旁路输出来计算，具体还得看需求，有其它方法 大佬 可以指定一下，谢谢。。。

 
发件人： Kobeli
发送时间： 2019-05-11 18:44
收件人： user-zh
主题： flink
hello flink watermark的问题
flink job使用event time聚合指标， source是多分区的kafka,如果一个分区的数据由于某个原因(比如under-replica), flink job不能消费这个partition的实时消息(只能消费kafka这个分区低水位的消息)。
其它分区正常，由其它分区计算watermark， 过了很久，有问题的partition恢复正常，滞留的消息比watermark晚，会不会造成不计算这些晚到的消息？
如果这样，怎么解决？

Re:flink

[王志明 <wa...@163.com>]

Hi，你好：
如果这些delay的数据在窗口计算之后才收到，那么会被Flink丢弃，但是你可以借助 allowedlateness 和 Side Output 把这部分delay的数据筛选出来，然后在进行处理。








在 2019-05-13 15:35:33，"Kobeli" <li...@qq.com> 写道：
>hello flink watermark的问题
>flink job使用event time聚合指标， source是多分区的kafka,如果一个分区的数据由于某个原因(比如under-replica), flink job不能消费这个partition的实时消息(只能消费kafka这个分区低水位的消息)。
>其它分区正常，由其它分区计算watermark， 过了很久，有问题的partition恢复正常，滞留的消息比watermark晚，会不会造成不计算这些晚到的消息？ 
>如果这样，怎么解决？