You are viewing a plain text version of this content. The canonical link for it is here.
Posted to user-zh@flink.apache.org by taowang <ta...@deepglint.com> on 2020/04/16 09:12:59 UTC

为消息分配时间戳但不想重新分配水印

Hello,大家好:
在flink stream中我这里遇到一个需求是,想到对上一个算子输出的消息重新分配时间戳,但此时我不想重新分配水印。在从kafka读取消息时我已经添加了水印。
为了实现这个功能,我想有两种方法:
1. 在算子输出后面重新为消息分配水印:看到flink stream暂时只有`assignTimestampsAndWatermarks`方法,这里面要实现两个接口:`getCurrentWatermark`和`extractTimestamp`。我只想实现`extractTimestamp`而不想管水印相关的`getCurrentWatermark `这个方法。因为在加水印前多并行度会造成乱序从而使水印增长过快。
2. 在上一个算子输出时指定这个消息的时间戳,但我只看到在`SourceFunction`里才有`collectWithTimestamp`之类的方法,在正常的比如`ProcessFunction`里是只有`collect`方法。


我现在只能使用`assignTimestampsAndWatermarks` 去重新分配水印,但这限制了我前面的算子并行度都必须设置为1,请问大家有什么好的办法吗?
感谢解答!