对于 Flink 可撤回流做聚合，当上游数据撤回时，最终聚合值变小了，怎么解决这种问题。

[LakeShen <sh...@gmail.com>]

Hi 社区，

之前遇到一个问题，在 Flink 里面，对于一个数据流（能够撤回的）进行聚合时，当这个数据流有大量撤回时，最终聚合值会变小。这种情况之前有看到说加一个
mini batch 来减轻这种情况的影响，还有别的方法能够解决这个问题吗?

Best,
LakeShen

Re: 对于 Flink 可撤回流做聚合，当上游数据撤回时，最终聚合值变小了，怎么解决这种问题。

["Jessica.J.Wang" <wj...@gmail.com>]

要看一下具体的Sql 或者具体的算子

下游的 sink needRetract=false的情况，有些场景可以抑制上游算子的回撤，Retract 可以优化成 Upsert



--
Sent from: http://apache-flink.147419.n8.nabble.com/

Re:对于 Flink 可撤回流做聚合，当上游数据撤回时，最终聚合值变小了，怎么解决这种问题。

[Michael Ran <gr...@163.com>]

以前做过，自定义sink，更新值小于 存储值的时候不更新
在 2021-01-25 16:00:28，"LakeShen" <sh...@gmail.com> 写道：
>Hi 社区，
>
>之前遇到一个问题，在 Flink 里面，对于一个数据流（能够撤回的）进行聚合时，当这个数据流有大量撤回时，最终聚合值会变小。这种情况之前有看到说加一个
>mini batch 来减轻这种情况的影响，还有别的方法能够解决这个问题吗?
>
>Best,
>LakeShen