flink sql滑动窗口问题

[谭家良 <ta...@126.com>]

hello, all
我通过flink sql去group by uid计算滑动窗口，窗口大小一天，五分钟一个步长。譬如我uid有100w，那么五分钟就会往下游发送100w数据，如果是upsert-kafka，可能会发送200w数据（DELETE+INSERT）。
已经确定的是，大部分uid每五分钟计算出来的指标与前五分钟的一致，可能一天下来变化的uid只有几十w，有没有可能可以做一个判断，将要输出的指标与上一次的指标做一下判断，如果一致则不输出，如果不一致则输出？
可以考虑不用滑动窗口，但是每个uid变化后需要输出到下游，不变化则不需要输出。
Best wishes
tanjialiang.
| |
谭家良
|
|
tanjl_work@126.com
|