You are viewing a plain text version of this content. The canonical link for it is here.
Posted to user-zh@flink.apache.org by Hongyuan Ma <cs...@163.com> on 2021/03/10 14:10:16 UTC

如何使用flink对时间跨度为1年的历史数据流进行处理,快速得到结果

大佬们,如果我有时间跨度为1年的历史数据,我想知道这些历史数据经flink处理后的输出是什么,我应该这么做?
我的业务代码中有用到state和window.
我尝试过根据历史数据,减去历史数据的起始时间戳,再加上当前时间戳(比如历史数据的时间戳timestamp属于[100秒~150秒],当前系统时间是第200秒, 那就timestamp-100+200=>[200秒,250秒])。再使用定时器定时发送数据到kafka,模拟生成数据流,最后把flink输出结果的时间戳再减回去。
但如果历史数据时间跨度很长的话(比如一年),我这样就要等特别久,有没有办法对时间跨度为1年的历史数据,快速进行处理,得到结果?


向大佬们问好,
马宏元