You are viewing a plain text version of this content. The canonical link for it is here.
Posted to user-zh@flink.apache.org by "casel.chen" <ca...@126.com> on 2021/12/16 09:12:10 UTC

回撤流优化

看了《Oceanus的实时流式计算实践与优化》https://jishuin.proginn.com/p/763bfbd5acbf 想问一下社区是否有意实现这里说的回撤流优化功能呢?
实际业务很多数据是从mysql binlog cdc接入的,在回撤流上做计算是常见的场景,能否在flink sql中支持这些优化呢?

Re:Re: 回撤流优化

Posted by "casel.chen" <ca...@126.com>.
mini-batch只是攒批后再执行,执行数据量并没有减少。而在我这个场景下是需要以攒批内再根据key聚合取最新的结果,执行数据量会大大减少。mini-batch应该还做不到吧?

















在 2021-12-16 17:15:45,"Jingsong Li" <ji...@gmail.com> 写道:
>理论上mini-batch就可以优化回撤流。
>
>目前是join没有支持mini-batch。
>
>On Thu, Dec 16, 2021 at 5:12 PM casel.chen <ca...@126.com> wrote:
>>
>> 看了《Oceanus的实时流式计算实践与优化》https://jishuin.proginn.com/p/763bfbd5acbf 想问一下社区是否有意实现这里说的回撤流优化功能呢?
>> 实际业务很多数据是从mysql binlog cdc接入的,在回撤流上做计算是常见的场景,能否在flink sql中支持这些优化呢?
>
>
>
>-- 
>Best, Jingsong Lee

Re: 回撤流优化

Posted by Jingsong Li <ji...@gmail.com>.
理论上mini-batch就可以优化回撤流。

目前是join没有支持mini-batch。

On Thu, Dec 16, 2021 at 5:12 PM casel.chen <ca...@126.com> wrote:
>
> 看了《Oceanus的实时流式计算实践与优化》https://jishuin.proginn.com/p/763bfbd5acbf 想问一下社区是否有意实现这里说的回撤流优化功能呢?
> 实际业务很多数据是从mysql binlog cdc接入的,在回撤流上做计算是常见的场景,能否在flink sql中支持这些优化呢?



-- 
Best, Jingsong Lee