人为生成retract记录

[lec ssmi <sh...@gmail.com>]

Hi:
    假设我现在将上游retract后的结果写入到kafka，然后下游程序消费kafka去做聚合操作。
    因为需要利用聚合算子能够自动处理retract的特性，所以需要将kafka的结果封装成带有不同header的row，即组装为INSERT
DELETE UPDATE类型的数据。
    有什么办法可以解决吗？
    如果将上下游程序合在一起 ，是没问题的，现在的难点就是拆分。
   谢谢。

答复: 人为生成retract记录

[刘首维 <li...@autohome.com.cn>]

Hi,
    我们这边做了人为生成retract记录的尝试，也是用在了binlog上，结果上还是可以的但是改造成本还是比较高的，需要自己添加对应的关系算子和优化规则。此外，这样做（有可能）会干扰执行计划的优化，期待FLIP105和95的落地！


________________________________
发件人: lec ssmi <sh...@gmail.com>
发送时间: 2020年4月26日 10:07:48
收件人: flink-user-cn
主题: 人为生成retract记录

Hi:
    假设我现在将上游retract后的结果写入到kafka，然后下游程序消费kafka去做聚合操作。
    因为需要利用聚合算子能够自动处理retract的特性，所以需要将kafka的结果封装成带有不同header的row，即组装为INSERT
DELETE UPDATE类型的数据。
    有什么办法可以解决吗？
    如果将上下游程序合在一起 ，是没问题的，现在的难点就是拆分。
   谢谢。

Re: 人为生成retract记录

[Jark Wu <im...@gmail.com>]

是的。FLIP-105之后，我们也会考虑引入一些简化的 format 去描述 cdc 数据，比如 csv 的第一列用来描述 change
operation。

Best,
Jark

On Sun, 26 Apr 2020 at 10:14, Benchao Li <li...@gmail.com> wrote:

> Hi，
>
> 暂时还不能做到，有一个FLIP[1] 正在做这件事，应该在1.11之后会逐步具备这个能力。
>
> [1]
> https://cwiki.apache.org/confluence/pages/viewpage.action?pageId=147427289
>
> lec ssmi <sh...@gmail.com> 于2020年4月26日周日 上午10:08写道：
>
> > Hi:
> >     假设我现在将上游retract后的结果写入到kafka，然后下游程序消费kafka去做聚合操作。
> >     因为需要利用聚合算子能够自动处理retract的特性，所以需要将kafka的结果封装成带有不同header的row，即组装为INSERT
> > DELETE UPDATE类型的数据。
> >     有什么办法可以解决吗？
> >     如果将上下游程序合在一起 ，是没问题的，现在的难点就是拆分。
> >    谢谢。
> >
>
>
> --
>
> Benchao Li
> School of Electronics Engineering and Computer Science, Peking University
> Tel:+86-15650713730
> Email: libenchao@gmail.com; libenchao@pku.edu.cn
>

Re: 人为生成retract记录

[Benchao Li <li...@gmail.com>]

Hi，

暂时还不能做到，有一个FLIP[1] 正在做这件事，应该在1.11之后会逐步具备这个能力。

[1]
https://cwiki.apache.org/confluence/pages/viewpage.action?pageId=147427289

lec ssmi <sh...@gmail.com> 于2020年4月26日周日 上午10:08写道：

> Hi:
>     假设我现在将上游retract后的结果写入到kafka，然后下游程序消费kafka去做聚合操作。
>     因为需要利用聚合算子能够自动处理retract的特性，所以需要将kafka的结果封装成带有不同header的row，即组装为INSERT
> DELETE UPDATE类型的数据。
>     有什么办法可以解决吗？
>     如果将上下游程序合在一起 ，是没问题的，现在的难点就是拆分。
>    谢谢。
>


-- 

Benchao Li
School of Electronics Engineering and Computer Science, Peking University
Tel:+86-15650713730
Email: libenchao@gmail.com; libenchao@pku.edu.cn