You are viewing a plain text version of this content. The canonical link for it is here.
Posted to user-zh@flink.apache.org by yidan zhao <hi...@gmail.com> on 2022/08/04 03:49:27 UTC

pyflink目前map、flatmap都是process实现,那么process当前如何支持sideoutput呢?

1 需求是根据输入流,根据字段判定,拆分并输出为2个流。

2 目前看 pyflink 的 api,貌似不支持 sideoutput。

3 虽然可以基于输入流 A,连续处理2次,即输入流 A 流向算子 B 和算子 C,分别筛选自己需要的数据进行处理。但这样会导致数据重复传输。

Re: pyflink目前map、flatmap都是process实现,那么process当前如何支持sideoutput呢?

Posted by Dian Fu <di...@gmail.com>.
是的,当前 PyFlink 还不支持 side output,side output 的支持已经完成开发,会在接下来发布的 1.16 版本中支持。

On Thu, Aug 4, 2022 at 11:50 AM yidan zhao <hi...@gmail.com> wrote:

> 1 需求是根据输入流,根据字段判定,拆分并输出为2个流。
>
> 2 目前看 pyflink 的 api,貌似不支持 sideoutput。
>
> 3 虽然可以基于输入流 A,连续处理2次,即输入流 A 流向算子 B 和算子 C,分别筛选自己需要的数据进行处理。但这样会导致数据重复传输。
>