回复: Pyflink 如何合并流数据

[tianyuan Liu <li...@hotmail.com>]

不建议在flink中做join。 可以在数据库建一张宽表，一个流写入一部分字段。另一个流写入另一部分字段。

________________________________
发件人: Xiao Zhang <15...@163.com>
发送时间: 2024年11月2日 14:43
收件人: user-zh@flink.apache.org <us...@flink.apache.org>
主题: Pyflink 如何合并流数据

您好：

        环境为最新的1.20的包，

        目的就是想合并两个流，让两个流根据某个值关联，然后可以同时拿到两个流的数据，计算或保存使出一条数据，


        一、发现pyflink是没有join的实现的


        二、在使用connect的时候发现链接流里面的那几个函数实现都只有map1 2 或是 process_element1 2 文档里其他方法的实现也没有，只能处理各自流的数据，无法获取到其他流的数据。


        想问下现在pyflink如何根据元素里的某个值去合并两个流，可以的话能投提供一个案例，谢谢。

Re: Pyflink 如何合并流数据

[Dian Fu <di...@gmail.com>]

有了 process_element1 和 process_element2，就可以干所有事了，比如 process_element1
里把数据存 state，process_element2 可以获取 process_element1 存 state
里的数据，反过来也是一样的。

On Wed, Jan 15, 2025 at 6:17 PM tianyuan Liu <li...@hotmail.com> wrote:
>
> 不建议在flink中做join。 可以在数据库建一张宽表，一个流写入一部分字段。另一个流写入另一部分字段。
>
> ________________________________
> 发件人: Xiao Zhang <15...@163.com>
> 发送时间: 2024年11月2日 14:43
> 收件人: user-zh@flink.apache.org <us...@flink.apache.org>
> 主题: Pyflink 如何合并流数据
>
> 您好：
>
>         环境为最新的1.20的包，
>
>         目的就是想合并两个流，让两个流根据某个值关联，然后可以同时拿到两个流的数据，计算或保存使出一条数据，
>
>
>         一、发现pyflink是没有join的实现的
>
>
>         二、在使用connect的时候发现链接流里面的那几个函数实现都只有map1 2 或是 process_element1 2 文档里其他方法的实现也没有，只能处理各自流的数据，无法获取到其他流的数据。
>
>
>         想问下现在pyflink如何根据元素里的某个值去合并两个流，可以的话能投提供一个案例，谢谢。
>