flink广播流

[程俊超 <c_...@163.com>]

您好，我想使用广播流的方式来提前加载mysql表结构的变化(ddl)，但是会遇到广播流没有数据流到达速度快的情况，导致问题。网上说可以使用liststate来解决这种情况，但是具体应该如何使用呢


| |
程俊超
|
|
邮箱：c_18641943469@163.com
|

签名由 网易邮箱大师 定制

Re: flink广播流

[yidan zhao <hi...@gmail.com>]

合理做法是open中把最初一波配置流加载好，然后广播流只是增量部分数据。

Yuepeng Pan <fl...@126.com> 于2021年11月8日周一 上午10:11写道：

>
>
>
> Hi, 俊超.
> 如果你指的是数据流必须在接受到一个或者多个ddl数据流才能够继续解析的话，那么你可以在ddl流到达算子之前，将数据流存入liststate,当接收到ddl类型的数据流元素后，先解析或处理
> liststate中的数据,而后继续处理当前与后续的来自数据流的元素。
>       也可以使用上述方式达到 ‘使用广播流的方式来提前加载mysql表结构的变化’  的逻辑效果。
>
>        [1].
> https://nightlies.apache.org/flink/flink-docs-release-1.14/docs/ops/state/state_backends/
>        [2].
> https://nightlies.apache.org/flink/flink-docs-release-1.14/docs/dev/datastream/fault-tolerance/broadcast_state/
>
>
> 祝好。
>
>
> Best,
> Roc
>
>
>
>
> 在 2021-11-08 09:44:52，"程俊超" <c_...@163.com> 写道：
>
> >您好，我想使用广播流的方式来提前加载mysql表结构的变化(ddl)，但是会遇到广播流没有数据流到达速度快的情况，导致问题。网上说可以使用liststate来解决这种情况，但是具体应该如何使用呢
> >
> >
> >| |
> >程俊超
> >|
> >|
> >邮箱：c_18641943469@163.com
> >|
> >
> >签名由 网易邮箱大师 定制
>

Re:flink广播流

[Yuepeng Pan <fl...@126.com>]

Hi, 俊超.
如果你指的是数据流必须在接受到一个或者多个ddl数据流才能够继续解析的话，那么你可以在ddl流到达算子之前，将数据流存入liststate,当接收到ddl类型的数据流元素后，先解析或处理 liststate中的数据,而后继续处理当前与后续的来自数据流的元素。
      也可以使用上述方式达到 ‘使用广播流的方式来提前加载mysql表结构的变化’  的逻辑效果。
      
       [1].https://nightlies.apache.org/flink/flink-docs-release-1.14/docs/ops/state/state_backends/
       [2].https://nightlies.apache.org/flink/flink-docs-release-1.14/docs/dev/datastream/fault-tolerance/broadcast_state/


祝好。


Best,
Roc




在 2021-11-08 09:44:52，"程俊超" <c_...@163.com> 写道：
>您好，我想使用广播流的方式来提前加载mysql表结构的变化(ddl)，但是会遇到广播流没有数据流到达速度快的情况，导致问题。网上说可以使用liststate来解决这种情况，但是具体应该如何使用呢
>
>
>| |
>程俊超
>|
>|
>邮箱：c_18641943469@163.com
>|
>
>签名由 网易邮箱大师 定制