请教union算子union多个source 流时的健壮性如何保证

[Fisher Xiang <fi...@gmail.com>]

请问大家在使用 union算子union多个 stream时，比如 stream1.union(stream2, stream3, … stream
n) ，其中1到n分别来自不同的MQ 集群MQ1, MQ2… MQ n, 当其中几个集群挂掉时，
整个flink 应用都会重启，那么该场景下怎么可以做到 某几条stream 异常挂掉后，而不影响其他流的 union，让整个 flink继续运行呢？

[image: image.png]

BR
Fisher

Re: 请教union算子union多个source 流时的健壮性如何保证

[Caizhi Weng <ts...@gmail.com>]

Hi！

“某几条 stream 异常挂掉后，而不影响其他流的 union”，指的是如果其中几个 stream 出现问题，则无视这些 stream
的输入，只处理正常 stream 的输入吗？
如果是的话，目前 Flink 应该暂时没有这样的功能。可以考虑写一个自己的 mq connector，当 mq 有异常发生时则让 source
不再产生数据，而不是抛出错误。

Fisher Xiang <fi...@gmail.com> 于2021年7月21日周三 下午11:14写道：

>
> 请问大家在使用 union算子union多个 stream时，比如 stream1.union(stream2, stream3, … stream
> n) ，其中1到n分别来自不同的MQ 集群MQ1, MQ2… MQ n, 当其中几个集群挂掉时，
> 整个flink 应用都会重启，那么该场景下怎么可以做到 某几条stream 异常挂掉后，而不影响其他流的 union，让整个 flink继续运行呢？
>
> [image: image.png]
>
> BR
> Fisher
>