Flink内部如何做到消息不丢失？

[m18814122325 <m1...@163.com>]

在Storm中会有ack机制来保证消息是否被下个算子是否被处理，那么请问在Flink框架内部中上游算子通过Netty发送消息到下游时，如何做到消息不会因为网络原因等各种异常情况产生丢失情况？

谢谢

Re: Flink内部如何做到消息不丢失？

[yidan zhao <hi...@gmail.com>]

我最近也在对比storm和flink。有没有大佬介绍下，storm这种ack模式的是不是恢复会更快点，目前我感觉storm的架构下，各个节点的fail
over更加独立感觉。
Flink 目前集群中任何一个机器失败都会导致整个任务重启，耗时会长点。
但是从全局资源来说，ckpt的资源占用貌似又比ack模式少。
不知道理解对不对。

tison <wa...@gmail.com> 于2022年7月30日周六 14:28写道：
>
> 可以看下这两份材料
>
> *
> https://nightlies.apache.org/flink/flink-docs-release-1.15/docs/dev/datastream/fault-tolerance/checkpointing/
> * https://zhuanlan.zhihu.com/p/102607983
>
> 其实就是 Flink 里 Exactly-once 的实现方式，简单说来就是分布式快照批量提交，上游数据可以回放。
>
> Best,
> tison.
>
>
> m18814122325 <m1...@163.com> 于2022年7月30日周六 14:22写道：
>
> >
> > 在Storm中会有ack机制来保证消息是否被下个算子是否被处理，那么请问在Flink框架内部中上游算子通过Netty发送消息到下游时，如何做到消息不会因为网络原因等各种异常情况产生丢失情况？
> >
> > 谢谢

Re: Flink内部如何做到消息不丢失？

[tison <wa...@gmail.com>]

可以看下这两份材料

*
https://nightlies.apache.org/flink/flink-docs-release-1.15/docs/dev/datastream/fault-tolerance/checkpointing/
* https://zhuanlan.zhihu.com/p/102607983

其实就是 Flink 里 Exactly-once 的实现方式，简单说来就是分布式快照批量提交，上游数据可以回放。

Best,
tison.


m18814122325 <m1...@163.com> 于2022年7月30日周六 14:22写道：

>
> 在Storm中会有ack机制来保证消息是否被下个算子是否被处理，那么请问在Flink框架内部中上游算子通过Netty发送消息到下游时，如何做到消息不会因为网络原因等各种异常情况产生丢失情况？
>
> 谢谢