You are viewing a plain text version of this content. The canonical link for it is here.

Posted to user-zh@flink.apache.org by Bruce Zhang <zh...@163.com> on 2021/04/29 03:45:17 UTC

flink 背压问题

我的数据源每一秒发送一条数据，下游算子每六秒才能处理完成入库，我测试时使用的是一个并行度，数据发送完毕后，在库里只有前三条发送和后两条发送的数据，中间的数据全部丢失了。应该是背压机制的问题，这是什么原因呢

Re: flink 背压问题

Posted by HunterXHunter <13...@qq.com>.

中间有错误数据或者其他错误原因，背压不会导致数据丢失



--
Sent from: http://apache-flink.147419.n8.nabble.com/

Re:flink 背压问题

Posted by Michael Ran <gr...@163.com>.

不至于吧，中间有错误吧。。
在 2021-04-29 11:45:17，"Bruce Zhang" <zh...@163.com> 写道：
>我的数据源每一秒发送一条数据，下游算子每六秒才能处理完成入库，我测试时使用的是一个并行度，数据发送完毕后，在库里只有前三条发送和后两条发送的数据，中间的数据全部丢失了。应该是背压机制的问题，这是什么原因呢

Re: flink 背压问题

Posted by datayangl <da...@gmail.com>.

背压只是负责调节数据传输的大小，不会导致数据丢失。计算公式主要是通过计算上下游的允许发送的数据量(backlog)除以申请的buffer大小。



--
Sent from: http://apache-flink.147419.n8.nabble.com/