You are viewing a plain text version of this content. The canonical link for it is here.

Posted to user-zh@flink.apache.org by 史延朋 <ys...@gmail.com> on 2022/03/12 09:45:59 UTC

Re: 如何按比例丢弃kafka中消费的数据

另外，如果只是某些时刻数据比较多，实现connector侧的限流会不会好一些，另外是否可以考虑建一个关于connector侧限流相关的issue讨论下（不确定是否已经有相关的讨论）

Re:Re: 如何按比例丢弃kafka中消费的数据

Posted by chenkaibit <ch...@163.com>.



我们搞过一个 connector，在消费的 kafka 数据积压(流量高峰)的时候丢弃某个时间或某个 offset 之前的数据，尽量消费比较新的数据；不同的丢弃策略有不同的方案，像这种比较定制化的场景可能得自己实现了




--

Best, yuchuan





在 2022-03-12 17:45:59，"史延朋" <ys...@gmail.com> 写道：
>另外，如果只是某些时刻数据比较多，实现connector侧的限流会不会好一些，另外是否可以考虑建一个关于connector侧限流相关的issue讨论下（不确定是否已经有相关的讨论）