You are viewing a plain text version of this content. The canonical link for it is here.
Posted to user-zh@flink.apache.org by yidan zhao <hi...@gmail.com> on 2022/06/23 11:37:01 UTC

flink1.15中kafka source、sink对kafka-client的版本要求是否可降低

如题,我想问下相关了解的同学,目前只是升级 kafka-client 新版本,换了下接口用法。还是依赖到部分新版本client才有的功能呢?
是否有可能基于低版本 kafka-client 实现呢?

可以的话我可能自己覆盖实现下。
因为高版本kafka-client不支持公司的kafka,公司kafka是开源kafka外层加了一层proxy。使用太高版本kafka
client访问会有问题(推荐的是0.11,我测试最多到2.2的client)。

Re: flink1.15中kafka source、sink对kafka-client的版本要求是否可降低

Posted by Qingsheng Ren <re...@gmail.com>.
Hi,

目前 Kafka connector 会依赖于高版本 kafka-clients 的一些 API,而且 sink 端为支持 exactly-once 语义使用了反射。Flink 社区考虑到 Kafka client 本身保证了较好后向兼容性,因此不再提供使用旧版本 client 的 Kafka connector,针对 5 年前发布的 Kafka 0.11 版本进行适配也不太现实。

祝好,
庆盛

> On Jun 23, 2022, at 19:37, yidan zhao <hi...@gmail.com> wrote:
> 
> 如题,我想问下相关了解的同学,目前只是升级 kafka-client 新版本,换了下接口用法。还是依赖到部分新版本client才有的功能呢?
> 是否有可能基于低版本 kafka-client 实现呢?
> 
> 可以的话我可能自己覆盖实现下。
> 因为高版本kafka-client不支持公司的kafka,公司kafka是开源kafka外层加了一层proxy。使用太高版本kafka
> client访问会有问题(推荐的是0.11,我测试最多到2.2的client)。