You are viewing a plain text version of this content. The canonical link for it is here.
Posted to user-zh@flink.apache.org by "junjie.miao@goupwith.com" <ju...@goupwith.com> on 2023/07/06 02:33:39 UTC
flink对于的connector加载的方式,为何不是通过类隔离的方式来加载
hi:
有个问题想咨询下。
目前flink对于自定义的connector加载的方式是通过SPI进行,如果有冲突类需要预先shade。
这种方式需要预先识别出所有可能的冲突类,而flink大部分是在hadoop环境下进行使用,涉及的大数据组件非常多其依赖的jar包版本也是各有差异,所以预先shade进行冲突类处理是非常麻烦的,如果需要支持多个版本的大数据集群那就更加麻烦了。
所以为何不是通过类隔离的方式来加载,比如说使用OSGi或JPMS等方式?
感谢大佬给于解惑,谢谢!!