You are viewing a plain text version of this content. The canonical link for it is here.
Posted to user-zh@flink.apache.org by silence <sl...@aliyun.com.INVALID> on 2021/07/05 06:06:53 UTC
flink sql 依赖隔离
请教大家目前flink sql有没有办法做到依赖隔离
比如connector，format，udf(这个最重要)等，
很多情况下不同用户定义的组件会经常混用，会有很多的依赖冲突问题难以解决。
目前有没有办法做到udf的依赖隔离（比如不同的udf使用独立的jar和classloader），或者社区对此有没有什么规划
Re:回复：回复：flink sql 依赖隔离
Posted by Michael Ran <gr...@163.com>.
额，混用多个UDF没法，本身就依赖冲突了，一般公共的UDF我们都统一的。 私人的和 公共的冲突了- -再单独和他们讨论
在 2021-07-26 11:43:49，"silence" <sl...@aliyun.com.INVALID> 写道：
>就是单独引用的啊，但任务逻辑比较复杂时会同时混用多个udf这个是没法避免的啊
>
>
>------------------------------------------------------------------
>发件人：Michael Ran <gr...@163.com>
>发送时间：2021年7月23日(星期五) 17:42
>收件人：user-zh <us...@flink.apache.org>; silence <sl...@aliyun.com>
>主 题：Re:回复：flink sql 依赖隔离
>
>建议上传的时候单独放，提交任务的时候 拉下来单独引用
>在 2021-07-23 11:01:59，"silence" <sl...@aliyun.com.INVALID> 写道：
>>
>>这边目前主要还是yarn，目前痛点是同一个sql任务会用到多个udf，udf通过-C http://xxx.jar进行加载
>>udf和sql jar之间、udf和udf之间都可能会有依赖冲突，
>>目前初步想法是每个udf绑定一个jarpath，使用独立的classloader进行加载，避免和主jar以及其他udf之间的依赖冲突
>>------------------------------------------------------------------
>>发件人：Michael Ran <gr...@163.com>
>>发送时间：2021年7月22日(星期四) 20:07
>>收件人：user-zh <us...@flink.apache.org>; silence <sl...@aliyun.com>
>>主 题：Re:flink sql 依赖隔离
>>
>>通过任务进行隔离引用呗。你们美团已经是k8s了吧？
>>在 2021-07-05 14:06:53，"silence" <sl...@aliyun.com.INVALID> 写道：
>>>请教大家目前flink sql有没有办法做到依赖隔离
>>>比如connector，format，udf(这个最重要)等，
>>>很多情况下不同用户定义的组件会经常混用，会有很多的依赖冲突问题难以解决。
>>>目前有没有办法做到udf的依赖隔离（比如不同的udf使用独立的jar和classloader），或者社区对此有没有什么规划
>>
>
回复：回复：flink sql 依赖隔离
Posted by silence <sl...@aliyun.com.INVALID>.
就是单独引用的啊，但任务逻辑比较复杂时会同时混用多个udf这个是没法避免的啊
------------------------------------------------------------------
发件人：Michael Ran <gr...@163.com>
发送时间：2021年7月23日(星期五) 17:42
收件人：user-zh <us...@flink.apache.org>; silence <sl...@aliyun.com>
主 题：Re:回复：flink sql 依赖隔离
建议上传的时候单独放，提交任务的时候 拉下来单独引用
在 2021-07-23 11:01:59，"silence" <sl...@aliyun.com.INVALID> 写道：
>
>这边目前主要还是yarn，目前痛点是同一个sql任务会用到多个udf，udf通过-C http://xxx.jar进行加载
>udf和sql jar之间、udf和udf之间都可能会有依赖冲突，
>目前初步想法是每个udf绑定一个jarpath，使用独立的classloader进行加载，避免和主jar以及其他udf之间的依赖冲突
>------------------------------------------------------------------
>发件人：Michael Ran <gr...@163.com>
>发送时间：2021年7月22日(星期四) 20:07
>收件人：user-zh <us...@flink.apache.org>; silence <sl...@aliyun.com>
>主 题：Re:flink sql 依赖隔离
>
>通过任务进行隔离引用呗。你们美团已经是k8s了吧？
>在 2021-07-05 14:06:53，"silence" <sl...@aliyun.com.INVALID> 写道：
>>请教大家目前flink sql有没有办法做到依赖隔离
>>比如connector，format，udf(这个最重要)等，
>>很多情况下不同用户定义的组件会经常混用，会有很多的依赖冲突问题难以解决。
>>目前有没有办法做到udf的依赖隔离（比如不同的udf使用独立的jar和classloader），或者社区对此有没有什么规划
>
Re:回复：flink sql 依赖隔离
Posted by Michael Ran <gr...@163.com>.
建议上传的时候单独放，提交任务的时候 拉下来单独引用
在 2021-07-23 11:01:59，"silence" <sl...@aliyun.com.INVALID> 写道：
>
>这边目前主要还是yarn，目前痛点是同一个sql任务会用到多个udf，udf通过-C http://xxx.jar进行加载
>udf和sql jar之间、udf和udf之间都可能会有依赖冲突，
>目前初步想法是每个udf绑定一个jarpath，使用独立的classloader进行加载，避免和主jar以及其他udf之间的依赖冲突
>------------------------------------------------------------------
>发件人：Michael Ran <gr...@163.com>
>发送时间：2021年7月22日(星期四) 20:07
>收件人：user-zh <us...@flink.apache.org>; silence <sl...@aliyun.com>
>主 题：Re:flink sql 依赖隔离
>
>通过任务进行隔离引用呗。你们美团已经是k8s了吧？
>在 2021-07-05 14:06:53，"silence" <sl...@aliyun.com.INVALID> 写道：
>>请教大家目前flink sql有没有办法做到依赖隔离
>>比如connector，format，udf(这个最重要)等，
>>很多情况下不同用户定义的组件会经常混用，会有很多的依赖冲突问题难以解决。
>>目前有没有办法做到udf的依赖隔离（比如不同的udf使用独立的jar和classloader），或者社区对此有没有什么规划
>
回复：flink sql 依赖隔离
Posted by silence <sl...@aliyun.com.INVALID>.
这边目前主要还是yarn，目前痛点是同一个sql任务会用到多个udf，udf通过-C http://xxx.jar进行加载
udf和sql jar之间、udf和udf之间都可能会有依赖冲突，
目前初步想法是每个udf绑定一个jarpath，使用独立的classloader进行加载，避免和主jar以及其他udf之间的依赖冲突
------------------------------------------------------------------
发件人：Michael Ran <gr...@163.com>
发送时间：2021年7月22日(星期四) 20:07
收件人：user-zh <us...@flink.apache.org>; silence <sl...@aliyun.com>
主 题：Re:flink sql 依赖隔离
通过任务进行隔离引用呗。你们美团已经是k8s了吧？
在 2021-07-05 14:06:53，"silence" <sl...@aliyun.com.INVALID> 写道：
>请教大家目前flink sql有没有办法做到依赖隔离
>比如connector，format，udf(这个最重要)等，
>很多情况下不同用户定义的组件会经常混用，会有很多的依赖冲突问题难以解决。
>目前有没有办法做到udf的依赖隔离（比如不同的udf使用独立的jar和classloader），或者社区对此有没有什么规划
Re:Re: flink sql 依赖隔离
Posted by Michael Ran <gr...@163.com>.
我看阿里不是传到OSS，然后每个任务 image 拉取下来的时候顺便就把jar 拉进来了。完全隔离的，jar 也方便管理
在 2021-07-22 23:45:14，"Jeff Zhang" <zj...@gmail.com> 写道：
>Zeppelin 支持依赖的动态加载
>https://www.yuque.com/jeffzhangjianfeng/gldg8w/rn6g1s
>https://www.yuque.com/jeffzhangjianfeng/gldg8w/dthfu2
>
>
>Michael Ran <gr...@163.com> 于2021年7月22日周四 下午8:07写道：
>
>> 通过任务进行隔离引用呗。你们美团已经是k8s了吧？
>> 在 2021-07-05 14:06:53，"silence" <sl...@aliyun.com.INVALID> 写道：
>> >请教大家目前flink sql有没有办法做到依赖隔离
>> >比如connector，format，udf(这个最重要)等，
>> >很多情况下不同用户定义的组件会经常混用，会有很多的依赖冲突问题难以解决。
>> >目前有没有办法做到udf的依赖隔离（比如不同的udf使用独立的jar和classloader），或者社区对此有没有什么规划
>>
>
>
>--
>Best Regards
>
>Jeff Zhang
Re: flink sql 依赖隔离
Posted by Jeff Zhang <zj...@gmail.com>.
Zeppelin 支持依赖的动态加载
https://www.yuque.com/jeffzhangjianfeng/gldg8w/rn6g1s
https://www.yuque.com/jeffzhangjianfeng/gldg8w/dthfu2
Michael Ran <gr...@163.com> 于2021年7月22日周四 下午8:07写道：
> 通过任务进行隔离引用呗。你们美团已经是k8s了吧？
> 在 2021-07-05 14:06:53，"silence" <sl...@aliyun.com.INVALID> 写道：
> >请教大家目前flink sql有没有办法做到依赖隔离
> >比如connector，format，udf(这个最重要)等，
> >很多情况下不同用户定义的组件会经常混用，会有很多的依赖冲突问题难以解决。
> >目前有没有办法做到udf的依赖隔离（比如不同的udf使用独立的jar和classloader），或者社区对此有没有什么规划
>
--
Best Regards
Jeff Zhang
Re:flink sql 依赖隔离
Posted by Michael Ran <gr...@163.com>.
通过任务进行隔离引用呗。你们美团已经是k8s了吧？
在 2021-07-05 14:06:53，"silence" <sl...@aliyun.com.INVALID> 写道：
>请教大家目前flink sql有没有办法做到依赖隔离
>比如connector，format，udf(这个最重要)等，
>很多情况下不同用户定义的组件会经常混用，会有很多的依赖冲突问题难以解决。
>目前有没有办法做到udf的依赖隔离（比如不同的udf使用独立的jar和classloader），或者社区对此有没有什么规划
回复：flink sql 依赖隔离
Posted by silence <sl...@aliyun.com.INVALID>.
没用放在lib下，是启动时通过-C动态添加udf jar，一个sql作业可能会用到很多udf，可能是不同的用户写的，所以经常会出现依赖冲突
------------------------------------------------------------------
发件人：yzhhui <yz...@gmail.com>
发送时间：2021年7月5日(星期一) 14:09
收件人：user-zh@flink.apache.org <us...@flink.apache.org>; silence <sl...@aliyun.com>
抄 送：user-zh <us...@flink.apache.org>
主 题：回复：flink sql 依赖隔离
提交任务的时候提交自己的jar就好了，这个不要放公共lib下 就OK
在2021年07月5日 14:07，silence<sl...@aliyun.com.INVALID> 写道： 请教大家目前flink sql有没有办法做到依赖隔离
比如connector，format，udf(这个最重要)等，
很多情况下不同用户定义的组件会经常混用，会有很多的依赖冲突问题难以解决。
目前有没有办法做到udf的依赖隔离（比如不同的udf使用独立的jar和classloader），或者社区对此有没有什么规划