You are viewing a plain text version of this content. The canonical link for it is here.
Posted to user-zh@flink.apache.org by melin li <li...@gmail.com> on 2022/12/08 01:46:45 UTC
提交任务不能指定第三方jar
客户端提交flink job 不能提交依赖的第三方jar，例如自定的函数jar，sql 里面的依赖connector
jar，需要提前放置好。如果基于flink 平台化，需要动态的添加jar。目前可能的做法，就是把依赖的jar, 动态的添加作业jar
的lib目录下。getJobJarAndDependencies
就是从jar 中获取依赖的jar。不是很方便。 是可以添加一个参数，指定依赖的jar，flink 设计各种诡异。
[image: image.png]
Re:Re: 提交任务不能指定第三方jar
Posted by RS <ti...@163.com>.
Hi，
试试 -C,--classpath，我都是用这个提交UDF的
另外邮件列表发图片是看不到了，别再发截图了
Thanks，
在 2022-12-13 18:13:47，"melin li" <li...@gmail.com> 写道：
类似: spark-submit 支持--jars，更灵活方便，
melin li <li...@gmail.com> 于2022年12月8日周四 11:09写道：
如果是作业依赖的jar，是可以打一个flat jar。有两种场景：
1、sql作业中，用户依赖某个connector jar，但平台不提供这个connector，需要用户上传，
2、自定义udf 管理，依赖的jar 需要和任务一起提交。
yuxia <lu...@alumni.sjtu.edu.cn> 于2022年12月8日周四 10:06写道：
为啥说 不能提交依赖的第三方jar？用户的 job 把这些包打进去不就好了吗？ 还是说你指的是 sql 作业？
Best regards,
Yuxia
发件人: "melin li" <li...@gmail.com>
收件人: "user-zh" <us...@flink.apache.org>
发送时间: 星期四, 2022年 12 月 08日 上午 9:46:45
主题: 提交任务不能指定第三方jar
客户端提交flink job 不能提交依赖的第三方jar，例如自定的函数jar，sql 里面的依赖connector jar，需要提前放置好。如果基于flink 平台化，需要动态的添加jar。目前可能的做法，就是把依赖的jar, 动态的添加作业jar 的lib目录下。 getJobJarAndDependencies 就是从jar 中获取依赖的jar。不是很方便。 是可以添加一个参数，指定依赖的jar， flink 设计各种诡异。
Re: 提交任务不能指定第三方jar
Posted by melin li <li...@gmail.com>.
类似: spark-submit 支持--jars，更灵活方便，
[image: image.png]
melin li <li...@gmail.com> 于2022年12月8日周四 11:09写道：
> 如果是作业依赖的jar，是可以打一个flat jar。有两种场景：
> 1、sql作业中，用户依赖某个connector jar，但平台不提供这个connector，需要用户上传，
> 2、自定义udf 管理，依赖的jar 需要和任务一起提交。
>
> yuxia <lu...@alumni.sjtu.edu.cn> 于2022年12月8日周四 10:06写道：
>
>> 为啥说 不能提交依赖的第三方jar？用户的 job 把这些包打进去不就好了吗？ 还是说你指的是 sql 作业？
>>
>> Best regards,
>> Yuxia
>>
>>
>> 发件人: "melin li" <li...@gmail.com>
>> 收件人: "user-zh" <us...@flink.apache.org>
>> 发送时间: 星期四, 2022年 12 月 08日 上午 9:46:45
>> 主题: 提交任务不能指定第三方jar
>>
>> 客户端提交flink job 不能提交依赖的第三方jar，例如自定的函数jar，sql 里面的依赖connector
>> jar，需要提前放置好。如果基于flink 平台化，需要动态的添加jar。目前可能的做法，就是把依赖的jar, 动态的添加作业jar 的lib目录下。
>> getJobJarAndDependencies 就是从jar 中获取依赖的jar。不是很方便。 是可以添加一个参数，指定依赖的jar， flink
>> 设计各种诡异。
>>
>>
Re: 提交任务不能指定第三方jar
Posted by melin li <li...@gmail.com>.
如果是作业依赖的jar，是可以打一个flat jar。有两种场景：
1、sql作业中，用户依赖某个connector jar，但平台不提供这个connector，需要用户上传，
2、自定义udf 管理，依赖的jar 需要和任务一起提交。
yuxia <lu...@alumni.sjtu.edu.cn> 于2022年12月8日周四 10:06写道：
> 为啥说 不能提交依赖的第三方jar？用户的 job 把这些包打进去不就好了吗？ 还是说你指的是 sql 作业？
>
> Best regards,
> Yuxia
>
>
> 发件人: "melin li" <li...@gmail.com>
> 收件人: "user-zh" <us...@flink.apache.org>
> 发送时间: 星期四, 2022年 12 月 08日 上午 9:46:45
> 主题: 提交任务不能指定第三方jar
>
> 客户端提交flink job 不能提交依赖的第三方jar，例如自定的函数jar，sql 里面的依赖connector
> jar，需要提前放置好。如果基于flink 平台化，需要动态的添加jar。目前可能的做法，就是把依赖的jar, 动态的添加作业jar 的lib目录下。
> getJobJarAndDependencies 就是从jar 中获取依赖的jar。不是很方便。 是可以添加一个参数，指定依赖的jar， flink
> 设计各种诡异。
>
>
Re: 提交任务不能指定第三方jar
Posted by yuxia <lu...@alumni.sjtu.edu.cn>.
为啥说 不能提交依赖的第三方jar？用户的 job 把这些包打进去不就好了吗？ 还是说你指的是 sql 作业？
Best regards,
Yuxia
发件人: "melin li" <li...@gmail.com>
收件人: "user-zh" <us...@flink.apache.org>
发送时间: 星期四, 2022年 12 月 08日 上午 9:46:45
主题: 提交任务不能指定第三方jar
客户端提交flink job 不能提交依赖的第三方jar，例如自定的函数jar，sql 里面的依赖connector jar，需要提前放置好。如果基于flink 平台化，需要动态的添加jar。目前可能的做法，就是把依赖的jar, 动态的添加作业jar 的lib目录下。 getJobJarAndDependencies 就是从jar 中获取依赖的jar。不是很方便。 是可以添加一个参数，指定依赖的jar， flink 设计各种诡异。