You are viewing a plain text version of this content. The canonical link for it is here.
Posted to user-zh@flink.apache.org by shimin huang <hu...@gmail.com> on 2022/03/28 12:14:28 UTC
flink on k8s是否有替代yarn.ship-files的参数
flink version 1.12.0
近期在将flink on yarn迁移至flink on
k8s，以前外部的jar包和配置都是通过yarn.skip-files参数来进行配置加载的，想问下k8s是否有类似参数，目前在1.12.0的文档发现没找到类似的，有个
external-resource.<resource_name>.yarn.config-key配置，但是没有具体的试用案例，希望有大佬能够解答下有什么好的方式吗
Re: flink on k8s是否有替代yarn.ship-files的参数
Posted by shimin huang <hu...@gmail.com>.
好的 我了解下 感谢！
yu'an huang <h....@gmail.com> 于2022年3月28日周一 22:12写道：
> 你好，
>
>
> 可以看看这个链接中关于usrlib的介绍（Application mode部分）。
>
> https://nightlies.apache.org/flink/flink-docs-release-1.14/docs/deployment/resource-providers/standalone/docker/#docker-hub-flink-images
>
> Kubernetes不像yarn一样提供了ship文件的功能。对于Kubernetes application mode来说，用户程序是运行在Job
>
> Manager的，要求所有的artifacts都已经在镜像中存在。Flink会自动将$FLINK_HOME/usrlib目录下的文件都放入用户程序的classpath中，所以你需要按照链接中的方法，创建镜像，将你需要的artifacts提前放到镜像之中。然后在提交命令中指定主类和主类所用的JAR就可以了。
>
>
>
>
> On Mon, 28 Mar 2022 at 8:26 PM, shimin huang <hu...@gmail.com>
> wrote:
>
> > 1.12.0没有找到相关的配置，目前考虑测试下pipeline.classpaths指定对应的jars路径是否生效。
> >
> > Geng Biao <bi...@gmail.com> 于2022年3月28日周一 20:18写道：
> >
> > > Hi shimin,
> > > 外部jar依赖可以看一下文档里usrlib在flink on k8s里的使用。
> > >
> > > Best，
> > > Biao
> > >
> > > 获取 Outlook for iOS<https://aka.ms/o0ukef>
> > > ________________________________
> > > 发件人: shimin huang <hu...@gmail.com>
> > > 发送时间: Monday, March 28, 2022 8:14:28 PM
> > > 收件人: user-zh@flink.apache.org <us...@flink.apache.org>
> > > 主题: flink on k8s是否有替代yarn.ship-files的参数
> > >
> > > flink version 1.12.0
> > >
> > > 近期在将flink on yarn迁移至flink on
> > >
> > >
> >
> k8s，以前外部的jar包和配置都是通过yarn.skip-files参数来进行配置加载的，想问下k8s是否有类似参数，目前在1.12.0的文档发现没找到类似的，有个
> > >
> > >
> >
> external-resource.<resource_name>.yarn.config-key配置，但是没有具体的试用案例，希望有大佬能够解答下有什么好的方式吗
> > >
> >
>
Re: flink on k8s是否有替代yarn.ship-files的参数
Posted by yu'an huang <h....@gmail.com>.
你好，
可以看看这个链接中关于usrlib的介绍（Application mode部分）。
https://nightlies.apache.org/flink/flink-docs-release-1.14/docs/deployment/resource-providers/standalone/docker/#docker-hub-flink-images
Kubernetes不像yarn一样提供了ship文件的功能。对于Kubernetes application mode来说，用户程序是运行在Job
Manager的，要求所有的artifacts都已经在镜像中存在。Flink会自动将$FLINK_HOME/usrlib目录下的文件都放入用户程序的classpath中，所以你需要按照链接中的方法，创建镜像，将你需要的artifacts提前放到镜像之中。然后在提交命令中指定主类和主类所用的JAR就可以了。
On Mon, 28 Mar 2022 at 8:26 PM, shimin huang <hu...@gmail.com>
wrote:
> 1.12.0没有找到相关的配置，目前考虑测试下pipeline.classpaths指定对应的jars路径是否生效。
>
> Geng Biao <bi...@gmail.com> 于2022年3月28日周一 20:18写道：
>
> > Hi shimin,
> > 外部jar依赖可以看一下文档里usrlib在flink on k8s里的使用。
> >
> > Best，
> > Biao
> >
> > 获取 Outlook for iOS<https://aka.ms/o0ukef>
> > ________________________________
> > 发件人: shimin huang <hu...@gmail.com>
> > 发送时间: Monday, March 28, 2022 8:14:28 PM
> > 收件人: user-zh@flink.apache.org <us...@flink.apache.org>
> > 主题: flink on k8s是否有替代yarn.ship-files的参数
> >
> > flink version 1.12.0
> >
> > 近期在将flink on yarn迁移至flink on
> >
> >
> k8s，以前外部的jar包和配置都是通过yarn.skip-files参数来进行配置加载的，想问下k8s是否有类似参数，目前在1.12.0的文档发现没找到类似的，有个
> >
> >
> external-resource.<resource_name>.yarn.config-key配置，但是没有具体的试用案例，希望有大佬能够解答下有什么好的方式吗
> >
>
Re: flink on k8s是否有替代yarn.ship-files的参数
Posted by shimin huang <hu...@gmail.com>.
1.12.0没有找到相关的配置，目前考虑测试下pipeline.classpaths指定对应的jars路径是否生效。
Geng Biao <bi...@gmail.com> 于2022年3月28日周一 20:18写道：
> Hi shimin,
> 外部jar依赖可以看一下文档里usrlib在flink on k8s里的使用。
>
> Best，
> Biao
>
> 获取 Outlook for iOS<https://aka.ms/o0ukef>
> ________________________________
> 发件人: shimin huang <hu...@gmail.com>
> 发送时间: Monday, March 28, 2022 8:14:28 PM
> 收件人: user-zh@flink.apache.org <us...@flink.apache.org>
> 主题: flink on k8s是否有替代yarn.ship-files的参数
>
> flink version 1.12.0
>
> 近期在将flink on yarn迁移至flink on
>
> k8s，以前外部的jar包和配置都是通过yarn.skip-files参数来进行配置加载的，想问下k8s是否有类似参数，目前在1.12.0的文档发现没找到类似的，有个
>
> external-resource.<resource_name>.yarn.config-key配置，但是没有具体的试用案例，希望有大佬能够解答下有什么好的方式吗
>
Re: flink on k8s是否有替代yarn.ship-files的参数
Posted by Geng Biao <bi...@gmail.com>.
Hi shimin,
外部jar依赖可以看一下文档里usrlib在flink on k8s里的使用。
Best，
Biao
获取 Outlook for iOS<https://aka.ms/o0ukef>
________________________________
发件人: shimin huang <hu...@gmail.com>
发送时间: Monday, March 28, 2022 8:14:28 PM
收件人: user-zh@flink.apache.org <us...@flink.apache.org>
主题: flink on k8s是否有替代yarn.ship-files的参数
flink version 1.12.0
近期在将flink on yarn迁移至flink on
k8s，以前外部的jar包和配置都是通过yarn.skip-files参数来进行配置加载的，想问下k8s是否有类似参数，目前在1.12.0的文档发现没找到类似的，有个
external-resource.<resource_name>.yarn.config-key配置，但是没有具体的试用案例，希望有大佬能够解答下有什么好的方式吗
Re: flink on k8s是否有替代yarn.ship-files的参数
Posted by shimin huang <hu...@gmail.com>.
external-resource.<resource_name>.yarn.config-key这个配置贴错了应该是这个
external-resource.<resource_name>.kubernetes.config-key
shimin huang <hu...@gmail.com> 于2022年3月28日周一 20:14写道：
> flink version 1.12.0
>
> 近期在将flink on yarn迁移至flink on
> k8s，以前外部的jar包和配置都是通过yarn.skip-files参数来进行配置加载的，想问下k8s是否有类似参数，目前在1.12.0的文档发现没找到类似的，有个
> external-resource.<resource_name>.yarn.config-key配置，但是没有具体的试用案例，希望有大佬能够解答下有什么好的方式吗
>