You are viewing a plain text version of this content. The canonical link for it is here.

Posted to user-zh@flink.apache.org by "casel.chen" <ca...@126.com> on 2022/05/05 10:27:32 UTC

flink kubernetes application模式下作业镜像问题

使用flink kubernetes application模式运行flink作业需要将作业打包进镜像，这对于有大量用户个性化作业场景使用不是很方便，需要维护很多作业镜像版本。有没有办法在执行时引用到镜像外部的作业jar包或python文件，例如HDFS或者阿里云OSS。或者有其他workaround办法，之前听过init-container，但不知道具体要怎么使用，还请赐教！谢谢！

Re: flink kubernetes application模式下作业镜像问题

Posted by yu'an huang <h....@gmail.com>.

在Flink 1.13后，应该可以使用Pod template 去配置如何启动JM/TM pod。你可以在pod template中，如mefor所说的，将你的jar包放在一个volume里，然后挂载在main container中。这样container中就能访问你的作业包了，所以在提交作业时，你就可以指定你的作业jar包路径为， local:///the/path/your/jar。

关于volume参考https://kubernetes.io/zh/docs/concepts/storage/volumes/

你提到的init-container我猜测应该是指链接中提到的“将一个 EmptyDir 卷挂载到 InitContainer 中，使用 git 命令完成仓库的克隆操作，然后将 EmptyDir 卷挂载到 Pod 的容器中”类似的操作吧。


> On 5 May 2022, at 6:39 PM, mefor sy <me...@gmail.com> wrote:
> 
> oss 可以挂载到容器上
> 
> On Thu, May 5, 2022 at 6:27 PM casel.chen <ca...@126.com> wrote:
> 
>> 使用flink kubernetes
>> application模式运行flink作业需要将作业打包进镜像，这对于有大量用户个性化作业场景使用不是很方便，需要维护很多作业镜像版本。有没有办法在执行时引用到镜像外部的作业jar包或python文件，例如HDFS或者阿里云OSS。或者有其他workaround办法，之前听过init-container，但不知道具体要怎么使用，还请赐教！谢谢！

Re: flink kubernetes application模式下作业镜像问题

Posted by mefor sy <me...@gmail.com>.

oss 可以挂载到容器上

On Thu, May 5, 2022 at 6:27 PM casel.chen <ca...@126.com> wrote:

> 使用flink kubernetes
> application模式运行flink作业需要将作业打包进镜像，这对于有大量用户个性化作业场景使用不是很方便，需要维护很多作业镜像版本。有没有办法在执行时引用到镜像外部的作业jar包或python文件，例如HDFS或者阿里云OSS。或者有其他workaround办法，之前听过init-container，但不知道具体要怎么使用，还请赐教！谢谢！