You are viewing a plain text version of this content. The canonical link for it is here.
Posted to user-zh@flink.apache.org by Yang Wang <da...@gmail.com> on 2020/06/09 03:31:34 UTC
Re: 关于kubernetes native配置的疑问
是的，使用-Dcontainerized.master.env.HTTP2_DISABLE=true可以
通过传递ENV给他JobManager的pod强制disable掉http2的加载，
暂时work aground jdk版本的问题
不过这个问题在1.11里面已经正式修复，就不需要再带上了
Best,
Yang
<a5...@163.com> 于2020年6月8日周一 下午5:44写道：
> Hi，all：
>
> 看到git上关于kubernetes-client could not work with java
> 8u252[1]的问题。根据flink英文邮件列表[2]中的方法添加如下参数，可以正常解决jdk版本的问题
> -Dcontainerized.master.env.HTTP2_DISABLE=true
>
> 感谢yang wang
>
> [1] https://github.com/fabric8io/kubernetes-client/issues/2212
> [2]
> http://apache-flink-user-mailing-list-archive.2336050.n4.nabble.com/Native-K8S-not-creating-TMs-td35703.html
>
> Best
>
>
>
>
> | |
> a511955993
> |
> |
> 邮箱：a511955993@163.com
> |
>
> 签名由 网易邮箱大师 定制
>
> 在2020年05月28日 17:48，a511955993@163.com 写道：
> 感谢两位大佬的回复，期待native kubernetes更多的特性出现
>
>
>
>
> | |
> a511955993
> |
> |
> 邮箱：a511955993@163.com
> |
>
> 签名由 网易邮箱大师 定制
>
> 在2020年05月28日 17:39，Yang Wang 写道：
> 您好，
>
> 目前native方式还没有办法来挂载volume，包括hostpath、persistent volume等
> 这个目前已经有了JIRA ticket[1]，但是还没有开始做
>
> 如果你感兴趣，可以参与进来一起
>
> [1]. https://issues.apache.org/jira/browse/FLINK-15649
>
> Best,
> Yang
>
> Yangze Guo <ka...@gmail.com> 于2020年5月28日周四 下午4:11写道：
>
> > 您好，我来回来一下第一个大问题
> >
> > 1.
> >
> resources.requests.cpu和resources.limits.cpu都会被设置为kubernetes.jobmanager.cpu
> > 2. external-resource.<resource_name>.kubernetes.config-key
> > 是为1.11的新特性扩展资源框架[1]而加入的。请不要使用它来配置cpu和memory。
> >
> >
> > [1] https://issues.apache.org/jira/browse/FLINK-17044
> >
> > Best,
> > Yangze Guo
> >
> > On Thu, May 28, 2020 at 3:48 PM <a5...@163.com> wrote:
> > >
> > >
> > >
> > > hi all
> > >
> > > 我在使用native kubernetes的时候，对几个配置项有疑问，想得到解答。
> > >
> > > 1.
> > kubernetes.jobmanager.cpu配置项针对一个TM配置多少个cpu资源，是否在resources.requests.cpu 或者
> > resources.limits.cpu也做了配置？
> > > 在
> >
> https://ci.apache.org/projects/flink/flink-docs-master/ops/config.html#kubernetes
> > 上看到对应的一个新的配置external-resource.<resource_name>.kubernetes.config-key。
> > >
> >
> 对external-resource.<resource_name>.kubernetes.config-key和kubernetes.jobmanager.cpu这两个参数的作用有点疑问，如何配置才是对TM的cpu使用加上了限制。
> > >
> > >
> > > 2.
> >
> 大部分作业使用rocksdb状态后台，会把状态的文件写到固盘，在kubernetes中挂载到hostPath。如果是native，应该如何实现磁盘的挂载呢。
> > >
> > > Looking forward to your reply and help.
> > >
> > > Best
> > >
> > > | |
> > > a511955993
> > > |
> > > |
> > > 邮箱：a511955993@163.com
> > > |
> > >
> > > 签名由 网易邮箱大师 定制
> >
>
Re: 关于kubernetes native配置的疑问
Posted by Yang Wang <da...@gmail.com>.
是的，在1.11里面将fabric8的kubernetes-client升级到了4.9.2
<a5...@163.com> 于2020年6月9日周二 上午11:39写道：
> hi yang
> 1.11是通过什么方式解决这个问题的？升级client版本吗
>
>
>
>
> | |
> a511955993
> |
> |
> 邮箱：a511955993@163.com
> |
>
> 签名由 网易邮箱大师 定制
>
> 在2020年06月09日 11:31，Yang Wang 写道：
> 是的，使用-Dcontainerized.master.env.HTTP2_DISABLE=true可以
> 通过传递ENV给他JobManager的pod强制disable掉http2的加载，
> 暂时work aground jdk版本的问题
>
> 不过这个问题在1.11里面已经正式修复，就不需要再带上了
>
>
> Best,
> Yang
>
> <a5...@163.com> 于2020年6月8日周一 下午5:44写道：
>
> > Hi，all：
> >
> > 看到git上关于kubernetes-client could not work with java
> > 8u252[1]的问题。根据flink英文邮件列表[2]中的方法添加如下参数，可以正常解决jdk版本的问题
> > -Dcontainerized.master.env.HTTP2_DISABLE=true
> >
> > 感谢yang wang
> >
> > [1] https://github.com/fabric8io/kubernetes-client/issues/2212
> > [2]
> >
> http://apache-flink-user-mailing-list-archive.2336050.n4.nabble.com/Native-K8S-not-creating-TMs-td35703.html
> >
> > Best
> >
> >
> >
> >
> > | |
> > a511955993
> > |
> > |
> > 邮箱：a511955993@163.com
> > |
> >
> > 签名由 网易邮箱大师 定制
> >
> > 在2020年05月28日 17:48，a511955993@163.com 写道：
> > 感谢两位大佬的回复，期待native kubernetes更多的特性出现
> >
> >
> >
> >
> > | |
> > a511955993
> > |
> > |
> > 邮箱：a511955993@163.com
> > |
> >
> > 签名由 网易邮箱大师 定制
> >
> > 在2020年05月28日 17:39，Yang Wang 写道：
> > 您好，
> >
> > 目前native方式还没有办法来挂载volume，包括hostpath、persistent volume等
> > 这个目前已经有了JIRA ticket[1]，但是还没有开始做
> >
> > 如果你感兴趣，可以参与进来一起
> >
> > [1]. https://issues.apache.org/jira/browse/FLINK-15649
> >
> > Best,
> > Yang
> >
> > Yangze Guo <ka...@gmail.com> 于2020年5月28日周四 下午4:11写道：
> >
> > > 您好，我来回来一下第一个大问题
> > >
> > > 1.
> > >
> >
> resources.requests.cpu和resources.limits.cpu都会被设置为kubernetes.jobmanager.cpu
> > > 2. external-resource.<resource_name>.kubernetes.config-key
> > > 是为1.11的新特性扩展资源框架[1]而加入的。请不要使用它来配置cpu和memory。
> > >
> > >
> > > [1] https://issues.apache.org/jira/browse/FLINK-17044
> > >
> > > Best,
> > > Yangze Guo
> > >
> > > On Thu, May 28, 2020 at 3:48 PM <a5...@163.com> wrote:
> > > >
> > > >
> > > >
> > > > hi all
> > > >
> > > > 我在使用native kubernetes的时候，对几个配置项有疑问，想得到解答。
> > > >
> > > > 1.
> > > kubernetes.jobmanager.cpu配置项针对一个TM配置多少个cpu资源，是否在resources.requests.cpu
> 或者
> > > resources.limits.cpu也做了配置？
> > > > 在
> > >
> >
> https://ci.apache.org/projects/flink/flink-docs-master/ops/config.html#kubernetes
> > > 上看到对应的一个新的配置external-resource.<resource_name>.kubernetes.config-key。
> > > >
> > >
> >
> 对external-resource.<resource_name>.kubernetes.config-key和kubernetes.jobmanager.cpu这两个参数的作用有点疑问，如何配置才是对TM的cpu使用加上了限制。
> > > >
> > > >
> > > > 2.
> > >
> >
> 大部分作业使用rocksdb状态后台，会把状态的文件写到固盘，在kubernetes中挂载到hostPath。如果是native，应该如何实现磁盘的挂载呢。
> > > >
> > > > Looking forward to your reply and help.
> > > >
> > > > Best
> > > >
> > > > | |
> > > > a511955993
> > > > |
> > > > |
> > > > 邮箱：a511955993@163.com
> > > > |
> > > >
> > > > 签名由 网易邮箱大师 定制
> > >
> >
>
回复：关于kubernetes native配置的疑问
Posted by a5...@163.com.
hi yang
1.11是通过什么方式解决这个问题的？升级client版本吗
| |
a511955993
|
|
邮箱：a511955993@163.com
|
签名由 网易邮箱大师 定制
在2020年06月09日 11:31，Yang Wang 写道：
是的，使用-Dcontainerized.master.env.HTTP2_DISABLE=true可以
通过传递ENV给他JobManager的pod强制disable掉http2的加载，
暂时work aground jdk版本的问题
不过这个问题在1.11里面已经正式修复，就不需要再带上了
Best,
Yang
<a5...@163.com> 于2020年6月8日周一 下午5:44写道：
> Hi，all：
>
> 看到git上关于kubernetes-client could not work with java
> 8u252[1]的问题。根据flink英文邮件列表[2]中的方法添加如下参数，可以正常解决jdk版本的问题
> -Dcontainerized.master.env.HTTP2_DISABLE=true
>
> 感谢yang wang
>
> [1] https://github.com/fabric8io/kubernetes-client/issues/2212
> [2]
> http://apache-flink-user-mailing-list-archive.2336050.n4.nabble.com/Native-K8S-not-creating-TMs-td35703.html
>
> Best
>
>
>
>
> | |
> a511955993
> |
> |
> 邮箱：a511955993@163.com
> |
>
> 签名由 网易邮箱大师 定制
>
> 在2020年05月28日 17:48，a511955993@163.com 写道：
> 感谢两位大佬的回复，期待native kubernetes更多的特性出现
>
>
>
>
> | |
> a511955993
> |
> |
> 邮箱：a511955993@163.com
> |
>
> 签名由 网易邮箱大师 定制
>
> 在2020年05月28日 17:39，Yang Wang 写道：
> 您好，
>
> 目前native方式还没有办法来挂载volume，包括hostpath、persistent volume等
> 这个目前已经有了JIRA ticket[1]，但是还没有开始做
>
> 如果你感兴趣，可以参与进来一起
>
> [1]. https://issues.apache.org/jira/browse/FLINK-15649
>
> Best,
> Yang
>
> Yangze Guo <ka...@gmail.com> 于2020年5月28日周四 下午4:11写道：
>
> > 您好，我来回来一下第一个大问题
> >
> > 1.
> >
> resources.requests.cpu和resources.limits.cpu都会被设置为kubernetes.jobmanager.cpu
> > 2. external-resource.<resource_name>.kubernetes.config-key
> > 是为1.11的新特性扩展资源框架[1]而加入的。请不要使用它来配置cpu和memory。
> >
> >
> > [1] https://issues.apache.org/jira/browse/FLINK-17044
> >
> > Best,
> > Yangze Guo
> >
> > On Thu, May 28, 2020 at 3:48 PM <a5...@163.com> wrote:
> > >
> > >
> > >
> > > hi all
> > >
> > > 我在使用native kubernetes的时候，对几个配置项有疑问，想得到解答。
> > >
> > > 1.
> > kubernetes.jobmanager.cpu配置项针对一个TM配置多少个cpu资源，是否在resources.requests.cpu 或者
> > resources.limits.cpu也做了配置？
> > > 在
> >
> https://ci.apache.org/projects/flink/flink-docs-master/ops/config.html#kubernetes
> > 上看到对应的一个新的配置external-resource.<resource_name>.kubernetes.config-key。
> > >
> >
> 对external-resource.<resource_name>.kubernetes.config-key和kubernetes.jobmanager.cpu这两个参数的作用有点疑问，如何配置才是对TM的cpu使用加上了限制。
> > >
> > >
> > > 2.
> >
> 大部分作业使用rocksdb状态后台，会把状态的文件写到固盘，在kubernetes中挂载到hostPath。如果是native，应该如何实现磁盘的挂载呢。
> > >
> > > Looking forward to your reply and help.
> > >
> > > Best
> > >
> > > | |
> > > a511955993
> > > |
> > > |
> > > 邮箱：a511955993@163.com
> > > |
> > >
> > > 签名由 网易邮箱大师 定制
> >
>