You are viewing a plain text version of this content. The canonical link for it is here.
Posted to user-zh@flink.apache.org by "casel.chen" <ca...@126.com> on 2022/08/05 01:24:20 UTC
Flink Native Kubernetes Resources Requests and Limits
我通过flink native kubernetes部署flink 1.13.2作业到k8s上发现资源实际使用量远小于请求量，特别是CPU，启动的时候CPU消耗多一些，运行一段时间后CPU消耗显著降低，如果设置CPU值较小的话又会造成作业启动慢的问题，查了一下当前实现中将资源requests恒等于limits，请问该如何分别设置cpu和内存的requests和limits以提高资源使用效率呢？谢谢！
Re:Flink Native Kubernetes Resources Requests and Limits
Posted by spoon_lz <sp...@126.com>.
看了下关于资源比例的参数是1.15版本才有的，1.13是没有的
内存的配置参数是 kubernetes.taskmanager.memory.limit-factor
https://nightlies.apache.org/flink/flink-docs-release-1.15/docs/deployment/config/#kubernetes-taskmanager-memory-limit-factor
On 08/28/2022 11:55，casel.chen<ca...@126.com> wrote：
内存有相应的requests和limits参数吗？找了一圈没有发现，都设的是requests=limits，是为了作业高可靠保障么？如果要能够调整内存使用大小的话应该要如何实现呢？实际业务朝夕现象很鲜明，希望作业在低峰期能空出一些内存资源来
在 2022-08-05 10:42:48，"spoon_lz" <sp...@126.com> 写道：
可以尝试使用个参数：
kubernetes.taskmanager.cpu.limit-factor
https://nightlies.apache.org/flink/flink-docs-release-1.15/docs/deployment/config/#kubernetes-taskmanager-cpu-limit-factor
On 08/5/2022 09:24，casel.chen<ca...@126.com> wrote：
我通过flink native kubernetes部署flink 1.13.2作业到k8s上发现资源实际使用量远小于请求量，特别是CPU，启动的时候CPU消耗多一些，运行一段时间后CPU消耗显著降低，如果设置CPU值较小的话又会造成作业启动慢的问题，查了一下当前实现中将资源requests恒等于limits，请问该如何分别设置cpu和内存的requests和limits以提高资源使用效率呢？谢谢！
Re:Re:Flink Native Kubernetes Resources Requests and Limits
Posted by "casel.chen" <ca...@126.com>.
内存有相应的requests和limits参数吗？找了一圈没有发现，都设的是requests=limits，是为了作业高可靠保障么？如果要能够调整内存使用大小的话应该要如何实现呢？实际业务朝夕现象很鲜明，希望作业在低峰期能空出一些内存资源来
在 2022-08-05 10:42:48，"spoon_lz" <sp...@126.com> 写道：
>
>
>可以尝试使用个参数：
>kubernetes.taskmanager.cpu.limit-factor
>
>
>https://nightlies.apache.org/flink/flink-docs-release-1.15/docs/deployment/config/#kubernetes-taskmanager-cpu-limit-factor
>
>
>On 08/5/2022 09:24，casel.chen<ca...@126.com> wrote：
>我通过flink native kubernetes部署flink 1.13.2作业到k8s上发现资源实际使用量远小于请求量，特别是CPU，启动的时候CPU消耗多一些，运行一段时间后CPU消耗显著降低，如果设置CPU值较小的话又会造成作业启动慢的问题，查了一下当前实现中将资源requests恒等于limits，请问该如何分别设置cpu和内存的requests和limits以提高资源使用效率呢？谢谢！
Re:Flink Native Kubernetes Resources Requests and Limits
Posted by spoon_lz <sp...@126.com>.
可以尝试使用个参数：
kubernetes.taskmanager.cpu.limit-factor
https://nightlies.apache.org/flink/flink-docs-release-1.15/docs/deployment/config/#kubernetes-taskmanager-cpu-limit-factor
On 08/5/2022 09:24，casel.chen<ca...@126.com> wrote：
我通过flink native kubernetes部署flink 1.13.2作业到k8s上发现资源实际使用量远小于请求量，特别是CPU，启动的时候CPU消耗多一些，运行一段时间后CPU消耗显著降低，如果设置CPU值较小的话又会造成作业启动慢的问题，查了一下当前实现中将资源requests恒等于limits，请问该如何分别设置cpu和内存的requests和limits以提高资源使用效率呢？谢谢！