You are viewing a plain text version of this content. The canonical link for it is here.

Posted to user-zh@flink.apache.org by Jun Zou <ni...@gmail.com> on 2021/06/04 08:01:49 UTC

flink 1.11 application模式使用 k8s时如何指定拉起的taskmanager数目

Hi，all：
  我使用flink 1.11.2 的application模式在k8s上提交作业，作业申请的tm数目和期望的不一致。

作业调用DataStream接口注册kafka source和HDFS
sink，中间操作使用sql，sql逻辑是map-only，kafka的分区数目为4
首先，我在yarn上提交同样类型的作业，指定如下参数：

> taskmanager.numberOfTaskSlots：1
>
 parallelism.default：4

产生了4个taskmanager

而在k8s上配置了如下参数：

> taskmanager.numberOfTaskSlots：1
>
parallelism.default：4

kubernetes.taskmanager.cpu：1

却只申请了一个taskmanager。

另外，我使用TopSpeedWindowing这个example，在k8s上提交jar作业能拉起正确的taskmanager数目

flink 1.11 application模式 使用 k8s时如何指定拉起的taskmanager数目

flink 1.11 application模式使用 k8s时如何指定拉起的taskmanager数目