Flink SQL 怎么为每一个任务分配不同的内存配置

["yinghua_zh@163.com" <yi...@163.com>]

Flink 作业在提交时可以通过参数指定JobManager 和TaskManager的内存配置，但是SQL执行时怎么为每一个任务指定其内存配置，是不是都是读同一个flink-conf.yaml中的配置？
https://ci.apache.org/projects/flink/flink-docs-release-1.11/zh/ops/config.html#memory-configuration 中内存的配置都是基于flink-conf.yaml文件来操作的，是全局的配置，没有找到基于SQL任务独立配合内存的？



yinghua_zh@163.com

Re: Re: Flink SQL 怎么为每一个任务分配不同的内存配置

[magichuang <ma...@88.com>]

各位好，最近也在思考这个问题，我是采用的flink  on  yarn集群部署的，每次通过Per-job模式提交任务时虽然指定了  -ytm  2048，但是当运行起来之后去看yarn资源会发现可用内存并不是减少2g  而是减少了3g，也就是实际占用会比我给定的内存多1g。
如果每个sql任务单独运行的话，这样会不会造成资源浪费呀？




再用sql语句编写程序时，能不能在一个任务中，在用多个source、transformation、sink情况下，为每个sql单独指定solt数？




祝好~

> ------------------ 原始邮件 ------------------
> 发 件 人："Kyle Zhang" <sh...@gmail.com>
> 发送时间：2020-12-14 09:25:59
> 收 件 人：user-zh@flink.apache.org
> 抄 送：
> 主 题：Re: Flink SQL 怎么为每一个任务分配不同的内存配置
>
> 一个集群跑一个SQL任务怎么样
>
> On Mon, Dec 14, 2020 at 8:42 AM yinghua_zh@163.com
> wrote:
>
> > Flink 作业在提交时可以通过参数指定JobManager
> > 和TaskManager的内存配置，但是SQL执行时怎么为每一个任务指定其内存配置，是不是都是读同一个flink-conf.yaml中的配置？
> >
> > https://ci.apache.org/projects/flink/flink-docs-release-1.11/zh/ops/config.html#memory-configuration
> > 中内存的配置都是基于flink-conf.yaml文件来操作的，是全局的配置，没有找到基于SQL任务独立配合内存的？
> >
> >
> >
> > yinghua_zh@163.com
> >

Re: Flink SQL 怎么为每一个任务分配不同的内存配置

[Kyle Zhang <sh...@gmail.com>]

一个集群跑一个SQL任务怎么样

On Mon, Dec 14, 2020 at 8:42 AM yinghua_zh@163.com <yi...@163.com>
wrote:

> Flink 作业在提交时可以通过参数指定JobManager
> 和TaskManager的内存配置，但是SQL执行时怎么为每一个任务指定其内存配置，是不是都是读同一个flink-conf.yaml中的配置？
>
> https://ci.apache.org/projects/flink/flink-docs-release-1.11/zh/ops/config.html#memory-configuration
> 中内存的配置都是基于flink-conf.yaml文件来操作的，是全局的配置，没有找到基于SQL任务独立配合内存的？
>
>
>
> yinghua_zh@163.com
>