回复：flink slot资源隔离

[吴磊 <wu...@foxmail.com>]

我的理解是 Flink StandAlone 模式内存不会隔离，会影响同一台服务器上其他作业；
Flink-On-Yarn 内存是隔离的，由Container来做资源隔离。




------------------ 原始邮件 ------------------
发件人:                                                                                                                        "user-zh"                                                                                    <hinobleyd@gmail.com&gt;;
发送时间:&nbsp;2020年10月21日(星期三) 上午10:06
收件人:&nbsp;"user-zh"<user-zh@flink.apache.org&gt;;

主题:&nbsp;flink slot资源隔离



flink slot的资源隔离，内存会真实隔离嘛？cpu肯定不会。

Re: flink slot资源隔离

[Xintong Song <to...@gmail.com>]

>
> 那不使用rocksdb的话，本身主要就是heap。那岂不是slot唯一作用就是安排任务并行度（控制线程数量等），没有什么隔离作用本质上。
>
managed memory 目前可以用于三种用途：rocksdb state backend、python udf 以及 flink 内置的
batch operator。
如果上述三种都没有用到的话，那么确实如你所说，slot 只有调度方面的意义，没有隔离作用。

Flink-On-Yarn 内存是隔离的，由Container来做资源隔离。

这个也不是绝对的，要看 Yarn 的 配置。有些 Yarn 集群是允许资源超用、超卖的，Containter 之间也可能存在相互影响。


Thank you~

Xintong Song



On Wed, Oct 21, 2020 at 4:11 PM 吴磊 <wu...@foxmail.com> wrote:

> 我的理解是 Flink StandAlone 模式内存不会隔离，会影响同一台服务器上其他作业；
> Flink-On-Yarn 内存是隔离的，由Container来做资源隔离。
>
>
>
>
> ------------------&nbsp;原始邮件&nbsp;------------------
> 发件人:
>                                                   "user-zh"
>                                                                     <
> hinobleyd@gmail.com&gt;;
> 发送时间:&nbsp;2020年10月21日(星期三) 上午10:06
> 收件人:&nbsp;"user-zh"<user-zh@flink.apache.org&gt;;
>
> 主题:&nbsp;flink slot资源隔离
>
>
>
> flink slot的资源隔离，内存会真实隔离嘛？cpu肯定不会。