You are viewing a plain text version of this content. The canonical link for it is here.
Posted to user-zh@flink.apache.org by yidan zhao <hi...@gmail.com> on 2022/08/24 05:04:59 UTC
pyflink内存管理
如题，pyflink场景的任务，内存是如何管理呢。
python部分的内存是否算入flink TaskManager配置的内存中呢？
比如python算子通过多进程做各种复杂的运算，这部分内存占用是否算入flink呢？
——————
如果不算的话，使用pyflink时，容器内存和flink TaskManager内存配置是不是需要预留空间？
Re: pyflink内存管理
Posted by zh...@outlook.com.
是的
Best,
Zhanghao Chen
________________________________
From: yidan zhao <hi...@gmail.com>
Sent: Thursday, August 25, 2022 10:20
To: user-zh <us...@flink.apache.org>
Subject: Re: pyflink内存管理
感谢。我是standalone集群，配置到 flink-conf.yaml 就可行吧。
https://stackoverflow.com/questions/64323031/pyflink-1-11-2-couldn-t-configure-taskmanager-memory-task-off-heap-size-proper
该文章说到的必须通过 tableEnv 配置是因为使用 pyflink-shell ？
我提交是用 flink run 提交的。
yu'an huang <h....@gmail.com> 于2022年8月25日周四 09:25写道：
>
> 你好，
> python部分的内存算flink taskmanager 配置的内存，你应该可以用参数
> *'taskmanager.memory.task.off-heap.size*
> 来配置，可以参考这个问题：
> https://stackoverflow.com/questions/64323031/pyflink-1-11-2-couldn-t-configure-taskmanager-memory-task-off-heap-size-proper
>
>
>
> On Wed, 24 Aug 2022 at 1:05 PM, yidan zhao <hi...@gmail.com> wrote:
>
> > 如题，pyflink场景的任务，内存是如何管理呢。
> >
> > python部分的内存是否算入flink TaskManager配置的内存中呢？
> > 比如python算子通过多进程做各种复杂的运算，这部分内存占用是否算入flink呢？
> >
> >
> >
> > ――――――
> > 如果不算的话，使用pyflink时，容器内存和flink TaskManager内存配置是不是需要预留空间？
> >
Re: pyflink内存管理
Posted by yidan zhao <hi...@gmail.com>.
感谢。我是standalone集群，配置到 flink-conf.yaml 就可行吧。
https://stackoverflow.com/questions/64323031/pyflink-1-11-2-couldn-t-configure-taskmanager-memory-task-off-heap-size-proper
该文章说到的必须通过 tableEnv 配置是因为使用 pyflink-shell ？
我提交是用 flink run 提交的。
yu'an huang <h....@gmail.com> 于2022年8月25日周四 09:25写道：
>
> 你好，
> python部分的内存算flink taskmanager 配置的内存，你应该可以用参数
> *'taskmanager.memory.task.off-heap.size*
> 来配置，可以参考这个问题：
> https://stackoverflow.com/questions/64323031/pyflink-1-11-2-couldn-t-configure-taskmanager-memory-task-off-heap-size-proper
>
>
>
> On Wed, 24 Aug 2022 at 1:05 PM, yidan zhao <hi...@gmail.com> wrote:
>
> > 如题，pyflink场景的任务，内存是如何管理呢。
> >
> > python部分的内存是否算入flink TaskManager配置的内存中呢？
> > 比如python算子通过多进程做各种复杂的运算，这部分内存占用是否算入flink呢？
> >
> >
> >
> > ——————
> > 如果不算的话，使用pyflink时，容器内存和flink TaskManager内存配置是不是需要预留空间？
> >
Re: pyflink内存管理
Posted by yu'an huang <h....@gmail.com>.
你好，
python部分的内存算flink taskmanager 配置的内存，你应该可以用参数
*'taskmanager.memory.task.off-heap.size*
来配置，可以参考这个问题：
https://stackoverflow.com/questions/64323031/pyflink-1-11-2-couldn-t-configure-taskmanager-memory-task-off-heap-size-proper
On Wed, 24 Aug 2022 at 1:05 PM, yidan zhao <hi...@gmail.com> wrote:
> 如题，pyflink场景的任务，内存是如何管理呢。
>
> python部分的内存是否算入flink TaskManager配置的内存中呢？
> 比如python算子通过多进程做各种复杂的运算，这部分内存占用是否算入flink呢？
>
>
>
> ——————
> 如果不算的话，使用pyflink时，容器内存和flink TaskManager内存配置是不是需要预留空间？
>