You are viewing a plain text version of this content. The canonical link for it is here.
Posted to user-zh@flink.apache.org by 出发 <57...@qq.com> on 2020/04/28 11:07:57 UTC

flink 内存设置问题-metaspace 溢出

物理机内存:124G当进行如下设置时候
taskmanager.memory.process.size: 65536m

es5-connector sink数据
此时会出现频繁fullgc java.lang.OutOfMemoryError: Metaspace



当我设置
taskmanager.memory.process.size: 1568m
es5-connector sink数据
不会出现溢出问题


这个问题非常的困扰,实在不明白,我设置大内存之后,并没有影响到metaspace,而且当用系统默认内存时候竟然不出错,百思不得其解。望能够帮助理解下
上述操作重复试验很多次都是一样结果

回复: flink 内存设置问题-metaspace 溢出

Posted by 了不起的盖茨比 <57...@qq.com>.
除了 memory增加,其余配置还是使用默认的。就是不明白,为什么我内存增加了,反而会出现full gc情况,之后taskmanager失去心跳,然后继续提交job,出现metaspace溢出这个情况。
在使用默认配置内存时候反而是没有出现fullgc。想明白其中缘由。


------------------&nbsp;原始邮件&nbsp;------------------
发件人:&nbsp;"Xintong Song"<tonysong820@gmail.com&gt;;
发送时间:&nbsp;2020年4月29日(星期三) 中午11:00
收件人:&nbsp;"user-zh"<user-zh@flink.apache.org&gt;;

主题:&nbsp;Re: flink 内存设置问题-metaspace 溢出



Metaspace OOM 通常是 JVM 加载的类过多导致的。TM 内存从 1568m 增大到 65536m,是否有增加 slot
的数量呢?这个有可能造成运行时加载的类变多,metaspace 大小不变的情况下也可能会触发 OOM。
目前社区已经收到许多反馈,关于 1.10.0 的默认 metaspace 大小可能不太合理,在 1.10.1 中会调大这个默认值。你这边也可以先把
taskmanager.memory.metaspace.size 调到 256m 试一试。

Thank you~

Xintong Song



On Tue, Apr 28, 2020 at 7:21 PM 出发 <573693104@qq.com&gt; wrote:

&gt; 物理机内存:124G当进行如下设置时候
&gt; taskmanager.memory.process.size: 65536m
&gt;
&gt; es5-connector sink数据
&gt; 此时会出现频繁fullgc java.lang.OutOfMemoryError: Metaspace
&gt;
&gt;
&gt;
&gt; 当我设置
&gt; taskmanager.memory.process.size: 1568m
&gt; es5-connector sink数据
&gt; 不会出现溢出问题
&gt;
&gt;
&gt; 这个问题非常的困扰,实在不明白,我设置大内存之后,并没有影响到metaspace,而且当用系统默认内存时候竟然不出错,百思不得其解。望能够帮助理解下
&gt; 上述操作重复试验很多次都是一样结果

Re: flink 内存设置问题-metaspace 溢出

Posted by Xintong Song <to...@gmail.com>.
>
> 这是我在gceasy分析出来的报告,看了log,确实是加大内存时候,出现的,第一次去看这个log,还请大佬帮忙看看,附件也上传了log了。


你这个只有 process.size=65536m 的时候的日志吧,我的意思是说 process.size=1568m 的时候 full GC
应该也存在,只不过单次时间会更短。


另外你这个也不是发生 metaspace oom 时候的日志吧,从你的这个日志上看,metaspace 才用了不到 80m,最大是 256m。


Thank you~

Xintong Song



On Wed, Apr 29, 2020 at 2:57 PM 了不起的盖茨比 <57...@qq.com> wrote:

> 嗯呢谢谢我去看看
>
>
>
>
> ------------------&nbsp;原始邮件&nbsp;------------------
> 发件人:&nbsp;"Michael Ran"<greemqqran@163.com&gt;;
> 发送时间:&nbsp;2020年4月29日(星期三) 下午2:55
> 收件人:&nbsp;"user-zh"<user-zh@flink.apache.org&gt;;
>
> 主题:&nbsp;Re:回复: flink 内存设置问题-metaspace 溢出
>
>
>
> 可以看看介绍:
> https://flink.apache.org/news/2020/04/21/memory-management-improvements-flink-1.10.html
> 后续改进: https://issues.apache.org/jira/browse/FLINK-16406
>
>
>
> 在 2020-04-29 14:09:21,"了不起的盖茨比" <573693104@qq.com&gt; 写道:
>
>
> https://gceasy.io/my-gc-report.jsp?p=YXJjaGl2ZWQvMjAyMC8wNC8yOC8tLWdjLmxvZy0tNC0xMC01Ng==&amp;channel=WEB
>
>
> 这是我在gceasy分析出来的报告,看了log,确实是加大内存时候,出现的,第一次去看这个log,还请大佬帮忙看看,附件也上传了log了。
> ------------------ 原始邮件 ------------------
> 发件人: "Xintong Song"<tonysong820@gmail.com&gt;;
> 发送时间: 2020年4月29日(星期三) 中午12:45
> 收件人: "user-zh"<user-zh@flink.apache.org&gt;;
> 主题: Re: flink 内存设置问题-metaspace 溢出
>
>
> full GC 应该不是增大内存后才出现的,这一点可以确认一下 GC log。但是增大内存,可能会造成一次 full GC 花费的时间更长,从而导致
> TM 心跳超时。
> 同样的,metaspace OOM 也可能是由于 GC 速度变慢造成的。JVM 有单独的线程负责 GC,通常是在
> heap/direct/metaspace 这些区域用满之前达到某个阈值就开始 GC,如果 GC 速度慢于内存申请的速度,也有可能造成 OOM。
> 按照我们的经验,一个 TM 用 64G 也是比较大了,如果都是以 java heap 内存为主的话,那可能需要具体配一下 GC 策略。
>
> Thank you~
>
> Xintong Song
>
>
>
> On Wed, Apr 29, 2020 at 12:27 PM 了不起的盖茨比 <573693104@qq.com&gt; wrote:
>
> &gt; 除了 memory增加,其余配置还是使用默认的。就是不明白,为什么我内存增加了,反而会出现full
> &gt; gc情况,之后taskmanager失去心跳,然后继续提交job,出现metaspace溢出这个情况。
> &gt; 在使用默认配置内存时候反而是没有出现fullgc。想明白其中缘由。
> &gt;
> &gt;
> &gt;
> &gt;
> &gt;
> &gt; ------------------&amp;nbsp;原始邮件&amp;nbsp;------------------
> &gt; 发件人:&amp;nbsp;"Xintong Song"<tonysong820@gmail.com&amp;gt;;
> &gt; 发送时间:&amp;nbsp;2020年4月29日(星期三) 中午11:00
> &gt; 收件人:&amp;nbsp;"user-zh"<user-zh@flink.apache.org&amp;gt;;
> &gt;
> &gt; 主题:&amp;nbsp;Re: flink 内存设置问题-metaspace 溢出
> &gt;
> &gt;
> &gt;
> &gt; Metaspace OOM 通常是 JVM 加载的类过多导致的。TM 内存从 1568m 增大到 65536m,是否有增加 slot
> &gt; 的数量呢?这个有可能造成运行时加载的类变多,metaspace 大小不变的情况下也可能会触发 OOM。
> &gt; 目前社区已经收到许多反馈,关于 1.10.0 的默认 metaspace 大小可能不太合理,在 1.10.1
> 中会调大这个默认值。你这边也可以先把
> &gt; taskmanager.memory.metaspace.size 调到 256m 试一试。
> &gt;
> &gt; Thank you~
> &gt;
> &gt; Xintong Song
> &gt;
> &gt;
> &gt;
> &gt; On Tue, Apr 28, 2020 at 7:21 PM 出发 <573693104@qq.com&amp;gt; wrote:
> &gt;
> &gt; &amp;gt; 物理机内存:124G当进行如下设置时候
> &gt; &amp;gt; taskmanager.memory.process.size: 65536m
> &gt; &amp;gt;
> &gt; &amp;gt; es5-connector sink数据
> &gt; &amp;gt; 此时会出现频繁fullgc java.lang.OutOfMemoryError: Metaspace
> &gt; &amp;gt;
> &gt; &amp;gt;
> &gt; &amp;gt;
> &gt; &amp;gt; 当我设置
> &gt; &amp;gt; taskmanager.memory.process.size: 1568m
> &gt; &amp;gt; es5-connector sink数据
> &gt; &amp;gt; 不会出现溢出问题
> &gt; &amp;gt;
> &gt; &amp;gt;
> &gt; &amp;gt;
> &gt;
> 这个问题非常的困扰,实在不明白,我设置大内存之后,并没有影响到metaspace,而且当用系统默认内存时候竟然不出错,百思不得其解。望能够帮助理解下
> &gt; &amp;gt; 上述操作重复试验很多次都是一样结果

回复: flink 内存设置问题-metaspace 溢出

Posted by 了不起的盖茨比 <57...@qq.com>.
嗯呢谢谢我去看看




------------------&nbsp;原始邮件&nbsp;------------------
发件人:&nbsp;"Michael Ran"<greemqqran@163.com&gt;;
发送时间:&nbsp;2020年4月29日(星期三) 下午2:55
收件人:&nbsp;"user-zh"<user-zh@flink.apache.org&gt;;

主题:&nbsp;Re:回复: flink 内存设置问题-metaspace 溢出



可以看看介绍: https://flink.apache.org/news/2020/04/21/memory-management-improvements-flink-1.10.html
后续改进: https://issues.apache.org/jira/browse/FLINK-16406



在 2020-04-29 14:09:21,"了不起的盖茨比" <573693104@qq.com&gt; 写道:

https://gceasy.io/my-gc-report.jsp?p=YXJjaGl2ZWQvMjAyMC8wNC8yOC8tLWdjLmxvZy0tNC0xMC01Ng==&amp;channel=WEB


这是我在gceasy分析出来的报告,看了log,确实是加大内存时候,出现的,第一次去看这个log,还请大佬帮忙看看,附件也上传了log了。
------------------ 原始邮件 ------------------
发件人: "Xintong Song"<tonysong820@gmail.com&gt;;
发送时间: 2020年4月29日(星期三) 中午12:45
收件人: "user-zh"<user-zh@flink.apache.org&gt;;
主题: Re: flink 内存设置问题-metaspace 溢出


full GC 应该不是增大内存后才出现的,这一点可以确认一下 GC log。但是增大内存,可能会造成一次 full GC 花费的时间更长,从而导致
TM 心跳超时。
同样的,metaspace OOM 也可能是由于 GC 速度变慢造成的。JVM 有单独的线程负责 GC,通常是在
heap/direct/metaspace 这些区域用满之前达到某个阈值就开始 GC,如果 GC 速度慢于内存申请的速度,也有可能造成 OOM。
按照我们的经验,一个 TM 用 64G 也是比较大了,如果都是以 java heap 内存为主的话,那可能需要具体配一下 GC 策略。

Thank you~

Xintong Song



On Wed, Apr 29, 2020 at 12:27 PM 了不起的盖茨比 <573693104@qq.com&gt; wrote:

&gt; 除了 memory增加,其余配置还是使用默认的。就是不明白,为什么我内存增加了,反而会出现full
&gt; gc情况,之后taskmanager失去心跳,然后继续提交job,出现metaspace溢出这个情况。
&gt; 在使用默认配置内存时候反而是没有出现fullgc。想明白其中缘由。
&gt;
&gt;
&gt;
&gt;
&gt;
&gt; ------------------&amp;nbsp;原始邮件&amp;nbsp;------------------
&gt; 发件人:&amp;nbsp;"Xintong Song"<tonysong820@gmail.com&amp;gt;;
&gt; 发送时间:&amp;nbsp;2020年4月29日(星期三) 中午11:00
&gt; 收件人:&amp;nbsp;"user-zh"<user-zh@flink.apache.org&amp;gt;;
&gt;
&gt; 主题:&amp;nbsp;Re: flink 内存设置问题-metaspace 溢出
&gt;
&gt;
&gt;
&gt; Metaspace OOM 通常是 JVM 加载的类过多导致的。TM 内存从 1568m 增大到 65536m,是否有增加 slot
&gt; 的数量呢?这个有可能造成运行时加载的类变多,metaspace 大小不变的情况下也可能会触发 OOM。
&gt; 目前社区已经收到许多反馈,关于 1.10.0 的默认 metaspace 大小可能不太合理,在 1.10.1 中会调大这个默认值。你这边也可以先把
&gt; taskmanager.memory.metaspace.size 调到 256m 试一试。
&gt;
&gt; Thank you~
&gt;
&gt; Xintong Song
&gt;
&gt;
&gt;
&gt; On Tue, Apr 28, 2020 at 7:21 PM 出发 <573693104@qq.com&amp;gt; wrote:
&gt;
&gt; &amp;gt; 物理机内存:124G当进行如下设置时候
&gt; &amp;gt; taskmanager.memory.process.size: 65536m
&gt; &amp;gt;
&gt; &amp;gt; es5-connector sink数据
&gt; &amp;gt; 此时会出现频繁fullgc java.lang.OutOfMemoryError: Metaspace
&gt; &amp;gt;
&gt; &amp;gt;
&gt; &amp;gt;
&gt; &amp;gt; 当我设置
&gt; &amp;gt; taskmanager.memory.process.size: 1568m
&gt; &amp;gt; es5-connector sink数据
&gt; &amp;gt; 不会出现溢出问题
&gt; &amp;gt;
&gt; &amp;gt;
&gt; &amp;gt;
&gt; 这个问题非常的困扰,实在不明白,我设置大内存之后,并没有影响到metaspace,而且当用系统默认内存时候竟然不出错,百思不得其解。望能够帮助理解下
&gt; &amp;gt; 上述操作重复试验很多次都是一样结果

Re:回复: flink 内存设置问题-metaspace 溢出

Posted by Michael Ran <gr...@163.com>.
可以看看介绍: https://flink.apache.org/news/2020/04/21/memory-management-improvements-flink-1.10.html
后续改进: https://issues.apache.org/jira/browse/FLINK-16406



在 2020-04-29 14:09:21,"了不起的盖茨比" <57...@qq.com> 写道:

https://gceasy.io/my-gc-report.jsp?p=YXJjaGl2ZWQvMjAyMC8wNC8yOC8tLWdjLmxvZy0tNC0xMC01Ng==&channel=WEB


这是我在gceasy分析出来的报告,看了log,确实是加大内存时候,出现的,第一次去看这个log,还请大佬帮忙看看,附件也上传了log了。
------------------ 原始邮件 ------------------
发件人: "Xintong Song"<to...@gmail.com>;
发送时间: 2020年4月29日(星期三) 中午12:45
收件人: "user-zh"<us...@flink.apache.org>;
主题: Re: flink 内存设置问题-metaspace 溢出


full GC 应该不是增大内存后才出现的,这一点可以确认一下 GC log。但是增大内存,可能会造成一次 full GC 花费的时间更长,从而导致
TM 心跳超时。
同样的,metaspace OOM 也可能是由于 GC 速度变慢造成的。JVM 有单独的线程负责 GC,通常是在
heap/direct/metaspace 这些区域用满之前达到某个阈值就开始 GC,如果 GC 速度慢于内存申请的速度,也有可能造成 OOM。
按照我们的经验,一个 TM 用 64G 也是比较大了,如果都是以 java heap 内存为主的话,那可能需要具体配一下 GC 策略。

Thank you~

Xintong Song



On Wed, Apr 29, 2020 at 12:27 PM 了不起的盖茨比 <57...@qq.com> wrote:

> 除了 memory增加,其余配置还是使用默认的。就是不明白,为什么我内存增加了,反而会出现full
> gc情况,之后taskmanager失去心跳,然后继续提交job,出现metaspace溢出这个情况。
> 在使用默认配置内存时候反而是没有出现fullgc。想明白其中缘由。
>
>
>
>
>
> ------------------&nbsp;原始邮件&nbsp;------------------
> 发件人:&nbsp;"Xintong Song"<tonysong820@gmail.com&gt;;
> 发送时间:&nbsp;2020年4月29日(星期三) 中午11:00
> 收件人:&nbsp;"user-zh"<user-zh@flink.apache.org&gt;;
>
> 主题:&nbsp;Re: flink 内存设置问题-metaspace 溢出
>
>
>
> Metaspace OOM 通常是 JVM 加载的类过多导致的。TM 内存从 1568m 增大到 65536m,是否有增加 slot
> 的数量呢?这个有可能造成运行时加载的类变多,metaspace 大小不变的情况下也可能会触发 OOM。
> 目前社区已经收到许多反馈,关于 1.10.0 的默认 metaspace 大小可能不太合理,在 1.10.1 中会调大这个默认值。你这边也可以先把
> taskmanager.memory.metaspace.size 调到 256m 试一试。
>
> Thank you~
>
> Xintong Song
>
>
>
> On Tue, Apr 28, 2020 at 7:21 PM 出发 <573693104@qq.com&gt; wrote:
>
> &gt; 物理机内存:124G当进行如下设置时候
> &gt; taskmanager.memory.process.size: 65536m
> &gt;
> &gt; es5-connector sink数据
> &gt; 此时会出现频繁fullgc java.lang.OutOfMemoryError: Metaspace
> &gt;
> &gt;
> &gt;
> &gt; 当我设置
> &gt; taskmanager.memory.process.size: 1568m
> &gt; es5-connector sink数据
> &gt; 不会出现溢出问题
> &gt;
> &gt;
> &gt;
> 这个问题非常的困扰,实在不明白,我设置大内存之后,并没有影响到metaspace,而且当用系统默认内存时候竟然不出错,百思不得其解。望能够帮助理解下
> &gt; 上述操作重复试验很多次都是一样结果

回复: flink 内存设置问题-metaspace 溢出

Posted by 了不起的盖茨比 <57...@qq.com>.
https://gceasy.io/my-gc-report.jsp?p=YXJjaGl2ZWQvMjAyMC8wNC8yOC8tLWdjLmxvZy0tNC0xMC01Ng==&amp;channel=WEB


这是我在gceasy分析出来的报告,看了log,确实是加大内存时候,出现的,第一次去看这个log,还请大佬帮忙看看,附件也上传了log了。
------------------&nbsp;原始邮件&nbsp;------------------
发件人:&nbsp;"Xintong Song"<tonysong820@gmail.com&gt;;
发送时间:&nbsp;2020年4月29日(星期三) 中午12:45
收件人:&nbsp;"user-zh"<user-zh@flink.apache.org&gt;;

主题:&nbsp;Re: flink 内存设置问题-metaspace 溢出



full GC 应该不是增大内存后才出现的,这一点可以确认一下 GC log。但是增大内存,可能会造成一次 full GC 花费的时间更长,从而导致
TM 心跳超时。
同样的,metaspace OOM 也可能是由于 GC 速度变慢造成的。JVM 有单独的线程负责 GC,通常是在
heap/direct/metaspace 这些区域用满之前达到某个阈值就开始 GC,如果 GC 速度慢于内存申请的速度,也有可能造成 OOM。
按照我们的经验,一个 TM 用 64G 也是比较大了,如果都是以 java heap 内存为主的话,那可能需要具体配一下 GC 策略。

Thank you~

Xintong Song



On Wed, Apr 29, 2020 at 12:27 PM 了不起的盖茨比 <573693104@qq.com&gt; wrote:

&gt; 除了 memory增加,其余配置还是使用默认的。就是不明白,为什么我内存增加了,反而会出现full
&gt; gc情况,之后taskmanager失去心跳,然后继续提交job,出现metaspace溢出这个情况。
&gt; 在使用默认配置内存时候反而是没有出现fullgc。想明白其中缘由。
&gt;
&gt;
&gt;
&gt;
&gt;
&gt; ------------------&amp;nbsp;原始邮件&amp;nbsp;------------------
&gt; 发件人:&amp;nbsp;"Xintong Song"<tonysong820@gmail.com&amp;gt;;
&gt; 发送时间:&amp;nbsp;2020年4月29日(星期三) 中午11:00
&gt; 收件人:&amp;nbsp;"user-zh"<user-zh@flink.apache.org&amp;gt;;
&gt;
&gt; 主题:&amp;nbsp;Re: flink 内存设置问题-metaspace 溢出
&gt;
&gt;
&gt;
&gt; Metaspace OOM 通常是 JVM 加载的类过多导致的。TM 内存从 1568m 增大到 65536m,是否有增加 slot
&gt; 的数量呢?这个有可能造成运行时加载的类变多,metaspace 大小不变的情况下也可能会触发 OOM。
&gt; 目前社区已经收到许多反馈,关于 1.10.0 的默认 metaspace 大小可能不太合理,在 1.10.1 中会调大这个默认值。你这边也可以先把
&gt; taskmanager.memory.metaspace.size 调到 256m 试一试。
&gt;
&gt; Thank you~
&gt;
&gt; Xintong Song
&gt;
&gt;
&gt;
&gt; On Tue, Apr 28, 2020 at 7:21 PM 出发 <573693104@qq.com&amp;gt; wrote:
&gt;
&gt; &amp;gt; 物理机内存:124G当进行如下设置时候
&gt; &amp;gt; taskmanager.memory.process.size: 65536m
&gt; &amp;gt;
&gt; &amp;gt; es5-connector sink数据
&gt; &amp;gt; 此时会出现频繁fullgc java.lang.OutOfMemoryError: Metaspace
&gt; &amp;gt;
&gt; &amp;gt;
&gt; &amp;gt;
&gt; &amp;gt; 当我设置
&gt; &amp;gt; taskmanager.memory.process.size: 1568m
&gt; &amp;gt; es5-connector sink数据
&gt; &amp;gt; 不会出现溢出问题
&gt; &amp;gt;
&gt; &amp;gt;
&gt; &amp;gt;
&gt; 这个问题非常的困扰,实在不明白,我设置大内存之后,并没有影响到metaspace,而且当用系统默认内存时候竟然不出错,百思不得其解。望能够帮助理解下
&gt; &amp;gt; 上述操作重复试验很多次都是一样结果

Re: flink 内存设置问题-metaspace 溢出

Posted by Xintong Song <to...@gmail.com>.
full GC 应该不是增大内存后才出现的,这一点可以确认一下 GC log。但是增大内存,可能会造成一次 full GC 花费的时间更长,从而导致
TM 心跳超时。
同样的,metaspace OOM 也可能是由于 GC 速度变慢造成的。JVM 有单独的线程负责 GC,通常是在
heap/direct/metaspace 这些区域用满之前达到某个阈值就开始 GC,如果 GC 速度慢于内存申请的速度,也有可能造成 OOM。
按照我们的经验,一个 TM 用 64G 也是比较大了,如果都是以 java heap 内存为主的话,那可能需要具体配一下 GC 策略。

Thank you~

Xintong Song



On Wed, Apr 29, 2020 at 12:27 PM 了不起的盖茨比 <57...@qq.com> wrote:

> 除了 memory增加,其余配置还是使用默认的。就是不明白,为什么我内存增加了,反而会出现full
> gc情况,之后taskmanager失去心跳,然后继续提交job,出现metaspace溢出这个情况。
> 在使用默认配置内存时候反而是没有出现fullgc。想明白其中缘由。
>
>
>
>
>
> ------------------&nbsp;原始邮件&nbsp;------------------
> 发件人:&nbsp;"Xintong Song"<tonysong820@gmail.com&gt;;
> 发送时间:&nbsp;2020年4月29日(星期三) 中午11:00
> 收件人:&nbsp;"user-zh"<user-zh@flink.apache.org&gt;;
>
> 主题:&nbsp;Re: flink 内存设置问题-metaspace 溢出
>
>
>
> Metaspace OOM 通常是 JVM 加载的类过多导致的。TM 内存从 1568m 增大到 65536m,是否有增加 slot
> 的数量呢?这个有可能造成运行时加载的类变多,metaspace 大小不变的情况下也可能会触发 OOM。
> 目前社区已经收到许多反馈,关于 1.10.0 的默认 metaspace 大小可能不太合理,在 1.10.1 中会调大这个默认值。你这边也可以先把
> taskmanager.memory.metaspace.size 调到 256m 试一试。
>
> Thank you~
>
> Xintong Song
>
>
>
> On Tue, Apr 28, 2020 at 7:21 PM 出发 <573693104@qq.com&gt; wrote:
>
> &gt; 物理机内存:124G当进行如下设置时候
> &gt; taskmanager.memory.process.size: 65536m
> &gt;
> &gt; es5-connector sink数据
> &gt; 此时会出现频繁fullgc java.lang.OutOfMemoryError: Metaspace
> &gt;
> &gt;
> &gt;
> &gt; 当我设置
> &gt; taskmanager.memory.process.size: 1568m
> &gt; es5-connector sink数据
> &gt; 不会出现溢出问题
> &gt;
> &gt;
> &gt;
> 这个问题非常的困扰,实在不明白,我设置大内存之后,并没有影响到metaspace,而且当用系统默认内存时候竟然不出错,百思不得其解。望能够帮助理解下
> &gt; 上述操作重复试验很多次都是一样结果

回复: flink 内存设置问题-metaspace 溢出

Posted by 了不起的盖茨比 <57...@qq.com>.
除了 memory增加,其余配置还是使用默认的。就是不明白,为什么我内存增加了,反而会出现full gc情况,之后taskmanager失去心跳,然后继续提交job,出现metaspace溢出这个情况。
在使用默认配置内存时候反而是没有出现fullgc。想明白其中缘由。





------------------&nbsp;原始邮件&nbsp;------------------
发件人:&nbsp;"Xintong Song"<tonysong820@gmail.com&gt;;
发送时间:&nbsp;2020年4月29日(星期三) 中午11:00
收件人:&nbsp;"user-zh"<user-zh@flink.apache.org&gt;;

主题:&nbsp;Re: flink 内存设置问题-metaspace 溢出



Metaspace OOM 通常是 JVM 加载的类过多导致的。TM 内存从 1568m 增大到 65536m,是否有增加 slot
的数量呢?这个有可能造成运行时加载的类变多,metaspace 大小不变的情况下也可能会触发 OOM。
目前社区已经收到许多反馈,关于 1.10.0 的默认 metaspace 大小可能不太合理,在 1.10.1 中会调大这个默认值。你这边也可以先把
taskmanager.memory.metaspace.size 调到 256m 试一试。

Thank you~

Xintong Song



On Tue, Apr 28, 2020 at 7:21 PM 出发 <573693104@qq.com&gt; wrote:

&gt; 物理机内存:124G当进行如下设置时候
&gt; taskmanager.memory.process.size: 65536m
&gt;
&gt; es5-connector sink数据
&gt; 此时会出现频繁fullgc java.lang.OutOfMemoryError: Metaspace
&gt;
&gt;
&gt;
&gt; 当我设置
&gt; taskmanager.memory.process.size: 1568m
&gt; es5-connector sink数据
&gt; 不会出现溢出问题
&gt;
&gt;
&gt; 这个问题非常的困扰,实在不明白,我设置大内存之后,并没有影响到metaspace,而且当用系统默认内存时候竟然不出错,百思不得其解。望能够帮助理解下
&gt; 上述操作重复试验很多次都是一样结果

Re: flink 内存设置问题-metaspace 溢出

Posted by Xintong Song <to...@gmail.com>.
Metaspace OOM 通常是 JVM 加载的类过多导致的。TM 内存从 1568m 增大到 65536m,是否有增加 slot
的数量呢?这个有可能造成运行时加载的类变多,metaspace 大小不变的情况下也可能会触发 OOM。
目前社区已经收到许多反馈,关于 1.10.0 的默认 metaspace 大小可能不太合理,在 1.10.1 中会调大这个默认值。你这边也可以先把
taskmanager.memory.metaspace.size 调到 256m 试一试。

Thank you~

Xintong Song



On Tue, Apr 28, 2020 at 7:21 PM 出发 <57...@qq.com> wrote:

> 物理机内存:124G当进行如下设置时候
> taskmanager.memory.process.size: 65536m
>
> es5-connector sink数据
> 此时会出现频繁fullgc java.lang.OutOfMemoryError: Metaspace
>
>
>
> 当我设置
> taskmanager.memory.process.size: 1568m
> es5-connector sink数据
> 不会出现溢出问题
>
>
> 这个问题非常的困扰,实在不明白,我设置大内存之后,并没有影响到metaspace,而且当用系统默认内存时候竟然不出错,百思不得其解。望能够帮助理解下
> 上述操作重复试验很多次都是一样结果