You are viewing a plain text version of this content. The canonical link for it is here.
Posted to user-zh@flink.apache.org by 忝忝向仧 <15...@qq.com> on 2020/07/05 07:50:05 UTC
【Flink Join内存问题】
Hi,all:
我看源码里写到JoinedStreams:
也就是说join时候都是走内存计算的，那么如果某个stream的key值过多，会导致oom
那么有什么预防措施呢?
将key值多的一边进行打散？
Right now, the join is being evaluated in memory so you need to ensure that the number
* of elements per key does not get too high. Otherwise the JVM might crash.
Re: 【Flink Join内存问题】
Posted by admin <17...@163.com>.
regular join会缓存两边流的所有数据，interval join只存一段时间内的，相比当然节省很大的状态存储
> 2020年7月13日 下午10:30，忝忝向仧 <15...@qq.com> 写道：
>
> Hi:
>
>
> interval join可以缓解key值过多问题么?
> interval join不也是计算某段时间范围内的join么，跟regular join相比，如何做到避免某个stream的key过多问题?
> 谢谢.
>
>
>
>
> ------------------ 原始邮件 ------------------
> 发件人: "user-zh" <17626017841@163.com>;
> 发送时间: 2020年7月6日(星期一) 中午11:12
> 收件人: "user-zh"<user-zh@flink.apache.org>;
>
> 主题: Re: 【Flink Join内存问题】
>
>
>
> regular join确实是这样，所以量大的话可以用interval join 、temporal join
>
> > 2020年7月5日 下午3:50，忝忝向仧 <153488125@qq.com> 写道：
> >
> > Hi,all:
> >
> > 我看源码里写到JoinedStreams:
> > 也就是说join时候都是走内存计算的，那么如果某个stream的key值过多，会导致oom
> > 那么有什么预防措施呢?
> > 将key值多的一边进行打散？
> >
> >
> > Right now, the join is being evaluated in memory so you need to ensure that the number
> > * of elements per key does not get too high. Otherwise the JVM might crash.
回复： 【Flink Join内存问题】
Posted by 忝忝向仧 <15...@qq.com>.
Hi:
interval join可以缓解key值过多问题么?
interval join不也是计算某段时间范围内的join么，跟regular join相比，如何做到避免某个stream的key过多问题?
谢谢.
------------------ 原始邮件 ------------------
发件人: "user-zh" <17626017841@163.com>;
发送时间: 2020年7月6日(星期一) 中午11:12
收件人: "user-zh"<user-zh@flink.apache.org>;
主题: Re: 【Flink Join内存问题】
regular join确实是这样，所以量大的话可以用interval join 、temporal join
> 2020年7月5日 下午3:50，忝忝向仧 <153488125@qq.com> 写道：
>
> Hi,all:
>
> 我看源码里写到JoinedStreams:
> 也就是说join时候都是走内存计算的，那么如果某个stream的key值过多，会导致oom
> 那么有什么预防措施呢?
> 将key值多的一边进行打散？
>
>
> Right now, the join is being evaluated in memory so you need to ensure that the number
> * of elements per key does not get too high. Otherwise the JVM might crash.
Re: 【Flink Join内存问题】
Posted by admin <17...@163.com>.
regular join确实是这样，所以量大的话可以用interval join 、temporal join
> 2020年7月5日 下午3:50，忝忝向仧 <15...@qq.com> 写道：
>
> Hi,all:
>
> 我看源码里写到JoinedStreams:
> 也就是说join时候都是走内存计算的，那么如果某个stream的key值过多，会导致oom
> 那么有什么预防措施呢?
> 将key值多的一边进行打散？
>
>
> Right now, the join is being evaluated in memory so you need to ensure that the number
> * of elements per key does not get too high. Otherwise the JVM might crash.