You are viewing a plain text version of this content. The canonical link for it is here.

Posted to user-zh@flink.apache.org by "yuankuo.xia" <en...@vip.qq.com> on 2021/10/26 06:56:00 UTC

回复：flink keyby之后数据倾斜的问题

大佬们：

如果filter是有状态的，是不是所有filter共享同一个状态




------------------&nbsp;原始邮件&nbsp;------------------
发件人:                                                                                                                        "user-zh"                                                                                    <endlesslove008@vip.qq.com&gt;;
发送时间:&nbsp;2021年10月26日(星期二) 下午2:04
收件人:&nbsp;"user-zh"<user-zh@flink.apache.org&gt;;

主题:&nbsp;flink keyby之后数据倾斜的问题



hello everyone！&amp;nbsp; &amp;nbsp; &amp;nbsp; &amp;nbsp; &amp;nbsp; &amp;nbsp; &amp;nbsp; &amp;nbsp;
&amp;nbsp; &amp;nbsp; &amp;nbsp; 向大家求助一个使用keyby后导致数据倾斜的问题。&amp;nbsp; &amp;nbsp; &amp;nbsp;


&amp;nbsp; &amp;nbsp; &amp;nbsp; 背景：使用flink streamAPI进行数据处理和提取，结果写入物理存储。 处理后会将数据量放大10倍左右。
&amp;nbsp; &amp;nbsp; &amp;nbsp; &amp;nbsp; &amp;nbsp; &amp;nbsp; &amp;nbsp; 考虑到其中有大量重复数据，使用flink状态根据id进行精确去重。去重前使用keyby id对数据进行分区。


&amp;nbsp; &amp;nbsp; &amp;nbsp; 问题：目前keyby之后会产生数据倾斜，倾斜比例&amp;nbsp; 高:低≈3:1， 各位大佬有什么好的方案处理这个问题吗？