You are viewing a plain text version of this content. The canonical link for it is here.
Posted to user-zh@flink.apache.org by 被惊艳的时光 <25...@qq.com> on 2020/03/27 02:29:45 UTC
回复:(无主题)
并发是200和400两种,集群有270多个节点,不过可用的vcores是6600多,内存是17T左右,看了执行图q43这个存在数据倾斜的的问题,失败的节点存在数据量偏大的情况
---原始邮件---
发件人: "Jingsong Li"<jingsonglee0@gmail.com>
发送时间: 2020年3月27日(周五) 上午10:20
收件人: "被惊艳的时光"<2521929058@qq.com>;
抄送: "user-zh"<user-zh@flink.apache.org>;"lirui"<lirui@apache.org>;
主题: Re: (无主题)
Hi,
- 是否是计算规模的问题?
集群大小合适吗?并发合适吗?
- 是否是Plan不优的问题?
Hive的表有做Analysis吗?
CC: user
Best,
Jingsong Lee
On Thu, Mar 26, 2020 at 8:27 PM 被惊艳的时光 <2521929058@qq.com> wrote:
>
> hello,你好,有个关于flink-sql-benchmark工具的问题需要请教下,在做tpc-ds测试时,当数据量达到4T时(flink版本1.10),q43,q67,q70这三条sql执行出错了,都是在hashjoin的时候失败啦,报错信息是hashjoin迭代的次数过多,不知道之前你们在测试时有没有出现这种情况
>
--
Best, Jingsong Lee