You are viewing a plain text version of this content. The canonical link for it is here.
Posted to user-zh@flink.apache.org by 爱吃鱼 <ai...@163.com> on 2021/01/05 08:17:55 UTC
flink cpu 利用率
怎么提高flink cpu利用率。
业务场景，flink batch ，读取大概两个亿数据的文件，然后进行flatmap处理。
flatmap处理出来的数据转换成表，并用sql 对表的数据进行 max(time),min(time),count等处理。
cpu利用率只有140%左右，机器还有很多资源，请问怎么可以提高flink cpu的利用率。
Re: flink cpu 利用率
Posted by LakeShen <sh...@gmail.com>.
看下 Flink 任务运行,是否是其他机器上的资源先达到瓶颈，而不是 CPU，比如 IO，同时看下你的 flatmap 处理单条记录的时间。
同时也参考上面同学的，是否存在反压，如果 flatmap 逻辑比较复杂，也有这个可能。
Best,
LakeShen
赵一旦 <hi...@gmail.com> 于2021年1月5日周二 下午9:13写道：
>
> 可以看看是否反压。反压说明并行度还是不够，不反压的话看处理速度是否符合预期。符合预期就不用调了，说明你的任务不复杂，那点cpu占用就够了。如果不符合预期，也没有任何反压，那就是source消费速度太慢。
>
>
>
> housezhang <zh...@gmail.com> 于2021年1月5日周二 下午5:44写道：
>
> > 有可能是cpu能够处理得过来，网络io处理不过来了，看看网络使用情况
> >
> >
> >
> > --
> > Sent from: http://apache-flink.147419.n8.nabble.com/
>
Re: flink cpu 利用率
Posted by 赵一旦 <hi...@gmail.com>.
可以看看是否反压。反压说明并行度还是不够，不反压的话看处理速度是否符合预期。符合预期就不用调了，说明你的任务不复杂，那点cpu占用就够了。如果不符合预期，也没有任何反压，那就是source消费速度太慢。
housezhang <zh...@gmail.com> 于2021年1月5日周二 下午5:44写道：
> 有可能是cpu能够处理得过来，网络io处理不过来了，看看网络使用情况
>
>
>
> --
> Sent from: http://apache-flink.147419.n8.nabble.com/
Re: flink cpu 利用率
Posted by housezhang <zh...@gmail.com>.
有可能是cpu能够处理得过来，网络io处理不过来了，看看网络使用情况
--
Sent from: http://apache-flink.147419.n8.nabble.com/
回复：flink cpu 利用率
Posted by 爱吃鱼 <ai...@163.com>.
在2021年01月05日 16:37，爱吃鱼 写道：
24核的机器，已经加到了24的并行度了，然后会 24个并行度的cpu利用率加起来也是140%左右
在 2021-01-05 16:24:30，"赵一旦" <hi...@gmail.com> 写道：
>加大并行度。
>
>爱吃鱼 <ai...@163.com> 于2021年1月5日周二 下午4:18写道：
>
>> 怎么提高flink cpu利用率。
>> 业务场景，flink batch ，读取大概两个亿数据的文件，然后进行flatmap处理。
>> flatmap处理出来的数据转换成表，并用sql 对表的数据进行 max(time),min(time),count等处理。
>> cpu利用率只有140%左右，机器还有很多资源，请问怎么可以提高flink cpu的利用率。
Re:Re: Re: flink cpu 利用率
Posted by 爱吃鱼 <ai...@163.com>.
我在测试的时候12个并行度，16，24都测试了但启任务后的cpu利用率还是 140%左右，不管并行度设置为多少。
在 2021-01-05 16:49:02，"赵一旦" <hi...@gmail.com> 写道：
>不纠结几核。如果任务结点本身不多的话，可以提一提再，只要network buffer数量够就好。
>
>爱吃鱼 <ai...@163.com> 于2021年1月5日周二 下午4:39写道：
>
>> 24核的机器，已经加到了24的并行度了，然后会 24个并行度的cpu利用率加起来也是140%左右
>>
>>
>>
>>
>>
>>
>>
>>
>>
>>
>>
>>
>>
>>
>>
>>
>>
>> 在 2021-01-05 16:24:30，"赵一旦" <hi...@gmail.com> 写道：
>> >加大并行度。
>> >
>> >爱吃鱼 <ai...@163.com> 于2021年1月5日周二 下午4:18写道：
>> >
>> >> 怎么提高flink cpu利用率。
>> >> 业务场景，flink batch ，读取大概两个亿数据的文件，然后进行flatmap处理。
>> >> flatmap处理出来的数据转换成表，并用sql 对表的数据进行 max(time),min(time),count等处理。
>> >> cpu利用率只有140%左右，机器还有很多资源，请问怎么可以提高flink cpu的利用率。
>>
>>
>>
>>
>>
>>
Re: Re: flink cpu 利用率
Posted by 赵一旦 <hi...@gmail.com>.
不纠结几核。如果任务结点本身不多的话，可以提一提再，只要network buffer数量够就好。
爱吃鱼 <ai...@163.com> 于2021年1月5日周二 下午4:39写道：
> 24核的机器，已经加到了24的并行度了，然后会 24个并行度的cpu利用率加起来也是140%左右
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
> 在 2021-01-05 16:24:30，"赵一旦" <hi...@gmail.com> 写道：
> >加大并行度。
> >
> >爱吃鱼 <ai...@163.com> 于2021年1月5日周二 下午4:18写道：
> >
> >> 怎么提高flink cpu利用率。
> >> 业务场景，flink batch ，读取大概两个亿数据的文件，然后进行flatmap处理。
> >> flatmap处理出来的数据转换成表，并用sql 对表的数据进行 max(time),min(time),count等处理。
> >> cpu利用率只有140%左右，机器还有很多资源，请问怎么可以提高flink cpu的利用率。
>
>
>
>
>
>
Re:Re: flink cpu 利用率
Posted by 爱吃鱼 <ai...@163.com>.
24核的机器，已经加到了24的并行度了，然后会 24个并行度的cpu利用率加起来也是140%左右
在 2021-01-05 16:24:30，"赵一旦" <hi...@gmail.com> 写道：
>加大并行度。
>
>爱吃鱼 <ai...@163.com> 于2021年1月5日周二 下午4:18写道：
>
>> 怎么提高flink cpu利用率。
>> 业务场景，flink batch ，读取大概两个亿数据的文件，然后进行flatmap处理。
>> flatmap处理出来的数据转换成表，并用sql 对表的数据进行 max(time),min(time),count等处理。
>> cpu利用率只有140%左右，机器还有很多资源，请问怎么可以提高flink cpu的利用率。
Re:Re: flink cpu 利用率
Posted by 爱吃鱼 <ai...@163.com>.
24核的机器，已经加到了24的并行度了，然后会 24个并行度的cpu利用率加起来也是140%左右
在 2021-01-05 16:24:30，"赵一旦" <hi...@gmail.com> 写道：
>加大并行度。
>
>爱吃鱼 <ai...@163.com> 于2021年1月5日周二 下午4:18写道：
>
>> 怎么提高flink cpu利用率。
>> 业务场景，flink batch ，读取大概两个亿数据的文件，然后进行flatmap处理。
>> flatmap处理出来的数据转换成表，并用sql 对表的数据进行 max(time),min(time),count等处理。
>> cpu利用率只有140%左右，机器还有很多资源，请问怎么可以提高flink cpu的利用率。
Re: flink cpu 利用率
Posted by 赵一旦 <hi...@gmail.com>.
加大并行度。
爱吃鱼 <ai...@163.com> 于2021年1月5日周二 下午4:18写道：
> 怎么提高flink cpu利用率。
> 业务场景，flink batch ，读取大概两个亿数据的文件，然后进行flatmap处理。
> flatmap处理出来的数据转换成表，并用sql 对表的数据进行 max(time),min(time),count等处理。
> cpu利用率只有140%左右，机器还有很多资源，请问怎么可以提高flink cpu的利用率。