You are viewing a plain text version of this content. The canonical link for it is here.
Posted to user-zh@flink.apache.org by 范超 <fa...@mgtv.com> on 2020/09/24 02:48:58 UTC
答复: 回复：FlinkKafkaConsumer on Yarn 模式下 设置并行度无法提高kafka的消费速度，但是提交两个应用却可以
感谢磊哥，后来发现确实是这个问题导致。
Source节点的并行度取决于topic的分区数
-----邮件原件-----
发件人: 吴磊 [mailto:wuleiflink@foxmail.com]
发送时间: 2020年9月18日 星期五 16:29
收件人: user-zh <us...@flink.apache.org>
主题: 回复：FlinkKafkaConsumer on Yarn 模式下 设置并行度无法提高kafka的消费速度，但是提交两个应用却可以
hello，Source节点并行度的有效性是取决于topic对应的分区数的。比如如果你只有6个分区，那你12个并行度和6个并行度的消费速度是一样的。
------------------ 原始邮件 ------------------
发件人: "user-zh" <fanchao@mgtv.com>;
发送时间: 2020年9月18日(星期五) 下午4:07
收件人: "user-zh@flink.apache.org"<user-zh@flink.apache.org>;
主题: FlinkKafkaConsumer on Yarn 模式下 设置并行度无法提高kafka的消费速度，但是提交两个应用却可以
各位好，我遇到了一个奇怪的问题
我是使用flink1.10和 flink-connector-kafka_2.11
使用Flink on yarn 模式运行，无论怎么调大并行度。Kafka节点（我使用的单节点）的网卡输出速度一直上不去。
但是提交两个同样的应用同样使用FLink on Yarm模式，Kafka节点的网卡输出速度是正常翻倍的。
我想达到的目的不是通过多向yarn集群提交多一个app，而是通过设置并行度来提高应用的吞吐量。。
求各位大佬指导
答复: 回复：FlinkKafkaConsumer on Yarn 模式下 设置并行度无法提高kafka的消费速度，但是提交两个应用却可以
Posted by 范超 <fa...@mgtv.com>.
磊哥，我想再多问一个问题。
若topic只有一个分区的情况下。。
我这边压了一下，网卡流量大概是30Mbit/s，不知道如何提高这个消费速度才好，压测程序是个很简单的source，并丢弃的处理。
-----邮件原件-----
发件人: 范超
发送时间: 2020年9月24日 星期四 10:49
收件人: user-zh@flink.apache.org
主题: 答复: 回复：FlinkKafkaConsumer on Yarn 模式下 设置并行度无法提高kafka的消费速度，但是提交两个应用却可以
感谢磊哥，后来发现确实是这个问题导致。
Source节点的并行度取决于topic的分区数
-----邮件原件-----
发件人: 吴磊 [mailto:wuleiflink@foxmail.com]
发送时间: 2020年9月18日 星期五 16:29
收件人: user-zh <us...@flink.apache.org>
主题: 回复：FlinkKafkaConsumer on Yarn 模式下 设置并行度无法提高kafka的消费速度，但是提交两个应用却可以
hello，Source节点并行度的有效性是取决于topic对应的分区数的。比如如果你只有6个分区，那你12个并行度和6个并行度的消费速度是一样的。
------------------ 原始邮件 ------------------
发件人: "user-zh" <fanchao@mgtv.com>;
发送时间: 2020年9月18日(星期五) 下午4:07
收件人: "user-zh@flink.apache.org"<user-zh@flink.apache.org>;
主题: FlinkKafkaConsumer on Yarn 模式下 设置并行度无法提高kafka的消费速度，但是提交两个应用却可以
各位好，我遇到了一个奇怪的问题
我是使用flink1.10和 flink-connector-kafka_2.11
使用Flink on yarn 模式运行，无论怎么调大并行度。Kafka节点（我使用的单节点）的网卡输出速度一直上不去。
但是提交两个同样的应用同样使用FLink on Yarm模式，Kafka节点的网卡输出速度是正常翻倍的。
我想达到的目的不是通过多向yarn集群提交多一个app，而是通过设置并行度来提高应用的吞吐量。。
求各位大佬指导