You are viewing a plain text version of this content. The canonical link for it is here.

Posted to user-zh@flink.apache.org by 杨扬 <ya...@cupdata.com> on 2022/11/04 06:10:24 UTC

flink-sql读取kafka Source并行度问题

各位好！
	目前使用flinkSQL连接kafka不能单独指定source算子并行度，所以大于kafka-partition个数的并行度都没数据了（如下图所示），kafka-partition个数是3使用flinkSQL开发的作业即使设置了5个并行度，但也只有3个并行度中是有数据处理的。
	这个问题如何解决呢？

----------------------------------------------
杨扬
银联数据服务有限公司 研究院
电话：021-60269751
邮箱：yangyang1@cupdata.com

Re:flink-sql读取kafka Source并行度问题

Posted by Xuyang <xy...@163.com>.

Hi, 目前已经有相关的Flip来尝试在Flink SQL中单独设置source和sink的并行度[1]，但是目前source 并没有实现。如果实在需要的话，可能需要现在自己的本地poc一下自行build
[1] https://cwiki.apache.org/confluence/display/FLINK/FLIP-146%3A+Improve+new+TableSource+and+TableSink+interfaces



在 2022-11-04 14:10:24，"杨扬" <ya...@cupdata.com> 写道：

各位好！
目前使用flinkSQL连接kafka不能单独指定source算子并行度，所以大于kafka-partition个数的并行度都没数据了（如下图所示），kafka-partition个数是3使用flinkSQL开发的作业即使设置了5个并行度，但也只有3个并行度中是有数据处理的。
这个问题如何解决呢？
----------------------------------------------
杨扬
银联数据服务有限公司 研究院
电话：021-60269751
邮箱：yangyang1@cupdata.com