You are viewing a plain text version of this content. The canonical link for it is here.
Posted to user-zh@flink.apache.org by Yang Peng <ya...@gmail.com> on 2020/11/20 07:59:46 UTC

Flink实时两个stream进行union,结果只有其中一个流的数据发送到了下游

Hi,请教一个问题 我们的一个Flink实时任务中对两个流A和B进行union操作,然后和C流进行connect操作,数据流程大概是这样的:D =
A.union(B)
C.connect(D).keyby(C.key,D.key).process().addsink(kafkaProducer);
A流和B流的数据类型是一样的,但是并发不一样,A流的并发大,B流的并发小,在某一时刻A流出现一波流量尖刺,之后发现输出到kafka的的数据中没有A流的数据都是B流的
;我们发现A流和B流都有数据正常消费也没有积压没有反压,cp执行正常,查看tm和jm也都没有日志异常,这个任务已经跑了很久了,第一次遇到这种情况,很诡异
初步怀疑是不是和两个流的并发不一致有关系。 我们Flink版本是1.9版本 statebackend是rocksdb,大家有遇到这种问题的吗?