You are viewing a plain text version of this content. The canonical link for it is here.

Posted to user-zh@flink.apache.org by Fei Han <ha...@aliyun.com.INVALID> on 2022/11/02 03:49:29 UTC

Flink CDC 打宽表

大家好！关于 Flink CDC 打宽表有如下疑问：
 启动一个任务后，刚开始个字段是有值的。但跑一段时间或者跨天后，字段无缘无故是null值了。用其他引擎跑数据却是正常的。
 比如第一天启动任务，A字段是有值的。但是第二天发现A字段全部是NULL值了。但用presto查询却是正常的。但我猜测是不是和TTL设置有关系呢？我设置了1天。

Re: Flink CDC 打宽表

Posted by Leonard Xu <xb...@gmail.com>.

是的，如果是双流join打宽，ttl设置得过短，state里的历史数据被清理掉了，后续的更新数据进入join节点关联不上就可能会下发nul

祝好，
Leonard

> 2022年11月2日 上午11:49，Fei Han <ha...@aliyun.com.INVALID> 写道：
> 
> 大家好！关于 Flink CDC 打宽表有如下疑问：
> 启动一个任务后，刚开始个字段是有值的。但跑一段时间或者跨天后，字段无缘无故是null值了。用其他引擎跑数据却是正常的。
> 比如第一天启动任务，A字段是有值的。但是第二天发现A字段全部是NULL值了。但用presto查询却是正常的。但我猜测是不是和TTL设置有关系呢？我设置了1天。