You are viewing a plain text version of this content. The canonical link for it is here.

Posted to user-zh@flink.apache.org by "kandy.wang" <ka...@163.com> on 2021/03/31 08:23:17 UTC

flink 小文件合并及分区没数据无法提交问题

1.flink 小文件合并
测试下来发现，同一分区在不同时期去查询数据量不断增长，直到分区下所有的文件都compact完成，才定下来 ？ 这个是什么原因。目前看起来像是分区提交没有等到分区下所有文件compact完成
2. 某些分区没数据时无法触发分区提交问题
我们实现了自定分区提交策略，为了通知离线下游。这样如果分区没数据，不能提交的话，就会把下游调度hang住。这种问题，怎么解决