You are viewing a plain text version of this content. The canonical link for it is here.

Posted to user-zh@flink.apache.org by 上官 <17...@163.com> on 2021/02/03 09:36:43 UTC

请问，flink支持StreamFileSink在将pending文件转为finished的时候做一些操作吗

各位大神，我的工作需要Flink将DataStream中的数据写入到HDFS上，我需要在flink将写入文件变为下游可读的时候，发送一个消息到消息队列，请问Flink支持这种操作吗

Re: 请问，flink支持StreamFileSink在将pending文件转为finished的时候做一些操作吗

Posted by Paul Lam <pa...@gmail.com>.

如果使用 RollOnCheckpoint 的文件滚动策略，可以开发一个 UDF 实现 CheckpointListener 接口，在 notifyCheckpointComplete 函数里面发消息。不过要注意这个消息可能会重复。

Best,
Paul Lam

> 2021年2月3日 17:36，上官 <17...@163.com> 写道：
> 
> 各位大神，我的工作需要Flink将DataStream中的数据写入到HDFS上，我需要在flink将写入文件变为下游可读的时候，发送一个消息到消息队列，请问Flink支持这种操作吗