You are viewing a plain text version of this content. The canonical link for it is here.
Posted to user-zh@flink.apache.org by 王春波 <89...@qq.com.INVALID> on 2021/08/30 01:56:47 UTC
flink系统配置中的io.tmp.dirs里的文件自动清理机制
在运行flink任务时，在flink-conf.yaml配置文件中的io.tmp.dirs里会缓存些临时文件，这些文件有没有清理的机制？在实际运行中该目录里的文件占用巨大的磁盘空间，约40G左右，将其删除后，任务就执行失败了，不知道该如何清理，多指教
Re: flink系统配置中的io.tmp.dirs里的文件自动清理机制
Posted by Caizhi Weng <ts...@gmail.com>.
Hi！
这些临时文件基本都是网络 shuffle 的数据，Flink 会自动清理不用的数据，理论上不会无限增大。
另外你使用的 state backend 是什么？部分 state backend 比如 rocksdb 的临时文件也会存在这里，此时就和 state
的大小相关。
王春波 <89...@qq.com.invalid> 于2021年8月30日周一 上午10:26写道：
>
> 请问作业结束是指任务停止么，还是数据处理完成一部分，实时分析job一直在消费kafka数据，临时文件内容会很大，flink也没有什么策略处理一下么？磁盘会被占满的，怎么办呀？
> 还有个问题，临时文件里存储的是数据么？
>
>
> ------------------ 原始邮件 ------------------
> 发件人:
> "user-zh"
> <
> tsreaper96@gmail.com>;
> 发送时间: 2021年8月30日(星期一) 上午10:03
> 收件人: "user-zh"<user-zh@flink.apache.org>;
>
> 主题: Re: flink系统配置中的io.tmp.dirs里的文件自动清理机制
>
>
>
> Hi！
>
> io.tmp.dirs 里的文件在作业结束后会自动清理，作业运行过程中不应该清理。
>
> 王春波 <893885789@qq.com.invalid> 于2021年8月30日周一 上午9:57写道：
>
> >
> >
> 在运行flink任务时，在flink-conf.yaml配置文件中的io.tmp.dirs里会缓存些临时文件，这些文件有没有清理的机制？在实际运行中该目录里的文件占用巨大的磁盘空间，约40G左右，将其删除后，任务就执行失败了，不知道该如何清理，多指教
回复： flink系统配置中的io.tmp.dirs里的文件自动清理机制
Posted by 王春波 <89...@qq.com.INVALID>.
请问作业结束是指任务停止么，还是数据处理完成一部分，实时分析job一直在消费kafka数据，临时文件内容会很大，flink也没有什么策略处理一下么？磁盘会被占满的，怎么办呀？
还有个问题，临时文件里存储的是数据么？
------------------ 原始邮件 ------------------
发件人: "user-zh" <tsreaper96@gmail.com>;
发送时间: 2021年8月30日(星期一) 上午10:03
收件人: "user-zh"<user-zh@flink.apache.org>;
主题: Re: flink系统配置中的io.tmp.dirs里的文件自动清理机制
Hi！
io.tmp.dirs 里的文件在作业结束后会自动清理，作业运行过程中不应该清理。
王春波 <893885789@qq.com.invalid> 于2021年8月30日周一 上午9:57写道：
>
> 在运行flink任务时，在flink-conf.yaml配置文件中的io.tmp.dirs里会缓存些临时文件，这些文件有没有清理的机制？在实际运行中该目录里的文件占用巨大的磁盘空间，约40G左右，将其删除后，任务就执行失败了，不知道该如何清理，多指教
Re: flink系统配置中的io.tmp.dirs里的文件自动清理机制
Posted by Caizhi Weng <ts...@gmail.com>.
Hi！
io.tmp.dirs 里的文件在作业结束后会自动清理，作业运行过程中不应该清理。
王春波 <89...@qq.com.invalid> 于2021年8月30日周一 上午9:57写道：
>
> 在运行flink任务时，在flink-conf.yaml配置文件中的io.tmp.dirs里会缓存些临时文件，这些文件有没有清理的机制？在实际运行中该目录里的文件占用巨大的磁盘空间，约40G左右，将其删除后，任务就执行失败了，不知道该如何清理，多指教