You are viewing a plain text version of this content. The canonical link for it is here.

Posted to user-zh@flink.apache.org by 李宇彬 <li...@163.com> on 2020/07/14 06:52:39 UTC

如果解决写hdfs的文件描述符问题？

hi, everyone



    环境信息：flink-1.10.0、hadoop 2.6.0

    我从kafka topic消费数据，通过BucketSink写到hdfs，在0点的时候会遇到这样的问题，要同时消费当天和昨天的数据，这样在写hdfs时会产生两倍的文件描述符，对hdfs造成很大的压力，请问在不增加文件描述符上限的情况下，如何解决？