Re: kafka数据落地到Hive/Filesystem（orc/parquet格式）的疑问

[yuxia <lu...@alumni.sjtu.edu.cn>]

可以配置文件的 rooling policy [1]，可以是时间间隔，也可以是文件大小。
https://nightlies.apache.org/flink/flink-docs-master/docs/connectors/table/filesystem/#rolling-policy

Best regards,
Yuxia

----- 原始邮件 -----
发件人: "谭家良" <ta...@126.com>
收件人: "user-zh" <us...@flink.apache.org>
发送时间: 星期一, 2022年 6 月 06日 下午 4:44:51
主题: kafka数据落地到Hive/Filesystem（orc/parquet格式）的疑问

大家好，关于kafka数据消费到hive/filesystem（orc/parquet）我有个疑问。orc/parquet如何调整落地的文件大小？是根据checkpoint时间来的吗？在落地到hive/filesystem connector有什么优化建议吗？


best，
tanjialiang.


| |
谭家良
|
|
tanjl_work@126.com
|