You are viewing a plain text version of this content. The canonical link for it is here.
Posted to user-zh@flink.apache.org by yidan zhao <hi...@gmail.com> on 2021/11/11 04:37:31 UTC

flinksql 写 hive ,orc格式,应该支持下压缩。

如题,有支持压缩的方法吗当前,看文档没找到应该。

Re: Re: flinksql 写 hive ,orc格式,应该支持下压缩。

Posted by yidan zhao <hi...@gmail.com>.
好的

RS <ti...@163.com> 于2021年11月18日周四 上午9:32写道:

> 1. 文件名是不带.zlib后缀的
> 2.
> ORC格式默认是配置了ZIP压缩的,并且开启的,你可以配置'orc.compress'='NONE'测试下,看下不压缩的大小,没有压缩的文件应该是更大的
>
>
> 在 2021-11-16 17:29:17,"yidan zhao" <hi...@gmail.com> 写道:
> >我看了下,默认不带.zlib之类的后缀,我加了也看不出来到底有没有压缩。
> >其次,orc.compression官方介绍默认是zlib,貌似默认就有开启压缩?
> >
> >RS <ti...@163.com> 于2021年11月15日周一 上午9:55写道:
> >
> >> 官网里面有介绍这个,你是要这个吧
> >>
> >>
> https://nightlies.apache.org/flink/flink-docs-master/docs/connectors/table/formats/orc/
> >>
> >>
> >> Orc format also supports table properties from Table properties. For
> >> example, you can configure orc.compress=SNAPPY to enable snappy
> compression.
> >>
> >>
> >> 在 2021-11-11 12:37:31,"yidan zhao" <hi...@gmail.com> 写道:
> >> >如题,有支持压缩的方法吗当前,看文档没找到应该。
> >>
>

Re:Re: flinksql 写 hive ,orc格式,应该支持下压缩。

Posted by RS <ti...@163.com>.
1. 文件名是不带.zlib后缀的
2. ORC格式默认是配置了ZIP压缩的,并且开启的,你可以配置'orc.compress'='NONE'测试下,看下不压缩的大小,没有压缩的文件应该是更大的


在 2021-11-16 17:29:17,"yidan zhao" <hi...@gmail.com> 写道:
>我看了下,默认不带.zlib之类的后缀,我加了也看不出来到底有没有压缩。
>其次,orc.compression官方介绍默认是zlib,貌似默认就有开启压缩?
>
>RS <ti...@163.com> 于2021年11月15日周一 上午9:55写道:
>
>> 官网里面有介绍这个,你是要这个吧
>>
>> https://nightlies.apache.org/flink/flink-docs-master/docs/connectors/table/formats/orc/
>>
>>
>> Orc format also supports table properties from Table properties. For
>> example, you can configure orc.compress=SNAPPY to enable snappy compression.
>>
>>
>> 在 2021-11-11 12:37:31,"yidan zhao" <hi...@gmail.com> 写道:
>> >如题,有支持压缩的方法吗当前,看文档没找到应该。
>>

Re: flinksql 写 hive ,orc格式,应该支持下压缩。

Posted by yidan zhao <hi...@gmail.com>.
我看了下,默认不带.zlib之类的后缀,我加了也看不出来到底有没有压缩。
其次,orc.compression官方介绍默认是zlib,貌似默认就有开启压缩?

RS <ti...@163.com> 于2021年11月15日周一 上午9:55写道:

> 官网里面有介绍这个,你是要这个吧
>
> https://nightlies.apache.org/flink/flink-docs-master/docs/connectors/table/formats/orc/
>
>
> Orc format also supports table properties from Table properties. For
> example, you can configure orc.compress=SNAPPY to enable snappy compression.
>
>
> 在 2021-11-11 12:37:31,"yidan zhao" <hi...@gmail.com> 写道:
> >如题,有支持压缩的方法吗当前,看文档没找到应该。
>

Re:flinksql 写 hive ,orc格式,应该支持下压缩。

Posted by RS <ti...@163.com>.
官网里面有介绍这个,你是要这个吧
https://nightlies.apache.org/flink/flink-docs-master/docs/connectors/table/formats/orc/


Orc format also supports table properties from Table properties. For example, you can configure orc.compress=SNAPPY to enable snappy compression.


在 2021-11-11 12:37:31,"yidan zhao" <hi...@gmail.com> 写道:
>如题,有支持压缩的方法吗当前,看文档没找到应该。