You are viewing a plain text version of this content. The canonical link for it is here.

Posted to commits@hudi.apache.org by "wangmeng (Jira)" <ji...@apache.org> on 2020/04/13 04:10:00 UTC

[jira] [Created] (HUDI-788) Hudi writer and Hudi Reader split

wangmeng created HUDI-788:
-----------------------------

             Summary: Hudi writer and Hudi Reader split
                 Key: HUDI-788
                 URL: https://issues.apache.org/jira/browse/HUDI-788
             Project: Apache Hudi (incubating)
          Issue Type: Improvement
          Components: Hive Integration
            Reporter: wangmeng


举例：
 * 很多公司采用CDH搭建自己集群，但是CDH中对hive的集成版本一直停留在hive-exec-1.1.0。并且生产环境中hive版本升级到2.*很麻烦。顾很多公司的生产环境中hive版本一般都是hive-exec-1.1.0。
 * 采用hudi 0.5.*版本时对hive支持都是2.3以上。这样会导致，用户在使用hudi时，set hive.input.format=org.apache.hudi.hadoop.HoodieParquetInputFormat时出现问题。
 * 顾设想，是否可以把hudi 写数据到dfs和hive集成 与 从hive中读取hudi数据逻辑分割开来。这样保证，hudi 0.5.*版本可以集成hive 2.3.*，但是hive读只需要添加相应的hoodie-hadoop-mr-bundle -hive 版本就可以。可以是hive--exec-1.1.0，也可以是-hive--exec-2.3.*

 

 



--
This message was sent by Atlassian Jira
(v8.3.4#803005)