答复: Flink catalog的几个疑问

[刘首维 <li...@autohome.com.cn>]

hi all, 我在想如果社区提供一个unified metastore server是不是会解决这个问题，然后写一个（一系列）catalog和这个metastore对应

________________________________
发件人: Jark Wu <im...@gmail.com>
发送时间: 2020年7月22日 11:22:56
收件人: user-zh
主题: Re: Flink catalog的几个疑问

非常欢迎贡献开源一个轻量的 catalog 实现 :)

On Wed, 22 Jul 2020 at 10:53, Jingsong Li <ji...@gmail.com> wrote:

> Hi,
>
> HiveCatalog就是官方唯一的可以保存所有表的持久化Catalog，包括kafka，jdbc，hbase等等connectors。
>
> > 后续有可能转正为flink 默认的catalog实现吗？
>
> 目前不太可能，你看，Flink连Hadoop的依赖都没有打进来。Hive的依赖更不会默认打进来。 依赖都没有，也不会成为默认的。
>
> > hive catalog是不支持大小写敏感的
>
> 是的，就像Godfrey说的，特别是JDBC对接的某些大小写敏感的db，这可能导致字段名对应不了。
>
> Best,
> Jingsong
>
> On Wed, Jul 22, 2020 at 10:39 AM godfrey he <go...@gmail.com> wrote:
>
> > hi Xingxing,
> >
> > 1. Flink 提供了一套catalog的接口，提提供了几个内置的实现：in-memory catalog, hive catalog,
> > postgres catalog,
> > 可以根据自己的需求选择。也可以实现自定义的catalog。参考 [1]
> > 2. hive catalog 主要是对接 hive，方便读取现有的hive catalog的meta信息。当然也可以往hive
> > catalog写新的meta。
> > 是否会转为默认catalog，据我所知，目前没有。
> > 3. 一般没什么问题。在和其他区分大小写的db对接的时候，可能有问题。
> >
> > Best,
> > Godfrey
> >
> > dixingxing85@163.com <di...@163.com> 于2020年7月21日周二 下午11:30写道：
> >
> > > Hi Flink社区：
> > > 有几个疑问希望社区小伙伴们帮忙解答一下：
> > >
> > >
> >
> 1.个人感觉Flink很有必要提供一个官方的catalog，用来支持各种connector，比如：kafka，jdbc，hbase等等connector。不知道社区有没有这个打算，目前没有看到对应的flip
> > > 2.社区对hive catalog的定位是什么，后续有可能转正为flink 默认的catalog实现吗？
> > > 3.hive catalog是不支持大小写敏感的（字段名都是小写），这个后续会带来哪些问题？想征集下大家的意见避免我们以后踩大坑。
> > >
> > >
> > >
> > >
> > > Best,
> > > Xingxing Di
> > >
> >
>
>
> --
> Best, Jingsong Lee
>