Flink1.11 hive catalog使用

[Dream-底限 <zh...@akulaku.com>]

hi
我这面在使用hivecatalog将kafka数据落地到hive，但现在有一个问题是，我不想保存kafka source
table元数据（默认自动保存），通过创建视图或临时表的方式启动flink任务，这时候直接通过kafka source
table表名直接引用报错，提示hive catalog内没这张表，这种情况我改怎么引用我的kafka未持久化表哪

Re: Flink1.11 hive catalog使用

[赵一旦 <hi...@gmail.com>]

我感觉像是因为你use了hive catalog的原因，因此是默认从这个catalog中搜索。
可不可以直接select * from catalog.db.table 这样试一试呢？

Rui Li <li...@gmail.com> 于2020年8月19日周三 下午5:11写道：

> 我试了一下确实是有问题，我后面跟进一下。暂时可以用in-memory catalog来避免一下这个问题。
>
> On Wed, Aug 19, 2020 at 3:55 PM Dream-底限 <zh...@akulaku.com> wrote:
>
> > hi
> > 先设置hiveCatalog及默认数据库，然后use hivecatalog
> > 接下来建表的时候create temporary table test(...)，使用的时候：select ... from test
> > 这个时候就报错说hivecatalog的默认数据库内无这张表
> >
> > Rui Li <li...@gmail.com> 于2020年8月19日周三 下午3:49写道：
> >
> > > 是怎么用的啊，我去试试
> > >
> > > On Wed, Aug 19, 2020 at 11:19 AM Dream-底限 <zh...@akulaku.com> wrote:
> > >
> > > > hi
> > > > 我先前用这种方式创建的表，在sql中直接使用的时候提示hivecatalog内无这张表，请问这张表使用的时候要怎么引用哪
> > > > >或者用create temporary table的方式应该也可以。
> > > >
> > > > Rui Li <li...@gmail.com> 于2020年8月19日周三 上午11:11写道：
> > > >
> > > > > 可以把kafka的表保存在内置的in-memory
> > > > catalog里，名字应该是default_catalog，这样就不会持久化了。或者用create
> > > > > temporary table的方式应该也可以。
> > > > >
> > > > > On Wed, Aug 19, 2020 at 10:53 AM Dream-底限 <zh...@akulaku.com>
> > wrote:
> > > > >
> > > > > > hi
> > > > > > 我这面在使用hivecatalog将kafka数据落地到hive，但现在有一个问题是，我不想保存kafka source
> > > > > > table元数据（默认自动保存），通过创建视图或临时表的方式启动flink任务，这时候直接通过kafka source
> > > > > > table表名直接引用报错，提示hive catalog内没这张表，这种情况我改怎么引用我的kafka未持久化表哪
> > > > > >
> > > > >
> > > > >
> > > > > --
> > > > > Best regards!
> > > > > Rui Li
> > > > >
> > > >
> > >
> > >
> > > --
> > > Best regards!
> > > Rui Li
> > >
> >
>
>
> --
> Best regards!
> Rui Li
>

Re: Flink1.11 hive catalog使用

[Rui Li <li...@gmail.com>]

我试了一下确实是有问题，我后面跟进一下。暂时可以用in-memory catalog来避免一下这个问题。

On Wed, Aug 19, 2020 at 3:55 PM Dream-底限 <zh...@akulaku.com> wrote:

> hi
> 先设置hiveCatalog及默认数据库，然后use hivecatalog
> 接下来建表的时候create temporary table test(...)，使用的时候：select ... from test
> 这个时候就报错说hivecatalog的默认数据库内无这张表
>
> Rui Li <li...@gmail.com> 于2020年8月19日周三 下午3:49写道：
>
> > 是怎么用的啊，我去试试
> >
> > On Wed, Aug 19, 2020 at 11:19 AM Dream-底限 <zh...@akulaku.com> wrote:
> >
> > > hi
> > > 我先前用这种方式创建的表，在sql中直接使用的时候提示hivecatalog内无这张表，请问这张表使用的时候要怎么引用哪
> > > >或者用create temporary table的方式应该也可以。
> > >
> > > Rui Li <li...@gmail.com> 于2020年8月19日周三 上午11:11写道：
> > >
> > > > 可以把kafka的表保存在内置的in-memory
> > > catalog里，名字应该是default_catalog，这样就不会持久化了。或者用create
> > > > temporary table的方式应该也可以。
> > > >
> > > > On Wed, Aug 19, 2020 at 10:53 AM Dream-底限 <zh...@akulaku.com>
> wrote:
> > > >
> > > > > hi
> > > > > 我这面在使用hivecatalog将kafka数据落地到hive，但现在有一个问题是，我不想保存kafka source
> > > > > table元数据（默认自动保存），通过创建视图或临时表的方式启动flink任务，这时候直接通过kafka source
> > > > > table表名直接引用报错，提示hive catalog内没这张表，这种情况我改怎么引用我的kafka未持久化表哪
> > > > >
> > > >
> > > >
> > > > --
> > > > Best regards!
> > > > Rui Li
> > > >
> > >
> >
> >
> > --
> > Best regards!
> > Rui Li
> >
>


-- 
Best regards!
Rui Li

Re: Flink1.11 hive catalog使用

[Dream-底限 <zh...@akulaku.com>]

hi
先设置hiveCatalog及默认数据库，然后use hivecatalog
接下来建表的时候create temporary table test(...)，使用的时候：select ... from test
这个时候就报错说hivecatalog的默认数据库内无这张表

Rui Li <li...@gmail.com> 于2020年8月19日周三 下午3:49写道：

> 是怎么用的啊，我去试试
>
> On Wed, Aug 19, 2020 at 11:19 AM Dream-底限 <zh...@akulaku.com> wrote:
>
> > hi
> > 我先前用这种方式创建的表，在sql中直接使用的时候提示hivecatalog内无这张表，请问这张表使用的时候要怎么引用哪
> > >或者用create temporary table的方式应该也可以。
> >
> > Rui Li <li...@gmail.com> 于2020年8月19日周三 上午11:11写道：
> >
> > > 可以把kafka的表保存在内置的in-memory
> > catalog里，名字应该是default_catalog，这样就不会持久化了。或者用create
> > > temporary table的方式应该也可以。
> > >
> > > On Wed, Aug 19, 2020 at 10:53 AM Dream-底限 <zh...@akulaku.com> wrote:
> > >
> > > > hi
> > > > 我这面在使用hivecatalog将kafka数据落地到hive，但现在有一个问题是，我不想保存kafka source
> > > > table元数据（默认自动保存），通过创建视图或临时表的方式启动flink任务，这时候直接通过kafka source
> > > > table表名直接引用报错，提示hive catalog内没这张表，这种情况我改怎么引用我的kafka未持久化表哪
> > > >
> > >
> > >
> > > --
> > > Best regards!
> > > Rui Li
> > >
> >
>
>
> --
> Best regards!
> Rui Li
>

Re: Flink1.11 hive catalog使用

[Rui Li <li...@gmail.com>]

是怎么用的啊，我去试试

On Wed, Aug 19, 2020 at 11:19 AM Dream-底限 <zh...@akulaku.com> wrote:

> hi
> 我先前用这种方式创建的表，在sql中直接使用的时候提示hivecatalog内无这张表，请问这张表使用的时候要怎么引用哪
> >或者用create temporary table的方式应该也可以。
>
> Rui Li <li...@gmail.com> 于2020年8月19日周三 上午11:11写道：
>
> > 可以把kafka的表保存在内置的in-memory
> catalog里，名字应该是default_catalog，这样就不会持久化了。或者用create
> > temporary table的方式应该也可以。
> >
> > On Wed, Aug 19, 2020 at 10:53 AM Dream-底限 <zh...@akulaku.com> wrote:
> >
> > > hi
> > > 我这面在使用hivecatalog将kafka数据落地到hive，但现在有一个问题是，我不想保存kafka source
> > > table元数据（默认自动保存），通过创建视图或临时表的方式启动flink任务，这时候直接通过kafka source
> > > table表名直接引用报错，提示hive catalog内没这张表，这种情况我改怎么引用我的kafka未持久化表哪
> > >
> >
> >
> > --
> > Best regards!
> > Rui Li
> >
>


-- 
Best regards!
Rui Li

Re: Flink1.11 hive catalog使用

[Dream-底限 <zh...@akulaku.com>]

hi
我先前用这种方式创建的表，在sql中直接使用的时候提示hivecatalog内无这张表，请问这张表使用的时候要怎么引用哪
>或者用create temporary table的方式应该也可以。

Rui Li <li...@gmail.com> 于2020年8月19日周三 上午11:11写道：

> 可以把kafka的表保存在内置的in-memory catalog里，名字应该是default_catalog，这样就不会持久化了。或者用create
> temporary table的方式应该也可以。
>
> On Wed, Aug 19, 2020 at 10:53 AM Dream-底限 <zh...@akulaku.com> wrote:
>
> > hi
> > 我这面在使用hivecatalog将kafka数据落地到hive，但现在有一个问题是，我不想保存kafka source
> > table元数据（默认自动保存），通过创建视图或临时表的方式启动flink任务，这时候直接通过kafka source
> > table表名直接引用报错，提示hive catalog内没这张表，这种情况我改怎么引用我的kafka未持久化表哪
> >
>
>
> --
> Best regards!
> Rui Li
>

Re: Flink1.11 hive catalog使用

[Rui Li <li...@gmail.com>]

可以把kafka的表保存在内置的in-memory catalog里，名字应该是default_catalog，这样就不会持久化了。或者用create
temporary table的方式应该也可以。

On Wed, Aug 19, 2020 at 10:53 AM Dream-底限 <zh...@akulaku.com> wrote:

> hi
> 我这面在使用hivecatalog将kafka数据落地到hive，但现在有一个问题是，我不想保存kafka source
> table元数据（默认自动保存），通过创建视图或临时表的方式启动flink任务，这时候直接通过kafka source
> table表名直接引用报错，提示hive catalog内没这张表，这种情况我改怎么引用我的kafka未持久化表哪
>


-- 
Best regards!
Rui Li