You are viewing a plain text version of this content. The canonical link for it is here.
Posted to user-zh@flink.apache.org by Jim Chen <ch...@gmail.com> on 2021/08/27 05:59:22 UTC

如何 Flink 通过不同的hive_catalog，访问离线和实时两套集群的hive？

Hi, All
  我是使用的flink1.13.1版本，我们有2套Hadoop集群，离线和实时集群。现在实时集群上的任务，想通过hive_catalog访问离线集群。
  按照官网例子，我分别配置离线和实时的hive-conf-dir的不同路径，发现一只报错。如：
2021-08-27 13:50:22,902 INFO  org.apache.hadoop.ipc.Client
                [] - Retrying connect to server:
wx12-dsjrt-master001/xx.xx.xx.xx:8050. Already tried 6 time(s); retry
policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=50, sleepTime=1000
MILLISECONDS)。
  大家在生产中是如何解决这种问题的呢？非常感谢！

Re: 如何 Flink 通过不同的hive_catalog，访问离线和实时两套集群的hive？

Posted by Jim Chen <ch...@gmail.com>.
Hi, Caizhi

你们有实时集群和离线集群分离的场景吗？你们是怎么做的？


Caizhi Weng <ts...@gmail.com> 于2021年8月27日周五 下午2:33写道：

> Hi！
>
> 看起来是 Flink 集群不能访问到 wx12-dsjrt-master001/xx.xx.xx.xx:8050，检查一下网络以及这个端口的状态看看？
>
> Jim Chen <ch...@gmail.com> 于2021年8月27日周五 下午1:59写道：
>
> > Hi, All
> >
> >
> 我是使用的flink1.13.1版本，我们有2套Hadoop集群，离线和实时集群。现在实时集群上的任务，想通过hive_catalog访问离线集群。
> >   按照官网例子，我分别配置离线和实时的hive-conf-dir的不同路径，发现一只报错。如：
> > 2021-08-27 13:50:22,902 INFO  org.apache.hadoop.ipc.Client
> >                 [] - Retrying connect to server:
> > wx12-dsjrt-master001/xx.xx.xx.xx:8050. Already tried 6 time(s); retry
> > policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=50,
> sleepTime=1000
> > MILLISECONDS)。
> >   大家在生产中是如何解决这种问题的呢？非常感谢！
> >
>

Re: 如何 Flink 通过不同的hive_catalog，访问离线和实时两套集群的hive？

Posted by Jim Chen <ch...@gmail.com>.
你好，

你说的这些问题，不同集群的配置文件和hive版本，我都注意到了。

我们这边2套集群的版本都是一样的，配置文件，我也确认过是两套集群的

我的catalog配置文件如下：

catalogs:  # empty list
    - name: hive_raltime_catalog  #实时集群
      type: hive
      hive-conf-dir: /usr/hdp/3.1.5.0-152/hive/conf/
      default-database: default
      hadoop-conf-dir: /usr/hdp/3.1.5.0-152/hadoop/conf/
    - name: hive_offline_catalog #离线集群
      type: hive
      hive-conf-dir: /home/rtdev/jim/app/flink-1.13.1/offline_conf/hive/
      default-database: default
      hadoop-conf-dir: /home/rtdev/jim/app/flink-1.13.1/offline_conf/hadoop/


Rui Li <li...@gmail.com> 于2021年8月30日周一 上午11:59写道：

> 你好，
>
>
> 这个看起来是Hadoop的报错，连接失败的这个节点是NameNode么？创建HiveCatalog时可以指定Hadoop的配置文件的，要保证两个HiveCatalog读到的Hadoop配置是正确的。
>
> 另外使用多个HiveCatalog需要保证hive版本一致，不同版本的hive没办法一起用
>
> On Fri, Aug 27, 2021 at 3:01 PM Jim Chen <ch...@gmail.com>
> wrote:
>
> > Hi
> >
> > 集群上根本没有这个端口，也不知道这个端口是干嘛用的，为啥要连这个。这个是实时集群上的端口
> >
> > Caizhi Weng <ts...@gmail.com> 于2021年8月27日周五 下午2:33写道：
> >
> > > Hi！
> > >
> > > 看起来是 Flink 集群不能访问到
> > wx12-dsjrt-master001/xx.xx.xx.xx:8050，检查一下网络以及这个端口的状态看看？
> > >
> > > Jim Chen <ch...@gmail.com> 于2021年8月27日周五 下午1:59写道：
> > >
> > > > Hi, All
> > > >
> > > >
> > >
> >
> 我是使用的flink1.13.1版本，我们有2套Hadoop集群，离线和实时集群。现在实时集群上的任务，想通过hive_catalog访问离线集群。
> > > >   按照官网例子，我分别配置离线和实时的hive-conf-dir的不同路径，发现一只报错。如：
> > > > 2021-08-27 13:50:22,902 INFO  org.apache.hadoop.ipc.Client
> > > >                 [] - Retrying connect to server:
> > > > wx12-dsjrt-master001/xx.xx.xx.xx:8050. Already tried 6 time(s); retry
> > > > policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=50,
> > > sleepTime=1000
> > > > MILLISECONDS)。
> > > >   大家在生产中是如何解决这种问题的呢？非常感谢！
> > > >
> > >
> >
>
>
> --
> Best regards!
> Rui Li
>

Re: 如何 Flink 通过不同的hive_catalog，访问离线和实时两套集群的hive？

Posted by Rui Li <li...@gmail.com>.
你好，

这个看起来是Hadoop的报错，连接失败的这个节点是NameNode么？创建HiveCatalog时可以指定Hadoop的配置文件的，要保证两个HiveCatalog读到的Hadoop配置是正确的。

另外使用多个HiveCatalog需要保证hive版本一致，不同版本的hive没办法一起用

On Fri, Aug 27, 2021 at 3:01 PM Jim Chen <ch...@gmail.com>
wrote:

> Hi
>
> 集群上根本没有这个端口，也不知道这个端口是干嘛用的，为啥要连这个。这个是实时集群上的端口
>
> Caizhi Weng <ts...@gmail.com> 于2021年8月27日周五 下午2:33写道：
>
> > Hi！
> >
> > 看起来是 Flink 集群不能访问到
> wx12-dsjrt-master001/xx.xx.xx.xx:8050，检查一下网络以及这个端口的状态看看？
> >
> > Jim Chen <ch...@gmail.com> 于2021年8月27日周五 下午1:59写道：
> >
> > > Hi, All
> > >
> > >
> >
> 我是使用的flink1.13.1版本，我们有2套Hadoop集群，离线和实时集群。现在实时集群上的任务，想通过hive_catalog访问离线集群。
> > >   按照官网例子，我分别配置离线和实时的hive-conf-dir的不同路径，发现一只报错。如：
> > > 2021-08-27 13:50:22,902 INFO  org.apache.hadoop.ipc.Client
> > >                 [] - Retrying connect to server:
> > > wx12-dsjrt-master001/xx.xx.xx.xx:8050. Already tried 6 time(s); retry
> > > policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=50,
> > sleepTime=1000
> > > MILLISECONDS)。
> > >   大家在生产中是如何解决这种问题的呢？非常感谢！
> > >
> >
>


-- 
Best regards!
Rui Li

Re: 如何 Flink 通过不同的hive_catalog，访问离线和实时两套集群的hive？

Posted by Jim Chen <ch...@gmail.com>.
Hi

集群上根本没有这个端口，也不知道这个端口是干嘛用的，为啥要连这个。这个是实时集群上的端口

Caizhi Weng <ts...@gmail.com> 于2021年8月27日周五 下午2:33写道：

> Hi！
>
> 看起来是 Flink 集群不能访问到 wx12-dsjrt-master001/xx.xx.xx.xx:8050，检查一下网络以及这个端口的状态看看？
>
> Jim Chen <ch...@gmail.com> 于2021年8月27日周五 下午1:59写道：
>
> > Hi, All
> >
> >
> 我是使用的flink1.13.1版本，我们有2套Hadoop集群，离线和实时集群。现在实时集群上的任务，想通过hive_catalog访问离线集群。
> >   按照官网例子，我分别配置离线和实时的hive-conf-dir的不同路径，发现一只报错。如：
> > 2021-08-27 13:50:22,902 INFO  org.apache.hadoop.ipc.Client
> >                 [] - Retrying connect to server:
> > wx12-dsjrt-master001/xx.xx.xx.xx:8050. Already tried 6 time(s); retry
> > policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=50,
> sleepTime=1000
> > MILLISECONDS)。
> >   大家在生产中是如何解决这种问题的呢？非常感谢！
> >
>

Re: 如何 Flink 通过不同的hive_catalog，访问离线和实时两套集群的hive？

Posted by Caizhi Weng <ts...@gmail.com>.
Hi！

看起来是 Flink 集群不能访问到 wx12-dsjrt-master001/xx.xx.xx.xx:8050，检查一下网络以及这个端口的状态看看？

Jim Chen <ch...@gmail.com> 于2021年8月27日周五 下午1:59写道：

> Hi, All
>
> 我是使用的flink1.13.1版本，我们有2套Hadoop集群，离线和实时集群。现在实时集群上的任务，想通过hive_catalog访问离线集群。
>   按照官网例子，我分别配置离线和实时的hive-conf-dir的不同路径，发现一只报错。如：
> 2021-08-27 13:50:22,902 INFO  org.apache.hadoop.ipc.Client
>                 [] - Retrying connect to server:
> wx12-dsjrt-master001/xx.xx.xx.xx:8050. Already tried 6 time(s); retry
> policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=50, sleepTime=1000
> MILLISECONDS)。
>   大家在生产中是如何解决这种问题的呢？非常感谢！
>