You are viewing a plain text version of this content. The canonical link for it is here.
Posted to user-zh@flink.apache.org by 111 <xi...@163.com> on 2020/04/09 06:31:33 UTC

关于Flink1.10.0 flink-hbase guava依赖冲突问题

Hi，
我这边发现hbase-connector模块对guava的依赖有冲突：


首先flink中的calcite需要guava是16以上的版本（低版本没有这个类），因为要使用：com/google/common/collect/MultimapBuilder$SortedSetMultimapBuilder
其次HBase需要guava12.0版本（更高的版本就移除这个方法了），因为要使用：com.google.common.hash.HashFunction.hashString(Ljava/lang/CharSequence;)Lcom/google/common/hash/HashCode;


不知道官方在使用单元测试时，是否有什么特殊的配置能规避这个问题？


Best,
Xinghalo

回复： 关于Flink1.10.0 flink-hbase guava依赖冲突问题

Posted by 111 <xi...@163.com>.
Hi，
具体的哪个版本不太确定，我只差了11，12，14，16，18，23这些….12以上都没有的
Best,
Xinghalo

Re: 关于Flink1.10.0 flink-hbase guava依赖冲突问题

Posted by Jark Wu <im...@gmail.com>.
Hi,

这是一个已知问题，而且确实挺影响开发效率的。

> 其次HBase需要guava12.0版本（更高的版本就移除这个方法了）
你知道 HBase 从哪个版本开始不使用这个方法/版本了吗？ 和 HBase 1.4.x server 兼容吗？

cc @ZhengHu  who may have more knowledge on this.

Best,
Jark

On Fri, 10 Apr 2020 at 08:21, 111 <xi...@163.com> wrote:

> Hi,
>
>
> 原来IDEA的问题，那这样就不能debug调试了。
> 目前看如果手动指定guava的版本为16，只有本地的那个HBase服务有问题（内部使用的murmur hash.hasString()生成id）
> 如果把单元测试改成连接远程HBase，应该就没问题了
>
>
> Best，
> xinghalo
>
>
> 在2020年04月9日 23:00，Jingsong Li<ji...@gmail.com> 写道：
> Hi,
>
> 是的，作业运行起来是没问题的，因为都shade过，但是很不幸的是IDEA运行单测就会有问题。。。
>
> 目前可以通过mvn test的方式来运行单测。
>
> Best,
> Jingsong Lee
>
> On Thu, Apr 9, 2020 at 9:34 PM Yun Gao <yu...@aliyun.com.invalid>
> wrote:
>
> 现在的现象是作业运行起来会有报错么？能发一下pom和大体的作业的样子不？
>
>
> ------------------------------------------------------------------
> From:111 <xi...@163.com>
> Send Time:2020 Apr. 9 (Thu.) 14:31
> To:user-zh@flink.apache.org <us...@flink.apache.org>
> Subject:关于Flink1.10.0 flink-hbase guava依赖冲突问题
>
> Hi，
> 我这边发现hbase-connector模块对guava的依赖有冲突：
>
>
>
>
> 首先flink中的calcite需要guava是16以上的版本（低版本没有这个类），因为要使用：com/google/common/collect/MultimapBuilder$SortedSetMultimapBuilder
>
>
> 其次HBase需要guava12.0版本（更高的版本就移除这个方法了），因为要使用：com.google.common.hash.HashFunction.hashString(Ljava/lang/CharSequence;)Lcom/google/common/hash/HashCode;
>
>
> 不知道官方在使用单元测试时，是否有什么特殊的配置能规避这个问题？
>
>
> Best,
> Xinghalo
>
>
>
> --
> Best, Jingsong Lee
>

回复： 关于Flink1.10.0 flink-hbase guava依赖冲突问题

Posted by 111 <xi...@163.com>.
Hi,


原来IDEA的问题，那这样就不能debug调试了。
目前看如果手动指定guava的版本为16，只有本地的那个HBase服务有问题（内部使用的murmur hash.hasString()生成id）
如果把单元测试改成连接远程HBase，应该就没问题了


Best，
xinghalo


在2020年04月9日 23:00，Jingsong Li<ji...@gmail.com> 写道：
Hi,

是的，作业运行起来是没问题的，因为都shade过，但是很不幸的是IDEA运行单测就会有问题。。。

目前可以通过mvn test的方式来运行单测。

Best,
Jingsong Lee

On Thu, Apr 9, 2020 at 9:34 PM Yun Gao <yu...@aliyun.com.invalid> wrote:

现在的现象是作业运行起来会有报错么？能发一下pom和大体的作业的样子不？


------------------------------------------------------------------
From:111 <xi...@163.com>
Send Time:2020 Apr. 9 (Thu.) 14:31
To:user-zh@flink.apache.org <us...@flink.apache.org>
Subject:关于Flink1.10.0 flink-hbase guava依赖冲突问题

Hi，
我这边发现hbase-connector模块对guava的依赖有冲突：



首先flink中的calcite需要guava是16以上的版本（低版本没有这个类），因为要使用：com/google/common/collect/MultimapBuilder$SortedSetMultimapBuilder

其次HBase需要guava12.0版本（更高的版本就移除这个方法了），因为要使用：com.google.common.hash.HashFunction.hashString(Ljava/lang/CharSequence;)Lcom/google/common/hash/HashCode;


不知道官方在使用单元测试时，是否有什么特殊的配置能规避这个问题？


Best,
Xinghalo



--
Best, Jingsong Lee

Re: 关于Flink1.10.0 flink-hbase guava依赖冲突问题

Posted by Jingsong Li <ji...@gmail.com>.
Hi,

是的，作业运行起来是没问题的，因为都shade过，但是很不幸的是IDEA运行单测就会有问题。。。

目前可以通过mvn test的方式来运行单测。

Best,
Jingsong Lee

On Thu, Apr 9, 2020 at 9:34 PM Yun Gao <yu...@aliyun.com.invalid> wrote:

> 现在的现象是作业运行起来会有报错么？能发一下pom和大体的作业的样子不？
>
>
> ------------------------------------------------------------------
> From:111 <xi...@163.com>
> Send Time:2020 Apr. 9 (Thu.) 14:31
> To:user-zh@flink.apache.org <us...@flink.apache.org>
> Subject:关于Flink1.10.0 flink-hbase guava依赖冲突问题
>
> Hi，
> 我这边发现hbase-connector模块对guava的依赖有冲突：
>
>
>
> 首先flink中的calcite需要guava是16以上的版本（低版本没有这个类），因为要使用：com/google/common/collect/MultimapBuilder$SortedSetMultimapBuilder
>
> 其次HBase需要guava12.0版本（更高的版本就移除这个方法了），因为要使用：com.google.common.hash.HashFunction.hashString(Ljava/lang/CharSequence;)Lcom/google/common/hash/HashCode;
>
>
> 不知道官方在使用单元测试时，是否有什么特殊的配置能规避这个问题？
>
>
> Best,
> Xinghalo



-- 
Best, Jingsong Lee

Re: 关于Flink1.10.0 flink-hbase guava依赖冲突问题

Posted by Yun Gao <yu...@aliyun.com.INVALID>.
现在的现象是作业运行起来会有报错么？能发一下pom和大体的作业的样子不？


------------------------------------------------------------------
From:111 <xi...@163.com>
Send Time:2020 Apr. 9 (Thu.) 14:31
To:user-zh@flink.apache.org <us...@flink.apache.org>
Subject:关于Flink1.10.0 flink-hbase guava依赖冲突问题

Hi，
我这边发现hbase-connector模块对guava的依赖有冲突：


首先flink中的calcite需要guava是16以上的版本（低版本没有这个类），因为要使用：com/google/common/collect/MultimapBuilder$SortedSetMultimapBuilder
其次HBase需要guava12.0版本（更高的版本就移除这个方法了），因为要使用：com.google.common.hash.HashFunction.hashString(Ljava/lang/CharSequence;)Lcom/google/common/hash/HashCode;


不知道官方在使用单元测试时，是否有什么特殊的配置能规避这个问题？


Best,
Xinghalo