You are viewing a plain text version of this content. The canonical link for it is here.
Posted to user-zh@flink.apache.org by liunaihua521 <li...@163.com> on 2020/06/03 14:52:19 UTC
转发：flink1.10整合hbase测试遇到的问题
--------- 转发邮件信息 ---------
发件人： liunaihua521 <li...@163.com>
发送日期： 2020年6月3日 22:18
发送至： user-zh-info@flink.apache.org <us...@flink.apache.org> 、 user-zh-faq@flink.apache.org <us...@flink.apache.org>
主题： flink1.10整合hbase测试遇到的问题
hi!
版本说明:
flink版本1.10
HBase版本2.2.4
ZK版本3.6.1
Hadoop版本2.10.0
程序说明:
程序是简单的实现RichSourceFunction和RichSinkFunction,读取和写入hbase,程序打包后上传standalone模式的集群.
报错说明:
提交任务后,总是报如下错误(附件附文本):
或者
尝试如下:
尝试一:
flink的lib下有如下jar包:
提交的jar包中发现没有下面连个类
执行后报错
尝试二:
将guava-11.0.2.jar包移动到hadoop的lib下,再次执行依然报错
尝试结果:
反复尝试都一致报错,求大神们指点,再此先谢谢了!
回复：转发：flink1.10整合hbase测试遇到的问题
Posted by Lijie Wang <wa...@126.com>.
这个是因为这个 class 不在路径中导致的。你需要确认一下这个 class 在哪个 jar 包中，这个 jar 包是否在 flink 的 lib 下
在2020年06月3日 22:52，liunaihua521<li...@163.com> 写道：
--------- 转发邮件信息 ---------
发件人： liunaihua521 <li...@163.com>
发送日期： 2020年6月3日 22:18
发送至： user-zh-info@flink.apache.org <us...@flink.apache.org> 、 user-zh-faq@flink.apache.org <us...@flink.apache.org>
主题： flink1.10整合hbase测试遇到的问题
hi!
版本说明:
flink版本1.10
HBase版本2.2.4
ZK版本3.6.1
Hadoop版本2.10.0
程序说明:
程序是简单的实现RichSourceFunction和RichSinkFunction,读取和写入hbase,程序打包后上传standalone模式的集群.
报错说明:
提交任务后,总是报如下错误(附件附文本):
或者
尝试如下:
尝试一:
flink的lib下有如下jar包:
提交的jar包中发现没有下面连个类
执行后报错
尝试二:
将guava-11.0.2.jar包移动到hadoop的lib下,再次执行依然报错
尝试结果:
反复尝试都一致报错,求大神们指点,再此先谢谢了!
Re: flink1.10整合hbase测试遇到的问题
Posted by Jark Wu <im...@gmail.com>.
FYI Leonard's reply in another thread:
=============================================
Flink hbase connector官网有的[1],1.10以前的包名是flink-hbase,
1.11后社区统一了所有connector的包名，包名为flink-connector-hbase[1]，1.11最近快发布了，你的报错看起来是缺少了一些类，可以参考下hbase
connector的依赖[2]。
[1]
https://ci.apache.org/projects/flink/flink-docs-master/dev/table/connect.html#hbase-connector
[2]
https://github.com/apache/flink/blob/master/flink-connectors/flink-connector-hbase/pom.xml
On Thu, 4 Jun 2020 at 17:17, Weihua Hu <hu...@gmail.com> wrote:
> 可以尝试把依赖包 shaded 到你的 jar 包里，保证依赖的完整
>
> Best
> Weihua Hu
>
> > 2020年6月3日 22:52，liunaihua521 <li...@163.com> 写道：
> >
> >
> >
> > --------- 转发邮件信息 ---------
> >
> > 发件人： liunaihua521 <li...@163.com> <ma...@163.com>
> > 发送日期： 2020年6月3日 22:18
> > 发送至： user-zh-info@flink.apache.org <us...@flink.apache.org>
> <ma...@flink.apache.org>、 user-zh-faq@flink.apache.org <
> user-zh-faq@flink.apache.org> <ma...@flink.apache.org>
> > 主题： flink1.10整合hbase测试遇到的问题
> > hi!
> > 版本说明:
> > flink版本1.10
> > HBase版本2.2.4
> > ZK版本3.6.1
> > Hadoop版本2.10.0
> >
> > 程序说明:
> >
> 程序是简单的实现RichSourceFunction和RichSinkFunction,读取和写入hbase,程序打包后上传standalone模式的集群.
> >
> > 报错说明:
> > 提交任务后,总是报如下错误(附件附文本):
> > <1B135BA0-EF16-482E-9388-BB058AB2C06C.png>
> > 或者
> > <0BC55A5B-26B0-4BD5-A3DF-33985EDCE3E7.png>
> >
> > 尝试如下:
> > 尝试一:
> > flink的lib下有如下jar包:
> > <44DE6BF1-09DA-44F5-B0A8-704B3539B675.png>
> > 提交的jar包中发现没有下面连个类
> > 执行后报错
> >
> > 尝试二:
> > 将guava-11.0.2.jar包移动到hadoop的lib下,再次执行依然报错
> >
> > 尝试结果:
> > 反复尝试都一致报错,求大神们指点,再此先谢谢了!
> >
> > <flink??Hba se报错内容.txt>
>
>
Re: flink1.10整合hbase测试遇到的问题
Posted by Weihua Hu <hu...@gmail.com>.
可以尝试把依赖包 shaded 到你的 jar 包里，保证依赖的完整
Best
Weihua Hu
> 2020年6月3日 22:52，liunaihua521 <li...@163.com> 写道：
>
>
>
> --------- 转发邮件信息 ---------
>
> 发件人： liunaihua521 <li...@163.com> <ma...@163.com>
> 发送日期： 2020年6月3日 22:18
> 发送至： user-zh-info@flink.apache.org <us...@flink.apache.org> <ma...@flink.apache.org>、 user-zh-faq@flink.apache.org <us...@flink.apache.org> <ma...@flink.apache.org>
> 主题： flink1.10整合hbase测试遇到的问题
> hi!
> 版本说明:
> flink版本1.10
> HBase版本2.2.4
> ZK版本3.6.1
> Hadoop版本2.10.0
>
> 程序说明:
> 程序是简单的实现RichSourceFunction和RichSinkFunction,读取和写入hbase,程序打包后上传standalone模式的集群.
>
> 报错说明:
> 提交任务后,总是报如下错误(附件附文本):
> <1B135BA0-EF16-482E-9388-BB058AB2C06C.png>
> 或者
> <0BC55A5B-26B0-4BD5-A3DF-33985EDCE3E7.png>
>
> 尝试如下:
> 尝试一:
> flink的lib下有如下jar包:
> <44DE6BF1-09DA-44F5-B0A8-704B3539B675.png>
> 提交的jar包中发现没有下面连个类
> 执行后报错
>
> 尝试二:
> 将guava-11.0.2.jar包移动到hadoop的lib下,再次执行依然报错
>
> 尝试结果:
> 反复尝试都一致报错,求大神们指点,再此先谢谢了!
>
> <flink??Hba se报错内容.txt>