You are viewing a plain text version of this content. The canonical link for it is here.
Posted to user-zh@flink.apache.org by 刘宇宝 <li...@yingmi.cn> on 2020/04/13 06:59:53 UTC

Re: Flink 1.10读取kafka数据，打包jar，提交任务到集群运行测试，遇到java.lang.NoClassDefFoundError: org/apache/flink/streaming/connectors/kafka/FlinkKafkaConsumerBase问题，求救大神帮忙解答，谢谢！

用官方项目模板起步，https://ci.apache.org/projects/flink/flink-docs-release-1.10/dev/projectsetup/java_api_quickstart.html

不要往 flink 里头加 jar 包，在你项目的 pom.xml 里加：

      <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-connector-kafka_${scala.binary.version}</artifactId>
            <version>${flink.version}</version>
        </dependency>

From: "wangweiguang@stevegame.cn" <wa...@stevegame.cn>
Reply-To: "user-zh@flink.apache.org" <us...@flink.apache.org>
Date: Monday, April 13, 2020 at 2:32 PM
To: user-zh <us...@flink.apache.org>
Subject: Flink 1.10读取kafka数据，打包jar，提交任务到集群运行测试，遇到java.lang.NoClassDefFoundError: org/apache/flink/streaming/connectors/kafka/FlinkKafkaConsumerBase问题，求救大神帮忙解答，谢谢！


你好：

    我在用Flink 1.10读取kafka数据，本地IDEA环境执行没有问题，将代码编译打包（不是fat jar）到集群上运行测试，执行提示：java.lang.NoClassDefFoundError: org/apache/flink/streaming/connectors/kafka/FlinkKafkaConsumerBase问题。
    我在Flink 1.10集群的每个节点下的 /lib下都添加了kafka依赖包：flink-connector-kafka_2.11-1.10.0.jar
    我启动的命令：
    我先启动了一个Yarn session:
    yarn-session.sh -yd -jm 2048m -tm 2048m -s 10
    然后在session提交任务测试
    flink run -d -p 2 -m yarn-cluster -c com.sdf.flink.streaming.BroadcastOrderJoinGoodsName -yid application_1585277813790_0006 ./flink-project_1.10.0-1.0.jar
    启动就报如下错误：
   [cid:_Foxmail.1@bf61ef0c-2f52-034d-bba5-a41cbf6b4faf]

/lib下的依赖包：
[cid:_Foxmail.1@0be9c7f1-1b24-8e3e-ea4f-d47b95d9ffaf]

代码片段：
[cid:_Foxmail.1@76174c8c-512d-b948-71c9-359c474bf11e]

就是简单的读取数据，输出测试！

________________________________
[https://exmail.qq.com/cgi-bin/viewfile?type=signature&picid=ZX1328-4PdHqpEhbWjLSGE47md0b7k&uin=688208663]






史蒂夫软件（深圳）有限公司
技术部   王卫光
wangweiguang@stevegame.cn<ma...@stevegame.cn>
地址/Add：深圳南山科区科技园高新南十二道康佳研发大厦A座
手机/Mob：13128970998
http://www.stevengame.com/<http://www.vcanbio.com/>

Re: Re: Flink 1.10读取kafka数据，打包jar，提交任务到集群运行测试，遇到java.lang.NoClassDefFoundError: org/apache/flink/streaming/connectors/kafka/FlinkKafkaConsumerBase问题，求救大神帮忙解答，谢谢！

Posted by "wangweiguang@stevegame.cn" <wa...@stevegame.cn>.
感谢flink道友解答，谢谢！

目前是通过maven来开发flink程序，只是编译打包到集群运行的时候缺少kafka依赖包，flink-connector-kafka_2.11-1.10.0.jar，flink-connector-kafka-base_2.11-1.10.0.jar，kafka-clients-1.0.1-kafka-3.1.1.jar
这些添加到lib后，程序运行成功！

发件人： 刘宇宝
发送时间： 2020-04-13 14:59
收件人： user-zh@flink.apache.org
主题： Re: Flink 1.10读取kafka数据，打包jar，提交任务到集群运行测试，遇到java.lang.NoClassDefFoundError: org/apache/flink/streaming/connectors/kafka/FlinkKafkaConsumerBase问题，求救大神帮忙解答，谢谢！
用官方项目模板起步，https://ci.apache.org/projects/flink/flink-docs-release-1.10/dev/projectsetup/java_api_quickstart.html
 
不要往 flink 里头加 jar 包，在你项目的 pom.xml 里加：
 
      <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-connector-kafka_${scala.binary.version}</artifactId>
            <version>${flink.version}</version>
        </dependency>
 
From: "wangweiguang@stevegame.cn" <wa...@stevegame.cn>
Reply-To: "user-zh@flink.apache.org" <us...@flink.apache.org>
Date: Monday, April 13, 2020 at 2:32 PM
To: user-zh <us...@flink.apache.org>
Subject: Flink 1.10读取kafka数据，打包jar，提交任务到集群运行测试，遇到java.lang.NoClassDefFoundError: org/apache/flink/streaming/connectors/kafka/FlinkKafkaConsumerBase问题，求救大神帮忙解答，谢谢！
 
 
你好：
 
    我在用Flink 1.10读取kafka数据，本地IDEA环境执行没有问题，将代码编译打包（不是fat jar）到集群上运行测试，执行提示：java.lang.NoClassDefFoundError: org/apache/flink/streaming/connectors/kafka/FlinkKafkaConsumerBase问题。
    我在Flink 1.10集群的每个节点下的 /lib下都添加了kafka依赖包：flink-connector-kafka_2.11-1.10.0.jar
    我启动的命令：
    我先启动了一个Yarn session:
    yarn-session.sh -yd -jm 2048m -tm 2048m -s 10
    然后在session提交任务测试
    flink run -d -p 2 -m yarn-cluster -c com.sdf.flink.streaming.BroadcastOrderJoinGoodsName -yid application_1585277813790_0006 ./flink-project_1.10.0-1.0.jar
    启动就报如下错误：
   [cid:_Foxmail.1@bf61ef0c-2f52-034d-bba5-a41cbf6b4faf]
 
/lib下的依赖包：
[cid:_Foxmail.1@0be9c7f1-1b24-8e3e-ea4f-d47b95d9ffaf]
 
代码片段：
[cid:_Foxmail.1@76174c8c-512d-b948-71c9-359c474bf11e]
 
就是简单的读取数据，输出测试！
 
________________________________
[https://exmail.qq.com/cgi-bin/viewfile?type=signature&picid=ZX1328-4PdHqpEhbWjLSGE47md0b7k&uin=688208663]
 
 
 
 
 
 
史蒂夫软件（深圳）有限公司
技术部   王卫光
wangweiguang@stevegame.cn<ma...@stevegame.cn>
地址/Add：深圳南山科区科技园高新南十二道康佳研发大厦A座
手机/Mob：13128970998
http://www.stevengame.com/<http://www.vcanbio.com/>

Re: Re: Flink 1.10读取kafka数据，打包jar，提交任务到集群运行测试，遇到java.lang.NoClassDefFoundError: org/apache/flink/streaming/connectors/kafka/FlinkKafkaConsumerBase问题，求救大神帮忙解答，谢谢！

Posted by "wangweiguang@stevegame.cn" <wa...@stevegame.cn>.
 昨天测试了下，除了需要添加 flink-connector-kafka_2.11-1.10.0.jar 这个外，还需要flink-connector-kafka-base_2.11-1.10.0.jar，感觉Flink在添加依赖jar做的不是很好，添加也不够灵活！

发件人： zhisheng
发送时间： 2020-04-14 15:24
收件人： user-zh
主题： Re: Re: Flink 1.10读取kafka数据，打包jar，提交任务到集群运行测试，遇到java.lang.NoClassDefFoundError: org/apache/flink/streaming/connectors/kafka/FlinkKafkaConsumerBase问题，求救大神帮忙解答，谢谢！
应该加了 flink-connector-kafka_2.11-1.10.0.jar 这个就行
 
wangweiguang@stevegame.cn <wa...@stevegame.cn> 于2020年4月13日周一
下午3:09写道：
 
>
> 感谢flink道友解答，谢谢！
>
>
> 目前是通过maven来开发flink程序，只是编译打包到集群运行的时候缺少kafka依赖包，flink-connector-kafka_2.11-1.10.0.jar，flink-connector-kafka-base_2.11-1.10.0.jar，kafka-clients-1.0.1-kafka-3.1.1.jar
> 这些添加到lib后，程序运行成功！
>
> 发件人： 刘宇宝
> 发送时间： 2020-04-13 14:59
> 收件人： user-zh@flink.apache.org
> 主题： Re: Flink
> 1.10读取kafka数据，打包jar，提交任务到集群运行测试，遇到java.lang.NoClassDefFoundError:
> org/apache/flink/streaming/connectors/kafka/FlinkKafkaConsumerBase问题，求救大神帮忙解答，谢谢！
> 用官方项目模板起步，
> https://ci.apache.org/projects/flink/flink-docs-release-1.10/dev/projectsetup/java_api_quickstart.html
>
> 不要往 flink 里头加 jar 包，在你项目的 pom.xml 里加：
>
>       <dependency>
>             <groupId>org.apache.flink</groupId>
>
> <artifactId>flink-connector-kafka_${scala.binary.version}</artifactId>
>             <version>${flink.version}</version>
>         </dependency>
>
> From: "wangweiguang@stevegame.cn" <wa...@stevegame.cn>
> Reply-To: "user-zh@flink.apache.org" <us...@flink.apache.org>
> Date: Monday, April 13, 2020 at 2:32 PM
> To: user-zh <us...@flink.apache.org>
> Subject: Flink
> 1.10读取kafka数据，打包jar，提交任务到集群运行测试，遇到java.lang.NoClassDefFoundError:
> org/apache/flink/streaming/connectors/kafka/FlinkKafkaConsumerBase问题，求救大神帮忙解答，谢谢！
>
>
> 你好：
>
>     我在用Flink 1.10读取kafka数据，本地IDEA环境执行没有问题，将代码编译打包（不是fat
> jar）到集群上运行测试，执行提示：java.lang.NoClassDefFoundError:
> org/apache/flink/streaming/connectors/kafka/FlinkKafkaConsumerBase问题。
>     我在Flink 1.10集群的每个节点下的
> /lib下都添加了kafka依赖包：flink-connector-kafka_2.11-1.10.0.jar
>     我启动的命令：
>     我先启动了一个Yarn session:
>     yarn-session.sh -yd -jm 2048m -tm 2048m -s 10
>     然后在session提交任务测试
>     flink run -d -p 2 -m yarn-cluster -c
> com.sdf.flink.streaming.BroadcastOrderJoinGoodsName -yid
> application_1585277813790_0006 ./flink-project_1.10.0-1.0.jar
>     启动就报如下错误：
>    [cid:_Foxmail.1@bf61ef0c-2f52-034d-bba5-a41cbf6b4faf]
>
> /lib下的依赖包：
> [cid:_Foxmail.1@0be9c7f1-1b24-8e3e-ea4f-d47b95d9ffaf]
>
> 代码片段：
> [cid:_Foxmail.1@76174c8c-512d-b948-71c9-359c474bf11e]
>
> 就是简单的读取数据，输出测试！
>
> ________________________________
> [
> https://exmail.qq.com/cgi-bin/viewfile?type=signature&picid=ZX1328-4PdHqpEhbWjLSGE47md0b7k&uin=688208663
> ]
>
>
>
>
>
>
> 史蒂夫软件（深圳）有限公司
> 技术部   王卫光
> wangweiguang@stevegame.cn<ma...@stevegame.cn>
> 地址/Add：深圳南山科区科技园高新南十二道康佳研发大厦A座
> 手机/Mob：13128970998
> http://www.stevengame.com/<http://www.vcanbio.com/>
>

Re: Re: Flink 1.10读取kafka数据，打包jar，提交任务到集群运行测试，遇到java.lang.NoClassDefFoundError: org/apache/flink/streaming/connectors/kafka/FlinkKafkaConsumerBase问题，求救大神帮忙解答，谢谢！

Posted by zhisheng <zh...@gmail.com>.
应该加了 flink-connector-kafka_2.11-1.10.0.jar 这个就行

wangweiguang@stevegame.cn <wa...@stevegame.cn> 于2020年4月13日周一
下午3:09写道：

>
> 感谢flink道友解答，谢谢！
>
>
> 目前是通过maven来开发flink程序，只是编译打包到集群运行的时候缺少kafka依赖包，flink-connector-kafka_2.11-1.10.0.jar，flink-connector-kafka-base_2.11-1.10.0.jar，kafka-clients-1.0.1-kafka-3.1.1.jar
> 这些添加到lib后，程序运行成功！
>
> 发件人： 刘宇宝
> 发送时间： 2020-04-13 14:59
> 收件人： user-zh@flink.apache.org
> 主题： Re: Flink
> 1.10读取kafka数据，打包jar，提交任务到集群运行测试，遇到java.lang.NoClassDefFoundError:
> org/apache/flink/streaming/connectors/kafka/FlinkKafkaConsumerBase问题，求救大神帮忙解答，谢谢！
> 用官方项目模板起步，
> https://ci.apache.org/projects/flink/flink-docs-release-1.10/dev/projectsetup/java_api_quickstart.html
>
> 不要往 flink 里头加 jar 包，在你项目的 pom.xml 里加：
>
>       <dependency>
>             <groupId>org.apache.flink</groupId>
>
> <artifactId>flink-connector-kafka_${scala.binary.version}</artifactId>
>             <version>${flink.version}</version>
>         </dependency>
>
> From: "wangweiguang@stevegame.cn" <wa...@stevegame.cn>
> Reply-To: "user-zh@flink.apache.org" <us...@flink.apache.org>
> Date: Monday, April 13, 2020 at 2:32 PM
> To: user-zh <us...@flink.apache.org>
> Subject: Flink
> 1.10读取kafka数据，打包jar，提交任务到集群运行测试，遇到java.lang.NoClassDefFoundError:
> org/apache/flink/streaming/connectors/kafka/FlinkKafkaConsumerBase问题，求救大神帮忙解答，谢谢！
>
>
> 你好：
>
>     我在用Flink 1.10读取kafka数据，本地IDEA环境执行没有问题，将代码编译打包（不是fat
> jar）到集群上运行测试，执行提示：java.lang.NoClassDefFoundError:
> org/apache/flink/streaming/connectors/kafka/FlinkKafkaConsumerBase问题。
>     我在Flink 1.10集群的每个节点下的
> /lib下都添加了kafka依赖包：flink-connector-kafka_2.11-1.10.0.jar
>     我启动的命令：
>     我先启动了一个Yarn session:
>     yarn-session.sh -yd -jm 2048m -tm 2048m -s 10
>     然后在session提交任务测试
>     flink run -d -p 2 -m yarn-cluster -c
> com.sdf.flink.streaming.BroadcastOrderJoinGoodsName -yid
> application_1585277813790_0006 ./flink-project_1.10.0-1.0.jar
>     启动就报如下错误：
>    [cid:_Foxmail.1@bf61ef0c-2f52-034d-bba5-a41cbf6b4faf]
>
> /lib下的依赖包：
> [cid:_Foxmail.1@0be9c7f1-1b24-8e3e-ea4f-d47b95d9ffaf]
>
> 代码片段：
> [cid:_Foxmail.1@76174c8c-512d-b948-71c9-359c474bf11e]
>
> 就是简单的读取数据，输出测试！
>
> ________________________________
> [
> https://exmail.qq.com/cgi-bin/viewfile?type=signature&picid=ZX1328-4PdHqpEhbWjLSGE47md0b7k&uin=688208663
> ]
>
>
>
>
>
>
> 史蒂夫软件（深圳）有限公司
> 技术部   王卫光
> wangweiguang@stevegame.cn<ma...@stevegame.cn>
> 地址/Add：深圳南山科区科技园高新南十二道康佳研发大厦A座
> 手机/Mob：13128970998
> http://www.stevengame.com/<http://www.vcanbio.com/>
>