You are viewing a plain text version of this content. The canonical link for it is here.

Posted to user-zh@flink.apache.org by Rui Li <li...@gmail.com> on 2020/09/01 13:36:14 UTC

Re: 请教 hive streaming 报错

Hi，

怀疑是类加载的问题的话可以尝试把所有依赖的jar都放到lib下面试试，保证这些依赖是同一个classloader加载的

On Tue, Sep 1, 2020 at 9:42 AM liangck <li...@163.com> wrote:

> 遇到同样的问题，请问解决了吗。我是flink-connector-hive和hive-exec打进jar包里提交的。但是
>
> flink-connector-hive里有个org.apache.flink.streaming.api.functions.sink.filesystem.HadoopPathBasedBulkFormatBuilder类，引用了streaming-java包里的org.apache.flink.streaming.api.functions.sink.filesystem.DefaultBucketFactoryImpl。估计是因为类加载器不同导致无法引用报错。
>
>
>
> --
> Sent from: http://apache-flink.147419.n8.nabble.com/
>


-- 
Best regards!
Rui Li

Re: 请教 hive streaming 报错

Posted by Rui Li <li...@gmail.com>.

可以试试不把hive-exec和PB 3.5.1的jar放到lib下面，而是通过命令行参数的方式指定这两个依赖？

On Wed, Sep 2, 2020 at 5:52 PM liangck <li...@163.com> wrote:

> 最后加了好多jar包到 flink/lib
>
> 下，任务跑起来了。但是hive-exec中依赖的protobuf版本是2.5.0而且打进了jar包里，和其他任务里依赖的protobuf版本3.5.1不兼容。。请问下大佬们有什么好办法吗？
>
>
>
> --
> Sent from: http://apache-flink.147419.n8.nabble.com/



-- 
Best regards!
Rui Li

Re: 请教 hive streaming 报错

Posted by liangck <li...@163.com>.

最后加了好多jar包到 flink/lib
下，任务跑起来了。但是hive-exec中依赖的protobuf版本是2.5.0而且打进了jar包里，和其他任务里依赖的protobuf版本3.5.1不兼容。。请问下大佬们有什么好办法吗？



--
Sent from: http://apache-flink.147419.n8.nabble.com/

Re: 请教 hive streaming 报错

Posted by liangck <li...@163.com>.

最后 加了好多包到 flink/lib 下。我的任务是好了。hive-exec包中依赖的protobuf-java是2.5.0而且是直接把
protobuf-java
打进了jar包。我们这边有其他的任务依赖的protobuf版本是3.5.1，不兼容，服务起不来。。。请问下大佬们有什么好的办法吗。



--
Sent from: http://apache-flink.147419.n8.nabble.com/