You are viewing a plain text version of this content. The canonical link for it is here.

Posted to user-zh@flink.apache.org by 李现 <st...@gmail.com> on 2019/12/18 15:05:13 UTC

flink跨集群kerberos认证问题

各位好，
    flink集群跨集群无法通过kerberos认证。
    集群1：flink集群，无kerberos认证
    集群2：hadoop2.6.0集群，有kerberos认证
    集群1数据到集群2hdfs，用的是bucketingsink，无法通过kerberos认证。按照官方文档的配置，如果是在一个集群是能通过验证的。
现在没有什么思路，希望有经验的朋友提点下，不胜感激。

Re: flink跨集群kerberos认证问题

Posted by 李现 <st...@gmail.com>.

这个方法我试过，如果是在应用集群的flink配置好conf文件，flinkjob初始化以及checkpoint存储需要和本地的hdfs交互，这样也是会遇到问题。就是client是security，server（本地hdfs）是simple，这样也是会抛异常。

Leslie Yuen <yu...@gmail.com>于2019年12月19日 周四08:35写道：

>
> 遇到过同样的问题，最后的解决办法就是直接在应用的集群中配置好flink-conf.yaml文件，代码中不需要额外加入认证代码就可以了。我测试通过的是消费写入带kerberos认证的Kafka
>
> > 在 2019年12月18日，23:05，李现 <st...@gmail.com> 写道：
> >
> > 各位好，
> >    flink集群跨集群无法通过kerberos认证。
> >    集群1：flink集群，无kerberos认证
> >    集群2：hadoop2.6.0集群，有kerberos认证
> >
> 集群1数据到集群2hdfs，用的是bucketingsink，无法通过kerberos认证。按照官方文档的配置，如果是在一个集群是能通过验证的。
> > 现在没有什么思路，希望有经验的朋友提点下，不胜感激。
>

Re: flink跨集群kerberos认证问题

Posted by 李现 <st...@gmail.com>.

是配置了：keytab和principal两个配置吗

Leslie Yuen <yu...@gmail.com>于2019年12月19日 周四08:35写道：

>
> 遇到过同样的问题，最后的解决办法就是直接在应用的集群中配置好flink-conf.yaml文件，代码中不需要额外加入认证代码就可以了。我测试通过的是消费写入带kerberos认证的Kafka
>
> > 在 2019年12月18日，23:05，李现 <st...@gmail.com> 写道：
> >
> > 各位好，
> >    flink集群跨集群无法通过kerberos认证。
> >    集群1：flink集群，无kerberos认证
> >    集群2：hadoop2.6.0集群，有kerberos认证
> >
> 集群1数据到集群2hdfs，用的是bucketingsink，无法通过kerberos认证。按照官方文档的配置，如果是在一个集群是能通过验证的。
> > 现在没有什么思路，希望有经验的朋友提点下，不胜感激。
>

Re: flink跨集群kerberos认证问题

Posted by Leslie Yuen <yu...@gmail.com>.

遇到过同样的问题，最后的解决办法就是直接在应用的集群中配置好flink-conf.yaml文件，代码中不需要额外加入认证代码就可以了。我测试通过的是消费写入带kerberos认证的Kafka

> 在 2019年12月18日，23:05，李现 <st...@gmail.com> 写道：
> 
> 各位好，
>    flink集群跨集群无法通过kerberos认证。
>    集群1：flink集群，无kerberos认证
>    集群2：hadoop2.6.0集群，有kerberos认证
>    集群1数据到集群2hdfs，用的是bucketingsink，无法通过kerberos认证。按照官方文档的配置，如果是在一个集群是能通过验证的。
> 现在没有什么思路，希望有经验的朋友提点下，不胜感激。