You are viewing a plain text version of this content. The canonical link for it is here.
Posted to user-zh@flink.apache.org by "casel.chen" <ca...@126.com> on 2021/12/01 00:14:38 UTC
flink访问多个oss bucket问题
flink平台作业写数据到客户oss bucket,和flink平台作业本身做checkpoint/savepoint用的oss bucket不是同一个。
请问这种场景flink是否支持,如果支持的话应该要怎么配置?谢谢!
Re:Re: flink访问多个oss bucket问题
Posted by "casel.chen" <ca...@126.com>.
fs.oss.credentials.provider可以指定两个不同的provider吗?
如何区分是写数据的provider,还是做checkpoint/savepoint用的provider呢?
在 2021-12-01 10:58:18,"Caizhi Weng" <ts...@gmail.com> 写道:
>Hi!
>
>如果只是 bucket 不同的话,通过在 with 参数里指定 path 即可。
>
>如果连 ak id 和 secret
>都不同,可以考虑实现自己的 com.aliyun.oss.common.auth.CredentialsProvider 接口,并在 flink
>conf 中指定 fs.oss.credentials.provider 为对应的实现类。
>
>casel.chen <ca...@126.com> 于2021年12月1日周三 上午8:14写道:
>
>> flink平台作业写数据到客户oss bucket,和flink平台作业本身做checkpoint/savepoint用的oss
>> bucket不是同一个。
>> 请问这种场景flink是否支持,如果支持的话应该要怎么配置?谢谢!
Re: flink访问多个oss bucket问题
Posted by Caizhi Weng <ts...@gmail.com>.
Hi!
如果只是 bucket 不同的话,通过在 with 参数里指定 path 即可。
如果连 ak id 和 secret
都不同,可以考虑实现自己的 com.aliyun.oss.common.auth.CredentialsProvider 接口,并在 flink
conf 中指定 fs.oss.credentials.provider 为对应的实现类。
casel.chen <ca...@126.com> 于2021年12月1日周三 上午8:14写道:
> flink平台作业写数据到客户oss bucket,和flink平台作业本身做checkpoint/savepoint用的oss
> bucket不是同一个。
> 请问这种场景flink是否支持,如果支持的话应该要怎么配置?谢谢!