You are viewing a plain text version of this content. The canonical link for it is here.
Posted to user-zh@flink.apache.org by wx liao <li...@gmail.com> on 2021/10/28 11:53:30 UTC
一些关于flink rabbitmq connector的疑问
你好：
冒昧打扰，最近项目在使用flink,sink端是rabbitmq,但是查看项目源码发现RMQSink好像并没有对消息不丢失做保证，没有看到有使用waitForConfirm()或者是confirm listener,想问一下RMQSink部分是否没有保证at least once?希望可以得到解答，谢谢。
Re: 一些关于flink rabbitmq connector的疑问
Posted by wx liao <li...@gmail.com>.
> 在 2021年10月28日，下午7:53，wx liao <li...@gmail.com> 写道：
>
> 你好：
> 冒昧打扰，最近项目在使用flink,sink端是rabbitmq,但是查看项目源码发现RMQSink好像并没有对消息不丢失做保证，没有看到有使用waitForConfirm()或者是confirm listener,想问一下RMQSink部分是否没有保证at least once?希望可以得到解答，谢谢。
Re: 一些关于flink rabbitmq connector的疑问
Posted by Ken Peng <ke...@pubbox.net>.
Thanks @Qingsheng and @Leonard. Let's work together to improve the quality
of different connectors.
Regards.
On Fri, Oct 29, 2021 at 2:39 PM Qingsheng Ren <re...@gmail.com> wrote:
> Hi Ken,
>
> Thanks for reaching out and sorry for making confusion!
>
> Like Leonard mentioned we definitely honor every connector in Flink
> community. And under the situation that we have more and more connectors to
> maintain and limited guys and resources focusing on connector-wise issues,
> some connectors like Kafka and JDBC might receive more support.
>
> I’m very glad to see that RabbitMQ connector has a lot of active users,
> and also will be appreciate if friends from RabbitMQ side could help us
> improve RabbitMQ connector, like migrating to FLIP-27 Source API and
> FLIP-143 Sink API~
>
> 感谢联系，也很抱歉之前的表述产生了误解！
>
> 如 Leonard 所说我们重视 Flink 社区中的每一个 connector。考虑到目前我们有越来越多的 connector
> 需要维护，并且专注于 connector 的人手和资源都比较有限，有些像 Kafka 和 JDBC 这样的 connector 可能会获得更多的支持。
>
> 非常开心能看到 RabbitMQ connector 有如此多的活跃用户，也希望来自 RabbitMQ 社区的朋友能够帮助我们改进 RabbitMQ
> connector，比如迁移至 FLIP-27 Source API 和 FLIP-143 Sink API～
>
>
>
> > 2021年10月29日 下午12:52，Leonard Xu <xb...@gmail.com> 写道：
> >
> > Hi, Peng
> >
> > There’s no doubt that RabbitMQ is a good open source community with
> active users.
> > I understand what @renqschn means is that Flink RabbitMQ Connector is
> one connector with few users among the many connectors in the Flink
> project. From my observation, the connector that is used more in the Flink
> project should be Kafka. Filesystem, JDBC and so on. So, please help us to
> promote Flink in the RabbitMQ community and let more RabbitMQ users know
> and then use the Flink RabbitMQ Connector, which will give the Flink
> community more motivation to improve the Flink RabbitMQ Connector.
> >
> > Best,
> > Leonard
> >
> >> 在 2021年10月29日，11:13，Ken Peng <ke...@pubbox.net> 写道：
> >>
> >> I am one of the Forum Moderators for RabbitMQ, which does have a lot of
> >> active users. :)
> >> If you have any questions about RMQ please subscribe to its official
> group
> >> and ask there.
> >> rabbitmq-users+subscribe@googlegroups.com
> >>
> >> Regards.
> >>
> >>
> >> On Fri, Oct 29, 2021 at 11:09 AM 任庆盛 <re...@gmail.com> wrote:
> >>
> >>> 您好，
> >>>
> >>> 从代码来看 RabbitMQ Sink 的确没有语义保证。目前 RabbitMQ
> >>> 由于社区用户不多，相对的维护频率也比较低，如果感兴趣的话也欢迎您参与社区的贡献～
> >>>
> >>>
> >>>
> >>>> 2021年10月28日 下午7:53，wx liao <li...@gmail.com> 写道：
> >>>>
> >>>> 你好：
> >>>>
> >>>
> 冒昧打扰，最近项目在使用flink,sink端是rabbitmq,但是查看项目源码发现RMQSink好像并没有对消息不丢失做保证，没有看到有使用waitForConfirm()或者是confirm
> >>> listener,想问一下RMQSink部分是否没有保证at least once?希望可以得到解答，谢谢。
> >>>
> >>>
> >
>
>
Re: 一些关于flink rabbitmq connector的疑问
Posted by Qingsheng Ren <re...@gmail.com>.
Hi Ken,
Thanks for reaching out and sorry for making confusion!
Like Leonard mentioned we definitely honor every connector in Flink community. And under the situation that we have more and more connectors to maintain and limited guys and resources focusing on connector-wise issues, some connectors like Kafka and JDBC might receive more support.
I’m very glad to see that RabbitMQ connector has a lot of active users, and also will be appreciate if friends from RabbitMQ side could help us improve RabbitMQ connector, like migrating to FLIP-27 Source API and FLIP-143 Sink API~
感谢联系，也很抱歉之前的表述产生了误解！
如 Leonard 所说我们重视 Flink 社区中的每一个 connector。考虑到目前我们有越来越多的 connector 需要维护，并且专注于 connector 的人手和资源都比较有限，有些像 Kafka 和 JDBC 这样的 connector 可能会获得更多的支持。
非常开心能看到 RabbitMQ connector 有如此多的活跃用户，也希望来自 RabbitMQ 社区的朋友能够帮助我们改进 RabbitMQ connector，比如迁移至 FLIP-27 Source API 和 FLIP-143 Sink API～
> 2021年10月29日 下午12:52，Leonard Xu <xb...@gmail.com> 写道：
>
> Hi, Peng
>
> There’s no doubt that RabbitMQ is a good open source community with active users.
> I understand what @renqschn means is that Flink RabbitMQ Connector is one connector with few users among the many connectors in the Flink project. From my observation, the connector that is used more in the Flink project should be Kafka. Filesystem, JDBC and so on. So, please help us to promote Flink in the RabbitMQ community and let more RabbitMQ users know and then use the Flink RabbitMQ Connector, which will give the Flink community more motivation to improve the Flink RabbitMQ Connector.
>
> Best,
> Leonard
>
>> 在 2021年10月29日，11:13，Ken Peng <ke...@pubbox.net> 写道：
>>
>> I am one of the Forum Moderators for RabbitMQ, which does have a lot of
>> active users. :)
>> If you have any questions about RMQ please subscribe to its official group
>> and ask there.
>> rabbitmq-users+subscribe@googlegroups.com
>>
>> Regards.
>>
>>
>> On Fri, Oct 29, 2021 at 11:09 AM 任庆盛 <re...@gmail.com> wrote:
>>
>>> 您好，
>>>
>>> 从代码来看 RabbitMQ Sink 的确没有语义保证。目前 RabbitMQ
>>> 由于社区用户不多，相对的维护频率也比较低，如果感兴趣的话也欢迎您参与社区的贡献～
>>>
>>>
>>>
>>>> 2021年10月28日 下午7:53，wx liao <li...@gmail.com> 写道：
>>>>
>>>> 你好：
>>>>
>>> 冒昧打扰，最近项目在使用flink,sink端是rabbitmq,但是查看项目源码发现RMQSink好像并没有对消息不丢失做保证，没有看到有使用waitForConfirm()或者是confirm
>>> listener,想问一下RMQSink部分是否没有保证at least once?希望可以得到解答，谢谢。
>>>
>>>
>
Re: 一些关于flink rabbitmq connector的疑问
Posted by Leonard Xu <xb...@gmail.com>.
Hi, Peng
There’s no doubt that RabbitMQ is a good open source community with active users.
I understand what @renqschn means is that Flink RabbitMQ Connector is one connector with few users among the many connectors in the Flink project. From my observation, the connector that is used more in the Flink project should be Kafka. Filesystem, JDBC and so on. So, please help us to promote Flink in the RabbitMQ community and let more RabbitMQ users know and then use the Flink RabbitMQ Connector, which will give the Flink community more motivation to improve the Flink RabbitMQ Connector.
Best,
Leonard
> 在 2021年10月29日，11:13，Ken Peng <ke...@pubbox.net> 写道：
>
> I am one of the Forum Moderators for RabbitMQ, which does have a lot of
> active users. :)
> If you have any questions about RMQ please subscribe to its official group
> and ask there.
> rabbitmq-users+subscribe@googlegroups.com
>
> Regards.
>
>
> On Fri, Oct 29, 2021 at 11:09 AM 任庆盛 <re...@gmail.com> wrote:
>
>> 您好，
>>
>> 从代码来看 RabbitMQ Sink 的确没有语义保证。目前 RabbitMQ
>> 由于社区用户不多，相对的维护频率也比较低，如果感兴趣的话也欢迎您参与社区的贡献～
>>
>>
>>
>>> 2021年10月28日 下午7:53，wx liao <li...@gmail.com> 写道：
>>>
>>> 你好：
>>>
>> 冒昧打扰，最近项目在使用flink,sink端是rabbitmq,但是查看项目源码发现RMQSink好像并没有对消息不丢失做保证，没有看到有使用waitForConfirm()或者是confirm
>> listener,想问一下RMQSink部分是否没有保证at least once?希望可以得到解答，谢谢。
>>
>>
Re: 一些关于flink rabbitmq connector的疑问
Posted by Ken Peng <ke...@pubbox.net>.
I am one of the Forum Moderators for RabbitMQ, which does have a lot of
active users. :)
If you have any questions about RMQ please subscribe to its official group
and ask there.
rabbitmq-users+subscribe@googlegroups.com
Regards.
On Fri, Oct 29, 2021 at 11:09 AM 任庆盛 <re...@gmail.com> wrote:
> 您好，
>
> 从代码来看 RabbitMQ Sink 的确没有语义保证。目前 RabbitMQ
> 由于社区用户不多，相对的维护频率也比较低，如果感兴趣的话也欢迎您参与社区的贡献～
>
>
>
> > 2021年10月28日 下午7:53，wx liao <li...@gmail.com> 写道：
> >
> > 你好：
> >
> 冒昧打扰，最近项目在使用flink,sink端是rabbitmq,但是查看项目源码发现RMQSink好像并没有对消息不丢失做保证，没有看到有使用waitForConfirm()或者是confirm
> listener,想问一下RMQSink部分是否没有保证at least once?希望可以得到解答，谢谢。
>
>
Re: 一些关于flink rabbitmq connector的疑问
Posted by 任庆盛 <re...@gmail.com>.
您好，
从代码来看 RabbitMQ Sink 的确没有语义保证。目前 RabbitMQ 由于社区用户不多，相对的维护频率也比较低，如果感兴趣的话也欢迎您参与社区的贡献～
> 2021年10月28日 下午7:53，wx liao <li...@gmail.com> 写道：
>
> 你好：
> 冒昧打扰，最近项目在使用flink,sink端是rabbitmq,但是查看项目源码发现RMQSink好像并没有对消息不丢失做保证，没有看到有使用waitForConfirm()或者是confirm listener,想问一下RMQSink部分是否没有保证at least once?希望可以得到解答，谢谢。