You are viewing a plain text version of this content. The canonical link for it is here.
Posted to user-zh@flink.apache.org by Evan <ch...@foxmail.com> on 2021/02/24 08:23:42 UTC
社区有人实现过Flink的MongodbSource吗？
有人完整的实现Flink的MongodbSource吗
如题，现在有一个需求，需要Flink能实时读取MongoDB中数据变化
Re: 社区有人实现过Flink的MongodbSource吗？
Posted by Paul Lam <pa...@gmail.com>.
Hi Even,
我没有实际使用过，不过根据 Debezium 文档 [1] 和我了解到的用户反馈，存量读取和实时增量读取都是支持的。
[1] https://debezium.io/documentation/reference/connectors/mongodb.html#mongodb-streaming-changes
Best,
Paul Lam
> 2021年2月24日 17:08，Evan <ch...@foxmail.com> 写道：
>
> 好的，十分感谢，我调研一下，之前网上搜了一些资料，实现的只能批量读取，读完程序就停止了，不能一直实时的增量读取
>
>
>
>
> 发件人： Paul Lam
> 发送时间： 2021-02-24 17:03
> 收件人： user-zh
> 主题： Re: 社区有人实现过Flink的MongodbSource吗？
> Hi,
>
> Debezium 支持 MongoDB CDC[1]，可以了解下。
>
> [1] https://debezium.io/documentation/reference/connectors/mongodb.html
>
> Best,
> Paul Lam
>
>> 2021年2月24日 16:23，Evan <ch...@foxmail.com> 写道：
>>
>>
>> 有人完整的实现Flink的MongodbSource吗
>> 如题，现在有一个需求，需要Flink能实时读取MongoDB中数据变化
>>
>>
>
Re: 社区有人实现过Flink的MongodbSource吗？
Posted by Paul Lam <pa...@gmail.com>.
据我所知暂时没有。不过我所在公司内部有很多 mongodb 使用，因此我们也有计划开发 mongodb connector（主要是作为 sink）。
之前因为等 FLIP-143 新接口搁置了一下计划，最近可以重启。
如果顺利的话，我们预计放到 bahir 上或贡献给 mongo 社区（考虑到 flink 社区现在对新增 connector 到主 repo 比较谨慎）。
Best,
Paul Lam
> 2021年2月24日 18:16，林影 <br...@gmail.com> 写道：
>
> 请问flink的mongodb connector这块后续有计划吗
>
> Evan <ch...@foxmail.com> 于2021年2月24日周三 下午5:08写道：
>
>> 好的，十分感谢，我调研一下，之前网上搜了一些资料，实现的只能批量读取，读完程序就停止了，不能一直实时的增量读取
>>
>>
>>
>>
>> 发件人： Paul Lam
>> 发送时间： 2021-02-24 17:03
>> 收件人： user-zh
>> 主题： Re: 社区有人实现过Flink的MongodbSource吗？
>> Hi,
>>
>> Debezium 支持 MongoDB CDC[1]，可以了解下。
>>
>> [1] https://debezium.io/documentation/reference/connectors/mongodb.html
>>
>> Best,
>> Paul Lam
>>
>>> 2021年2月24日 16:23，Evan <ch...@foxmail.com> 写道：
>>>
>>>
>>> 有人完整的实现Flink的MongodbSource吗
>>> 如题，现在有一个需求，需要Flink能实时读取MongoDB中数据变化
>>>
>>>
>>
>>
Re: Re: 社区有人实现过Flink的MongodbSource吗？
Posted by 林影 <br...@gmail.com>.
请问flink的mongodb connector这块后续有计划吗
Evan <ch...@foxmail.com> 于2021年2月24日周三 下午5:08写道：
> 好的，十分感谢，我调研一下，之前网上搜了一些资料，实现的只能批量读取，读完程序就停止了，不能一直实时的增量读取
>
>
>
>
> 发件人： Paul Lam
> 发送时间： 2021-02-24 17:03
> 收件人： user-zh
> 主题： Re: 社区有人实现过Flink的MongodbSource吗？
> Hi,
>
> Debezium 支持 MongoDB CDC[1]，可以了解下。
>
> [1] https://debezium.io/documentation/reference/connectors/mongodb.html
>
> Best,
> Paul Lam
>
> > 2021年2月24日 16:23，Evan <ch...@foxmail.com> 写道：
> >
> >
> > 有人完整的实现Flink的MongodbSource吗
> > 如题，现在有一个需求，需要Flink能实时读取MongoDB中数据变化
> >
> >
>
>
Re: Re: 社区有人实现过Flink的MongodbSource吗？
Posted by Evan <ch...@foxmail.com>.
好的，十分感谢，我调研一下，之前网上搜了一些资料，实现的只能批量读取，读完程序就停止了，不能一直实时的增量读取
发件人： Paul Lam
发送时间： 2021-02-24 17:03
收件人： user-zh
主题： Re: 社区有人实现过Flink的MongodbSource吗？
Hi,
Debezium 支持 MongoDB CDC[1]，可以了解下。
[1] https://debezium.io/documentation/reference/connectors/mongodb.html
Best,
Paul Lam
> 2021年2月24日 16:23，Evan <ch...@foxmail.com> 写道：
>
>
> 有人完整的实现Flink的MongodbSource吗
> 如题，现在有一个需求，需要Flink能实时读取MongoDB中数据变化
>
>
Re: 社区有人实现过Flink的MongodbSource吗？
Posted by Paul Lam <pa...@gmail.com>.
Hi,
Debezium 支持 MongoDB CDC[1]，可以了解下。
[1] https://debezium.io/documentation/reference/connectors/mongodb.html
Best,
Paul Lam
> 2021年2月24日 16:23，Evan <ch...@foxmail.com> 写道：
>
>
> 有人完整的实现Flink的MongodbSource吗
> 如题，现在有一个需求，需要Flink能实时读取MongoDB中数据变化
>
>