关于pyflink连接rabbitmq

[Ella SUN <ji...@gmail.com>]

您好~

我是一个flink的初学者。目前的需求是从rabbitmq读入流处理后存进mysql。
因为公司大家的技术栈是python，最近看到了中国社区在推广pyflink（apache-flink）所以就试了一下。但是我发现连接rabbitmq的时候，java有很多包支持，比如
org.apache.flink.streaming.connectors.rabbitmq.*
，想问一下pyflink有类似的连接支持么？

或者有什么推荐的解决方案么比如用pika连接等

多谢~
-- 
Ella Sun

Re: 关于pyflink连接rabbitmq

[Dian Fu <di...@gmail.com>]

PyFlink目前只支持Python Table API，rabbitmq目前还没有提供Table/SQL的connector，如果想在PyFlink里使用rabbitmq，有以下几种解决方案：

1）实现Java的rabbitmq的TableSource/TableSink，可以参考Kafka等connector的实现，基本只需要在现有实现的基础上包装一下即可。
2）在PyFlink作业里使用rabbitmq的source/sink。目前在PyFlink里注册TableSource/TableSink有2种方式：
2.1）如果使用TableEnvironment.register_table_source/register_table_sink接口注册rabbitmq的connector，你需要做的事情是：写一个Python的rabbitmq的TableSource/TableSink的wrapper，可以参考一下CsvTableSource/CsvTableSource的实现方式[1][2]
2.2)  如果使用TableEnvironment.connect接口，你需要做的事情是：写一个Java的rabbitmq的TableSourceSinkFactory，然后使用CustomConnectorDescriptor[3]，CustomConnectorDescriptor的使用可以参考一下test case[4]: 

[1] https://github.com/apache/flink/blob/master/flink-python/pyflink/table/sinks.py#L40 <https://github.com/apache/flink/blob/master/flink-python/pyflink/table/sinks.py#L40>
[2] https://github.com/apache/flink/blob/master/flink-python/pyflink/table/sources.py#L35 <https://github.com/apache/flink/blob/master/flink-python/pyflink/table/sources.py#L35>
[3] https://github.com/apache/flink/blob/master/flink-python/pyflink/table/descriptors.py#L1199 <https://github.com/apache/flink/blob/master/flink-python/pyflink/table/descriptors.py#L1199>
[4] https://github.com/apache/flink/blob/master/flink-python/pyflink/table/tests/test_descriptor.py#L347 <https://github.com/apache/flink/blob/master/flink-python/pyflink/table/tests/test_descriptor.py#L347>
> 在 2020年4月10日，下午5:09，Ella SUN <ji...@gmail.com> 写道：
> 
> 您好~
> 
> 我是一个flink的初学者。目前的需求是从rabbitmq读入流处理后存进mysql。
> 因为公司大家的技术栈是python，最近看到了中国社区在推广pyflink（apache-flink）所以就试了一下。但是我发现连接rabbitmq的时候，java有很多包支持，比如
> org.apache.flink.streaming.connectors.rabbitmq.*
> ，想问一下pyflink有类似的连接支持么？
> 
> 或者有什么推荐的解决方案么比如用pika连接等
> 
> 多谢~
> -- 
> Ella Sun