You are viewing a plain text version of this content. The canonical link for it is here.
Posted to user-zh@flink.apache.org by 消息室 <he...@qq.com> on 2020/12/16 13:12:43 UTC
求教：pyflink的sink是否支持redis connector?
您好：
我们项目组计划使用pyflink，有幸拜读了您的博客，我想请教一下当前1.12.0版本的pyflink的sink是否支持redis connector?感谢！
如不支持，有何建议方式？
Re: 求教：pyflink的sink是否支持redis connector?
Posted by Dian Fu <di...@gmail.com>.
您好，关于JDBC connector的问题，已经回复您了，我们在另外一个thread里讨论吧。
> 在 2020年12月17日，上午10:25，肖越 <18...@163.com> 写道：
>
> 请问 可以连接oracle数据库么？自己尝试了定义connector，但报错findAndCreateTableSource failed ，并没有找到pyflink关于oracle connector的定义示例代码
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
> 在 2020-12-17 10:16:13，"Dian Fu" <di...@gmail.com> 写道：
>> 感谢Xingbo的回复，稍微补充一点：所有Table & SQL支持的connector都可以用在PyFlink中。
>>
>> redis的connector没有直接在Flink的代码库里提供，这里有一个，应该也可以用：https://github.com/apache/bahir-flink/tree/master/flink-connector-redis <https://github.com/apache/bahir-flink/tree/master/flink-connector-redis>
>>
>> 关于如何在PyFlink中使用connector，可以参考文档：https://ci.apache.org/projects/flink/flink-docs-release-1.12/dev/python/table-api-users-guide/python_table_api_connectors.html
>>
>>> 在 2020年12月17日，上午9:52，Xingbo Huang <hx...@gmail.com> 写道：
>>>
>>> Hi,
>>>
>>> 据我所知，flink没有提供对redis connector的官方支持[1]，你需要根据官方提供的接口来自定义你的redis
>>> connector，关于如何自定义connector，你可以参考文档[2]
>>>
>>> [1]
>>> https://ci.apache.org/projects/flink/flink-docs-release-1.12/dev/table/connectors/
>>> [2]
>>> https://ci.apache.org/projects/flink/flink-docs-release-1.12/dev/table/sourceSinks.html
>>>
>>> Best,
>>> Xingbo
>>>
>>>
>>> 消息室 <he...@qq.com> 于2020年12月17日周四 上午9:33写道：
>>>
>>>> 您好：
>>>>
>>>>
>>>> 我们项目组计划使用pyflink，有幸拜读了您的博客，我想请教一下当前1.12.0版本的pyflink的sink是否支持redis
>>>> connector?感谢！
>>>> 如不支持，有何建议方式？
>>
Re:Re: 求教：pyflink的sink是否支持redis connector?
Posted by 肖越 <18...@163.com>.
请问 可以连接oracle数据库么？自己尝试了定义connector，但报错findAndCreateTableSource failed ，并没有找到pyflink关于oracle connector的定义示例代码
在 2020-12-17 10:16:13，"Dian Fu" <di...@gmail.com> 写道：
>感谢Xingbo的回复，稍微补充一点：所有Table & SQL支持的connector都可以用在PyFlink中。
>
>redis的connector没有直接在Flink的代码库里提供，这里有一个，应该也可以用：https://github.com/apache/bahir-flink/tree/master/flink-connector-redis <https://github.com/apache/bahir-flink/tree/master/flink-connector-redis>
>
>关于如何在PyFlink中使用connector，可以参考文档：https://ci.apache.org/projects/flink/flink-docs-release-1.12/dev/python/table-api-users-guide/python_table_api_connectors.html
>
>> 在 2020年12月17日，上午9:52，Xingbo Huang <hx...@gmail.com> 写道：
>>
>> Hi,
>>
>> 据我所知，flink没有提供对redis connector的官方支持[1]，你需要根据官方提供的接口来自定义你的redis
>> connector，关于如何自定义connector，你可以参考文档[2]
>>
>> [1]
>> https://ci.apache.org/projects/flink/flink-docs-release-1.12/dev/table/connectors/
>> [2]
>> https://ci.apache.org/projects/flink/flink-docs-release-1.12/dev/table/sourceSinks.html
>>
>> Best,
>> Xingbo
>>
>>
>> 消息室 <he...@qq.com> 于2020年12月17日周四 上午9:33写道：
>>
>>> 您好：
>>>
>>>
>>> 我们项目组计划使用pyflink，有幸拜读了您的博客，我想请教一下当前1.12.0版本的pyflink的sink是否支持redis
>>> connector?感谢！
>>> 如不支持，有何建议方式？
>
Re: pyflink 如何指定csv分隔符为“||”
Posted by Xingbo Huang <hx...@gmail.com>.
Hi,
csv.field-delimiter限制了只能使用单个字符，具体可以参考文档[1]
[1]
https://ci.apache.org/projects/flink/flink-docs-release-1.12/dev/table/connectors/formats/csv.html#csv-field-delimiter
Best,
Xingbo
消息室 <he...@qq.com> 于2020年12月30日周三 下午12:04写道：
>
> format='csv'想要指定分割符为"||"，设置为：
>
>
> 报错：
> Caused by: org.apache.flink.table.api.ValidationException: Option
> 'csv.field-delimiter' must be a string with single character, but was: \|\|
>
>
> 请问该如何指定分隔符为“||” ?
>
>
> ------------------ 原始邮件 ------------------
> *发件人:* "Dian Fu" <di...@gmail.com>;
> *发送时间:* 2020年12月17日(星期四) 下午3:12
> *收件人:* "user-zh"<us...@flink.apache.org>;
> *抄送:* "消息室"<he...@qq.com>;
> *主题:* Re: 求教：pyflink的sink是否支持redis connector?
>
> 嗯，需要打成Jar包，才可以在PyFlink里用：
> 1）需要创建一个fat jar，把依赖都shade到jar里面。现在默认的不是fat jar，需要修改一下pom文件，可以参考Kafka里的做法
> [1]。
> 2）关于如何使用，可用的属性有这些 [2]
>
> [1]
> https://github.com/apache/flink/blob/master/flink-connectors/flink-sql-connector-kafka/pom.xml#L46
> [2]
> https://github.com/apache/bahir-flink/blob/f0b3e1e04930b79b277cfc7ebe3552db246578e9/flink-connector-redis/src/main/java/org/apache/flink/streaming/connectors/redis/descriptor/RedisValidator.java
>
>
> 在 2020年12月17日，上午11:55，magichuang <ma...@88.com> 写道：
>
> hi,
>
> 想问一下您 这个
> https://github.com/apache/bahir-flink/tree/master/flink-connector-redis
> 可以打包成jar包嘛，然后在pyflink里用
>
> 对java不熟悉，我看这个页面里面只是对java和scala说了如何用
>
>
>
>
>
>
>
> Best，
>
> MagicHuang
>
>
>
>
> ------------------ 原始邮件 ------------------
> 发 件 人："Dian Fu" <di...@gmail.com>
> 发送时间：2020-12-17 10:16:13
> 收 件 人：user-zh <us...@flink.apache.org>,hepeitan@qq.com
> 抄 送：
> 主 题：Re: 求教：pyflink的sink是否支持redis connector?
>
> 感谢Xingbo的回复，稍微补充一点：所有Table & SQL支持的connector都可以用在PyFlink中。
>
> redis的connector没有直接在Flink的代码库里提供，这里有一个，应该也可以用：
> https://github.com/apache/bahir-flink/tree/master/flink-connector-redis
>
> 关于如何在PyFlink中使用connector，可以参考文档：
> https://ci.apache.org/projects/flink/flink-docs-release-1.12/dev/python/table-api-users-guide/python_table_api_connectors.html
>
> 在 2020年12月17日，上午9:52，Xingbo Huang 写道：
>
> Hi,
>
> 据我所知，flink没有提供对redis connector的官方支持[1]，你需要根据官方提供的接口来自定义你的redis
> connector，关于如何自定义connector，你可以参考文档[2]
>
> [1]
>
> https://ci.apache.org/projects/flink/flink-docs-release-1.12/dev/table/connectors/
> [2]
>
> https://ci.apache.org/projects/flink/flink-docs-release-1.12/dev/table/sourceSinks.html
>
> Best,
> Xingbo
>
>
> 消息室 于2020年12月17日周四 上午9:33写道：
>
> 您好：
>
>
> 我们项目组计划使用pyflink，有幸拜读了您的博客，我想请教一下当前1.12.0版本的pyflink的sink是否支持redis
> connector?感谢！
> 如不支持，有何建议方式？
>
>
>
>
>
>
>
>
pyflink 如何指定csv分隔符为“||”
Posted by 消息室 <he...@qq.com>.
format='csv'想要指定分割符为"||"，设置为：
报错：
Caused by: org.apache.flink.table.api.ValidationException: Option 'csv.field-delimiter' must be a string with single character, but was: \|\|
请问该如何指定分隔符为“||” ?
------------------ 原始邮件 ------------------
发件人: "Dian Fu" <dian0511.fu@gmail.com>;
发送时间: 2020年12月17日(星期四) 下午3:12
收件人: "user-zh"<user-zh@flink.apache.org>;
抄送: "消息室"<hepeitan@qq.com>;
主题: Re: 求教：pyflink的sink是否支持redis connector?
嗯，需要打成Jar包，才可以在PyFlink里用：
1）需要创建一个fat jar，把依赖都shade到jar里面。现在默认的不是fat jar，需要修改一下pom文件，可以参考Kafka里的做法 [1]。
2）关于如何使用，可用的属性有这些 [2]
[1] https://github.com/apache/flink/blob/master/flink-connectors/flink-sql-connector-kafka/pom.xml#L46
[2] https://github.com/apache/bahir-flink/blob/f0b3e1e04930b79b277cfc7ebe3552db246578e9/flink-connector-redis/src/main/java/org/apache/flink/streaming/connectors/redis/descriptor/RedisValidator.java
在 2020年12月17日，上午11:55，magichuang <magichuang@88.com> 写道：
hi,
想问一下您 这个 https://github.com/apache/bahir-flink/tree/master/flink-connector-redis 可以打包成jar包嘛，然后在pyflink里用
对java不熟悉，我看这个页面里面只是对java和scala说了如何用
Best，
MagicHuang
------------------ 原始邮件 ------------------
发 件 人："Dian Fu" <dian0511.fu@gmail.com>
发送时间：2020-12-17 10:16:13
收 件 人：user-zh <user-zh@flink.apache.org>,hepeitan@qq.com
抄 送：
主 题：Re: 求教：pyflink的sink是否支持redis connector?
感谢Xingbo的回复，稍微补充一点：所有Table & SQL支持的connector都可以用在PyFlink中。
redis的connector没有直接在Flink的代码库里提供，这里有一个，应该也可以用：https://github.com/apache/bahir-flink/tree/master/flink-connector-redis
关于如何在PyFlink中使用connector，可以参考文档：https://ci.apache.org/projects/flink/flink-docs-release-1.12/dev/python/table-api-users-guide/python_table_api_connectors.html
在 2020年12月17日，上午9:52，Xingbo Huang 写道：
Hi,
据我所知，flink没有提供对redis connector的官方支持[1]，你需要根据官方提供的接口来自定义你的redis
connector，关于如何自定义connector，你可以参考文档[2]
[1]
https://ci.apache.org/projects/flink/flink-docs-release-1.12/dev/table/connectors/
[2]
https://ci.apache.org/projects/flink/flink-docs-release-1.12/dev/table/sourceSinks.html
Best,
Xingbo
消息室 于2020年12月17日周四 上午9:33写道：
您好：
我们项目组计划使用pyflink，有幸拜读了您的博客，我想请教一下当前1.12.0版本的pyflink的sink是否支持redis
connector?感谢！
如不支持，有何建议方式？
Re: 求教：pyflink的sink是否支持redis connector?
Posted by Dian Fu <di...@gmail.com>.
嗯，需要打成Jar包，才可以在PyFlink里用：
1）需要创建一个fat jar，把依赖都shade到jar里面。现在默认的不是fat jar，需要修改一下pom文件，可以参考Kafka里的做法 [1]。
2）关于如何使用，可用的属性有这些 [2]
[1] https://github.com/apache/flink/blob/master/flink-connectors/flink-sql-connector-kafka/pom.xml#L46 <https://github.com/apache/flink/blob/master/flink-connectors/flink-sql-connector-kafka/pom.xml#L46>
[2] https://github.com/apache/bahir-flink/blob/f0b3e1e04930b79b277cfc7ebe3552db246578e9/flink-connector-redis/src/main/java/org/apache/flink/streaming/connectors/redis/descriptor/RedisValidator.java <https://github.com/apache/bahir-flink/blob/f0b3e1e04930b79b277cfc7ebe3552db246578e9/flink-connector-redis/src/main/java/org/apache/flink/streaming/connectors/redis/descriptor/RedisValidator.java>
> 在 2020年12月17日，上午11:55，magichuang <ma...@88.com> 写道：
>
> hi,
>
> 想问一下您 这个 https://github.com/apache/bahir-flink/tree/master/flink-connector-redis 可以打包成jar包嘛，然后在pyflink里用
>
> 对java不熟悉，我看这个页面里面只是对java和scala说了如何用
>
>
>
>
>
>
>
> Best，
>
> MagicHuang
>
>
>
>
>> ------------------ 原始邮件 ------------------
>> 发 件 人："Dian Fu" <di...@gmail.com>
>> 发送时间：2020-12-17 10:16:13
>> 收 件 人：user-zh <us...@flink.apache.org>,hepeitan@qq.com
>> 抄 送：
>> 主 题：Re: 求教：pyflink的sink是否支持redis connector?
>>
>> 感谢Xingbo的回复，稍微补充一点：所有Table & SQL支持的connector都可以用在PyFlink中。
>>
>> redis的connector没有直接在Flink的代码库里提供，这里有一个，应该也可以用：https://github.com/apache/bahir-flink/tree/master/flink-connector-redis
>>
>> 关于如何在PyFlink中使用connector，可以参考文档：https://ci.apache.org/projects/flink/flink-docs-release-1.12/dev/python/table-api-users-guide/python_table_api_connectors.html
>>
>>> 在 2020年12月17日，上午9:52，Xingbo Huang 写道：
>>>
>>> Hi,
>>>
>>> 据我所知，flink没有提供对redis connector的官方支持[1]，你需要根据官方提供的接口来自定义你的redis
>>> connector，关于如何自定义connector，你可以参考文档[2]
>>>
>>> [1]
>>> https://ci.apache.org/projects/flink/flink-docs-release-1.12/dev/table/connectors/
>>> [2]
>>> https://ci.apache.org/projects/flink/flink-docs-release-1.12/dev/table/sourceSinks.html
>>>
>>> Best,
>>> Xingbo
>>>
>>>
>>> 消息室 于2020年12月17日周四 上午9:33写道：
>>>
>>>> 您好：
>>>>
>>>>
>>>> 我们项目组计划使用pyflink，有幸拜读了您的博客，我想请教一下当前1.12.0版本的pyflink的sink是否支持redis
>>>> connector?感谢！
>>>> 如不支持，有何建议方式？
>>
>
>
>
>
Re: Re: 求教：pyflink的sink是否支持redis connector?
Posted by magichuang <ma...@88.com>.
hi,
想问一下您 这个 https://github.com/apache/bahir-flink/tree/master/flink-connector-redis 可以打包成jar包嘛，然后在pyflink里用
对java不熟悉，我看这个页面里面只是对java和scala说了如何用
Best，
MagicHuang
> ------------------ 原始邮件 ------------------
> 发 件 人："Dian Fu" <di...@gmail.com>
> 发送时间：2020-12-17 10:16:13
> 收 件 人：user-zh <us...@flink.apache.org>,hepeitan@qq.com
> 抄 送：
> 主 题：Re: 求教：pyflink的sink是否支持redis connector?
>
> 感谢Xingbo的回复，稍微补充一点：所有Table & SQL支持的connector都可以用在PyFlink中。
>
> redis的connector没有直接在Flink的代码库里提供，这里有一个，应该也可以用：https://github.com/apache/bahir-flink/tree/master/flink-connector-redis
>
> 关于如何在PyFlink中使用connector，可以参考文档：https://ci.apache.org/projects/flink/flink-docs-release-1.12/dev/python/table-api-users-guide/python_table_api_connectors.html
>
> > 在 2020年12月17日，上午9:52，Xingbo Huang 写道：
> >
> > Hi,
> >
> > 据我所知，flink没有提供对redis connector的官方支持[1]，你需要根据官方提供的接口来自定义你的redis
> > connector，关于如何自定义connector，你可以参考文档[2]
> >
> > [1]
> > https://ci.apache.org/projects/flink/flink-docs-release-1.12/dev/table/connectors/
> > [2]
> > https://ci.apache.org/projects/flink/flink-docs-release-1.12/dev/table/sourceSinks.html
> >
> > Best,
> > Xingbo
> >
> >
> > 消息室 于2020年12月17日周四 上午9:33写道：
> >
> >> 您好：
> >>
> >>
> >> 我们项目组计划使用pyflink，有幸拜读了您的博客，我想请教一下当前1.12.0版本的pyflink的sink是否支持redis
> >> connector?感谢！
> >> 如不支持，有何建议方式？
>
Re: 求教：pyflink的sink是否支持redis connector?
Posted by Dian Fu <di...@gmail.com>.
感谢Xingbo的回复，稍微补充一点：所有Table & SQL支持的connector都可以用在PyFlink中。
redis的connector没有直接在Flink的代码库里提供，这里有一个，应该也可以用：https://github.com/apache/bahir-flink/tree/master/flink-connector-redis <https://github.com/apache/bahir-flink/tree/master/flink-connector-redis>
关于如何在PyFlink中使用connector，可以参考文档：https://ci.apache.org/projects/flink/flink-docs-release-1.12/dev/python/table-api-users-guide/python_table_api_connectors.html
> 在 2020年12月17日，上午9:52，Xingbo Huang <hx...@gmail.com> 写道：
>
> Hi,
>
> 据我所知，flink没有提供对redis connector的官方支持[1]，你需要根据官方提供的接口来自定义你的redis
> connector，关于如何自定义connector，你可以参考文档[2]
>
> [1]
> https://ci.apache.org/projects/flink/flink-docs-release-1.12/dev/table/connectors/
> [2]
> https://ci.apache.org/projects/flink/flink-docs-release-1.12/dev/table/sourceSinks.html
>
> Best,
> Xingbo
>
>
> 消息室 <he...@qq.com> 于2020年12月17日周四 上午9:33写道：
>
>> 您好：
>>
>>
>> 我们项目组计划使用pyflink，有幸拜读了您的博客，我想请教一下当前1.12.0版本的pyflink的sink是否支持redis
>> connector?感谢！
>> 如不支持，有何建议方式？
Re: 求教：pyflink的sink是否支持redis connector?
Posted by Xingbo Huang <hx...@gmail.com>.
Hi,
据我所知，flink没有提供对redis connector的官方支持[1]，你需要根据官方提供的接口来自定义你的redis
connector，关于如何自定义connector，你可以参考文档[2]
[1]
https://ci.apache.org/projects/flink/flink-docs-release-1.12/dev/table/connectors/
[2]
https://ci.apache.org/projects/flink/flink-docs-release-1.12/dev/table/sourceSinks.html
Best,
Xingbo
消息室 <he...@qq.com> 于2020年12月17日周四 上午9:33写道：
> 您好：
>
>
> 我们项目组计划使用pyflink，有幸拜读了您的博客，我想请教一下当前1.12.0版本的pyflink的sink是否支持redis
> connector?感谢！
> 如不支持，有何建议方式？