You are viewing a plain text version of this content. The canonical link for it is here.
Posted to user-zh@flink.apache.org by "gaolanfang@hotmail.com" <ga...@hotmail.com> on 2020/06/25 02:24:30 UTC
Flink可以用Canal对接Oracle么?
求教大家:
Flink可以用Canal对接Oracle么?
看到大多数架构都是用Canal对接 MySQL库,直接读binlog日志。
gaolanfang@hotmail.com
发件人: lonely Wanderer
发送时间: 2020-06-23 23:33
收件人: user-zh
主题: 如何用Flink SQL的UDF优雅的拉平嵌套在json中的数组
案例背景:
想增加一个Flink(1.8)SQL 的UDF,解析如下json中的name字段,name的value是一个数组,想取数组第一个值(其他舍弃),并将其拉平(即没有嵌套,跟其他 (e.g.:appKey) 在同一级别)
源json:
{"appKey": "qq", "eventId": "18", "name" : [{"a":"jack","b":"mark","c":"tark"},{...},...]}
想得到的json:
{"appKey": "qq", "eventId": "18", "name_a":"jack","name_b":"mark","name_c":"tark"}
有人遇到过吗 ? 怎么能优雅的拉平呢 ?感谢各位!
Re: Re: Flink可以用Canal对接Oracle么?
Posted by Jark Wu <im...@gmail.com>.
欢迎使用后来反馈一下~
On Thu, 25 Jun 2020 at 14:55, gaolanfang@hotmail.com <ga...@hotmail.com>
wrote:
> Hello
>
> 非常感谢!
>
> 查了您给的资料
> Canal支持MySQL,
> Debezuim支持 MySQL, PostgreSQL, Oracle等,
>
> 不过Debezuim没用过,用的人也相对少,自己去试试看~
>
>
>
>
> gaolanfang@hotmail.com
>
> 发件人: Leonard Xu
> 发送时间: 2020-06-25 13:27
> 收件人: user-zh
> 主题: Re: Flink可以用Canal对接Oracle么?
>
> Hello
>
> Flink 1.11 会支持了读取CDC的功能,支持接入canal和debezuim的format的,1.11快要发布了,这是文档[1],可以参考。
>
> Best,
> Leonard Xu
> [1]
> https://ci.apache.org/projects/flink/flink-docs-master/dev/table/connectors/formats/canal.html
> <
> https://ci.apache.org/projects/flink/flink-docs-master/dev/table/connectors/formats/canal.html
> >
>
回复: Re: Flink可以用Canal对接Oracle么?
Posted by "gaolanfang@hotmail.com" <ga...@hotmail.com>.
Hello
非常感谢!
查了您给的资料
Canal支持MySQL,
Debezuim支持 MySQL, PostgreSQL, Oracle等,
不过Debezuim没用过,用的人也相对少,自己去试试看~
gaolanfang@hotmail.com
发件人: Leonard Xu
发送时间: 2020-06-25 13:27
收件人: user-zh
主题: Re: Flink可以用Canal对接Oracle么?
Hello
Flink 1.11 会支持了读取CDC的功能,支持接入canal和debezuim的format的,1.11快要发布了,这是文档[1],可以参考。
Best,
Leonard Xu
[1] https://ci.apache.org/projects/flink/flink-docs-master/dev/table/connectors/formats/canal.html <https://ci.apache.org/projects/flink/flink-docs-master/dev/table/connectors/formats/canal.html>
Re: Flink可以用Canal对接Oracle么?
Posted by Leonard Xu <xb...@gmail.com>.
Hello
Flink 1.11 会支持了读取CDC的功能,支持接入canal和debezuim的format的,1.11快要发布了,这是文档[1],可以参考。
Best,
Leonard Xu
[1] https://ci.apache.org/projects/flink/flink-docs-master/dev/table/connectors/formats/canal.html <https://ci.apache.org/projects/flink/flink-docs-master/dev/table/connectors/formats/canal.html>