You are viewing a plain text version of this content. The canonical link for it is here.
Posted to user-zh@flink.apache.org by 王飞 <wa...@163.com> on 2019/08/08 08:53:14 UTC
flink 结合canal统计订单gmv
hi 你好
需要用flink 解析mysql的binlog 统计订单表 产品维度的gmv，
但是一个insert的binlog 会出现同时购买多个订单 会出现一个集合的订单集合 但是我想统计订单里面产品维度的gmv，如下图
返回的是一个list的订单集合，但是我想取每个订单里面的产品id进行维度统计 ，请问flink 有什么算子 可以把一个list数据的流数据 变成多条流
谢谢
回复： flink 结合canal统计订单gmv
Posted by 1101300123 <hd...@163.com>.
没看到附件啊
| |
1101300123
|
|
hdxg1101300123@163.com
|
签名由网易邮箱大师定制
在2019年8月9日 10:14，王飞<wa...@163.com> 写道：
hi
如上图 是一个kafka流 将一个canal解析的binlog 数据解析成一个arraybuffer的流数据 我想把arraybuffer解析成一个个order 然后再转换为table api进行产品维度的gmv统计，
原始解析代码 和 数据见附件
谢谢
Re:Re: flink 结合canal统计订单gmv
Posted by 王飞 <wa...@163.com>.
hi
如上图 是一个kafka流 将一个canal解析的binlog 数据解析成一个arraybuffer的流数据 我想把arraybuffer解析成一个个order 然后再转换为table api进行产品维度的gmv统计，
原始解析代码 和 数据见附件
谢谢
Re:Re: flink 结合canal统计订单gmv
Posted by 王飞 <wa...@163.com>.
hi
如上图 是一个kafka流 将一个canal解析的binlog 数据解析成一个arraybuffer的流数据 我想把arraybuffer解析成一个个order 然后再转换为table api进行产品维度的gmv统计，
原始解析代码 和 数据见附件
谢谢
在 2019-08-08 17:34:24，"Alec Chen" <al...@gmail.com> 写道：
>Hi,
>
>截图无法显示, 不知道你是使用FlinkSQL还是DataStreamAPI实现, 前者可以参考UDTF, 后者可以参考FlatMap "Takes
>one element and produces zero, one, or more elements. A flatmap function
>that splits sentences to words"
>https://ci.apache.org/projects/flink/flink-docs-stable/dev/stream/operators/
>
>王飞 <wa...@163.com> 于2019年8月8日周四 下午4:53写道：
>
>> hi 你好
>> 需要用flink 解析mysql的binlog 统计订单表 产品维度的gmv，
>> 但是一个insert的binlog 会出现同时购买多个订单 会出现一个集合的订单集合 但是我想统计订单里面产品维度的gmv，如下图
>> 返回的是一个list的订单集合，但是我想取每个订单里面的产品id进行维度统计 ，请问flink 有什么算子 可以把一个list数据的流数据
>> 变成多条流
>> 谢谢
>>
>>
>>
>>
Re:Re: flink 结合canal统计订单gmv
Posted by 王飞 <wa...@163.com>.
hi
如上图 是一个kafka流 将一个canal解析的binlog 数据解析成一个arraybuffer的流数据 我想把arraybuffer解析成一个个order 然后再转换为table api进行产品维度的gmv统计，
原始解析代码 和 数据见附件
谢谢
在 2019-08-08 17:34:24，"Alec Chen" <al...@gmail.com> 写道：
>Hi,
>
>截图无法显示, 不知道你是使用FlinkSQL还是DataStreamAPI实现, 前者可以参考UDTF, 后者可以参考FlatMap "Takes
>one element and produces zero, one, or more elements. A flatmap function
>that splits sentences to words"
>https://ci.apache.org/projects/flink/flink-docs-stable/dev/stream/operators/
>
>王飞 <wa...@163.com> 于2019年8月8日周四 下午4:53写道：
>
>> hi 你好
>> 需要用flink 解析mysql的binlog 统计订单表 产品维度的gmv，
>> 但是一个insert的binlog 会出现同时购买多个订单 会出现一个集合的订单集合 但是我想统计订单里面产品维度的gmv，如下图
>> 返回的是一个list的订单集合，但是我想取每个订单里面的产品id进行维度统计 ，请问flink 有什么算子 可以把一个list数据的流数据
>> 变成多条流
>> 谢谢
>>
>>
>>
>>
Re: flink 结合canal统计订单gmv
Posted by Alec Chen <al...@gmail.com>.
Hi,
截图无法显示, 不知道你是使用FlinkSQL还是DataStreamAPI实现, 前者可以参考UDTF, 后者可以参考FlatMap "Takes
one element and produces zero, one, or more elements. A flatmap function
that splits sentences to words"
https://ci.apache.org/projects/flink/flink-docs-stable/dev/stream/operators/
王飞 <wa...@163.com> 于2019年8月8日周四 下午4:53写道：
> hi 你好
> 需要用flink 解析mysql的binlog 统计订单表 产品维度的gmv，
> 但是一个insert的binlog 会出现同时购买多个订单 会出现一个集合的订单集合 但是我想统计订单里面产品维度的gmv，如下图
> 返回的是一个list的订单集合，但是我想取每个订单里面的产品id进行维度统计 ，请问flink 有什么算子 可以把一个list数据的流数据
> 变成多条流
> 谢谢
>
>
>
>