You are viewing a plain text version of this content. The canonical link for it is here.
Posted to user-zh@flink.apache.org by Min Tu <mi...@doordash.com.INVALID> on 2022/07/03 18:38:26 UTC

Flink SQL Client 解析 Protobuf

各位大佬,

我们想利用 Flink SQL Client 解析 Kafka 数据流: 对于Kafka 数据流是Json 或者Avro 格式,已经可以解析,
但是对于 Protobuf 数据格式,Flink SQL Client 没有直接支持。

Flink SQL Client 有一个 Raw 格式选项,不过我们还没有找到如何使用这个的文档;

看看大家有没有相关的经验可以分享

多谢

Re: Flink SQL Client 解析 Protobuf

Posted by Min Tu <mi...@doordash.com.INVALID>.
多谢,我们会去试一下这个PR。


On Sun, Jul 3, 2022 at 5:21 PM Benchao Li <li...@apache.org> wrote:

> Hi Min,
>
> ProtoBuf Format[1] 有一个相关的PR,我们正在推进review和改进,预期是在1.16
> 中可以release出去。你也可以基于这个PR的代码编译打包一下,提前试用一下。
>
> [1] https://github.com/apache/flink/pull/14376
>
> Min Tu <mi...@doordash.com.invalid> 于2022年7月4日周一 02:38写道:
>
>> 各位大佬,
>>
>> 我们想利用 Flink SQL Client 解析 Kafka 数据流: 对于Kafka 数据流是Json 或者Avro 格式,已经可以解析,
>> 但是对于 Protobuf 数据格式,Flink SQL Client 没有直接支持。
>>
>> Flink SQL Client 有一个 Raw 格式选项,不过我们还没有找到如何使用这个的文档;
>>
>> 看看大家有没有相关的经验可以分享
>>
>> 多谢
>>
>
>
> --
>
> Best,
> Benchao Li
>

Re: Flink SQL Client 解析 Protobuf

Posted by Benchao Li <li...@apache.org>.
Hi Min,

ProtoBuf Format[1] 有一个相关的PR,我们正在推进review和改进,预期是在1.16
中可以release出去。你也可以基于这个PR的代码编译打包一下,提前试用一下。

[1] https://github.com/apache/flink/pull/14376

Min Tu <mi...@doordash.com.invalid> 于2022年7月4日周一 02:38写道:

> 各位大佬,
>
> 我们想利用 Flink SQL Client 解析 Kafka 数据流: 对于Kafka 数据流是Json 或者Avro 格式,已经可以解析,
> 但是对于 Protobuf 数据格式,Flink SQL Client 没有直接支持。
>
> Flink SQL Client 有一个 Raw 格式选项,不过我们还没有找到如何使用这个的文档;
>
> 看看大家有没有相关的经验可以分享
>
> 多谢
>


-- 

Best,
Benchao Li