You are viewing a plain text version of this content. The canonical link for it is here.

Posted to user-zh@flink.apache.org by "kandy.wang" <ka...@163.com> on 2020/09/23 08:55:29 UTC

flink pb转json性能问题

因flink目前不支持pb format，调用了，protobuf-java-util com.google.protobuf.utilJsonFormat.printer().preservingProtoFieldNames().print(message) 先再pb 转成json 再套用 JsonRowDataDeserializationSchema处理json, 发现处理的性能就只能达到20w左右的tps，而如果是处理json格式的数据，tps是可以达到50-60w的tps.
想问一下，1、flink要是处理pb格式的数据，有什么好的办法？ 2
、社区对pb format 会支持么？
3、pb转json 有什么性能比较好的工具包

Re: flink pb转json性能问题

Posted by Benchao Li <li...@apache.org>.

Hi kandy,

关于第1个问题，目前社区有计划做一个内置的pb format[1]，可能大概率赶不上1.12了，不过应该1.13差不多。

[1] https://issues.apache.org/jira/browse/FLINK-18202

kandy.wang <ka...@163.com> 于2020年9月23日周三 下午4:55写道：

> 因flink目前不支持pb format，调用了，protobuf-java-util
> com.google.protobuf.utilJsonFormat.printer().preservingProtoFieldNames().print(message)
> 先再pb 转成json 再套用 JsonRowDataDeserializationSchema处理json,
> 发现处理的性能就只能达到20w左右的tps，而如果是处理json格式的数据，tps是可以达到50-60w的tps.
> 想问一下，1、flink要是处理pb格式的数据，有什么好的办法？ 2
> 、社区对pb format 会支持么？
> 3、pb转json 有什么性能比较好的工具包



-- 

Best,
Benchao Li