You are viewing a plain text version of this content. The canonical link for it is here.

Posted to user-zh@flink.apache.org by "kandy.wang" <ka...@163.com> on 2020/11/11 09:52:36 UTC

flink sql hbase维表关联性能上不去

看了一下hbase的维表关联主要是通过org.apache.flink.connector.hbase.source.HBaseRowDataLookupFunction 实现的，测试了一下性能tps只有大概3-4w, 经加本地cache之后性能仍然没有提升。 分析了一下flink ui LookupJoin 是与kafka source的算子 chain 在一起了，这样整个算子的并行度就受限于kafka分区的并行度。
1.想问一下这块的 hbase connector开发，是否有做过connector的性能测试。
2.想问一下，hbase维表关联还有没有性能提升手段。感觉这样的性能都达不到上生产应用的要求。