You are viewing a plain text version of this content. The canonical link for it is here.

Posted to user-zh@flink.apache.org by "zstraw@163.com" <zs...@163.com> on 2021/11/07 11:30:34 UTC

回复：Flink Sql读取Hbase表

作为读的数据源时，使用的hbase的sdk scanner读取，不是全量读。见org.apache.flink.connector.hbase2.source.AbstractTableInputFormat#nextRecord。


作为维表时，使用Guava cache缓存每次join到的key。见org.apache.flink.connector.hbase.source.HBaseRowDataLookupFunction#eval。


Best Wishes!
- Yuan
在2021年11月7日 16:26，guanyq<dl...@163.com> 写道：
请大佬指导下：

-- 在 Flink SQL 中注册 HBase 表 "mytable"
CREATETABLEhTable(rowkeyINT,family1ROW<q1INT>,family2ROW<q2STRING,q3BIGINT>,family3ROW<q4DOUBLE,q5BOOLEAN,q6STRING>,PRIMARYKEY(rowkey)NOTENFORCED)WITH('connector'='hbase-1.4','table-name'='mytable','zookeeper.quorum'='localhost:2181');
Flink sql在读取hbase表时，是一次将数据加载到内存还是每次加载一批数据呀？
其实就是想知道，如果hbase表数据量特别大的时候，Flink sql是如何处理的？