回复：异步io请求hbase,hbase获取数据环节背压高成为瓶颈问题

[Yichao Yang <10...@qq.com>]

Hi


使用到缓存的话大多数情况下都要用到keyby，并且在keyby之后的算子使用缓存，保证相同key只会访问一个缓存，否则缓存命中率一般情况下都会很低。


Best,
Yichao Yang



发自我的iPhone


------------------ 原始邮件 ------------------
发件人: Benchao Li <libenchao@apache.org&gt;
发送时间: 2020年6月16日 18:53
收件人: user-zh <user-zh@flink.apache.org&gt;
主题: 回复：异步io请求hbase,hbase获取数据环节背压高成为瓶颈问题



是否有观察过缓存命中率呢，如果缓存命中率不高，性能也不会太好的。

hdxg1101300123@163.com <hdxg1101300123@163.com&gt; 于2020年6月16日周二 下午6:29写道：

&gt; 目前使用guava的cache做了缓存但是效果不是很好
&gt;
&gt;
&gt;
&gt; hdxg1101300123@163.com
&gt;
&gt; 发件人： Benchao Li
&gt; 发送时间： 2020-06-16 17:40
&gt; 收件人： user-zh
&gt; 主题： Re: 异步io请求hbase,hbase获取数据环节背压高成为瓶颈问题
&gt; 感觉像这种IO Bound的场景，一种是可以尝试攒个小batch去请求；一种是加一个cache来降低请求的数量。
&gt; 要不然就是优化提升外部系统的吞吐。
&gt;
&gt; hdxg1101300123@163.com <hdxg1101300123@163.com&gt; 于2020年6月16日周二 下午5:35写道：
&gt;
&gt; &gt; 您好：
&gt; &gt;&nbsp;&nbsp;&nbsp;&nbsp; 采用异步io的方式从hbase获取信息，发现hbase上游背压很高。有没有什么建议或者好的方式！谢谢！
&gt; &gt;&nbsp;&nbsp;&nbsp;&nbsp; flink1.10.0
&gt; &gt;
&gt; &gt;
&gt; &gt;
&gt; &gt; hdxg1101300123@163.com
&gt; &gt;
&gt;