You are viewing a plain text version of this content. The canonical link for it is here.
Posted to user-zh@flink.apache.org by 田磊 <to...@163.com> on 2021/06/18 05:05:56 UTC
flink写es和hbase反压
现在用flink自定义source读取hbase的其中一张表的数据，表中这张表的总数据有三千万条，处理完之后的数据写入es和hbase,但是每次写的时候到一千多万条就出现反压，之前怀疑是es的问题，最后单独写hbase也出现相同的问题，出问题后就一条都不写了，大佬指点一下。日志也没有异常。详见附件。es和hbase都是批量写。source和sink的并行度都是1，中间map算子并行度16。
totorobabyfans
邮箱：totorobabyfans@163.com
签名由 网易邮箱大师 定制
Re: flink写es和hbase反压
Posted by yidan zhao <hi...@gmail.com>.
注意需要结合flink的异步算子哈，不是随意直接改造成异步请求。
田磊 <to...@163.com> 于2021年6月18日周五 下午2:33写道：
>
> 好的，我试试，谢谢解答！
>
>
> | |
> totorobabyfans
> |
> |
> 邮箱：totorobabyfans@163.com
> |
>
> 签名由 网易邮箱大师 定制
>
> 在2021年06月18日 14:16，yidan zhao 写道：
> 推荐使用批量+异步方式写。
>
> 田磊 <to...@163.com> 于2021年6月18日周五 下午1:12写道：
>
> >
> > 现在用flink自定义source读取hbase的其中一张表的数据，表中这张表的总数据有三千万条，处理完之后的数据写入es和hbase,但是每次写的时候到一千多万条就出现反压，之前怀疑是es的问题，最后单独写hbase也出现相同的问题，出问题后就一条都不写了，大佬指点一下。日志也没有异常。详见附件。es和hbase都是批量写。source和sink的并行度都是1，中间map算子并行度16。
> >
> >
> >
> > *totorobabyfans*邮箱：totorobabyfans@163.com
> >
> > <https://maas.mail.163.com/dashi-web-extend/html/proSignature.html?ftlId=1&name=totorobabyfans&uid=totorobabyfans%40163.com&iconUrl=https%3A%2F%2Fmail-online.nosdn.127.net%2Fqiyelogo%2FdefaultAvatar.png&items=%5B%22%E9%82%AE%E7%AE%B1%EF%BC%9Atotorobabyfans%40163.com%22%5D>签名由
> > 网易邮箱大师 <https://mail.163.com/dashi/dlpro.html?from=mail88> 定制
> >
回复：flink写es和hbase反压
Posted by 田磊 <to...@163.com>.
好的，我试试，谢谢解答！
| |
totorobabyfans
|
|
邮箱：totorobabyfans@163.com
|
签名由 网易邮箱大师 定制
在2021年06月18日 14:16，yidan zhao 写道：
推荐使用批量+异步方式写。
田磊 <to...@163.com> 于2021年6月18日周五 下午1:12写道：
>
> 现在用flink自定义source读取hbase的其中一张表的数据，表中这张表的总数据有三千万条，处理完之后的数据写入es和hbase,但是每次写的时候到一千多万条就出现反压，之前怀疑是es的问题，最后单独写hbase也出现相同的问题，出问题后就一条都不写了，大佬指点一下。日志也没有异常。详见附件。es和hbase都是批量写。source和sink的并行度都是1，中间map算子并行度16。
>
>
>
> *totorobabyfans*邮箱：totorobabyfans@163.com
>
> <https://maas.mail.163.com/dashi-web-extend/html/proSignature.html?ftlId=1&name=totorobabyfans&uid=totorobabyfans%40163.com&iconUrl=https%3A%2F%2Fmail-online.nosdn.127.net%2Fqiyelogo%2FdefaultAvatar.png&items=%5B%22%E9%82%AE%E7%AE%B1%EF%BC%9Atotorobabyfans%40163.com%22%5D>签名由
> 网易邮箱大师 <https://mail.163.com/dashi/dlpro.html?from=mail88> 定制
>
Re: flink写es和hbase反压
Posted by yidan zhao <hi...@gmail.com>.
推荐使用批量+异步方式写。
田磊 <to...@163.com> 于2021年6月18日周五 下午1:12写道：
>
> 现在用flink自定义source读取hbase的其中一张表的数据，表中这张表的总数据有三千万条，处理完之后的数据写入es和hbase,但是每次写的时候到一千多万条就出现反压，之前怀疑是es的问题，最后单独写hbase也出现相同的问题，出问题后就一条都不写了，大佬指点一下。日志也没有异常。详见附件。es和hbase都是批量写。source和sink的并行度都是1，中间map算子并行度16。
>
>
>
> *totorobabyfans*邮箱：totorobabyfans@163.com
>
> <https://maas.mail.163.com/dashi-web-extend/html/proSignature.html?ftlId=1&name=totorobabyfans&uid=totorobabyfans%40163.com&iconUrl=https%3A%2F%2Fmail-online.nosdn.127.net%2Fqiyelogo%2FdefaultAvatar.png&items=%5B%22%E9%82%AE%E7%AE%B1%EF%BC%9Atotorobabyfans%40163.com%22%5D>签名由
> 网易邮箱大师 <https://mail.163.com/dashi/dlpro.html?from=mail88> 定制
>