You are viewing a plain text version of this content. The canonical link for it is here.
Posted to user-zh@flink.apache.org by JasonLee <17...@163.com> on 2021/08/04 04:45:07 UTC

回复：kafka appender限流

Hi


只有 error 级别的日志这个数据量我理解应该不大吧? 是 CPU 被打满 还是磁盘 IO 被打满了?


Best
JasonLee


在2021年08月4日 12:25，datafollower<60...@qq.com.INVALID> 写道：
hi all我们flink平台想收集所有流任务（5000+）error日志到kafka做进一步分析，通过 log4j2 的原生kafkaappender实现
大家是否遇到过这样的场景：大量任务error日志突增，打满kafka，导致整条链路瘫痪
小问题：
1.是否有什么方法做kafka appender的限速，比如：每秒error log达到10条，我就丢弃
2.有其他方式，避免平台无法预知的抖动，导致error日志突曾导致的kafka瓶颈

回复：kafka appender限流

Posted by datafollower <60...@qq.com.INVALID>.
磁盘打满，扩容后恢复，但是平时量其实不多




------------------&nbsp;原始邮件&nbsp;------------------
发件人:                                                                                                                        "user-zh"                                                                                    <17610775726@163.com&gt;;
发送时间:&nbsp;2021年8月4日(星期三) 中午12:45
收件人:&nbsp;"user-zh@flink.apache.org"<user-zh@flink.apache.org&gt;;

主题:&nbsp;回复：kafka appender限流



Hi


只有 error 级别的日志这个数据量我理解应该不大吧? 是 CPU 被打满 还是磁盘 IO 被打满了?


Best
JasonLee


在2021年08月4日 12:25，datafollower<609326234@qq.com.INVALID&gt; 写道：
hi all我们flink平台想收集所有流任务（5000+）error日志到kafka做进一步分析，通过 log4j2 的原生kafkaappender实现
大家是否遇到过这样的场景：大量任务error日志突增，打满kafka，导致整条链路瘫痪
小问题：
1.是否有什么方法做kafka appender的限速，比如：每秒error log达到10条，我就丢弃
2.有其他方式，避免平台无法预知的抖动，导致error日志突曾导致的kafka瓶颈