flink读取kafka超时问题

[阿华田 <a1...@163.com>]

Caused by: java.lang.Exception: org.apache.kafka.common.errors.TimeoutException: Timeout of 60000ms expired before the position for partition dercd_seeme-3 could be determined  
大佬们flink读取kafka遇到过这个错误没？现在情况是 每次重启任务都会出现这个错，但是奇怪的是多试几次任务才能运行起来。这个任务的特点读取得topic较多（6个），数据量比较大。难道是读取得数据量太大给kafka集群的broker造成了很大的负载导致请求超时？


| |
阿华田
|
|
a15733178518@163.com
|
签名由网易邮箱大师定制

Re: flink读取kafka超时问题

[zhisheng <zh...@gmail.com>]

hi，阿华田

你可以检查一下作业重启的时候，对应 Kafka 集群的 broker
机器上面的监控信息，看看对应时间是否有负载变高的情况，从而验证一下是否因为机器负载变高导致的读取超时？

Best！
zhisheng

Yichao Yang <10...@qq.com> 于2020年6月29日周一 下午7:50写道：

> Hi
>
>
> 看报错是说 dercd_seeme-3 partition 读取异常，可以检查下上游kafka的该partition是否有异常。
>
>
> Best,
> Yichao Yang
>
>
>
>
> ------------------&nbsp;原始邮件&nbsp;------------------
> 发件人:&nbsp;"阿华田"<a15733178518@163.com&gt;;
> 发送时间:&nbsp;2020年6月29日(星期一) 上午10:36
> 收件人:&nbsp;"user-zh"<user-zh@flink.apache.org&gt;;
>
> 主题:&nbsp;flink读取kafka超时问题
>
>
>
> Caused by: java.lang.Exception:
> org.apache.kafka.common.errors.TimeoutException: Timeout of 60000ms expired
> before the position for partition dercd_seeme-3 could be determined&nbsp;
> 大佬们flink读取kafka遇到过这个错误没？现在情况是
> 每次重启任务都会出现这个错，但是奇怪的是多试几次任务才能运行起来。这个任务的特点读取得topic较多（6个），数据量比较大。难道是读取得数据量太大给kafka集群的broker造成了很大的负载导致请求超时？
>
>
> | |
> 阿华田
> |
> |
> a15733178518@163.com
> |
> 签名由网易邮箱大师定制

回复：flink读取kafka超时问题

[Yichao Yang <10...@qq.com>]

Hi


看报错是说 dercd_seeme-3 partition 读取异常，可以检查下上游kafka的该partition是否有异常。


Best,
Yichao Yang




------------------ 原始邮件 ------------------
发件人:&nbsp;"阿华田"<a15733178518@163.com&gt;;
发送时间:&nbsp;2020年6月29日(星期一) 上午10:36
收件人:&nbsp;"user-zh"<user-zh@flink.apache.org&gt;;

主题:&nbsp;flink读取kafka超时问题



Caused by: java.lang.Exception: org.apache.kafka.common.errors.TimeoutException: Timeout of 60000ms expired before the position for partition dercd_seeme-3 could be determined&nbsp; 
大佬们flink读取kafka遇到过这个错误没？现在情况是 每次重启任务都会出现这个错，但是奇怪的是多试几次任务才能运行起来。这个任务的特点读取得topic较多（6个），数据量比较大。难道是读取得数据量太大给kafka集群的broker造成了很大的负载导致请求超时？


| |
阿华田
|
|
a15733178518@163.com
|
签名由网易邮箱大师定制