You are viewing a plain text version of this content. The canonical link for it is here.
Posted to user-zh@flink.apache.org by Zhefu PENG <pe...@gmail.com> on 2020/04/09 09:49:55 UTC
flink读取kafka数据进程卡死
Hi all,
最近在使用flink读取kafka读取数据的时候，遇到这么个情况：
flink任务会突然在某一个时间点卡死，进程不报错，也不会fail然后退出，只会一直卡在那里也不会kafka数据，查看jobmanager和taskmanager的日志都没有报错信息，只有启动任务时候的信息或者要我设置要print的一些信息。
我的代码逻辑大概是这样：从kafka读取数据，会经过cep进行匹配，然后选取匹配命中的数据，进行聚合操作，以及窗口函数的自定义操作。
配置大概为： 2G的JobManager，2*8G的TaskManager，并行度总共为4
Kafka的数据量大概：每秒5000左右。
主要是查了很多日志没有报错信息，本身job也不会fail，这个情况让我比较挠头。请问有朋友遇到过这种情况吗？或者希望能给到更多的建议。非常谢谢
Best,
Zhefu
回复：flink读取kafka数据进程卡死
Posted by Zhonghan Tang <13...@163.com>.
打个jstack看看呢
| |
Zhonghan Tang
|
|
邮箱：13122260573@163.com
|
Signature is customized by Netease Mail Master
在2020年04月09日 17:49，Zhefu PENG 写道：
Hi all,
最近在使用flink读取kafka读取数据的时候，遇到这么个情况：
flink任务会突然在某一个时间点卡死，进程不报错，也不会fail然后退出，只会一直卡在那里也不会kafka数据，查看jobmanager和taskmanager的日志都没有报错信息，只有启动任务时候的信息或者要我设置要print的一些信息。
我的代码逻辑大概是这样：从kafka读取数据，会经过cep进行匹配，然后选取匹配命中的数据，进行聚合操作，以及窗口函数的自定义操作。
配置大概为： 2G的JobManager，2*8G的TaskManager，并行度总共为4
Kafka的数据量大概：每秒5000左右。
主要是查了很多日志没有报错信息，本身job也不会fail，这个情况让我比较挠头。请问有朋友遇到过这种情况吗？或者希望能给到更多的建议。非常谢谢
Best,
Zhefu