Flink 运行一段时间后不再消费Kafka中数据

[季 鸿飞 <wi...@hotmail.com>]

嗨，大家好
我遇到了一个很棘手的问题，我的程序运行了15天了，每天收同等数据量的数据，之前每天都很正常，可今天job不再消费Kafka里的数据了。
一切看起来都很正常，log日志中也没有报错，不知什么原因导致了这个问题。
[cid:image002.png@01D60E9F.D75BE0C0]

[cid:image004.png@01D60E9F.52367D60]
[cid:image006.png@01D60E9F.D75BE0C0]
[cid:image010.png@01D60E9F.D75BE0C0]

Hi，here
I met a very difficult problem. My program has been running for 15 days, receiving data of the same amount every day. Before that, it was normal every day, but today, job no longer consumes data in Kafka.
Everything seems to be normal. There is no error in the log log. I don't know what causes this problem.


发送自 Windows 10 版邮件<https://go.microsoft.com/fwlink/?LinkId=550986>应用

回复：Flink 运行一段时间后不再消费Kafka中数据

[徐敏松 <je...@163.com>]

会不会存在有其他任务也在消费同一个topic，用的consumerGroup是相同的


| |
徐敏松
|
|
邮箱jeromeminsong@163.com
|

签名由 网易邮箱大师 定制

在2020年04月09日 18:57，季 鸿飞 写道：

嗨，大家好

我遇到了一个很棘手的问题，我的程序运行了15天了，每天收同等数据量的数据，之前每天都很正常，可今天job不再消费Kafka里的数据了。

一切看起来都很正常，log日志中也没有报错，不知什么原因导致了这个问题。

 

 

Hi，here

I met a very difficult problem. My program has been running for 15 days, receiving data of the same amount every day. Before that, it was normal every day, but today, job no longer consumes data in Kafka.

Everything seems to be normal. There is no error in the log log. I don't know what causes this problem.

 

 

发送自 Windows 10 版邮件应用

 

回复: Flink 运行一段时间后不再消费Kafka中数据

[季 鸿飞 <wi...@hotmail.com>]

我这边其他的算子都正常，Job也正常运行，但Kafka里的数据就是不消费了，Checkpoint也正常提交了

发送自 Windows 10 版邮件<https://go.microsoft.com/fwlink/?LinkId=550986>应用

发件人: Zhefu PENG<ma...@gmail.com>
发送时间: 2020年4月9日 PM 19:58
收件人: user-zh@flink.apache.org<ma...@flink.apache.org>
主题: Re: Flink 运行一段时间后不再消费Kafka中数据

我也是遇到了相同的这个问题！你那边只是不再读取kafka数据吗？其他算子还正常吗？

On Thu, Apr 9, 2020 at 18:57 季 鸿飞 <wi...@hotmail.com> wrote:

> 嗨，大家好
>
> 我遇到了一个很棘手的问题，我的程序运行了15天了，每天收同等数据量的数据，之前每天都很正常，可今天job不再消费Kafka里的数据了。
>
> 一切看起来都很正常，log日志中也没有报错，不知什么原因导致了这个问题。
>
>
>
>
>
> Hi，here
>
> I met a very difficult problem. My program has been running for 15 days,
> receiving data of the same amount every day. Before that, it was normal
> every day, but today, job no longer consumes data in Kafka.
>
> Everything seems to be normal. There is no error in the log log. I don't
> know what causes this problem.
>
>
>
>
>
> 发送自 Windows 10 版邮件 <https://go.microsoft.com/fwlink/?LinkId=550986>应用
>
>
>

回复: Flink 运行一段时间后不再消费Kafka中数据

[季 鸿飞 <wi...@hotmail.com>]

补充：我现在Flink的版本为1.10.0，Topic的Group Id也都是不一样的。

发送自 Windows 10 版邮件<https://go.microsoft.com/fwlink/?LinkId=550986>应用

发件人: Zhefu PENG<ma...@gmail.com>
发送时间: 2020年4月9日 PM 19:58
收件人: user-zh@flink.apache.org<ma...@flink.apache.org>
主题: Re: Flink 运行一段时间后不再消费Kafka中数据

我也是遇到了相同的这个问题！你那边只是不再读取kafka数据吗？其他算子还正常吗？

On Thu, Apr 9, 2020 at 18:57 季 鸿飞 <wi...@hotmail.com> wrote:

> 嗨，大家好
>
> 我遇到了一个很棘手的问题，我的程序运行了15天了，每天收同等数据量的数据，之前每天都很正常，可今天job不再消费Kafka里的数据了。
>
> 一切看起来都很正常，log日志中也没有报错，不知什么原因导致了这个问题。
>
>
>
>
>
> Hi，here
>
> I met a very difficult problem. My program has been running for 15 days,
> receiving data of the same amount every day. Before that, it was normal
> every day, but today, job no longer consumes data in Kafka.
>
> Everything seems to be normal. There is no error in the log log. I don't
> know what causes this problem.
>
>
>
>
>
> 发送自 Windows 10 版邮件 <https://go.microsoft.com/fwlink/?LinkId=550986>应用
>
>
>

Re: Flink 运行一段时间后不再消费Kafka中数据

[Zhefu PENG <pe...@gmail.com>]

我也是遇到了相同的这个问题！你那边只是不再读取kafka数据吗？其他算子还正常吗？

On Thu, Apr 9, 2020 at 18:57 季 鸿飞 <wi...@hotmail.com> wrote:

> 嗨，大家好
>
> 我遇到了一个很棘手的问题，我的程序运行了15天了，每天收同等数据量的数据，之前每天都很正常，可今天job不再消费Kafka里的数据了。
>
> 一切看起来都很正常，log日志中也没有报错，不知什么原因导致了这个问题。
>
>
>
>
>
> Hi，here
>
> I met a very difficult problem. My program has been running for 15 days,
> receiving data of the same amount every day. Before that, it was normal
> every day, but today, job no longer consumes data in Kafka.
>
> Everything seems to be normal. There is no error in the log log. I don't
> know what causes this problem.
>
>
>
>
>
> 发送自 Windows 10 版邮件 <https://go.microsoft.com/fwlink/?LinkId=550986>应用
>
>
>