You are viewing a plain text version of this content. The canonical link for it is here.
Posted to user-zh@flink.apache.org by 小昌同学 <cc...@163.com> on 2023/05/29 10:21:55 UTC
回复： flink 输出异常数据
你好，数据源是kafka，使用的是stream api
| |
小昌同学
|
|
ccc0606fighting@163.com
|
---- 回复的原邮件 ----
| 发件人 | Weihua Hu<hu...@gmail.com> |
| 发送日期 | 2023年5月29日 15:29 |
| 收件人 | <us...@flink.apache.org> |
| 主题 | Re: flink 输出异常数据 |
Hi,
你使用的数据源是什么呢？Kafka 吗？用的是 FlinkSQL 还是 DataStream API 呢？
方便把异常栈贴一下吗
Best,
Weihua
On Mon, May 29, 2023 at 1:36 PM 小昌同学 <cc...@163.com> wrote:
各位老师，我有一个作业运行很久了，但是最近源系统有一些脏数据导致作业运行失败，看yarn的日志报错是空指针，但是我现在想把那一条脏数据捕获到，请问一下有啥办法吗？谢谢各位老师的指导
| |
小昌同学
|
|
ccc0606fighting@163.com
|
回复： flink 输出异常数据
Posted by 小昌同学 <cc...@163.com>.
你好，老师，感谢你的回复；
您说的打印到日志文件，是需要配置flink 的logback.xml 嘛，这一块的配置有一个小demo可以参考嘛
| |
小昌同学
|
|
ccc0606fighting@163.com
|
---- 回复的原邮件 ----
| 发件人 | Shammon FY<zj...@gmail.com> |
| 发送日期 | 2023年6月1日 10:33 |
| 收件人 | <us...@flink.apache.org> |
| 主题 | Re: flink 输出异常数据 |
Hi
可以看一下报空指针的具体异常栈，如果是你的业务代码，可以在你的处理逻辑里加上一些判断信息并打印到日志文件；如果不是你的业务代码，可以贴一下具体的异常栈信息。
On Wed, May 31, 2023 at 12:31 PM yidan zhao <hi...@gmail.com> wrote:
这个得靠你自己打日志吧，在可能出NPE的地方 try catch 到，然后打印原始记录。
小昌同学 <cc...@163.com> 于2023年5月29日周一 18:30写道：
你好，数据源是kafka，使用的是stream api
| |
小昌同学
|
|
ccc0606fighting@163.com
|
---- 回复的原邮件 ----
| 发件人 | Weihua Hu<hu...@gmail.com> |
| 发送日期 | 2023年5月29日 15:29 |
| 收件人 | <us...@flink.apache.org> |
| 主题 | Re: flink 输出异常数据 |
Hi,
你使用的数据源是什么呢？Kafka 吗？用的是 FlinkSQL 还是 DataStream API 呢？
方便把异常栈贴一下吗
Best,
Weihua
On Mon, May 29, 2023 at 1:36 PM 小昌同学 <cc...@163.com> wrote:
各位老师，我有一个作业运行很久了，但是最近源系统有一些脏数据导致作业运行失败，看yarn的日志报错是空指针，但是我现在想把那一条脏数据捕获到，请问一下有啥办法吗？谢谢各位老师的指导
| |
小昌同学
|
|
ccc0606fighting@163.com
|
Re: flink 输出异常数据
Posted by Shammon FY <zj...@gmail.com>.
Hi
可以看一下报空指针的具体异常栈，如果是你的业务代码，可以在你的处理逻辑里加上一些判断信息并打印到日志文件；如果不是你的业务代码，可以贴一下具体的异常栈信息。
On Wed, May 31, 2023 at 12:31 PM yidan zhao <hi...@gmail.com> wrote:
> 这个得靠你自己打日志吧，在可能出NPE的地方 try catch 到，然后打印原始记录。
>
> 小昌同学 <cc...@163.com> 于2023年5月29日周一 18:30写道：
> >
> > 你好，数据源是kafka，使用的是stream api
> >
> >
> > | |
> > 小昌同学
> > |
> > |
> > ccc0606fighting@163.com
> > |
> > ---- 回复的原邮件 ----
> > | 发件人 | Weihua Hu<hu...@gmail.com> |
> > | 发送日期 | 2023年5月29日 15:29 |
> > | 收件人 | <us...@flink.apache.org> |
> > | 主题 | Re: flink 输出异常数据 |
> > Hi,
> >
> > 你使用的数据源是什么呢？Kafka 吗？用的是 FlinkSQL 还是 DataStream API 呢？
> >
> > 方便把异常栈贴一下吗
> >
> > Best,
> > Weihua
> >
> >
> > On Mon, May 29, 2023 at 1:36 PM 小昌同学 <cc...@163.com> wrote:
> >
> >
> >
> 各位老师，我有一个作业运行很久了，但是最近源系统有一些脏数据导致作业运行失败，看yarn的日志报错是空指针，但是我现在想把那一条脏数据捕获到，请问一下有啥办法吗？谢谢各位老师的指导
> >
> >
> > | |
> > 小昌同学
> > |
> > |
> > ccc0606fighting@163.com
> > |
>
Re: flink 输出异常数据
Posted by yidan zhao <hi...@gmail.com>.
这个得靠你自己打日志吧，在可能出NPE的地方 try catch 到，然后打印原始记录。
小昌同学 <cc...@163.com> 于2023年5月29日周一 18:30写道：
>
> 你好，数据源是kafka，使用的是stream api
>
>
> | |
> 小昌同学
> |
> |
> ccc0606fighting@163.com
> |
> ---- 回复的原邮件 ----
> | 发件人 | Weihua Hu<hu...@gmail.com> |
> | 发送日期 | 2023年5月29日 15:29 |
> | 收件人 | <us...@flink.apache.org> |
> | 主题 | Re: flink 输出异常数据 |
> Hi,
>
> 你使用的数据源是什么呢？Kafka 吗？用的是 FlinkSQL 还是 DataStream API 呢？
>
> 方便把异常栈贴一下吗
>
> Best,
> Weihua
>
>
> On Mon, May 29, 2023 at 1:36 PM 小昌同学 <cc...@163.com> wrote:
>
>
> 各位老师，我有一个作业运行很久了，但是最近源系统有一些脏数据导致作业运行失败，看yarn的日志报错是空指针，但是我现在想把那一条脏数据捕获到，请问一下有啥办法吗？谢谢各位老师的指导
>
>
> | |
> 小昌同学
> |
> |
> ccc0606fighting@163.com
> |