You are viewing a plain text version of this content. The canonical link for it is here.
Posted to user-zh@flink.apache.org by 方伟 <fw...@163.com> on 2019/05/20 10:02:07 UTC
flink消费kafka问题
Hi 你好～：
请教个问题：我用flink消费kafka的数据，使用了checkpoint记录分区的偏移量，5s做一次checkpoint,并设置了EXACTLY_ONCE，让消费的数据落到mysql中，如何保证落库失败了（比如数据库中字段长度设置小了），当重新消费时还会消费到上次那条数据（我的理解是此时可能那条数据已经做了checkpoint了，下次消费就会跳过这条数据，是这样吗？该如何解决呢？），谢谢！
Re: flink消费kafka问题
Posted by LakeShen <sh...@gmail.com>.
可以了解一下 barrier 在EXACTLY_ONCE 以及 AT_LEAST_ONCE checkpoint语义下 的对齐方式😁
王志明 <wa...@163.com> 于2019年6月11日周二 下午1:20写道：
> 你好，可以看下这篇文章：
> https://flink.apache.org/features/2018/03/01/end-to-end-exactly-once-apache-flink.html
>
>
>
>
>
>
>
>
> 在 2019-05-20 18:02:07，"方伟" <fw...@163.com> 写道：
> >Hi 你好～：
> >
> 请教个问题：我用flink消费kafka的数据，使用了checkpoint记录分区的偏移量，5s做一次checkpoint,并设置了EXACTLY_ONCE，让消费的数据落到mysql中，如何保证落库失败了（比如数据库中字段长度设置小了），当重新消费时还会消费到上次那条数据（我的理解是此时可能那条数据已经做了checkpoint了，下次消费就会跳过这条数据，是这样吗？该如何解决呢？），谢谢！
>
Re:flink消费kafka问题
Posted by 王志明 <wa...@163.com>.
你好，可以看下这篇文章：https://flink.apache.org/features/2018/03/01/end-to-end-exactly-once-apache-flink.html
在 2019-05-20 18:02:07，"方伟" <fw...@163.com> 写道：
>Hi 你好～：
> 请教个问题：我用flink消费kafka的数据，使用了checkpoint记录分区的偏移量，5s做一次checkpoint,并设置了EXACTLY_ONCE，让消费的数据落到mysql中，如何保证落库失败了（比如数据库中字段长度设置小了），当重新消费时还会消费到上次那条数据（我的理解是此时可能那条数据已经做了checkpoint了，下次消费就会跳过这条数据，是这样吗？该如何解决呢？），谢谢！
Re:Re: flink消费kafka问题
Posted by Michael Ran <gr...@163.com>.
保存成功了，才做check 不行吗？
在 2019-05-21 10:37:50，"Biao Liu" <mm...@gmail.com> 写道：
>Hi, 你需要正确处理“落库失败”的数据，例如可以直接抛异常出来，这样 job 会不停 failover，直到不再落库失败
>
>
>方伟 <fw...@163.com> 于2019年5月20日周一 下午6:02写道：
>
>> Hi 你好～：
>>
>> 请教个问题：我用flink消费kafka的数据，使用了checkpoint记录分区的偏移量，5s做一次checkpoint,并设置了EXACTLY_ONCE，让消费的数据落到mysql中，如何保证落库失败了（比如数据库中字段长度设置小了），当重新消费时还会消费到上次那条数据（我的理解是此时可能那条数据已经做了checkpoint了，下次消费就会跳过这条数据，是这样吗？该如何解决呢？），谢谢！
Re: flink消费kafka问题
Posted by Biao Liu <mm...@gmail.com>.
Hi, 你需要正确处理“落库失败”的数据，例如可以直接抛异常出来，这样 job 会不停 failover，直到不再落库失败
方伟 <fw...@163.com> 于2019年5月20日周一 下午6:02写道：
> Hi 你好～：
>
> 请教个问题：我用flink消费kafka的数据，使用了checkpoint记录分区的偏移量，5s做一次checkpoint,并设置了EXACTLY_ONCE，让消费的数据落到mysql中，如何保证落库失败了（比如数据库中字段长度设置小了），当重新消费时还会消费到上次那条数据（我的理解是此时可能那条数据已经做了checkpoint了，下次消费就会跳过这条数据，是这样吗？该如何解决呢？），谢谢！