Re: 基于savepoint重启作业无法保证端到端一致性

[杨扬 <ya...@cupdata.com>]

指定了，依然无法保证。





> 在 2022年8月26日，下午5:28，gulugulucxg <gu...@163.com> 写道：
> 
> flinkKafkaProducer指定EXACTLY_ONCE语义了吗
> 
> 
> 
> 
> 
> 
> 
> 
> 
> 
> 
> 
> 
> 
> 
> 
> 
> 在 2022-08-26 16:50:33，"杨扬" <ya...@cupdata.com> 写道：
>> kafka-2.4.1
>> flink-1.14.2
>> 
>> 
>> 
>> 
>>> 在 2022年8月26日，下午4:42，Hangxiang Yu <ma...@gmail.com> 写道：
>>> 
>>> flink会保证自身的exactly once语义，端到端的exactly once的语义是需要source和sink保证幂等的；
>>> 你用的kafka是哪个版本？
>>> 
>>> On Fri, Aug 26, 2022 at 4:08 PM 杨扬 <ya...@cupdata.com> wrote:
>>> 
>>>> 各位好！
>>>>       目前有一flink作业，source与sink均为kafka。
>>>>       在换版时（未修改任何代码）基于官网文档命令，创建savepoint并停止作业；而后基于之前创建的savepoint启动作业。
>>>>       现在发现如此操作无法实现启停前后数据无缝对接，会出现一定的数据重复。
>>>> 
>>>>       想请教这个问题是savepoint设计时本身就无法保证启停前后端到端一致性，还是我们哪里操作不当呢？
>>>> 
>>>> 
>>>> 
>>>> 
>>>> 
>>>> 
>>>> 
>>> 
>>> -- 
>>> Best,
>>> Hangxiang.
>>> 
>>> ======================================================= 
>>> 此邮件已由 Deep Discovery Email Inspector 进行了分析。
>> 
> 
> ======================================================= 
> 此邮件已由 Deep Discovery Email Inspector 进行了分析。