You are viewing a plain text version of this content. The canonical link for it is here.
Posted to user-zh@flink.apache.org by bulterman <15...@163.com> on 2020/11/27 09:44:23 UTC
FLINK SQL 消费kafka消息乱序问题
Hi All,
kafka消息里有一个随时间递增的“成交额”字段，写了一个UDAF统计累加当前成交额与上一条数据的成交额的差值，发现差值有出现负数的情况
用工具看topic里的消息是有序的，分区数为1。flink版本1.11.2
Re:FLINK SQL 消费kafka消息乱序问题
Posted by bulterman <15...@163.com>.
检查了一下上游，发现在source端把并行度改成1就不乱序了
在 2020-11-27 17:44:23，"bulterman" <15...@163.com> 写道：
>Hi All,
>kafka消息里有一个随时间递增的“成交额”字段，写了一个UDAF统计累加当前成交额与上一条数据的成交额的差值，发现差值有出现负数的情况
>用工具看topic里的消息是有序的，分区数为1。flink版本1.11.2
回复：FLINK SQL 消费kafka消息乱序问题
Posted by smq <37...@qq.com>.
可能是有退款呢，我也做过类似的统计
---原始邮件---
发件人: "user-zh-return-9443-374060171=qq.com"<user-zh-return-9443-374060171=qq.com@flink.apache.org>
发送时间: 2020年11月30日(周一) 上午7:37
收件人: "user-zh"<user-zh@flink.apache.org>;
主题: Re: FLINK SQL 消费kafka消息乱序问题
确定是消息乱序吗？是不是计算的数据类型有问题？
发自我的iPhone
> 在 2020年11月27日，下午5:44，bulterman <15618338059@163.com> 写道：
>
> Hi All,
> kafka消息里有一个随时间递增的“成交额”字段，写了一个UDAF统计累加当前成交额与上一条数据的成交额的差值，发现差值有出现负数的情况
> 用工具看topic里的消息是有序的，分区数为1。flink版本1.11.2
Re: FLINK SQL 消费kafka消息乱序问题
Posted by "359502980@qq.com" <35...@qq.com>.
确定是消息乱序吗？是不是计算的数据类型有问题？
发自我的iPhone
> 在 2020年11月27日，下午5:44，bulterman <15...@163.com> 写道：
>
> Hi All,
> kafka消息里有一个随时间递增的“成交额”字段，写了一个UDAF统计累加当前成交额与上一条数据的成交额的差值，发现差值有出现负数的情况
> 用工具看topic里的消息是有序的，分区数为1。flink版本1.11.2