You are viewing a plain text version of this content. The canonical link for it is here.
Posted to user-zh@flink.apache.org by key lou <lo...@gmail.com> on 2021/05/01 13:24:13 UTC

Upsert kafka 作为 source 的几个问题

1、为什么source 默认要从 earliest 开始消费,是为了能够找到或者 补全 update before 数据? kafka
数据也有清理周期,给我感觉是 如果 state 找不到 就是 insert . 如果下游sink 能做 upsert 处理 比如 hbase 是不是
source 就可以解除这限制

2、翻了下 代码 没找到维护 sate 的源码位置,请指导下 核心类

3、Upsert kafka 作为 source  是否有严格要求 消息生产端必须对 消息进行 分区,使得 相同主键的 数据发送到同一个 kafka
partition.

Re: Upsert kafka 作为 source 的几个问题

Posted by macdoor <ma...@gmail.com>.
在做join时 ksql 会强制检查两个表的key是否相同,如果不同则报错,感觉这是一个比较好的方法。
你说 “目前 Upsert-kafka 要求具有相同key的数据在相同 partition 的。因为 kafka 仅保证 partiiton 内按
offset 读取,如果相同 key 的数据分布在不同 partition 的话,那么读取会乱序。”
flink 中两个表不使用相同的key 也可以成功 join ,但数据会出现错误,这样的话,在编译sql时报错应该更好



--
Sent from: http://apache-flink.147419.n8.nabble.com/

Re: Upsert kafka 作为 source 的几个问题

Posted by Shengkai Fang <fs...@gmail.com>.
Hi.

1. 当初的设计是一个较为保守的设计,其主要目的就是为了能够补全delete消息;
2. 核心类是 StreamExecChangelogNormalize[1]
3. 是的。目前 Upsert-kafka 要求具有相同key的数据在相同 partition 的。因为 kafka 仅保证 partiiton 内按
offset 读取,如果相同 key 的数据分布在不同 partition 的话,那么读取会乱序。
4. 当数据进入到具体的算子的时候并不会区别数据是来自什么connector的。如果 left, right 的 paritition
策略不一致,会shuffle的。

请问具体是有什么需求吗? 另外能再说说 ksql 具体的限制吗?

Best,
Shengkai


[1]
https://github.com/apache/flink/blob/99c2a415e9eeefafacf70762b6f54070f7911ceb/flink-table/flink-table-planner-blink/src/main/java/org/apache/flink/table/planner/plan/nodes/exec/stream/StreamExecChangelogNormalize.java

macdoor <ma...@gmail.com> 于2021年5月6日周四 上午9:48写道:

> 我也想知道 flink 在对 kafka 消息进行 join 时,是否对按主键分区有要求,KSQL有强制性的要求
>
>
>
> --
> Sent from: http://apache-flink.147419.n8.nabble.com/

Re: Upsert kafka 作为 source 的几个问题

Posted by macdoor <ma...@gmail.com>.
我也想知道 flink 在对 kafka 消息进行 join 时,是否对按主键分区有要求,KSQL有强制性的要求



--
Sent from: http://apache-flink.147419.n8.nabble.com/