You are viewing a plain text version of this content. The canonical link for it is here.
Posted to user-zh@flink.apache.org by 酷酷的浑蛋 <ap...@163.com> on 2021/01/13 02:45:38 UTC
flink sql读kafka元数据问题
WITH("`event_time` TIMESTAMP(3) METADATA FROM 'timestamp'," +
"`partition` BIGINT METADATA VIRTUAL," +
"`offset` BIGINT METADATA VIRTUAL," +
"`headers` MAP<STRING, BYTES> NOT NULL METADATA VIRTUAL,”+
在这里获取kakfa元数据时,官网没有说怎么获取kafka消息的key?,headers的信息是空的,请问怎么在flink sql中获取kafka消息key?
回复: flink sql读kafka元数据问题
Posted by 酷酷的浑蛋 <ap...@163.com>.
官网没说在哪里读key啊
在2021年01月14日 14:52,Jark Wu<im...@gmail.com> 写道:
kafka 读 key fields:
https://ci.apache.org/projects/flink/flink-docs-master/dev/table/connectors/kafka.html#key-fields
On Wed, 13 Jan 2021 at 15:18, JasonLee <17...@163.com> wrote:
hi
你写入数据的时候设置 headers 了吗 没设置的话当然是空的了
-----
Best Wishes
JasonLee
--
Sent from: http://apache-flink.147419.n8.nabble.com/
Re: flink sql读kafka元数据问题
Posted by Jark Wu <im...@gmail.com>.
kafka 读 key fields:
https://ci.apache.org/projects/flink/flink-docs-master/dev/table/connectors/kafka.html#key-fields
On Wed, 13 Jan 2021 at 15:18, JasonLee <17...@163.com> wrote:
> hi
>
> 你写入数据的时候设置 headers 了吗 没设置的话当然是空的了
>
>
>
> -----
> Best Wishes
> JasonLee
> --
> Sent from: http://apache-flink.147419.n8.nabble.com/
>
回复: flink sql读kafka元数据问题
Posted by 酷酷的浑蛋 <ap...@163.com>.
在2021年01月14日 16:03,酷酷的浑蛋<ap...@163.com> 写道:
你意思是说,topic不是flink写入的,用flink sql就不能读到key?
在2021年01月13日 15:18,JasonLee<17...@163.com> 写道:
hi
你写入数据的时候设置 headers 了吗 没设置的话当然是空的了
-----
Best Wishes
JasonLee
--
Sent from: http://apache-flink.147419.n8.nabble.com/
Re: 回复: flink sql读kafka元数据问题
Posted by JasonLee <17...@163.com>.
hi
通过 headers 这种方式是可以获取到的 jark 大佬说的那种方式我还没有测试
-----
Best Wishes
JasonLee
--
Sent from: http://apache-flink.147419.n8.nabble.com/
Re: 回复: flink sql读kafka元数据问题
Posted by Evan <ch...@foxmail.com>.
我知道 酷酷同学 啥意思,kafka 消息是key,value形式,当然这个key默认是null,他想在 select 语句里将 kafka的key值读出来对吧。
我也在文档里找了,确实是没有相关文档说明
发件人: 酷酷的浑蛋
发送时间: 2021-01-15 16:35
收件人: user-zh@flink.apache.org
主题: 回复: flink sql读kafka元数据问题
直接读topic,headers是空,我仅仅是想读key,不管topic是谁写入的
在2021年01月14日 16:03,酷酷的浑蛋<ap...@163.com> 写道:
你意思是说,topic不是flink写入的,用flink sql就不能读到key?
在2021年01月13日 15:18,JasonLee<17...@163.com> 写道:
hi
你写入数据的时候设置 headers 了吗 没设置的话当然是空的了
-----
Best Wishes
JasonLee
--
Sent from: http://apache-flink.147419.n8.nabble.com/
回复: flink sql读kafka元数据问题
Posted by 酷酷的浑蛋 <ap...@163.com>.
直接读topic,headers是空,我仅仅是想读key,不管topic是谁写入的
在2021年01月14日 16:03,酷酷的浑蛋<ap...@163.com> 写道:
你意思是说,topic不是flink写入的,用flink sql就不能读到key?
在2021年01月13日 15:18,JasonLee<17...@163.com> 写道:
hi
你写入数据的时候设置 headers 了吗 没设置的话当然是空的了
-----
Best Wishes
JasonLee
--
Sent from: http://apache-flink.147419.n8.nabble.com/
回复: flink sql读kafka元数据问题
Posted by 酷酷的浑蛋 <ap...@163.com>.
你意思是说,topic不是flink写入的,用flink sql就不能读到key?
在2021年01月13日 15:18,JasonLee<17...@163.com> 写道:
hi
你写入数据的时候设置 headers 了吗 没设置的话当然是空的了
-----
Best Wishes
JasonLee
--
Sent from: http://apache-flink.147419.n8.nabble.com/
Re: flink sql读kafka元数据问题
Posted by JasonLee <17...@163.com>.
hi
你写入数据的时候设置 headers 了吗 没设置的话当然是空的了
-----
Best Wishes
JasonLee
--
Sent from: http://apache-flink.147419.n8.nabble.com/