You are viewing a plain text version of this content. The canonical link for it is here.
Posted to user-zh@flink.apache.org by "aven.wu" <da...@163.com> on 2019/12/27 11:56:29 UTC
StreamTableEnvironment.registerDatastream() 开放用户自定义的schemaDescriptionh和DeserializationSchema
StreamTableEnvironment.registerDatastream()，目前只支持pojo 或者 是public属性的对象，根据默认字段或者用户指定的字段注册table，但某些场景下没有固定的格式，比如使用JSONObject类型DataStream就无法通过这种方法注册成table，是否可以提供更底层的API来使table注册的灵活性更高。用户传入schema的描述和自定义的解析器DeserializationSchema.
发送自 Windows 10 版邮件应用
回复: StreamTableEnvironment.registerDatastream() 开放用户自定义的schemaDescriptionh和DeserializationSchema
Posted by "aven.wu" <da...@163.com>.
Hi Jingsong
感谢指点，使用DataStream<Row> 解决了我目前的问题。
对于RowTypeInfo的设置可能有些隐晦（指在创建Datastream<Row>时就需要指定）。
希望之后对tableenv.registerStream API能有更好更直接的方式来设置RowTypeInfo以及一些相关可能的信息。（包括注册Datastream<POJO>, Datastream<CaseClass>, Datastream<Tuple>）
Best,
Aven
发件人: JingsongLee
发送时间: 2019年12月31日 17:03
收件人: user-zh
主题: Re: StreamTableEnvironment.registerDatastream() 开放用户自定义的schemaDescriptionh和DeserializationSchema
Hi aven,
这是个合理的需求。
现在的问题是：
- Flink table只支持Row, Pojo, Tuple, CaseClass作为结构化的数据类型。
- 而你的类型是JSONObject，它其实也是一个结构化的数据类型，但是目前Flink不支持它，所以可以考虑有这样的DeserializationSchema机制来支持它。
但是我理解其实没有差别多少，比如你提供RowDeserializationSchema，其实就是JSONObject到Row的转换，那你完全可以把这个套在DataStream.map中，把它转换成Flink table支持的结构化类型。
Best,
Jingsong Lee
------------------------------------------------------------------
From:aven.wu <da...@163.com>
Send Time:2019年12月31日(星期二) 14:09
To:user-zh@flink.apache.org <us...@flink.apache.org>
Subject:回复: StreamTableEnvironment.registerDatastream() 开放用户自定义的schemaDescriptionh和DeserializationSchema
你好！
“把 JSONObject类型定义成object类型” 可以解决在确定字段和类型的情况下并且需要编码到程序中。
如果能开放这部分的能力，可以不通过编码（新增POJO）的方式来完成一个Datastream 到 stream 的table注册。
best wish
发送自 Windows 10 版邮件应用
发件人: Terry Wang
发送时间: 2019年12月30日 12:37
收件人: user-zh@flink.apache.org
主题: Re: StreamTableEnvironment.registerDatastream() 开放用户自定义的schemaDescriptionh和DeserializationSchema
你这种需求的一种解决思路，可以把 JSONObject类型定义成object类型，然后注册成table之后通过一个UDTF把JSONObject转换成特定的schema。
Best,
Terry Wang
> 2019年12月27日 19:56，aven.wu <da...@163.com> 写道：
>
> StreamTableEnvironment.registerDatastream()，目前只支持pojo 或者 是public属性的对象，根据默认字段或者用户指定的字段注册table，但某些场景下没有固定的格式，比如使用JSONObject类型DataStream就无法通过这种方法注册成table，是否可以提供更底层的API来使table注册的灵活性更高。用户传入schema的描述和自定义的解析器DeserializationSchema.
>
>
> 发送自 Windows 10 版邮件应用
>
Re: StreamTableEnvironment.registerDatastream() 开放用户自定义的schemaDescriptionh和DeserializationSchema
Posted by JingsongLee <lz...@aliyun.com.INVALID>.
Hi aven,
这是个合理的需求。
现在的问题是：
- Flink table只支持Row, Pojo, Tuple, CaseClass作为结构化的数据类型。
- 而你的类型是JSONObject，它其实也是一个结构化的数据类型，但是目前Flink不支持它，所以可以考虑有这样的DeserializationSchema机制来支持它。
但是我理解其实没有差别多少，比如你提供RowDeserializationSchema，其实就是JSONObject到Row的转换，那你完全可以把这个套在DataStream.map中，把它转换成Flink table支持的结构化类型。
Best,
Jingsong Lee
------------------------------------------------------------------
From:aven.wu <da...@163.com>
Send Time:2019年12月31日(星期二) 14:09
To:user-zh@flink.apache.org <us...@flink.apache.org>
Subject:回复: StreamTableEnvironment.registerDatastream() 开放用户自定义的schemaDescriptionh和DeserializationSchema
你好！
“把 JSONObject类型定义成object类型” 可以解决在确定字段和类型的情况下并且需要编码到程序中。
如果能开放这部分的能力，可以不通过编码（新增POJO）的方式来完成一个Datastream 到 stream 的table注册。
best wish
发送自 Windows 10 版邮件应用
发件人: Terry Wang
发送时间: 2019年12月30日 12:37
收件人: user-zh@flink.apache.org
主题: Re: StreamTableEnvironment.registerDatastream() 开放用户自定义的schemaDescriptionh和DeserializationSchema
你这种需求的一种解决思路，可以把 JSONObject类型定义成object类型，然后注册成table之后通过一个UDTF把JSONObject转换成特定的schema。
Best,
Terry Wang
> 2019年12月27日 19:56，aven.wu <da...@163.com> 写道：
>
> StreamTableEnvironment.registerDatastream()，目前只支持pojo 或者 是public属性的对象，根据默认字段或者用户指定的字段注册table，但某些场景下没有固定的格式，比如使用JSONObject类型DataStream就无法通过这种方法注册成table，是否可以提供更底层的API来使table注册的灵活性更高。用户传入schema的描述和自定义的解析器DeserializationSchema.
>
>
> 发送自 Windows 10 版邮件应用
>
回复: StreamTableEnvironment.registerDatastream() 开放用户自定义的schemaDescriptionh和DeserializationSchema
Posted by "aven.wu" <da...@163.com>.
你好！
“把 JSONObject类型定义成object类型” 可以解决在确定字段和类型的情况下并且需要编码到程序中。
如果能开放这部分的能力，可以不通过编码（新增POJO）的方式来完成一个Datastream 到 stream 的table注册。
best wish
发送自 Windows 10 版邮件应用
发件人: Terry Wang
发送时间: 2019年12月30日 12:37
收件人: user-zh@flink.apache.org
主题: Re: StreamTableEnvironment.registerDatastream() 开放用户自定义的schemaDescriptionh和DeserializationSchema
你这种需求的一种解决思路，可以把 JSONObject类型定义成object类型，然后注册成table之后通过一个UDTF把JSONObject转换成特定的schema。
Best,
Terry Wang
> 2019年12月27日 19:56，aven.wu <da...@163.com> 写道：
>
> StreamTableEnvironment.registerDatastream()，目前只支持pojo 或者 是public属性的对象，根据默认字段或者用户指定的字段注册table，但某些场景下没有固定的格式，比如使用JSONObject类型DataStream就无法通过这种方法注册成table，是否可以提供更底层的API来使table注册的灵活性更高。用户传入schema的描述和自定义的解析器DeserializationSchema.
>
>
> 发送自 Windows 10 版邮件应用
>
Re: StreamTableEnvironment.registerDatastream() 开放用户自定义的schemaDescriptionh和DeserializationSchema
Posted by Terry Wang <zj...@gmail.com>.
你这种需求的一种解决思路，可以把 JSONObject类型定义成object类型，然后注册成table之后通过一个UDTF把JSONObject转换成特定的schema。
Best,
Terry Wang
> 2019年12月27日 19:56，aven.wu <da...@163.com> 写道：
>
> StreamTableEnvironment.registerDatastream()，目前只支持pojo 或者 是public属性的对象，根据默认字段或者用户指定的字段注册table，但某些场景下没有固定的格式，比如使用JSONObject类型DataStream就无法通过这种方法注册成table，是否可以提供更底层的API来使table注册的灵活性更高。用户传入schema的描述和自定义的解析器DeserializationSchema.
>
>
> 发送自 Windows 10 版邮件应用
>