You are viewing a plain text version of this content. The canonical link for it is here.
Posted to user-zh@flink.apache.org by "casel.chen" <ca...@126.com> on 2022/12/17 02:20:29 UTC
flink sql connector options如何支持Map数据类型？
我想开发一个Flink SQL Http Connector，遇到用户添加自定义请求头Headers问题，如何在connector options中支持Map<String, String>数据类型呢？
Re:Re: flink sql connector options如何支持Map数据类型？
Posted by "casel.chen" <ca...@126.com>.
看过了，不支持http source table，而且即使http lookup table也不支持map数据类型
在 2022-12-19 14:51:42，"Weihua Hu" <hu...@gmail.com> 写道：
>Hi, 你可以尝试使用独立开源的 http connector
>
>https://github.com/getindata/flink-http-connector
>
>Best,
>Weihua
>
>
>On Sat, Dec 17, 2022 at 10:21 AM casel.chen <ca...@126.com> wrote:
>
>> 我想开发一个Flink SQL Http Connector，遇到用户添加自定义请求头Headers问题，如何在connector
>> options中支持Map<String, String>数据类型呢？
Re: flink sql connector options如何支持Map数据类型？
Posted by Weihua Hu <hu...@gmail.com>.
Hi, 你可以尝试使用独立开源的 http connector
https://github.com/getindata/flink-http-connector
Best,
Weihua
On Sat, Dec 17, 2022 at 10:21 AM casel.chen <ca...@126.com> wrote:
> 我想开发一个Flink SQL Http Connector，遇到用户添加自定义请求头Headers问题，如何在connector
> options中支持Map<String, String>数据类型呢？
Re:Re:Re:Re:flink sql connector options如何支持Map数据类型？
Posted by "casel.chen" <ca...@126.com>.
需求是要支持任何http header透传，不管是标准http header还是用户自定义http header
在 2022-12-28 09:11:25，"RS" <ti...@163.com> 写道：
>Hi，
>这个看你的需求啊，用户想自定义哪些Header，怎么定义？
>
>
>比如用户想在Header中添加上报的时间戳，那么这种是随时间变化的，就无法在options里面定义了
>比如用户想在Header中添加上报数据的元信息，数据大小，数据字段个数等，那么这个也是和数据强相关的，无法在options里面定义
>
>
>所以要看用户想要什么，你们想给用户开放到哪个程度？
>至于是不是可以像flink sql kafka connector定义 `properties.*` ，这个是具体实现的方式，现在都不清楚你要做什么，先确定目标，再考虑实现。
>
>
>Thanks
>
>在 2022-12-27 13:24:38，"casel.chen" <ca...@126.com> 写道：
>>
>>
>>遇到用户添加自定义请求头Headers问题
>>
>>如果自定义Headers是和内容相关，那么就和connector options无关了，应该是需要用表的字段来描述
>>>> 是不是可以像flink sql kafka connector定义 `properties.*` 那样定义 `headers.*` 呢？
>>如果自定义Headers是定义table的时候确定的，那就是定义connector options的问题了
>>>> 是说有一些公用headers吗？例如 Content-Type 之类的，对应的flink sql kafka connector中的 properties.group.id 和 properties.bootstrap.servers
>>
>>在 2022-12-26 11:12:57，"RS" <ti...@163.com> 写道：
>>>Hi，
>>>
>>>
>>>> 遇到用户添加自定义请求头Headers问题
>>>如果自定义Headers是和内容相关，那么就和connector options无关了，应该是需要用表的字段来描述
>>>如果自定义Headers是定义table的时候确定的，那就是定义connector options的问题了
>>>
>>>
>>>> 如何在connector options中支持Map<String, String>数据类型呢？
>>>options里面都是k=v的结构，v都是字符串，所以你要考虑的是如何用 字符串 描述 Map
>>>
>>>
>>>
>>>
>>>Thanks
>>>
>>>在 2022-12-17 10:20:29，"casel.chen" <ca...@126.com> 写道：
>>>>我想开发一个Flink SQL Http Connector，遇到用户添加自定义请求头Headers问题，如何在connector options中支持Map<String, String>数据类型呢？
Re:Re:Re:flink sql connector options如何支持Map数据类型？
Posted by RS <ti...@163.com>.
Hi，
这个看你的需求啊，用户想自定义哪些Header，怎么定义？
比如用户想在Header中添加上报的时间戳，那么这种是随时间变化的，就无法在options里面定义了
比如用户想在Header中添加上报数据的元信息，数据大小，数据字段个数等，那么这个也是和数据强相关的，无法在options里面定义
所以要看用户想要什么，你们想给用户开放到哪个程度？
至于是不是可以像flink sql kafka connector定义 `properties.*` ，这个是具体实现的方式，现在都不清楚你要做什么，先确定目标，再考虑实现。
Thanks
在 2022-12-27 13:24:38，"casel.chen" <ca...@126.com> 写道：
>
>
>遇到用户添加自定义请求头Headers问题
>
>如果自定义Headers是和内容相关，那么就和connector options无关了，应该是需要用表的字段来描述
>>> 是不是可以像flink sql kafka connector定义 `properties.*` 那样定义 `headers.*` 呢？
>如果自定义Headers是定义table的时候确定的，那就是定义connector options的问题了
>>> 是说有一些公用headers吗？例如 Content-Type 之类的，对应的flink sql kafka connector中的 properties.group.id 和 properties.bootstrap.servers
>
>在 2022-12-26 11:12:57，"RS" <ti...@163.com> 写道：
>>Hi，
>>
>>
>>> 遇到用户添加自定义请求头Headers问题
>>如果自定义Headers是和内容相关，那么就和connector options无关了，应该是需要用表的字段来描述
>>如果自定义Headers是定义table的时候确定的，那就是定义connector options的问题了
>>
>>
>>> 如何在connector options中支持Map<String, String>数据类型呢？
>>options里面都是k=v的结构，v都是字符串，所以你要考虑的是如何用 字符串 描述 Map
>>
>>
>>
>>
>>Thanks
>>
>>在 2022-12-17 10:20:29，"casel.chen" <ca...@126.com> 写道：
>>>我想开发一个Flink SQL Http Connector，遇到用户添加自定义请求头Headers问题，如何在connector options中支持Map<String, String>数据类型呢？
Re:Re:flink sql connector options如何支持Map数据类型？
Posted by "casel.chen" <ca...@126.com>.
遇到用户添加自定义请求头Headers问题
如果自定义Headers是和内容相关，那么就和connector options无关了，应该是需要用表的字段来描述
>> 是不是可以像flink sql kafka connector定义 `properties.*` 那样定义 `headers.*` 呢？
如果自定义Headers是定义table的时候确定的，那就是定义connector options的问题了
>> 是说有一些公用headers吗？例如 Content-Type 之类的，对应的flink sql kafka connector中的 properties.group.id 和 properties.bootstrap.servers
在 2022-12-26 11:12:57，"RS" <ti...@163.com> 写道：
>Hi，
>
>
>> 遇到用户添加自定义请求头Headers问题
>如果自定义Headers是和内容相关，那么就和connector options无关了，应该是需要用表的字段来描述
>如果自定义Headers是定义table的时候确定的，那就是定义connector options的问题了
>
>
>> 如何在connector options中支持Map<String, String>数据类型呢？
>options里面都是k=v的结构，v都是字符串，所以你要考虑的是如何用 字符串 描述 Map
>
>
>
>
>Thanks
>
>在 2022-12-17 10:20:29，"casel.chen" <ca...@126.com> 写道：
>>我想开发一个Flink SQL Http Connector，遇到用户添加自定义请求头Headers问题，如何在connector options中支持Map<String, String>数据类型呢？
Re:flink sql connector options如何支持Map数据类型？
Posted by RS <ti...@163.com>.
Hi，
> 遇到用户添加自定义请求头Headers问题
如果自定义Headers是和内容相关，那么就和connector options无关了，应该是需要用表的字段来描述
如果自定义Headers是定义table的时候确定的，那就是定义connector options的问题了
> 如何在connector options中支持Map<String, String>数据类型呢？
options里面都是k=v的结构，v都是字符串，所以你要考虑的是如何用 字符串 描述 Map
Thanks
在 2022-12-17 10:20:29，"casel.chen" <ca...@126.com> 写道：
>我想开发一个Flink SQL Http Connector，遇到用户添加自定义请求头Headers问题，如何在connector options中支持Map<String, String>数据类型呢？