You are viewing a plain text version of this content. The canonical link for it is here.
Posted to user-zh@flink.apache.org by 奔跑的小飞袁 <s_...@126.com> on 2020/10/26 06:08:26 UTC
flinksql指定kafka多topic
hello，
我想问一下目前flinksql支持同时指定kafka的多topic吗，例如
'topic'='cloud_behavior,cloud_behavior_other,cloud_behavior_qxb,cloud_behavior_cc,cloud_behavior_cs'
--
Sent from: http://apache-flink.147419.n8.nabble.com/
Re:Re: Re: 回复：回复：回复：flinksql指定kafka多topic
Posted by hailongwang <18...@163.com>.
是的，或者自己可以 cherry-pick 这个 MR，然后编译把。
在 2020-11-18 16:47:59，"赵一旦" <hi...@gmail.com> 写道：
>这个问题现在应该还是无解的吧。那个topic-pattern看了下文档也不存在还，1.11不支持对吗？
>
>hailongwang <18...@163.com> 于2020年10月26日周一 下午8:37写道：
>
>> Hi s_hongliang,
>> 目前的 Master 分支(1.12) 版本支持一个 source 指定消费多个 topics。
>> 相关issue见：https://issues.apache.org/jira/browse/FLINK-18449
>>
>> 目前你可以拆成多个 Source 消费。
>>
>>
>>
>>
>> Best,
>> Hailong Wang
>>
>>
>>
>>
>> 在 2020-10-26 13:54:40，"奔跑的小飞袁" <s_...@126.com> 写道：
>> >with (
>> > 'connector'='kafka',
>> >
>>
>> >'topic'='cloud_behavior;cloud_behavior_other;cloud_behavior_qxb;cloud_behavior_cc;cloud_behavior_cs',
>> > 'properties.bootstrap.servers'='',
>> > 'properties.group.id'='flink_2_hive_and_imei_ncrypy_test',
>> > 'format'='avro',
>> > 'scan.startup.mode'='group-offsets'
>> >);
>> >
>> >这是我的配置，但是在执行的时候失败了，我想知道目前支持的flinksql版本是哪个
>> >
>> >
>> >
>> >--
>> >Sent from: http://apache-flink.147419.n8.nabble.com/
>>
Re: Re: 回复：回复：回复：flinksql指定kafka多topic
Posted by 赵一旦 <hi...@gmail.com>.
这个问题现在应该还是无解的吧。那个topic-pattern看了下文档也不存在还，1.11不支持对吗？
hailongwang <18...@163.com> 于2020年10月26日周一 下午8:37写道：
> Hi s_hongliang,
> 目前的 Master 分支(1.12) 版本支持一个 source 指定消费多个 topics。
> 相关issue见：https://issues.apache.org/jira/browse/FLINK-18449
>
> 目前你可以拆成多个 Source 消费。
>
>
>
>
> Best,
> Hailong Wang
>
>
>
>
> 在 2020-10-26 13:54:40，"奔跑的小飞袁" <s_...@126.com> 写道：
> >with (
> > 'connector'='kafka',
> >
>
> >'topic'='cloud_behavior;cloud_behavior_other;cloud_behavior_qxb;cloud_behavior_cc;cloud_behavior_cs',
> > 'properties.bootstrap.servers'='',
> > 'properties.group.id'='flink_2_hive_and_imei_ncrypy_test',
> > 'format'='avro',
> > 'scan.startup.mode'='group-offsets'
> >);
> >
> >这是我的配置，但是在执行的时候失败了，我想知道目前支持的flinksql版本是哪个
> >
> >
> >
> >--
> >Sent from: http://apache-flink.147419.n8.nabble.com/
>
Re:Re: 回复：回复：回复：flinksql指定kafka多topic
Posted by hailongwang <18...@163.com>.
Hi s_hongliang,
目前的 Master 分支(1.12) 版本支持一个 source 指定消费多个 topics。
相关issue见：https://issues.apache.org/jira/browse/FLINK-18449
目前你可以拆成多个 Source 消费。
Best,
Hailong Wang
在 2020-10-26 13:54:40，"奔跑的小飞袁" <s_...@126.com> 写道：
>with (
> 'connector'='kafka',
>
>'topic'='cloud_behavior;cloud_behavior_other;cloud_behavior_qxb;cloud_behavior_cc;cloud_behavior_cs',
> 'properties.bootstrap.servers'='',
> 'properties.group.id'='flink_2_hive_and_imei_ncrypy_test',
> 'format'='avro',
> 'scan.startup.mode'='group-offsets'
>);
>
>这是我的配置，但是在执行的时候失败了，我想知道目前支持的flinksql版本是哪个
>
>
>
>--
>Sent from: http://apache-flink.147419.n8.nabble.com/
Re: 回复：回复：回复：flinksql指定kafka多topic
Posted by 奔跑的小飞袁 <s_...@126.com>.
with (
'connector'='kafka',
'topic'='cloud_behavior;cloud_behavior_other;cloud_behavior_qxb;cloud_behavior_cc;cloud_behavior_cs',
'properties.bootstrap.servers'='',
'properties.group.id'='flink_2_hive_and_imei_ncrypy_test',
'format'='avro',
'scan.startup.mode'='group-offsets'
);
这是我的配置，但是在执行的时候失败了，我想知道目前支持的flinksql版本是哪个
--
Sent from: http://apache-flink.147419.n8.nabble.com/
回复：回复：回复：flinksql指定kafka多topic
Posted by Shuai Xia <jk...@dingtalk.com.INVALID>.
现在就可以使用，刚查了一下，你可以参考下ShengKai的
The config option `topic` and `topic-pattern` specifies the topics or topic pattern to consume for source. The config option `topic` can accept topic list using semicolon separator like 'topic-1;topic-2'.
------------------------------------------------------------------
发件人：奔跑的小飞袁 <s_...@126.com>
发送时间：2020年10月26日(星期一) 14:31
收件人：user-zh <us...@flink.apache.org>
主 题：Re: 回复：回复：flinksql指定kafka多topic
好的 那我尝试下通过KafkaDynamicTableFactory来实现
--
Sent from: http://apache-flink.147419.n8.nabble.com/
Re: 回复：回复：flinksql指定kafka多topic
Posted by 奔跑的小飞袁 <s_...@126.com>.
好的 那我尝试下通过KafkaDynamicTableFactory来实现
--
Sent from: http://apache-flink.147419.n8.nabble.com/
回复：回复：flinksql指定kafka多topic
Posted by Shuai Xia <jk...@dingtalk.com.INVALID>.
目前应该没有直接可以使用的方式，但是可以通过重写KafkaDynamicTableFactory来实现你要的结果，不知道社区在之后有没有考虑加上topic-separator
------------------------------------------------------------------
发件人：奔跑的小飞袁 <s_...@126.com>
发送时间：2020年10月26日(星期一) 14:23
收件人：user-zh <us...@flink.apache.org>
主 题：Re: 回复：flinksql指定kafka多topic
有没有一种更加友好的方式 使用topic-pattern的话在提供给非开发人员使用成本太高
--
Sent from: http://apache-flink.147419.n8.nabble.com/
Re: 回复：flinksql指定kafka多topic
Posted by 奔跑的小飞袁 <s_...@126.com>.
有没有一种更加友好的方式 使用topic-pattern的话在提供给非开发人员使用成本太高
--
Sent from: http://apache-flink.147419.n8.nabble.com/
回复：flinksql指定kafka多topic
Posted by Shuai Xia <jk...@dingtalk.com.INVALID>.
Hi，可以试试用topic-pattern
------------------------------------------------------------------
发件人：奔跑的小飞袁 <s_...@126.com>
发送时间：2020年10月26日(星期一) 14:08
收件人：user-zh <us...@flink.apache.org>
主 题：flinksql指定kafka多topic
hello，
我想问一下目前flinksql支持同时指定kafka的多topic吗，例如
'topic'='cloud_behavior,cloud_behavior_other,cloud_behavior_qxb,cloud_behavior_cc,cloud_behavior_cs'
--
Sent from: http://apache-flink.147419.n8.nabble.com/