You are viewing a plain text version of this content. The canonical link for it is here.
Posted to user-zh@flink.apache.org by 酷酷的浑蛋 <ap...@163.com> on 2021/09/22 03:31:09 UTC
回复： flink sql是否支持动态创建sink table?
我也有这个需求，意思就是topic里实时新增了一种日志，然后想动态创建对应新的日志的topic表，并写入到新的topic表，在一个任务中完成
| |
apache22
|
|
apache22@163.com
|
签名由网易邮箱大师定制
在2021年09月22日 11:23，Caizhi Weng<ts...@gmail.com> 写道：
Hi！
不太明白这个需求，但如果希望发送给不同的 topic，需要给每个 topic 都定义 DDL。
如果是因为各 topic 之间的 schema 重复度比较高，只有些许字段以及 topic 名称等不同，可以看一下 DDL LIKE 语法：
https://ci.apache.org/projects/flink/flink-docs-release-1.13/zh/docs/dev/table/sql/create/#like
casel.chen <ca...@126.com> 于2021年9月18日周六 上午8:27写道：
上游kafka topic消息带有一个用户类型字段，现在想根据不同用户类型将数据发到不同topic（为了扩展不想写死有哪些类型) ，请问flink
sql支持动态创建sink table吗？
退订
Posted by 紫月幽魔灵 <yu...@foxmail.com>.
退订
回复： flink sql是否支持动态创建sink table?
Posted by JasonLee <17...@163.com>.
hi
事实上这个跟构建 graph 没有太大的关系 也不用在构建后调整 在构造 producer 的时候 topic 不要写死 自定义 KafkaSerializationSchema 序列化类 topic 动态的从数据中获取就行了
Best
JasonLee
在2021年9月22日 19:48，spoon_lz<sp...@126.com> 写道：
“在 datastream api 任务是可以的” 这样是可行的吗，我的理解flink是要先构建好graph之后才能运行，graph构建好之后可能没办法再动态调整了，除非写一个自定义的sink，自己实现逻辑
在2021年09月22日 19:25，JasonLee<17...@163.com> 写道：
hi
这个我理解在 SQL 任务里面目前是没办法做到的 在 datastream api 任务是可以的
Best
JasonLee
在2021年9月22日 11:35，酷酷的浑蛋<ap...@163.com> 写道：
我也有这个需求，意思就是topic里实时新增了一种日志，然后想动态创建对应新的日志的topic表，并写入到新的topic表，在一个任务中完成
| |
apache22
|
|
apache22@163.com
|
签名由网易邮箱大师定制
在2021年09月22日 11:23，Caizhi Weng<ts...@gmail.com> 写道：
Hi！
不太明白这个需求，但如果希望发送给不同的 topic，需要给每个 topic 都定义 DDL。
如果是因为各 topic 之间的 schema 重复度比较高，只有些许字段以及 topic 名称等不同，可以看一下 DDL LIKE 语法：
https://ci.apache.org/projects/flink/flink-docs-release-1.13/zh/docs/dev/table/sql/create/#like
casel.chen <ca...@126.com> 于2021年9月18日周六 上午8:27写道：
上游kafka topic消息带有一个用户类型字段，现在想根据不同用户类型将数据发到不同topic（为了扩展不想写死有哪些类型) ，请问flink
sql支持动态创建sink table吗？
回复： flink sql是否支持动态创建sink table?
Posted by spoon_lz <sp...@126.com>.
“在 datastream api 任务是可以的” 这样是可行的吗，我的理解flink是要先构建好graph之后才能运行，graph构建好之后可能没办法再动态调整了，除非写一个自定义的sink，自己实现逻辑
在2021年09月22日 19:25，JasonLee<17...@163.com> 写道：
hi
这个我理解在 SQL 任务里面目前是没办法做到的 在 datastream api 任务是可以的
Best
JasonLee
在2021年9月22日 11:35，酷酷的浑蛋<ap...@163.com> 写道：
我也有这个需求，意思就是topic里实时新增了一种日志，然后想动态创建对应新的日志的topic表，并写入到新的topic表，在一个任务中完成
| |
apache22
|
|
apache22@163.com
|
签名由网易邮箱大师定制
在2021年09月22日 11:23，Caizhi Weng<ts...@gmail.com> 写道：
Hi！
不太明白这个需求，但如果希望发送给不同的 topic，需要给每个 topic 都定义 DDL。
如果是因为各 topic 之间的 schema 重复度比较高，只有些许字段以及 topic 名称等不同，可以看一下 DDL LIKE 语法：
https://ci.apache.org/projects/flink/flink-docs-release-1.13/zh/docs/dev/table/sql/create/#like
casel.chen <ca...@126.com> 于2021年9月18日周六 上午8:27写道：
上游kafka topic消息带有一个用户类型字段，现在想根据不同用户类型将数据发到不同topic（为了扩展不想写死有哪些类型) ，请问flink
sql支持动态创建sink table吗？
回复： flink sql是否支持动态创建sink table?
Posted by JasonLee <17...@163.com>.
hi
这个我理解在 SQL 任务里面目前是没办法做到的 在 datastream api 任务是可以的
Best
JasonLee
在2021年9月22日 11:35，酷酷的浑蛋<ap...@163.com> 写道：
我也有这个需求，意思就是topic里实时新增了一种日志，然后想动态创建对应新的日志的topic表，并写入到新的topic表，在一个任务中完成
| |
apache22
|
|
apache22@163.com
|
签名由网易邮箱大师定制
在2021年09月22日 11:23，Caizhi Weng<ts...@gmail.com> 写道：
Hi！
不太明白这个需求，但如果希望发送给不同的 topic，需要给每个 topic 都定义 DDL。
如果是因为各 topic 之间的 schema 重复度比较高，只有些许字段以及 topic 名称等不同，可以看一下 DDL LIKE 语法：
https://ci.apache.org/projects/flink/flink-docs-release-1.13/zh/docs/dev/table/sql/create/#like
casel.chen <ca...@126.com> 于2021年9月18日周六 上午8:27写道：
上游kafka topic消息带有一个用户类型字段，现在想根据不同用户类型将数据发到不同topic（为了扩展不想写死有哪些类型) ，请问flink
sql支持动态创建sink table吗？