You are viewing a plain text version of this content. The canonical link for it is here.
Posted to dev@doris.apache.org by wangjun65970686 <wa...@163.com> on 2021/12/16 03:25:24 UTC
请教一topic对多表的routine load问题
各位好，
有个问题请教大家：我最近在使用debezium结合routine load同步mysql数据到doris中，为了减少topic数量，我使用debezium将多个表的更新信息放到一个topic里（json中有一个属性table，可以区分数据属于哪张表）。这种情况如何使用routine load将数据同步到doris中对应的表里呢，各位这样操作过吗？或是有什么样的解决方案吗？
包括columns_mapping的设置，我看文档里说明的都是一个topic一张表的情况，这样可以很明确的设定columns_mapping，但多表一个topic的话，就办法了，因为一个topic里有多个表的数据。
Re:Re: 请教一topic对多表的routine load问题
Posted by 陈明雨 <mo...@163.com>.
你可以创建创建多个routine load 消费同一个 topic（注意要使用不通过的 group.id），然后使用 where 来过滤需要的表数据。
--
此致！Best Regards
陈明雨 Mingyu Chen
Email:
chenmingyu@apache.org
在 2021-12-16 21:40:55，"41108453" <41...@qq.com.INVALID> 写道：
>目前routine load只能支持单张表，不过你可以试试doris 0.15提供的binlog load，支持多长表
>
>
>
>
>
>------------------ 原始邮件 ------------------
>发件人: wangjun65970686 <wangjun65970686@163.com>
>发送时间: 2021年12月16日 11:25
>收件人: dev <dev@doris.apache.org>
>主题: Re: 请教一topic对多表的routine load问题
>
>
>
>各位好，
> 有个问题请教大家：我最近在使用debezium结合routine load同步mysql数据到doris中，为了减少topic数量，我使用debezium将多个表的更新信息放到一个topic里（json中有一个属性table，可以区分数据属于哪张表）。这种情况如何使用routine load将数据同步到doris中对应的表里呢，各位这样操作过吗？或是有什么样的解决方案吗？
>
> 包括columns_mapping的设置，我看文档里说明的都是一个topic一张表的情况，这样可以很明确的设定columns_mapping，但多表一个topic的话，就办法了，因为一个topic里有多个表的数据。
Re: 请教一topic对多表的routine load问题
Posted by 41108453 <41...@qq.com.INVALID>.
目前routine load只能支持单张表，不过你可以试试doris 0.15提供的binlog load，支持多长表
------------------ 原始邮件 ------------------
发件人: wangjun65970686 <wangjun65970686@163.com>
发送时间: 2021年12月16日 11:25
收件人: dev <dev@doris.apache.org>
主题: Re: 请教一topic对多表的routine load问题
各位好，
有个问题请教大家：我最近在使用debezium结合routine load同步mysql数据到doris中，为了减少topic数量，我使用debezium将多个表的更新信息放到一个topic里（json中有一个属性table，可以区分数据属于哪张表）。这种情况如何使用routine load将数据同步到doris中对应的表里呢，各位这样操作过吗？或是有什么样的解决方案吗？
包括columns_mapping的设置，我看文档里说明的都是一个topic一张表的情况，这样可以很明确的设定columns_mapping，但多表一个topic的话，就办法了，因为一个topic里有多个表的数据。