You are viewing a plain text version of this content. The canonical link for it is here.
Posted to dev@doris.apache.org by 瀚羽星海 <35...@qq.com> on 2021/05/10 11:51:19 UTC
Doris使用问题咨询
您好：
接触Doris不久，总是遇见导入数据（例行导入方式）失败问题，现象为：
使用命令：show routine load查看倒入任务状态为Running,实际数据库中数据已经从某一时段断掉，没有新的数据被导入进去。
导入任务被创建时设置有"maxErrorNum"属性，但感觉并未起作用。
ErrorLogUrls属性有错误路径，curl时却提示路径不存在。
使用命令：SHOW PARTITIONS FROM xxxxx，显示分区从某一时刻没有新的分区被创建。
使用命令：ADMIN SHOW FRONTEND CONFIG;及SHOW DYNAMIC PARTITION TABLES;两者均设置为dynamic_partition.enable为true。
查看数据源kafka，启动kafka消费者程序，能够看到消息队列中存在新的数据。
此外，每次数据导入出错后，就得从新删除导入任务，RESUME ROUTINE LOAD for xxxxx等命令基本无任何作用？
相关doris使用文档少之又少，出此下策，万请回复一下啦。
回复：Re:回复：Re:Doris使用问题咨询
Posted by 瀚羽星海 <35...@qq.com>.
好的(•̤̀ᵕ•̤́๑)ᵒᵏᵎᵎᵎᵎ，感谢回复
---原始邮件---
发件人:"陈明雨"<morningman@163.com>
发送时间:2021年5月10日(星期一) 晚上10:23
收件人:"dev"<dev@doris.apache.org>;
主题:Re:Doris使用问题咨询
I suggest you to upgrade the version to the latest.
We have fix a lot bugs about routine load.
--
此致！Best Regards
陈明雨 Mingyu Chen
Email:
chenmingyu@apache.org
在 2021-05-10 22:15:51，"瀚羽星海" <353675623@qq.com> 写道：
0.12
---原始邮件---
Re:回复：Re:Doris使用问题咨询
Posted by 陈明雨 <mo...@163.com>.
I suggest you to upgrade the version to the latest.
We have fix a lot bugs about routine load.
--
此致！Best Regards
陈明雨 Mingyu Chen
Email:
chenmingyu@apache.org
在 2021-05-10 22:15:51，"瀚羽星海" <35...@qq.com> 写道：
0.12
---原始邮件---
发件人:"陈明雨"<mo...@163.com>
发送时间:2021年5月10日(星期一) 晚上10:07
收件人:"dev"<de...@doris.apache.org>;
主题:Doris使用问题咨询
what is your Doris version?
--
此致！Best Regards
陈明雨 Mingyu Chen
Email:
chenmingyu@apache.org
在 2021-05-10 19:51:19，"瀚羽星海" <35...@qq.com> 写道：
>您好：
> 接触Doris不久，总是遇见导入数据（例行导入方式）失败问题，现象为：
>使用命令：show routine load查看倒入任务状态为Running,实际数据库中数据已经从某一时段断掉，没有新的数据被导入进去。
>导入任务被创建时设置有"maxErrorNum"属性，但感觉并未起作用。
>ErrorLogUrls属性有错误路径，curl时却提示路径不存在。
>使用命令：SHOW PARTITIONS FROM xxxxx，显示分区从某一时刻没有新的分区被创建。
>使用命令：ADMIN SHOW FRONTEND CONFIG;及SHOW DYNAMIC PARTITION TABLES;两者均设置为dynamic_partition.enable为true。
>查看数据源kafka，启动kafka消费者程序，能够看到消息队列中存在新的数据。
>此外，每次数据导入出错后，就得从新删除导入任务，RESUME ROUTINE LOAD for xxxxx等命令基本无任何作用？
> 相关doris使用文档少之又少，出此下策，万请回复一下啦。
回复：Re:Doris使用问题咨询
Posted by 41108453 <41...@qq.com>.
1. Upgrade to the latest version 0.14.7
2. Send out your table structure and regular load statements to see and send out related exception information
3. It may be that there is a problem with the dynamic partition setting when you build the table, and the time in your data is too advanced
------------------ 原始邮件 ------------------
发件人: "dev" <353675623@qq.com>;
发送时间: 2021年5月10日(星期一) 晚上10:15
收件人: "陈明雨"<morningman@163.com>;"dev"<dev@doris.apache.org>;
主题: 回复：Re:Doris使用问题咨询
0.12
---原始邮件---
发件人:"陈明雨"<morningman@163.com>
发送时间:2021年5月10日(星期一) 晚上10:07
收件人:"dev"<dev@doris.apache.org>;
主题:Doris使用问题咨询
what is your Doris version?
--
此致！Best Regards
陈明雨 Mingyu Chen
Email:
chenmingyu@apache.org
在 2021-05-10 19:51:19，"瀚羽星海" <353675623@qq.com> 写道：
>您好：
>&nbsp; &nbsp; &nbsp;接触Doris不久，总是遇见导入数据（例行导入方式）失败问题，现象为：
>使用命令：show routine load查看倒入任务状态为Running,实际数据库中数据已经从某一时段断掉，没有新的数据被导入进去。
>导入任务被创建时设置有"maxErrorNum"属性，但感觉并未起作用。
>ErrorLogUrls属性有错误路径，curl时却提示路径不存在。
>使用命令：SHOW PARTITIONS FROM xxxxx，显示分区从某一时刻没有新的分区被创建。
>使用命令：ADMIN SHOW FRONTEND CONFIG;及SHOW DYNAMIC PARTITION TABLES;两者均设置为dynamic_partition.enable为true。
>查看数据源kafka，启动kafka消费者程序，能够看到消息队列中存在新的数据。
>此外，每次数据导入出错后，就得从新删除导入任务，RESUME ROUTINE LOAD for xxxxx等命令基本无任何作用？
>&nbsp; &nbsp; &nbsp;相关doris使用文档少之又少，出此下策，万请回复一下啦。
回复：Re:Doris使用问题咨询
Posted by 瀚羽星海 <35...@qq.com>.
0.12
---ԭʼ�ʼ�---
������:"������"<morningman@163.com>
����ʱ��:2021��5��10��(����һ) ����10:07
�ռ���:"dev"<dev@doris.apache.org>;
����:Dorisʹ��������ѯ
what is your Doris version?
--
���£�Best Regards
������ Mingyu Chen
Email:
chenmingyu@apache.org
�� 2021-05-10 19:51:19��"����Ǻ�" <353675623@qq.com> д����
>���ã�
>&nbsp; &nbsp; &nbsp;�Ӵ�Doris���ã����������������ݣ����е��뷽ʽ��ʧ�����⣬����Ϊ��
>ʹ�����show routine load�鿴��������״̬ΪRunning,ʵ�����ݿ��������Ѿ���ijһʱ�ζϵ���û���µ����ݱ������ȥ��
>����������ʱ������"maxErrorNum"���ԣ����о���δ�����á�
>ErrorLogUrls�����д���·����curlʱȴ��ʾ·�������ڡ�
>ʹ�����SHOW PARTITIONS FROM xxxxx����ʾ������ijһʱ��û���µķ�����������
>ʹ�����ADMIN SHOW FRONTEND CONFIG;��SHOW DYNAMIC PARTITION TABLES;���߾�����Ϊdynamic_partition.enableΪtrue��
>�鿴����Դkafka������kafka�����߳����ܹ�������Ϣ�����д����µ����ݡ�
>���⣬ÿ�����ݵ�������͵ô���ɾ����������RESUME ROUTINE LOAD for xxxxx������������κ����ã�
>&nbsp; &nbsp; &nbsp;���dorisʹ���ĵ���֮���٣������²ߣ�����ظ�һ������
Re:Doris使用问题咨询
Posted by 陈明雨 <mo...@163.com>.
what is your Doris version?
--
此致！Best Regards
陈明雨 Mingyu Chen
Email:
chenmingyu@apache.org
在 2021-05-10 19:51:19，"瀚羽星海" <35...@qq.com> 写道：
>您好：
> 接触Doris不久，总是遇见导入数据（例行导入方式）失败问题，现象为：
>使用命令：show routine load查看倒入任务状态为Running,实际数据库中数据已经从某一时段断掉，没有新的数据被导入进去。
>导入任务被创建时设置有"maxErrorNum"属性，但感觉并未起作用。
>ErrorLogUrls属性有错误路径，curl时却提示路径不存在。
>使用命令：SHOW PARTITIONS FROM xxxxx，显示分区从某一时刻没有新的分区被创建。
>使用命令：ADMIN SHOW FRONTEND CONFIG;及SHOW DYNAMIC PARTITION TABLES;两者均设置为dynamic_partition.enable为true。
>查看数据源kafka，启动kafka消费者程序，能够看到消息队列中存在新的数据。
>此外，每次数据导入出错后，就得从新删除导入任务，RESUME ROUTINE LOAD for xxxxx等命令基本无任何作用？
> 相关doris使用文档少之又少，出此下策，万请回复一下啦。