You are viewing a plain text version of this content. The canonical link for it is here.
Posted to users@dolphinscheduler.apache.org by 王星叔 <18...@163.com> on 2024/08/12 08:03:37 UTC

dolphinscheduler 清理历史任务问题

dolphinscheduler的开发者,你好。我最近遇到了dolphinscheduler使用上的问题,想请教一下。
情况是这样的:
我在2022年在集群上部署了版本为3.0.1 的 dolphinscheduler 。截止目前,上面有已运行过的工作流实例 104383 个,执行过的任务实例有 738215 个。
随着时间的推移,积累过多的工作流实例和任务实例成为了问题,这些工作流实例和任务实例的源数据都积累在mysql中。我在官网上未能找到有对于历史任务过期清理的相关配置。
我尝试直接清理mysql中的元数据表 dolphinscheduler.t_ds_task_instance 表和 dolphinscheduler.t_ds_process_instance 表。
但是因为这两个mysql表的元数据实在太多,直接通过delete方式会导致mysql出现问题,且在执行delete时,ds执行调度也出现了问题。
如果通过web页面去选择删除历史任务效率太低。
所以想请教一下,对于dolphinscheduler 历史数据清理,有没有些好的办法?

Re: dolphinscheduler 清理历史任务问题

Posted by David Zollo <da...@gmail.com>.
You can consider Open API instead.



Best Regards

---------------
Apache DolphinScheduler PMC Chair & Apache SeaTunnel PMC member
David
Linkedin: https://www.linkedin.com/in/davidzollo
Twitter: @WorkflowEasy <https://twitter.com/WorkflowEasy>
---------------


On Mon, Aug 12, 2024 at 4:03 PM 王星叔 <18...@163.com> wrote:

> dolphinscheduler的开发者,你好。我最近遇到了dolphinscheduler使用上的问题,想请教一下。
> 情况是这样的:
> 我在2022年在集群上部署了版本为3.0.1 的 dolphinscheduler 。截止目前,上面有已运行过的工作流实例 104383
> 个,执行过的任务实例有 738215 个。
>
> 随着时间的推移,积累过多的工作流实例和任务实例成为了问题,这些工作流实例和任务实例的源数据都积累在mysql中。我在官网上未能找到有对于历史任务过期清理的相关配置。
> 我尝试直接清理mysql中的元数据表 dolphinscheduler.t_ds_task_instance 表和 dolphinscheduler.t_ds_process_instance
> 表。
> 但是因为这两个mysql表的元数据实在太多,直接通过delete方式会导致mysql出现问题,且在执行delete时,ds执行调度也出现了问题。
> 如果通过web页面去选择删除历史任务效率太低。
> 所以想请教一下,对于dolphinscheduler 历史数据清理,有没有些好的办法?
>