You are viewing a plain text version of this content. The canonical link for it is here.
Posted to dev@dolphinscheduler.apache.org by 飞亚伦 <87...@qq.com> on 2020/04/09 09:22:33 UTC
回复： 跨工作流的血缘关系建议
ok
------------------ 原始邮件 ------------------
发件人: "lgcareer2019@outlook.com"<lgcareer2019@outlook.com>;
发送时间: 2020年4月9日(星期四) 下午5:11
收件人: "dev"<dev@dolphinscheduler.apache.org>;
主题: 回复: 跨工作流的血缘关系建议
Welcome on board.
Suggest use English to communicate, thank you.
DolphinScheduler(Incubator) PPMC
Gang Li 李岗
lgcareer2019@outlook.com<mailto:lgcareer2019@outlook.com>
发件人： 飞亚伦
发送时间： 2020-04-09 16:23
收件人： dev
主题： 跨工作流的血缘关系建议
https://github.com/apache/incubator-dolphinscheduler/issues/2388
我们一共650个脚本 源头和终点 也就是stg、 app层脚本量最多， 中间层 ods、dwd、dwa、dwr啊， 按照分层建流， 依靠节点来当天成功失败来是否往下走。如果源头的一张stg表数据坏了， 或者中层某个表数据有问题。上下游要补数据 靠跨工作流能无法实现重跑， 这个调度框架 只能在本工作流里往前执行、往后执行、仅执行本身。你一旦跨工作流了 ，就无没法实现。
理论上是可以根据各自工作流里面的父子依赖串联起来，形成一个总的血缘图。这样后续要补数，就相对方便了。
回复: 回复： 跨工作流的血缘关系建议
Posted by "lgcareer2019@outlook.com" <lg...@outlook.com>.
There is a issue [1] about the workflow lineage,you can view it and feel free to discuss about.
1.https://github.com/apache/incubator-dolphinscheduler/issues/2305
DolphinScheduler(Incubator) PPMC
Gang Li 李岗
lgcareer2019@outlook.com<ma...@outlook.com>
发件人： 飞亚伦
发送时间： 2020-04-09 17:22
收件人： dev
主题： 回复： 跨工作流的血缘关系建议
ok
------------------ 原始邮件 ------------------
发件人: "lgcareer2019@outlook.com"<lgcareer2019@outlook.com>;
发送时间: 2020年4月9日(星期四) 下午5:11
收件人: "dev"<dev@dolphinscheduler.apache.org>;
主题: 回复: 跨工作流的血缘关系建议
Welcome on board.
Suggest use English to communicate, thank you.
DolphinScheduler(Incubator) PPMC
Gang Li 李岗
lgcareer2019@outlook.com<mailto:lgcareer2019@outlook.com>
发件人： 飞亚伦
发送时间： 2020-04-09 16:23
收件人： dev
主题： 跨工作流的血缘关系建议
https://github.com/apache/incubator-dolphinscheduler/issues/2388
我们一共650个脚本 源头和终点 也就是stg、 app层脚本量最多， 中间层 ods、dwd、dwa、dwr啊， 按照分层建流， 依靠节点来当天成功失败来是否往下走。如果源头的一张stg表数据坏了， 或者中层某个表数据有问题。上下游要补数据 靠跨工作流能无法实现重跑， 这个调度框架 只能在本工作流里往前执行、往后执行、仅执行本身。你一旦跨工作流了 ，就无没法实现。
理论上是可以根据各自工作流里面的父子依赖串联起来，形成一个总的血缘图。这样后续要补数，就相对方便了。