You are viewing a plain text version of this content. The canonical link for it is here.
Posted to commits@dolphinscheduler.apache.org by GitBox <gi...@apache.org> on 2022/02/07 11:06:47 UTC
[GitHub] [dolphinscheduler-website] QuakeWang opened a new pull request #669: [Feature-8022][Document] Add example and notice about task type MapReduce
QuakeWang opened a new pull request #669:
URL: https://github.com/apache/dolphinscheduler-website/pull/669
ref: https://github.com/apache/dolphinscheduler/issues/8022
I have updated the document of MR task, please review it. If there is nothing need to modify, I will update the other relevant files.
PTAL @zhongjiajie
--
This is an automated message from the Apache Git Service.
To respond to the message, please log on to GitHub and use the
URL above to go to the specific comment.
To unsubscribe, e-mail: commits-unsubscribe@dolphinscheduler.apache.org
For queries about this service, please contact Infrastructure at:
users@infra.apache.org
[GitHub] [dolphinscheduler-website] QuakeWang commented on a change in pull request #669: [Feature-8022][Document] Add example and notice about task type MapReduce
Posted by GitBox <gi...@apache.org>.
QuakeWang commented on a change in pull request #669:
URL: https://github.com/apache/dolphinscheduler-website/pull/669#discussion_r801582232
##########
File path: docs/zh-cn/2.0.3/user_doc/guide/task/map-reduce.md
##########
@@ -1,34 +1,67 @@
-# MapReduce(MR)节点
+# MapReduce(MR) 节点
-- 使用MR节点，可以直接执行MR程序。对于mr节点，worker会使用`hadoop jar`方式提交任务
+## 综述
+MapReduce(MR) 任务类型，用于执行 MapReduce 程序。对于 MapReduce 节点，worker 会通过使用 Hadoop 命令 `hadoop jar` 的方式提交任务。更多详情查看 [Hadoop Command Manual](https://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/CommandsManual.html#jar)。
-> 拖动工具栏中的任务节点到画板中，如下图所示：
+## 创建任务
-## JAVA程序
+- 点击项目管理-项目名称-工作流定义，点击"创建工作流"按钮，进入 DAG 编辑页面。
+- 拖动工具栏中的 <img src="/img/tasks/icons/mr.png" width="15"/> 任务节点到画板中，如下图所示：
- <p align="center">
- <img src="/img/mr_java.png" width="80%" />
- </p>
-
-- 主函数的class：是MR程序的入口Main Class的全路径
-- 程序类型：选择JAVA语言
-- 主jar包：是MR的jar包
-- 命令行参数：是设置MR程序的输入参数，支持自定义参数变量的替换
-- 其他参数：支持 –D、-files、-libjars、-archives格式
-- 资源： 如果其他参数中引用了资源文件，需要在资源中选择指定
-- 自定义参数：是MR局部的用户自定义参数，会替换脚本中以${变量}的内容
+## 任务参数
+
+- 节点名称：设置任务的名称。一个工作流定义中的节点名称是唯一的。
+- 运行标志：标识这个节点是否能正常调度,如果不需要执行，可以打开禁止执行开关。
+- 描述：描述该节点的功能。
+- 任务优先级：worker 线程数不足时，根据优先级从高到低依次执行，优先级一样时根据先进先出原则执行。
+- Worker 分组：任务分配给 worker 组的机器执行，选择Default，会随机选择一台 worker 机执行。
+- 环境名称：配置运行脚本的环境。
+- 失败重试次数：任务失败重新提交的次数。
+- 失败重试间隔：任务失败重新提交任务的时间间隔，以分为单位。
+- 延迟执行时间：任务延迟执行的时间，以分为单位。
+- 超时告警：勾选超时告警、超时失败，当任务超过"超时时长"后，会发送告警邮件并且任务执行失败。
+- 资源：是指脚本中需要调用的资源文件列表，资源中心-文件管理上传或创建的文件。
+- 自定义参数：是 MapReduce 局部的用户自定义参数，会替换脚本中以 ${变量} 的内容。
+- 前置任务：选择当前任务的前置任务，会将被选择的前置任务设置为当前任务的上游。
-## Python程序
+### JAVA/SCALA 程序
+
+- 程序类型：选择 JAVA/SCALA 语言。
+- 主函数的 Class：是 MapReduce 程序的入口 Main Class 的**全路径**。
+- 主程序包：执行 MapReduce 程序的 jar 包。
+- 任务名称（选填）：MapReduce 任务名称。
+- 命令行参数：是设置 MapReduce 程序的输入参数，支持自定义参数变量的替换。
+- 其他参数：支持 –D、-files、-libjars、-archives 格式。
+- 资源： 如果其他参数中引用了资源文件，需要在资源中选择指定
+- 自定义参数：是 MapReduce 局部的用户自定义参数，会替换脚本中以 ${变量} 的内容
-<p align="center">
- <img src="/img/mr_edit.png" width="80%" />
- </p>
+### Python 程序
-- 程序类型：选择Python语言
-- 主jar包：是运行MR的Python jar包
+- 程序类型：选择 Python 语言。
+- 主 jar 包：是运行 MapReduce 的 Python jar 包。
- 其他参数：支持 –D、-mapper、-reducer、-input -output格式，这里可以设置用户自定义参数的输入，比如：
- -mapper "mapper.py 1" -file mapper.py -reducer reducer.py -file reducer.py –input /journey/words.txt -output /journey/out/mr/${currentTimeMillis}
-- 其中 -mapper 后的 mapper.py 1是两个参数，第一个参数是mapper.py，第二个参数是1
-- 资源： 如果其他参数中引用了资源文件，需要在资源中选择指定
-- 自定义参数：是MR局部的用户自定义参数，会替换脚本中以${变量}的内容
+- 其中 -mapper 后的 mapper.py 1是两个参数，第一个参数是 mapper.py，第二个参数是 1。
+- 资源： 如果其他参数中引用了资源文件，需要在资源中选择指定。
+- 自定义参数：是 MapReduce 局部的用户自定义参数，会替换脚本中以 ${变量} 的内容。
+
+## 任务样例
+
+### 执行 WordCount 程序
+
+该样例为 MapReduce 应用中常见的入门类型，主要为统计输入的文本中，相同单词的数量有多少。
+
+#### 上传主程序包
+
+在使用 MapReduce 任务节点时，需要利用资源中心上传执行程序的 jar 包。可参考[资源中心](docs/zh-cn/dev/user_doc/guide/resource.md)。
Review comment:
> I not sure about that, but does relative path work?
I have tried, but it didn't work.
--
This is an automated message from the Apache Git Service.
To respond to the message, please log on to GitHub and use the
URL above to go to the specific comment.
To unsubscribe, e-mail: commits-unsubscribe@dolphinscheduler.apache.org
For queries about this service, please contact Infrastructure at:
users@infra.apache.org
[GitHub] [dolphinscheduler-website] zhongjiajie commented on a change in pull request #669: [Feature-8022][Document] Add example and notice about task type MapReduce
Posted by GitBox <gi...@apache.org>.
zhongjiajie commented on a change in pull request #669:
URL: https://github.com/apache/dolphinscheduler-website/pull/669#discussion_r800671307
##########
File path: docs/zh-cn/2.0.3/user_doc/guide/task/map-reduce.md
##########
@@ -1,34 +1,71 @@
-# MapReduce(MR)节点
+# MapReduce(MR) 节点
-- 使用MR节点，可以直接执行MR程序。对于mr节点，worker会使用`hadoop jar`方式提交任务
+## 综述
+MR 任务类型，用于执行 MapReduce 程序。对于 MR 节点，worker 会通过使用 `hadoop jar` 的方式提交任务。
-> 拖动工具栏中的任务节点到画板中，如下图所示：
+## 创建任务
-## JAVA程序
+- 点击项目管理-项目名称-工作流定义，点击"创建工作流"按钮，进入 DAG 编辑页面。
+- 拖动工具栏中的 <img src="/img/tasks/icons/mr.png" width="15"/> 任务节点到画板中，如下图所示：
- <p align="center">
- <img src="/img/mr_java.png" width="80%" />
- </p>
+## 任务参数
+
+- 节点名称：设置任务的名称。一个工作流定义中的节点名称是唯一的。
+- 运行标志：标识这个节点是否能正常调度,如果不需要执行，可以打开禁止执行开关。
+- 描述：描述该节点的功能。
+- 任务优先级：worker 线程数不足时，根据优先级从高到低依次执行，优先级一样时根据先进先出原则执行。
+- Worker 分组：任务分配给 worker 组的机器执行，选择Default，会随机选择一台 worker 机执行。
+- 环境名称：配置运行脚本的环境。
+- 失败重试次数：任务失败重新提交的次数。
+- 失败重试间隔：任务失败重新提交任务的时间间隔，以分为单位。
+- 延迟执行时间：任务延迟执行的时间，以分为单位。
+- 超时告警：勾选超时告警、超时失败，当任务超过"超时时长"后，会发送告警邮件并且任务执行失败。
+- 资源：是指脚本中需要调用的资源文件列表，资源中心-文件管理上传或创建的文件。
+- 自定义参数：是 MR 局部的用户自定义参数，会替换脚本中以 ${变量} 的内容。
+- 前置任务：选择当前任务的前置任务，会将被选择的前置任务设置为当前任务的上游。
+
+### JAVA/SCALA 程序
-- 主函数的class：是MR程序的入口Main Class的全路径
-- 程序类型：选择JAVA语言
-- 主jar包：是MR的jar包
-- 命令行参数：是设置MR程序的输入参数，支持自定义参数变量的替换
-- 其他参数：支持 –D、-files、-libjars、-archives格式
+- 程序类型：选择 JAVA/SCALA 语言。
+- 主函数的 Class：是 MR 程序的入口 Main Class 的**全路径**。
+- 主程序包：执行 MapReduce 程序的 jar 包。
+- 任务名称：MR 任务名称（可以不填）。
+- 命令行参数：是设置 MR 程序的输入参数，支持自定义参数变量的替换。
+- 其他参数：支持 –D、-files、-libjars、-archives 格式。
- 资源： 如果其他参数中引用了资源文件，需要在资源中选择指定
-- 自定义参数：是MR局部的用户自定义参数，会替换脚本中以${变量}的内容
+- 自定义参数：是 MR 局部的用户自定义参数，会替换脚本中以 ${变量} 的内容
-## Python程序
+### Python 程序
<p align="center">
- <img src="/img/mr_edit.png" width="80%" />
+ <img src="/img/mr_python.png" width="80%" />
</p>
-- 程序类型：选择Python语言
-- 主jar包：是运行MR的Python jar包
+- 程序类型：选择 Python 语言
+- 主jar包：是运行 MR 的 Python jar 包
- 其他参数：支持 –D、-mapper、-reducer、-input -output格式，这里可以设置用户自定义参数的输入，比如：
- -mapper "mapper.py 1" -file mapper.py -reducer reducer.py -file reducer.py –input /journey/words.txt -output /journey/out/mr/${currentTimeMillis}
- 其中 -mapper 后的 mapper.py 1是两个参数，第一个参数是mapper.py，第二个参数是1
- 资源： 如果其他参数中引用了资源文件，需要在资源中选择指定
-- 自定义参数：是MR局部的用户自定义参数，会替换脚本中以${变量}的内容
+- 自定义参数：是 MR 局部的用户自定义参数，会替换脚本中以 ${变量}的内容
+
+## 任务样例
+
+### 执行 WordCount 程序
+
+该样例为 MapReduce 应用中常见的入门类型，主要为统计输入的文本中，相同单词的数量有多少。
+
+#### 上传主程序包
+
+在使用 MR 任务节点时，需要利用资源中心上传执行程序的 jar 包。可参考[资源中心](https://dolphinscheduler.apache.org/zh-cn/docs/latest/user_doc/guide/resource.html)。
+
+当配置完成资源中心之后，直接使用拖拽的方式，即可上传所需目标文件。
+
+
Review comment:
Did you want to add file named `resource_upload`?
##########
File path: docs/zh-cn/2.0.3/user_doc/guide/task/map-reduce.md
##########
@@ -1,34 +1,71 @@
-# MapReduce(MR)节点
+# MapReduce(MR) 节点
-- 使用MR节点，可以直接执行MR程序。对于mr节点，worker会使用`hadoop jar`方式提交任务
+## 综述
+MR 任务类型，用于执行 MapReduce 程序。对于 MR 节点，worker 会通过使用 `hadoop jar` 的方式提交任务。
Review comment:
I prefer to use whole word `MapReduce`. BTW, we should tell user use hadoop command line to start it
```suggestion
MapReduce(MR) 任务类型，用于执行 MapReduce 程序。对于 MapReduce 节点，worker 会通过使用 Hadoop 命令 `hadoop jar` 的方式提交任务。更多详情查看 [Hadoop Command Manual](https://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/CommandsManual.html#jar)
```
##########
File path: docs/zh-cn/2.0.3/user_doc/guide/task/map-reduce.md
##########
@@ -1,34 +1,71 @@
-# MapReduce(MR)节点
+# MapReduce(MR) 节点
-- 使用MR节点，可以直接执行MR程序。对于mr节点，worker会使用`hadoop jar`方式提交任务
+## 综述
+MR 任务类型，用于执行 MapReduce 程序。对于 MR 节点，worker 会通过使用 `hadoop jar` 的方式提交任务。
-> 拖动工具栏中的任务节点到画板中，如下图所示：
+## 创建任务
-## JAVA程序
+- 点击项目管理-项目名称-工作流定义，点击"创建工作流"按钮，进入 DAG 编辑页面。
+- 拖动工具栏中的 <img src="/img/tasks/icons/mr.png" width="15"/> 任务节点到画板中，如下图所示：
- <p align="center">
- <img src="/img/mr_java.png" width="80%" />
- </p>
+## 任务参数
+
+- 节点名称：设置任务的名称。一个工作流定义中的节点名称是唯一的。
+- 运行标志：标识这个节点是否能正常调度,如果不需要执行，可以打开禁止执行开关。
+- 描述：描述该节点的功能。
+- 任务优先级：worker 线程数不足时，根据优先级从高到低依次执行，优先级一样时根据先进先出原则执行。
+- Worker 分组：任务分配给 worker 组的机器执行，选择Default，会随机选择一台 worker 机执行。
+- 环境名称：配置运行脚本的环境。
+- 失败重试次数：任务失败重新提交的次数。
+- 失败重试间隔：任务失败重新提交任务的时间间隔，以分为单位。
+- 延迟执行时间：任务延迟执行的时间，以分为单位。
+- 超时告警：勾选超时告警、超时失败，当任务超过"超时时长"后，会发送告警邮件并且任务执行失败。
+- 资源：是指脚本中需要调用的资源文件列表，资源中心-文件管理上传或创建的文件。
+- 自定义参数：是 MR 局部的用户自定义参数，会替换脚本中以 ${变量} 的内容。
+- 前置任务：选择当前任务的前置任务，会将被选择的前置任务设置为当前任务的上游。
+
+### JAVA/SCALA 程序
-- 主函数的class：是MR程序的入口Main Class的全路径
-- 程序类型：选择JAVA语言
-- 主jar包：是MR的jar包
-- 命令行参数：是设置MR程序的输入参数，支持自定义参数变量的替换
-- 其他参数：支持 –D、-files、-libjars、-archives格式
+- 程序类型：选择 JAVA/SCALA 语言。
+- 主函数的 Class：是 MR 程序的入口 Main Class 的**全路径**。
+- 主程序包：执行 MapReduce 程序的 jar 包。
+- 任务名称：MR 任务名称（可以不填）。
+- 命令行参数：是设置 MR 程序的输入参数，支持自定义参数变量的替换。
+- 其他参数：支持 –D、-files、-libjars、-archives 格式。
- 资源： 如果其他参数中引用了资源文件，需要在资源中选择指定
-- 自定义参数：是MR局部的用户自定义参数，会替换脚本中以${变量}的内容
+- 自定义参数：是 MR 局部的用户自定义参数，会替换脚本中以 ${变量} 的内容
-## Python程序
+### Python 程序
<p align="center">
- <img src="/img/mr_edit.png" width="80%" />
+ <img src="/img/mr_python.png" width="80%" />
</p>
-- 程序类型：选择Python语言
-- 主jar包：是运行MR的Python jar包
+- 程序类型：选择 Python 语言
+- 主jar包：是运行 MR 的 Python jar 包
- 其他参数：支持 –D、-mapper、-reducer、-input -output格式，这里可以设置用户自定义参数的输入，比如：
- -mapper "mapper.py 1" -file mapper.py -reducer reducer.py -file reducer.py –input /journey/words.txt -output /journey/out/mr/${currentTimeMillis}
- 其中 -mapper 后的 mapper.py 1是两个参数，第一个参数是mapper.py，第二个参数是1
- 资源： 如果其他参数中引用了资源文件，需要在资源中选择指定
-- 自定义参数：是MR局部的用户自定义参数，会替换脚本中以${变量}的内容
+- 自定义参数：是 MR 局部的用户自定义参数，会替换脚本中以 ${变量}的内容
+
+## 任务样例
+
+### 执行 WordCount 程序
+
+该样例为 MapReduce 应用中常见的入门类型，主要为统计输入的文本中，相同单词的数量有多少。
+
+#### 上传主程序包
+
+在使用 MR 任务节点时，需要利用资源中心上传执行程序的 jar 包。可参考[资源中心](https://dolphinscheduler.apache.org/zh-cn/docs/latest/user_doc/guide/resource.html)。
+
+当配置完成资源中心之后，直接使用拖拽的方式，即可上传所需目标文件。
+
+
+
+#### 配置 MR 节点
+
+ 根据上述参数说明，配置所需的内容即可。
+
+ 
Review comment:
Remove unnecessary blank space
```suggestion
根据上述参数说明，配置所需的内容即可。
```
##########
File path: docs/zh-cn/2.0.3/user_doc/guide/task/map-reduce.md
##########
@@ -1,34 +1,71 @@
-# MapReduce(MR)节点
+# MapReduce(MR) 节点
-- 使用MR节点，可以直接执行MR程序。对于mr节点，worker会使用`hadoop jar`方式提交任务
+## 综述
+MR 任务类型，用于执行 MapReduce 程序。对于 MR 节点，worker 会通过使用 `hadoop jar` 的方式提交任务。
-> 拖动工具栏中的任务节点到画板中，如下图所示：
+## 创建任务
-## JAVA程序
+- 点击项目管理-项目名称-工作流定义，点击"创建工作流"按钮，进入 DAG 编辑页面。
+- 拖动工具栏中的 <img src="/img/tasks/icons/mr.png" width="15"/> 任务节点到画板中，如下图所示：
- <p align="center">
- <img src="/img/mr_java.png" width="80%" />
- </p>
+## 任务参数
+
+- 节点名称：设置任务的名称。一个工作流定义中的节点名称是唯一的。
+- 运行标志：标识这个节点是否能正常调度,如果不需要执行，可以打开禁止执行开关。
+- 描述：描述该节点的功能。
+- 任务优先级：worker 线程数不足时，根据优先级从高到低依次执行，优先级一样时根据先进先出原则执行。
+- Worker 分组：任务分配给 worker 组的机器执行，选择Default，会随机选择一台 worker 机执行。
+- 环境名称：配置运行脚本的环境。
+- 失败重试次数：任务失败重新提交的次数。
+- 失败重试间隔：任务失败重新提交任务的时间间隔，以分为单位。
+- 延迟执行时间：任务延迟执行的时间，以分为单位。
+- 超时告警：勾选超时告警、超时失败，当任务超过"超时时长"后，会发送告警邮件并且任务执行失败。
+- 资源：是指脚本中需要调用的资源文件列表，资源中心-文件管理上传或创建的文件。
+- 自定义参数：是 MR 局部的用户自定义参数，会替换脚本中以 ${变量} 的内容。
+- 前置任务：选择当前任务的前置任务，会将被选择的前置任务设置为当前任务的上游。
+
+### JAVA/SCALA 程序
-- 主函数的class：是MR程序的入口Main Class的全路径
-- 程序类型：选择JAVA语言
-- 主jar包：是MR的jar包
-- 命令行参数：是设置MR程序的输入参数，支持自定义参数变量的替换
-- 其他参数：支持 –D、-files、-libjars、-archives格式
+- 程序类型：选择 JAVA/SCALA 语言。
+- 主函数的 Class：是 MR 程序的入口 Main Class 的**全路径**。
+- 主程序包：执行 MapReduce 程序的 jar 包。
+- 任务名称：MR 任务名称（可以不填）。
+- 命令行参数：是设置 MR 程序的输入参数，支持自定义参数变量的替换。
+- 其他参数：支持 –D、-files、-libjars、-archives 格式。
- 资源： 如果其他参数中引用了资源文件，需要在资源中选择指定
-- 自定义参数：是MR局部的用户自定义参数，会替换脚本中以${变量}的内容
+- 自定义参数：是 MR 局部的用户自定义参数，会替换脚本中以 ${变量} 的内容
-## Python程序
+### Python 程序
<p align="center">
- <img src="/img/mr_edit.png" width="80%" />
+ <img src="/img/mr_python.png" width="80%" />
Review comment:
Could you move this img to `/img/tasks/demo/` directory? and you should also change previous version doc. BTW, use markdown syntax `` instead of html syntax
##########
File path: docs/zh-cn/2.0.3/user_doc/guide/task/map-reduce.md
##########
@@ -1,34 +1,71 @@
-# MapReduce(MR)节点
+# MapReduce(MR) 节点
-- 使用MR节点，可以直接执行MR程序。对于mr节点，worker会使用`hadoop jar`方式提交任务
+## 综述
+MR 任务类型，用于执行 MapReduce 程序。对于 MR 节点，worker 会通过使用 `hadoop jar` 的方式提交任务。
-> 拖动工具栏中的任务节点到画板中，如下图所示：
+## 创建任务
-## JAVA程序
+- 点击项目管理-项目名称-工作流定义，点击"创建工作流"按钮，进入 DAG 编辑页面。
+- 拖动工具栏中的 <img src="/img/tasks/icons/mr.png" width="15"/> 任务节点到画板中，如下图所示：
- <p align="center">
- <img src="/img/mr_java.png" width="80%" />
- </p>
+## 任务参数
+
+- 节点名称：设置任务的名称。一个工作流定义中的节点名称是唯一的。
+- 运行标志：标识这个节点是否能正常调度,如果不需要执行，可以打开禁止执行开关。
+- 描述：描述该节点的功能。
+- 任务优先级：worker 线程数不足时，根据优先级从高到低依次执行，优先级一样时根据先进先出原则执行。
+- Worker 分组：任务分配给 worker 组的机器执行，选择Default，会随机选择一台 worker 机执行。
+- 环境名称：配置运行脚本的环境。
+- 失败重试次数：任务失败重新提交的次数。
+- 失败重试间隔：任务失败重新提交任务的时间间隔，以分为单位。
+- 延迟执行时间：任务延迟执行的时间，以分为单位。
+- 超时告警：勾选超时告警、超时失败，当任务超过"超时时长"后，会发送告警邮件并且任务执行失败。
+- 资源：是指脚本中需要调用的资源文件列表，资源中心-文件管理上传或创建的文件。
+- 自定义参数：是 MR 局部的用户自定义参数，会替换脚本中以 ${变量} 的内容。
+- 前置任务：选择当前任务的前置任务，会将被选择的前置任务设置为当前任务的上游。
+
+### JAVA/SCALA 程序
-- 主函数的class：是MR程序的入口Main Class的全路径
-- 程序类型：选择JAVA语言
-- 主jar包：是MR的jar包
-- 命令行参数：是设置MR程序的输入参数，支持自定义参数变量的替换
-- 其他参数：支持 –D、-files、-libjars、-archives格式
+- 程序类型：选择 JAVA/SCALA 语言。
+- 主函数的 Class：是 MR 程序的入口 Main Class 的**全路径**。
+- 主程序包：执行 MapReduce 程序的 jar 包。
+- 任务名称：MR 任务名称（可以不填）。
+- 命令行参数：是设置 MR 程序的输入参数，支持自定义参数变量的替换。
+- 其他参数：支持 –D、-files、-libjars、-archives 格式。
- 资源： 如果其他参数中引用了资源文件，需要在资源中选择指定
-- 自定义参数：是MR局部的用户自定义参数，会替换脚本中以${变量}的内容
+- 自定义参数：是 MR 局部的用户自定义参数，会替换脚本中以 ${变量} 的内容
-## Python程序
+### Python 程序
<p align="center">
- <img src="/img/mr_edit.png" width="80%" />
+ <img src="/img/mr_python.png" width="80%" />
</p>
-- 程序类型：选择Python语言
-- 主jar包：是运行MR的Python jar包
+- 程序类型：选择 Python 语言
+- 主jar包：是运行 MR 的 Python jar 包
- 其他参数：支持 –D、-mapper、-reducer、-input -output格式，这里可以设置用户自定义参数的输入，比如：
- -mapper "mapper.py 1" -file mapper.py -reducer reducer.py -file reducer.py –input /journey/words.txt -output /journey/out/mr/${currentTimeMillis}
- 其中 -mapper 后的 mapper.py 1是两个参数，第一个参数是mapper.py，第二个参数是1
- 资源： 如果其他参数中引用了资源文件，需要在资源中选择指定
-- 自定义参数：是MR局部的用户自定义参数，会替换脚本中以${变量}的内容
+- 自定义参数：是 MR 局部的用户自定义参数，会替换脚本中以 ${变量}的内容
+
+## 任务样例
+
+### 执行 WordCount 程序
+
+该样例为 MapReduce 应用中常见的入门类型，主要为统计输入的文本中，相同单词的数量有多少。
+
+#### 上传主程序包
+
+在使用 MR 任务节点时，需要利用资源中心上传执行程序的 jar 包。可参考[资源中心](https://dolphinscheduler.apache.org/zh-cn/docs/latest/user_doc/guide/resource.html)。
Review comment:
use a relative path instead of a whole path would make maintain easier.
##########
File path: docs/zh-cn/2.0.3/user_doc/guide/task/map-reduce.md
##########
@@ -1,34 +1,71 @@
-# MapReduce(MR)节点
+# MapReduce(MR) 节点
-- 使用MR节点，可以直接执行MR程序。对于mr节点，worker会使用`hadoop jar`方式提交任务
+## 综述
+MR 任务类型，用于执行 MapReduce 程序。对于 MR 节点，worker 会通过使用 `hadoop jar` 的方式提交任务。
-> 拖动工具栏中的任务节点到画板中，如下图所示：
+## 创建任务
-## JAVA程序
+- 点击项目管理-项目名称-工作流定义，点击"创建工作流"按钮，进入 DAG 编辑页面。
+- 拖动工具栏中的 <img src="/img/tasks/icons/mr.png" width="15"/> 任务节点到画板中，如下图所示：
- <p align="center">
- <img src="/img/mr_java.png" width="80%" />
- </p>
+## 任务参数
+
+- 节点名称：设置任务的名称。一个工作流定义中的节点名称是唯一的。
+- 运行标志：标识这个节点是否能正常调度,如果不需要执行，可以打开禁止执行开关。
+- 描述：描述该节点的功能。
+- 任务优先级：worker 线程数不足时，根据优先级从高到低依次执行，优先级一样时根据先进先出原则执行。
+- Worker 分组：任务分配给 worker 组的机器执行，选择Default，会随机选择一台 worker 机执行。
+- 环境名称：配置运行脚本的环境。
+- 失败重试次数：任务失败重新提交的次数。
+- 失败重试间隔：任务失败重新提交任务的时间间隔，以分为单位。
+- 延迟执行时间：任务延迟执行的时间，以分为单位。
+- 超时告警：勾选超时告警、超时失败，当任务超过"超时时长"后，会发送告警邮件并且任务执行失败。
+- 资源：是指脚本中需要调用的资源文件列表，资源中心-文件管理上传或创建的文件。
+- 自定义参数：是 MR 局部的用户自定义参数，会替换脚本中以 ${变量} 的内容。
+- 前置任务：选择当前任务的前置任务，会将被选择的前置任务设置为当前任务的上游。
+
+### JAVA/SCALA 程序
-- 主函数的class：是MR程序的入口Main Class的全路径
-- 程序类型：选择JAVA语言
-- 主jar包：是MR的jar包
-- 命令行参数：是设置MR程序的输入参数，支持自定义参数变量的替换
-- 其他参数：支持 –D、-files、-libjars、-archives格式
+- 程序类型：选择 JAVA/SCALA 语言。
+- 主函数的 Class：是 MR 程序的入口 Main Class 的**全路径**。
+- 主程序包：执行 MapReduce 程序的 jar 包。
+- 任务名称：MR 任务名称（可以不填）。
Review comment:
Add optional to parameter maybe better.
```suggestion
- 任务名称（选填）：MR 任务名称。
```
--
This is an automated message from the Apache Git Service.
To respond to the message, please log on to GitHub and use the
URL above to go to the specific comment.
To unsubscribe, e-mail: commits-unsubscribe@dolphinscheduler.apache.org
For queries about this service, please contact Infrastructure at:
users@infra.apache.org
[GitHub] [dolphinscheduler-website] zhongjiajie commented on a change in pull request #669: [Feature-8022][Document] Add example and notice about task type MapReduce
Posted by GitBox <gi...@apache.org>.
zhongjiajie commented on a change in pull request #669:
URL: https://github.com/apache/dolphinscheduler-website/pull/669#discussion_r801762254
##########
File path: docs/zh-cn/2.0.3/user_doc/guide/task/map-reduce.md
##########
@@ -1,34 +1,67 @@
-# MapReduce(MR)节点
+# MapReduce(MR) 节点
-- 使用MR节点，可以直接执行MR程序。对于mr节点，worker会使用`hadoop jar`方式提交任务
+## 综述
+MapReduce(MR) 任务类型，用于执行 MapReduce 程序。对于 MapReduce 节点，worker 会通过使用 Hadoop 命令 `hadoop jar` 的方式提交任务。更多详情查看 [Hadoop Command Manual](https://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/CommandsManual.html#jar)。
-> 拖动工具栏中的任务节点到画板中，如下图所示：
+## 创建任务
-## JAVA程序
+- 点击项目管理-项目名称-工作流定义，点击"创建工作流"按钮，进入 DAG 编辑页面。
+- 拖动工具栏中的 <img src="/img/tasks/icons/mr.png" width="15"/> 任务节点到画板中，如下图所示：
- <p align="center">
- <img src="/img/mr_java.png" width="80%" />
- </p>
-
-- 主函数的class：是MR程序的入口Main Class的全路径
-- 程序类型：选择JAVA语言
-- 主jar包：是MR的jar包
-- 命令行参数：是设置MR程序的输入参数，支持自定义参数变量的替换
-- 其他参数：支持 –D、-files、-libjars、-archives格式
-- 资源： 如果其他参数中引用了资源文件，需要在资源中选择指定
-- 自定义参数：是MR局部的用户自定义参数，会替换脚本中以${变量}的内容
+## 任务参数
+
+- 节点名称：设置任务的名称。一个工作流定义中的节点名称是唯一的。
+- 运行标志：标识这个节点是否能正常调度,如果不需要执行，可以打开禁止执行开关。
+- 描述：描述该节点的功能。
+- 任务优先级：worker 线程数不足时，根据优先级从高到低依次执行，优先级一样时根据先进先出原则执行。
+- Worker 分组：任务分配给 worker 组的机器执行，选择Default，会随机选择一台 worker 机执行。
+- 环境名称：配置运行脚本的环境。
+- 失败重试次数：任务失败重新提交的次数。
+- 失败重试间隔：任务失败重新提交任务的时间间隔，以分为单位。
+- 延迟执行时间：任务延迟执行的时间，以分为单位。
+- 超时告警：勾选超时告警、超时失败，当任务超过"超时时长"后，会发送告警邮件并且任务执行失败。
+- 资源：是指脚本中需要调用的资源文件列表，资源中心-文件管理上传或创建的文件。
+- 自定义参数：是 MapReduce 局部的用户自定义参数，会替换脚本中以 ${变量} 的内容。
+- 前置任务：选择当前任务的前置任务，会将被选择的前置任务设置为当前任务的上游。
-## Python程序
+### JAVA/SCALA 程序
+
+- 程序类型：选择 JAVA/SCALA 语言。
+- 主函数的 Class：是 MapReduce 程序的入口 Main Class 的**全路径**。
+- 主程序包：执行 MapReduce 程序的 jar 包。
+- 任务名称（选填）：MapReduce 任务名称。
+- 命令行参数：是设置 MapReduce 程序的输入参数，支持自定义参数变量的替换。
+- 其他参数：支持 –D、-files、-libjars、-archives 格式。
+- 资源： 如果其他参数中引用了资源文件，需要在资源中选择指定
+- 自定义参数：是 MapReduce 局部的用户自定义参数，会替换脚本中以 ${变量} 的内容
-<p align="center">
- <img src="/img/mr_edit.png" width="80%" />
- </p>
+### Python 程序
-- 程序类型：选择Python语言
-- 主jar包：是运行MR的Python jar包
+- 程序类型：选择 Python 语言。
+- 主 jar 包：是运行 MapReduce 的 Python jar 包。
- 其他参数：支持 –D、-mapper、-reducer、-input -output格式，这里可以设置用户自定义参数的输入，比如：
- -mapper "mapper.py 1" -file mapper.py -reducer reducer.py -file reducer.py –input /journey/words.txt -output /journey/out/mr/${currentTimeMillis}
-- 其中 -mapper 后的 mapper.py 1是两个参数，第一个参数是mapper.py，第二个参数是1
-- 资源： 如果其他参数中引用了资源文件，需要在资源中选择指定
-- 自定义参数：是MR局部的用户自定义参数，会替换脚本中以${变量}的内容
+- 其中 -mapper 后的 mapper.py 1是两个参数，第一个参数是 mapper.py，第二个参数是 1。
+- 资源： 如果其他参数中引用了资源文件，需要在资源中选择指定。
+- 自定义参数：是 MapReduce 局部的用户自定义参数，会替换脚本中以 ${变量} 的内容。
+
+## 任务样例
+
+### 执行 WordCount 程序
+
+该样例为 MapReduce 应用中常见的入门类型，主要为统计输入的文本中，相同单词的数量有多少。
+
+#### 上传主程序包
+
+在使用 MapReduce 任务节点时，需要利用资源中心上传执行程序的 jar 包。可参考[资源中心](docs/zh-cn/dev/user_doc/guide/resource.md)。
Review comment:
@QuakeWang I test locally, and using syntax `[resource centre](../resource.md)` work for me. but failed with your syntax `[resource centre](docs/zh-cn/dev/user_doc/guide/resource.md)`
--
This is an automated message from the Apache Git Service.
To respond to the message, please log on to GitHub and use the
URL above to go to the specific comment.
To unsubscribe, e-mail: commits-unsubscribe@dolphinscheduler.apache.org
For queries about this service, please contact Infrastructure at:
users@infra.apache.org
[GitHub] [dolphinscheduler-website] zhongjiajie commented on a change in pull request #669: [Feature-8022][Document] Add example and notice about task type MapReduce
Posted by GitBox <gi...@apache.org>.
zhongjiajie commented on a change in pull request #669:
URL: https://github.com/apache/dolphinscheduler-website/pull/669#discussion_r801471232
##########
File path: docs/zh-cn/2.0.3/user_doc/guide/task/map-reduce.md
##########
@@ -1,34 +1,67 @@
-# MapReduce(MR)节点
+# MapReduce(MR) 节点
-- 使用MR节点，可以直接执行MR程序。对于mr节点，worker会使用`hadoop jar`方式提交任务
+## 综述
+MapReduce(MR) 任务类型，用于执行 MapReduce 程序。对于 MapReduce 节点，worker 会通过使用 Hadoop 命令 `hadoop jar` 的方式提交任务。更多详情查看 [Hadoop Command Manual](https://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/CommandsManual.html#jar)。
-> 拖动工具栏中的任务节点到画板中，如下图所示：
+## 创建任务
-## JAVA程序
+- 点击项目管理-项目名称-工作流定义，点击"创建工作流"按钮，进入 DAG 编辑页面。
+- 拖动工具栏中的 <img src="/img/tasks/icons/mr.png" width="15"/> 任务节点到画板中，如下图所示：
- <p align="center">
- <img src="/img/mr_java.png" width="80%" />
- </p>
-
-- 主函数的class：是MR程序的入口Main Class的全路径
-- 程序类型：选择JAVA语言
-- 主jar包：是MR的jar包
-- 命令行参数：是设置MR程序的输入参数，支持自定义参数变量的替换
-- 其他参数：支持 –D、-files、-libjars、-archives格式
-- 资源： 如果其他参数中引用了资源文件，需要在资源中选择指定
-- 自定义参数：是MR局部的用户自定义参数，会替换脚本中以${变量}的内容
+## 任务参数
+
+- 节点名称：设置任务的名称。一个工作流定义中的节点名称是唯一的。
+- 运行标志：标识这个节点是否能正常调度,如果不需要执行，可以打开禁止执行开关。
+- 描述：描述该节点的功能。
+- 任务优先级：worker 线程数不足时，根据优先级从高到低依次执行，优先级一样时根据先进先出原则执行。
+- Worker 分组：任务分配给 worker 组的机器执行，选择Default，会随机选择一台 worker 机执行。
+- 环境名称：配置运行脚本的环境。
+- 失败重试次数：任务失败重新提交的次数。
+- 失败重试间隔：任务失败重新提交任务的时间间隔，以分为单位。
+- 延迟执行时间：任务延迟执行的时间，以分为单位。
+- 超时告警：勾选超时告警、超时失败，当任务超过"超时时长"后，会发送告警邮件并且任务执行失败。
+- 资源：是指脚本中需要调用的资源文件列表，资源中心-文件管理上传或创建的文件。
+- 自定义参数：是 MapReduce 局部的用户自定义参数，会替换脚本中以 ${变量} 的内容。
+- 前置任务：选择当前任务的前置任务，会将被选择的前置任务设置为当前任务的上游。
-## Python程序
+### JAVA/SCALA 程序
+
+- 程序类型：选择 JAVA/SCALA 语言。
+- 主函数的 Class：是 MapReduce 程序的入口 Main Class 的**全路径**。
+- 主程序包：执行 MapReduce 程序的 jar 包。
+- 任务名称（选填）：MapReduce 任务名称。
+- 命令行参数：是设置 MapReduce 程序的输入参数，支持自定义参数变量的替换。
+- 其他参数：支持 –D、-files、-libjars、-archives 格式。
+- 资源： 如果其他参数中引用了资源文件，需要在资源中选择指定
+- 自定义参数：是 MapReduce 局部的用户自定义参数，会替换脚本中以 ${变量} 的内容
-<p align="center">
- <img src="/img/mr_edit.png" width="80%" />
- </p>
+### Python 程序
-- 程序类型：选择Python语言
-- 主jar包：是运行MR的Python jar包
+- 程序类型：选择 Python 语言。
+- 主 jar 包：是运行 MapReduce 的 Python jar 包。
- 其他参数：支持 –D、-mapper、-reducer、-input -output格式，这里可以设置用户自定义参数的输入，比如：
- -mapper "mapper.py 1" -file mapper.py -reducer reducer.py -file reducer.py –input /journey/words.txt -output /journey/out/mr/${currentTimeMillis}
-- 其中 -mapper 后的 mapper.py 1是两个参数，第一个参数是mapper.py，第二个参数是1
-- 资源： 如果其他参数中引用了资源文件，需要在资源中选择指定
-- 自定义参数：是MR局部的用户自定义参数，会替换脚本中以${变量}的内容
+- 其中 -mapper 后的 mapper.py 1是两个参数，第一个参数是 mapper.py，第二个参数是 1。
+- 资源： 如果其他参数中引用了资源文件，需要在资源中选择指定。
+- 自定义参数：是 MapReduce 局部的用户自定义参数，会替换脚本中以 ${变量} 的内容。
+
+## 任务样例
+
+### 执行 WordCount 程序
+
+该样例为 MapReduce 应用中常见的入门类型，主要为统计输入的文本中，相同单词的数量有多少。
+
+#### 上传主程序包
+
+在使用 MapReduce 任务节点时，需要利用资源中心上传执行程序的 jar 包。可参考[资源中心](docs/zh-cn/dev/user_doc/guide/resource.md)。
Review comment:
I not sure about that, but does relative path work?
```suggestion
在使用 MapReduce 任务节点时，需要利用资源中心上传执行程序的 jar 包。可参考[资源中心](../../resource.md)。
```
--
This is an automated message from the Apache Git Service.
To respond to the message, please log on to GitHub and use the
URL above to go to the specific comment.
To unsubscribe, e-mail: commits-unsubscribe@dolphinscheduler.apache.org
For queries about this service, please contact Infrastructure at:
users@infra.apache.org
[GitHub] [dolphinscheduler-website] QuakeWang commented on a change in pull request #669: [Feature-8022][Document] Add example and notice about task type MapReduce
Posted by GitBox <gi...@apache.org>.
QuakeWang commented on a change in pull request #669:
URL: https://github.com/apache/dolphinscheduler-website/pull/669#discussion_r801220493
##########
File path: docs/zh-cn/2.0.3/user_doc/guide/task/map-reduce.md
##########
@@ -1,34 +1,71 @@
-# MapReduce(MR)节点
+# MapReduce(MR) 节点
-- 使用MR节点，可以直接执行MR程序。对于mr节点，worker会使用`hadoop jar`方式提交任务
+## 综述
+MR 任务类型，用于执行 MapReduce 程序。对于 MR 节点，worker 会通过使用 `hadoop jar` 的方式提交任务。
-> 拖动工具栏中的任务节点到画板中，如下图所示：
+## 创建任务
-## JAVA程序
+- 点击项目管理-项目名称-工作流定义，点击"创建工作流"按钮，进入 DAG 编辑页面。
+- 拖动工具栏中的 <img src="/img/tasks/icons/mr.png" width="15"/> 任务节点到画板中，如下图所示：
- <p align="center">
- <img src="/img/mr_java.png" width="80%" />
- </p>
+## 任务参数
+
+- 节点名称：设置任务的名称。一个工作流定义中的节点名称是唯一的。
+- 运行标志：标识这个节点是否能正常调度,如果不需要执行，可以打开禁止执行开关。
+- 描述：描述该节点的功能。
+- 任务优先级：worker 线程数不足时，根据优先级从高到低依次执行，优先级一样时根据先进先出原则执行。
+- Worker 分组：任务分配给 worker 组的机器执行，选择Default，会随机选择一台 worker 机执行。
+- 环境名称：配置运行脚本的环境。
+- 失败重试次数：任务失败重新提交的次数。
+- 失败重试间隔：任务失败重新提交任务的时间间隔，以分为单位。
+- 延迟执行时间：任务延迟执行的时间，以分为单位。
+- 超时告警：勾选超时告警、超时失败，当任务超过"超时时长"后，会发送告警邮件并且任务执行失败。
+- 资源：是指脚本中需要调用的资源文件列表，资源中心-文件管理上传或创建的文件。
+- 自定义参数：是 MR 局部的用户自定义参数，会替换脚本中以 ${变量} 的内容。
+- 前置任务：选择当前任务的前置任务，会将被选择的前置任务设置为当前任务的上游。
+
+### JAVA/SCALA 程序
-- 主函数的class：是MR程序的入口Main Class的全路径
-- 程序类型：选择JAVA语言
-- 主jar包：是MR的jar包
-- 命令行参数：是设置MR程序的输入参数，支持自定义参数变量的替换
-- 其他参数：支持 –D、-files、-libjars、-archives格式
+- 程序类型：选择 JAVA/SCALA 语言。
+- 主函数的 Class：是 MR 程序的入口 Main Class 的**全路径**。
+- 主程序包：执行 MapReduce 程序的 jar 包。
+- 任务名称：MR 任务名称（可以不填）。
+- 命令行参数：是设置 MR 程序的输入参数，支持自定义参数变量的替换。
+- 其他参数：支持 –D、-files、-libjars、-archives 格式。
- 资源： 如果其他参数中引用了资源文件，需要在资源中选择指定
-- 自定义参数：是MR局部的用户自定义参数，会替换脚本中以${变量}的内容
+- 自定义参数：是 MR 局部的用户自定义参数，会替换脚本中以 ${变量} 的内容
-## Python程序
+### Python 程序
<p align="center">
- <img src="/img/mr_edit.png" width="80%" />
+ <img src="/img/mr_python.png" width="80%" />
Review comment:
> Could you move this img to `/img/tasks/demo/` directory? and you should also change previous version doc. BTW, use markdown syntax `` instead of html syntax
This picture is needed to delete, I will do it later.
--
This is an automated message from the Apache Git Service.
To respond to the message, please log on to GitHub and use the
URL above to go to the specific comment.
To unsubscribe, e-mail: commits-unsubscribe@dolphinscheduler.apache.org
For queries about this service, please contact Infrastructure at:
users@infra.apache.org
[GitHub] [dolphinscheduler-website] QuakeWang commented on a change in pull request #669: [Feature-8022][Document] Add example and notice about task type MapReduce
Posted by GitBox <gi...@apache.org>.
QuakeWang commented on a change in pull request #669:
URL: https://github.com/apache/dolphinscheduler-website/pull/669#discussion_r801219234
##########
File path: docs/zh-cn/2.0.3/user_doc/guide/task/map-reduce.md
##########
@@ -1,34 +1,71 @@
-# MapReduce(MR)节点
+# MapReduce(MR) 节点
-- 使用MR节点，可以直接执行MR程序。对于mr节点，worker会使用`hadoop jar`方式提交任务
+## 综述
+MR 任务类型，用于执行 MapReduce 程序。对于 MR 节点，worker 会通过使用 `hadoop jar` 的方式提交任务。
-> 拖动工具栏中的任务节点到画板中，如下图所示：
+## 创建任务
-## JAVA程序
+- 点击项目管理-项目名称-工作流定义，点击"创建工作流"按钮，进入 DAG 编辑页面。
+- 拖动工具栏中的 <img src="/img/tasks/icons/mr.png" width="15"/> 任务节点到画板中，如下图所示：
- <p align="center">
- <img src="/img/mr_java.png" width="80%" />
- </p>
+## 任务参数
+
+- 节点名称：设置任务的名称。一个工作流定义中的节点名称是唯一的。
+- 运行标志：标识这个节点是否能正常调度,如果不需要执行，可以打开禁止执行开关。
+- 描述：描述该节点的功能。
+- 任务优先级：worker 线程数不足时，根据优先级从高到低依次执行，优先级一样时根据先进先出原则执行。
+- Worker 分组：任务分配给 worker 组的机器执行，选择Default，会随机选择一台 worker 机执行。
+- 环境名称：配置运行脚本的环境。
+- 失败重试次数：任务失败重新提交的次数。
+- 失败重试间隔：任务失败重新提交任务的时间间隔，以分为单位。
+- 延迟执行时间：任务延迟执行的时间，以分为单位。
+- 超时告警：勾选超时告警、超时失败，当任务超过"超时时长"后，会发送告警邮件并且任务执行失败。
+- 资源：是指脚本中需要调用的资源文件列表，资源中心-文件管理上传或创建的文件。
+- 自定义参数：是 MR 局部的用户自定义参数，会替换脚本中以 ${变量} 的内容。
+- 前置任务：选择当前任务的前置任务，会将被选择的前置任务设置为当前任务的上游。
+
+### JAVA/SCALA 程序
-- 主函数的class：是MR程序的入口Main Class的全路径
-- 程序类型：选择JAVA语言
-- 主jar包：是MR的jar包
-- 命令行参数：是设置MR程序的输入参数，支持自定义参数变量的替换
-- 其他参数：支持 –D、-files、-libjars、-archives格式
+- 程序类型：选择 JAVA/SCALA 语言。
+- 主函数的 Class：是 MR 程序的入口 Main Class 的**全路径**。
+- 主程序包：执行 MapReduce 程序的 jar 包。
+- 任务名称：MR 任务名称（可以不填）。
+- 命令行参数：是设置 MR 程序的输入参数，支持自定义参数变量的替换。
+- 其他参数：支持 –D、-files、-libjars、-archives 格式。
- 资源： 如果其他参数中引用了资源文件，需要在资源中选择指定
-- 自定义参数：是MR局部的用户自定义参数，会替换脚本中以${变量}的内容
+- 自定义参数：是 MR 局部的用户自定义参数，会替换脚本中以 ${变量} 的内容
-## Python程序
+### Python 程序
<p align="center">
- <img src="/img/mr_edit.png" width="80%" />
+ <img src="/img/mr_python.png" width="80%" />
</p>
-- 程序类型：选择Python语言
-- 主jar包：是运行MR的Python jar包
+- 程序类型：选择 Python 语言
+- 主jar包：是运行 MR 的 Python jar 包
- 其他参数：支持 –D、-mapper、-reducer、-input -output格式，这里可以设置用户自定义参数的输入，比如：
- -mapper "mapper.py 1" -file mapper.py -reducer reducer.py -file reducer.py –input /journey/words.txt -output /journey/out/mr/${currentTimeMillis}
- 其中 -mapper 后的 mapper.py 1是两个参数，第一个参数是mapper.py，第二个参数是1
- 资源： 如果其他参数中引用了资源文件，需要在资源中选择指定
-- 自定义参数：是MR局部的用户自定义参数，会替换脚本中以${变量}的内容
+- 自定义参数：是 MR 局部的用户自定义参数，会替换脚本中以 ${变量}的内容
+
+## 任务样例
+
+### 执行 WordCount 程序
+
+该样例为 MapReduce 应用中常见的入门类型，主要为统计输入的文本中，相同单词的数量有多少。
+
+#### 上传主程序包
+
+在使用 MR 任务节点时，需要利用资源中心上传执行程序的 jar 包。可参考[资源中心](https://dolphinscheduler.apache.org/zh-cn/docs/latest/user_doc/guide/resource.html)。
+
+当配置完成资源中心之后，直接使用拖拽的方式，即可上传所需目标文件。
+
+
Review comment:
> Did you want to add file named `resource_upload`?
Yes, it is a naming error and I will fix it.
--
This is an automated message from the Apache Git Service.
To respond to the message, please log on to GitHub and use the
URL above to go to the specific comment.
To unsubscribe, e-mail: commits-unsubscribe@dolphinscheduler.apache.org
For queries about this service, please contact Infrastructure at:
users@infra.apache.org
[GitHub] [dolphinscheduler-website] zhongjiajie merged pull request #669: [Feature-8022][Document] Add example and notice about task type MapReduce
Posted by GitBox <gi...@apache.org>.
zhongjiajie merged pull request #669:
URL: https://github.com/apache/dolphinscheduler-website/pull/669
--
This is an automated message from the Apache Git Service.
To respond to the message, please log on to GitHub and use the
URL above to go to the specific comment.
To unsubscribe, e-mail: commits-unsubscribe@dolphinscheduler.apache.org
For queries about this service, please contact Infrastructure at:
users@infra.apache.org
[GitHub] [dolphinscheduler-website] zhongjiajie commented on a change in pull request #669: [Feature-8022][Document] Add example and notice about task type MapReduce
Posted by GitBox <gi...@apache.org>.
zhongjiajie commented on a change in pull request #669:
URL: https://github.com/apache/dolphinscheduler-website/pull/669#discussion_r801474290
##########
File path: docs/zh-cn/2.0.3/user_doc/guide/task/map-reduce.md
##########
@@ -1,34 +1,67 @@
-# MapReduce(MR)节点
+# MapReduce(MR) 节点
-- 使用MR节点，可以直接执行MR程序。对于mr节点，worker会使用`hadoop jar`方式提交任务
+## 综述
+MapReduce(MR) 任务类型，用于执行 MapReduce 程序。对于 MapReduce 节点，worker 会通过使用 Hadoop 命令 `hadoop jar` 的方式提交任务。更多详情查看 [Hadoop Command Manual](https://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/CommandsManual.html#jar)。
-> 拖动工具栏中的任务节点到画板中，如下图所示：
+## 创建任务
-## JAVA程序
+- 点击项目管理-项目名称-工作流定义，点击"创建工作流"按钮，进入 DAG 编辑页面。
+- 拖动工具栏中的 <img src="/img/tasks/icons/mr.png" width="15"/> 任务节点到画板中，如下图所示：
- <p align="center">
- <img src="/img/mr_java.png" width="80%" />
- </p>
-
-- 主函数的class：是MR程序的入口Main Class的全路径
-- 程序类型：选择JAVA语言
-- 主jar包：是MR的jar包
-- 命令行参数：是设置MR程序的输入参数，支持自定义参数变量的替换
-- 其他参数：支持 –D、-files、-libjars、-archives格式
-- 资源： 如果其他参数中引用了资源文件，需要在资源中选择指定
-- 自定义参数：是MR局部的用户自定义参数，会替换脚本中以${变量}的内容
+## 任务参数
+
+- 节点名称：设置任务的名称。一个工作流定义中的节点名称是唯一的。
+- 运行标志：标识这个节点是否能正常调度,如果不需要执行，可以打开禁止执行开关。
+- 描述：描述该节点的功能。
+- 任务优先级：worker 线程数不足时，根据优先级从高到低依次执行，优先级一样时根据先进先出原则执行。
+- Worker 分组：任务分配给 worker 组的机器执行，选择Default，会随机选择一台 worker 机执行。
+- 环境名称：配置运行脚本的环境。
+- 失败重试次数：任务失败重新提交的次数。
+- 失败重试间隔：任务失败重新提交任务的时间间隔，以分为单位。
+- 延迟执行时间：任务延迟执行的时间，以分为单位。
+- 超时告警：勾选超时告警、超时失败，当任务超过"超时时长"后，会发送告警邮件并且任务执行失败。
+- 资源：是指脚本中需要调用的资源文件列表，资源中心-文件管理上传或创建的文件。
+- 自定义参数：是 MapReduce 局部的用户自定义参数，会替换脚本中以 ${变量} 的内容。
+- 前置任务：选择当前任务的前置任务，会将被选择的前置任务设置为当前任务的上游。
-## Python程序
+### JAVA/SCALA 程序
+
+- 程序类型：选择 JAVA/SCALA 语言。
+- 主函数的 Class：是 MapReduce 程序的入口 Main Class 的**全路径**。
+- 主程序包：执行 MapReduce 程序的 jar 包。
+- 任务名称（选填）：MapReduce 任务名称。
+- 命令行参数：是设置 MapReduce 程序的输入参数，支持自定义参数变量的替换。
+- 其他参数：支持 –D、-files、-libjars、-archives 格式。
+- 资源： 如果其他参数中引用了资源文件，需要在资源中选择指定
+- 自定义参数：是 MapReduce 局部的用户自定义参数，会替换脚本中以 ${变量} 的内容
-<p align="center">
- <img src="/img/mr_edit.png" width="80%" />
- </p>
+### Python 程序
-- 程序类型：选择Python语言
-- 主jar包：是运行MR的Python jar包
+- 程序类型：选择 Python 语言。
+- 主 jar 包：是运行 MapReduce 的 Python jar 包。
- 其他参数：支持 –D、-mapper、-reducer、-input -output格式，这里可以设置用户自定义参数的输入，比如：
- -mapper "mapper.py 1" -file mapper.py -reducer reducer.py -file reducer.py –input /journey/words.txt -output /journey/out/mr/${currentTimeMillis}
-- 其中 -mapper 后的 mapper.py 1是两个参数，第一个参数是mapper.py，第二个参数是1
-- 资源： 如果其他参数中引用了资源文件，需要在资源中选择指定
-- 自定义参数：是MR局部的用户自定义参数，会替换脚本中以${变量}的内容
+- 其中 -mapper 后的 mapper.py 1是两个参数，第一个参数是 mapper.py，第二个参数是 1。
+- 资源： 如果其他参数中引用了资源文件，需要在资源中选择指定。
+- 自定义参数：是 MapReduce 局部的用户自定义参数，会替换脚本中以 ${变量} 的内容。
+
+## 任务样例
+
+### 执行 WordCount 程序
+
+该样例为 MapReduce 应用中常见的入门类型，主要为统计输入的文本中，相同单词的数量有多少。
+
+#### 上传主程序包
+
+在使用 MapReduce 任务节点时，需要利用资源中心上传执行程序的 jar 包。可参考[资源中心](docs/zh-cn/dev/user_doc/guide/resource.md)。
Review comment:
Could you please test whether path `../../resource.md` work locally by run command `npm run start`
--
This is an automated message from the Apache Git Service.
To respond to the message, please log on to GitHub and use the
URL above to go to the specific comment.
To unsubscribe, e-mail: commits-unsubscribe@dolphinscheduler.apache.org
For queries about this service, please contact Infrastructure at:
users@infra.apache.org
[GitHub] [dolphinscheduler-website] zhongjiajie commented on pull request #669: [Feature-8022][Document] Add example and notice about task type MapReduce
Posted by GitBox <gi...@apache.org>.
zhongjiajie commented on pull request #669:
URL: https://github.com/apache/dolphinscheduler-website/pull/669#issuecomment-1037094363
Hi @QuakeWang , to target specific issue from PR, we recommend use keyword `fix: #issue_id` or `close: #issue_id` or `closes: #issue_id` in your PR describe(not title, jus desc). I would not only connect issues to PR but also close issues automatically when PR is being closed.
keyword `ref:` in https://github.com/apache/dolphinscheduler-website/pull/669#issue-1125836770 would not auto close related issues when PR merged
--
This is an automated message from the Apache Git Service.
To respond to the message, please log on to GitHub and use the
URL above to go to the specific comment.
To unsubscribe, e-mail: commits-unsubscribe@dolphinscheduler.apache.org
For queries about this service, please contact Infrastructure at:
users@infra.apache.org
[GitHub] [dolphinscheduler-website] zhongjiajie commented on a change in pull request #669: [Feature-8022][Document] Add example and notice about task type MapReduce
Posted by GitBox <gi...@apache.org>.
zhongjiajie commented on a change in pull request #669:
URL: https://github.com/apache/dolphinscheduler-website/pull/669#discussion_r801750297
##########
File path: docs/zh-cn/2.0.3/user_doc/guide/task/map-reduce.md
##########
@@ -1,34 +1,67 @@
-# MapReduce(MR)节点
+# MapReduce(MR) 节点
-- 使用MR节点，可以直接执行MR程序。对于mr节点，worker会使用`hadoop jar`方式提交任务
+## 综述
+MapReduce(MR) 任务类型，用于执行 MapReduce 程序。对于 MapReduce 节点，worker 会通过使用 Hadoop 命令 `hadoop jar` 的方式提交任务。更多详情查看 [Hadoop Command Manual](https://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/CommandsManual.html#jar)。
-> 拖动工具栏中的任务节点到画板中，如下图所示：
+## 创建任务
-## JAVA程序
+- 点击项目管理-项目名称-工作流定义，点击"创建工作流"按钮，进入 DAG 编辑页面。
+- 拖动工具栏中的 <img src="/img/tasks/icons/mr.png" width="15"/> 任务节点到画板中，如下图所示：
- <p align="center">
- <img src="/img/mr_java.png" width="80%" />
- </p>
-
-- 主函数的class：是MR程序的入口Main Class的全路径
-- 程序类型：选择JAVA语言
-- 主jar包：是MR的jar包
-- 命令行参数：是设置MR程序的输入参数，支持自定义参数变量的替换
-- 其他参数：支持 –D、-files、-libjars、-archives格式
-- 资源： 如果其他参数中引用了资源文件，需要在资源中选择指定
-- 自定义参数：是MR局部的用户自定义参数，会替换脚本中以${变量}的内容
+## 任务参数
+
+- 节点名称：设置任务的名称。一个工作流定义中的节点名称是唯一的。
+- 运行标志：标识这个节点是否能正常调度,如果不需要执行，可以打开禁止执行开关。
+- 描述：描述该节点的功能。
+- 任务优先级：worker 线程数不足时，根据优先级从高到低依次执行，优先级一样时根据先进先出原则执行。
+- Worker 分组：任务分配给 worker 组的机器执行，选择Default，会随机选择一台 worker 机执行。
+- 环境名称：配置运行脚本的环境。
+- 失败重试次数：任务失败重新提交的次数。
+- 失败重试间隔：任务失败重新提交任务的时间间隔，以分为单位。
+- 延迟执行时间：任务延迟执行的时间，以分为单位。
+- 超时告警：勾选超时告警、超时失败，当任务超过"超时时长"后，会发送告警邮件并且任务执行失败。
+- 资源：是指脚本中需要调用的资源文件列表，资源中心-文件管理上传或创建的文件。
+- 自定义参数：是 MapReduce 局部的用户自定义参数，会替换脚本中以 ${变量} 的内容。
+- 前置任务：选择当前任务的前置任务，会将被选择的前置任务设置为当前任务的上游。
-## Python程序
+### JAVA/SCALA 程序
+
+- 程序类型：选择 JAVA/SCALA 语言。
+- 主函数的 Class：是 MapReduce 程序的入口 Main Class 的**全路径**。
+- 主程序包：执行 MapReduce 程序的 jar 包。
+- 任务名称（选填）：MapReduce 任务名称。
+- 命令行参数：是设置 MapReduce 程序的输入参数，支持自定义参数变量的替换。
+- 其他参数：支持 –D、-files、-libjars、-archives 格式。
+- 资源： 如果其他参数中引用了资源文件，需要在资源中选择指定
+- 自定义参数：是 MapReduce 局部的用户自定义参数，会替换脚本中以 ${变量} 的内容
-<p align="center">
- <img src="/img/mr_edit.png" width="80%" />
- </p>
+### Python 程序
-- 程序类型：选择Python语言
-- 主jar包：是运行MR的Python jar包
+- 程序类型：选择 Python 语言。
+- 主 jar 包：是运行 MapReduce 的 Python jar 包。
- 其他参数：支持 –D、-mapper、-reducer、-input -output格式，这里可以设置用户自定义参数的输入，比如：
- -mapper "mapper.py 1" -file mapper.py -reducer reducer.py -file reducer.py –input /journey/words.txt -output /journey/out/mr/${currentTimeMillis}
-- 其中 -mapper 后的 mapper.py 1是两个参数，第一个参数是mapper.py，第二个参数是1
-- 资源： 如果其他参数中引用了资源文件，需要在资源中选择指定
-- 自定义参数：是MR局部的用户自定义参数，会替换脚本中以${变量}的内容
+- 其中 -mapper 后的 mapper.py 1是两个参数，第一个参数是 mapper.py，第二个参数是 1。
+- 资源： 如果其他参数中引用了资源文件，需要在资源中选择指定。
+- 自定义参数：是 MapReduce 局部的用户自定义参数，会替换脚本中以 ${变量} 的内容。
+
+## 任务样例
+
+### 执行 WordCount 程序
+
+该样例为 MapReduce 应用中常见的入门类型，主要为统计输入的文本中，相同单词的数量有多少。
+
+#### 上传主程序包
+
+在使用 MapReduce 任务节点时，需要利用资源中心上传执行程序的 jar 包。可参考[资源中心](docs/zh-cn/dev/user_doc/guide/resource.md)。
Review comment:
will take a look
--
This is an automated message from the Apache Git Service.
To respond to the message, please log on to GitHub and use the
URL above to go to the specific comment.
To unsubscribe, e-mail: commits-unsubscribe@dolphinscheduler.apache.org
For queries about this service, please contact Infrastructure at:
users@infra.apache.org
[GitHub] [dolphinscheduler-website] QuakeWang commented on pull request #669: [Feature-8022][Document] Add example and notice about task type MapReduce
Posted by GitBox <gi...@apache.org>.
QuakeWang commented on pull request #669:
URL: https://github.com/apache/dolphinscheduler-website/pull/669#issuecomment-1032281581
> I add some suggestions, please also remember to change dev branch and English branch.
I have updated it, PTAL : )
--
This is an automated message from the Apache Git Service.
To respond to the message, please log on to GitHub and use the
URL above to go to the specific comment.
To unsubscribe, e-mail: commits-unsubscribe@dolphinscheduler.apache.org
For queries about this service, please contact Infrastructure at:
users@infra.apache.org