You are viewing a plain text version of this content. The canonical link for it is here.
Posted to commits@linkis.apache.org by ca...@apache.org on 2022/06/21 02:18:28 UTC
[incubator-linkis-website] branch dev updated: update docs (#355)
This is an automated email from the ASF dual-hosted git repository.
casion pushed a commit to branch dev
in repository https://gitbox.apache.org/repos/asf/incubator-linkis-website.git
The following commit(s) were added to refs/heads/dev by this push:
new f0503c8c1 update docs (#355)
f0503c8c1 is described below
commit f0503c8c198c4ffd328e3a124491016121d65d6d
Author: Casion <ca...@gmail.com>
AuthorDate: Tue Jun 21 10:18:23 2022 +0800
update docs (#355)
* update docs
---
.../index.md => 2022-02-21-linkis-deploy.md} | 0
docs/upgrade/overview.md | 11 -
docs/upgrade/upgrade_from_0.X_to_1.0_guide.md | 2 +-
docs/upgrade/upgrade_guide.md | 169 ++++++
.../index.md => 2022-02-21-linkis-deploy.md} | 32 ++
.../deployment/engine_conn_plugin_installation.md | 114 ++--
.../installation_hierarchical_structure.md | 174 +++---
.../current/deployment/linkis_scriptis_install.md | 1 +
.../current/deployment/quick_deploy.md | 21 +-
.../sourcecode_hierarchical_structure.md | 151 ++---
.../deployment/unpack_hierarchical_structure.md | 12 +-
.../current/deployment/web_install.md | 148 ++++-
.../development/linkis_compile_and_package.md | 68 ++-
.../current/development/linkis_debug.md | 2 +-
.../current/development/web_build.md | 78 +--
.../current/engine_usage/pipeline.md | 78 ++-
.../current/engine_usage/sqoop.md | 36 +-
.../current/introduction.md | 14 +-
.../current/upgrade/overview.md | 9 -
.../upgrade/upgrade_from_0.X_to_1.0_guide.md | 26 +-
.../current/upgrade/upgrade_guide.md | 169 ++++++
.../deployment/engine_conn_plugin_installation.md | 2 +-
.../deployment/engine_conn_plugin_installation.md | 2 +-
.../version-1.0.2/deployment/quick_deploy.md | 2 +-
.../deployment/engine_conn_plugin_installation.md | 2 +-
.../deployment/engine_conn_plugin_installation.md | 2 +-
.../version-1.1.1/deployment/cluster_deployment.md | 40 +-
.../deployment/engine_conn_plugin_installation.md | 114 ++--
.../installation_hierarchical_structure.md | 174 +++---
.../deployment/linkis_scriptis_install.md | 1 +
.../version-1.1.1/deployment/quick_deploy.md | 638 ++++++++++++---------
.../sourcecode_hierarchical_structure.md | 151 ++---
.../deployment/unpack_hierarchical_structure.md | 12 +-
.../version-1.1.1/deployment/web_install.md | 148 ++++-
.../development/linkis_compile_and_package.md | 68 ++-
.../version-1.1.1/development/web_build.md | 78 +--
.../version-1.1.1/engine_usage/openlookeng.md | 2 +-
.../engine_usage/pipeline.md | 78 ++-
.../version-1.1.1/introduction.md | 50 +-
.../version-1.1.1/upgrade/overview.md | 9 -
.../upgrade/upgrade_from_0.X_to_1.0_guide.md | 26 +-
.../version-1.1.1/upgrade/upgrade_guide.md | 169 ++++++
src/pages/team/config.json | 4 +-
.../deployment/linkis_scriptis_install.md | 190 ++++++
.../version-1.1.1/engine_usage/pipeline.md | 129 +++++
versioned_docs/version-1.1.1/upgrade/overview.md | 11 -
.../version-1.1.1/upgrade/upgrade_guide.md | 169 ++++++
47 files changed, 2476 insertions(+), 1110 deletions(-)
diff --git a/blog/2022-02-21-linkis-deploy/index.md b/blog/2022-02-21-linkis-deploy.md
similarity index 100%
rename from blog/2022-02-21-linkis-deploy/index.md
rename to blog/2022-02-21-linkis-deploy.md
diff --git a/docs/upgrade/overview.md b/docs/upgrade/overview.md
deleted file mode 100644
index cb2cca307..000000000
--- a/docs/upgrade/overview.md
+++ /dev/null
@@ -1,11 +0,0 @@
----
-title: Overview
-sidebar_position: 3
----
-
-
-The architecture of Linkis1.0 is very different from Linkis0.x, and there are some changes to the configuration of the deployment package and database tables. Before you install Linkis1.0, please read the following instructions carefully:
-
-1. If you are installing Linkis for the first time, or reinstalling Linkis, you do not need to pay attention to the Linkis Upgrade Guide.
-
-2. If you are upgrading from Linkis0.x to Linkis1.0, be sure to read the [Linkis Upgrade from 0.x to 1.0 guide](upgrade_from_0.X_to_1.0_guide.md) carefully.
diff --git a/docs/upgrade/upgrade_from_0.X_to_1.0_guide.md b/docs/upgrade/upgrade_from_0.X_to_1.0_guide.md
index d030c2aca..447bc141b 100644
--- a/docs/upgrade/upgrade_from_0.X_to_1.0_guide.md
+++ b/docs/upgrade/upgrade_from_0.X_to_1.0_guide.md
@@ -1,6 +1,6 @@
---
title: Upgrade From 0.X To 1.0 Guide
-sidebar_position: 3
+sidebar_position: 1
---
> This article briefly introduces the precautions for upgrading Linkis from 0.X to 1.0. Linkis 1.0 has adjusted several Linkis services with major changes. This article will introduce the precautions for upgrading from 0.X to 1.X.
diff --git a/docs/upgrade/upgrade_guide.md b/docs/upgrade/upgrade_guide.md
new file mode 100644
index 000000000..5a2660907
--- /dev/null
+++ b/docs/upgrade/upgrade_guide.md
@@ -0,0 +1,169 @@
+---
+title: Version upgrades above 1.0.3
+sidebar_position: 2
+---
+
+> This article briefly introduces the general upgrade process for versions above 1.0.3
+
+
+## 1 Upgrade Instructions
+
+- If you are installing and using Linkis for the first time, or reinstalling Linkis, you don't need to pay attention to the Linkis upgrade guide.
+- If components of other platforms (DataSphereStudio/Qualitis/Visualis, etc.) are involved, please confirm the compatibility between versions before upgrading, and it is best to use the recommended version.
+- It is recommended to control the version through the soft chain. You can switch the version by modifying the target address of the soft chain. For example: `linkis -> /appcom/Install/LinkisInstall/linkis-1.1.3.20220615210213`
+- The upgrade process mainly requires attention to the adjustment of the database table structure and the adjustment of some configuration parameters
+- In addition to the upgrade of the back-end services, the management console resources of linkis also need to be upgraded together
+- The main changes of each version can be found in the overview information of the version `https://linkis.apache.org/zh-CN/docs/x.x.x/release` and the version [release-note](https://linkis.apache .org/zh-CN/download/main): https://linkis.apache.org/zh-CN/download/main
+- The database changes/configuration parameter changes of each version are based on the previous version
+
+## 2 Service upgrade installation
+
+Press [Deployment guide document](../deployment/quick_deploy) (the installation of the management console in the document can be skipped) to install the new version.
+
+When installing the service, if the historical data is retained, please retain the historical data, if you do not need to retain the data, just reinstall it directly
+```shell script
+Do you want to clear Linkis table information in the database?
+ 1: Do not execute table-building statements
+ 2: Dangerous! Clear all data and rebuild the tables
+ other: exit
+
+Please input the choice: ## choice 1
+````
+
+## 3. Database table upgrade
+>After the service installation is completed, the database structure needs to be modified, including table structure changes and table data changes
+
+
+Find the corresponding version `db/upgrade/x.x.x-schema/` sql change file
+
+If it is executed across multiple versions, please execute them in the order of versions,
+If some versions do not have x.x.x_schema (after the linkis>=1.1.0 version, as long as the adjustment of the database table is involved, there will be a corresponding version of the schema file), it means that there is no change in the data table in this version
+```shell script
+├── linkis_ddl.sql # The current version of the full ddl database definition language table building statement
+├── linkis_dml.sql # The current version of the full dml data manipulation language data additions and changes
+└── upgrade
+ ├── 1.1.0_schema # The corresponding version of sql
+ │ └── mysql
+ │ ├── linkis_ddl.sql
+ │ └── linkis_dml.sql
+ ├── 1.1.1_schema
+ │ └── mysql
+ │ ├── linkis_ddl.sql
+ │ └── linkis_dml.sql
+ └── 1.1.3_schema
+ └── mysql
+ └── linkis_ddl.sql
+````
+
+```mysql-sql
+ #If it is executed across multiple versions, please execute in order of versions, execute ddl first and then execute ddl
+ #For example, currently upgrade from linkis-1.0.3 to linkis-1.1.2
+ source upgrade/1.1.0_schema/mysql/linkis_ddl.sql
+ source upgrade/1.1.0_schema/mysql/linkis_dml.sql
+
+ source upgrade/1.1.1_schema/mysql/linkis_ddl.sql
+ source upgrade/1.1.1_schema/mysql/linkis_dml.sql
+
+````
+## 4 Adjustment of data (optional)
+>According to the actual situation, decide whether to make the following adjustments
+
+### 4.1 TOKEN configuration
+Authentication for interface calls yes
+1.1.1 Version adjustment Migrate the original TOKEN configuration from `${LINKIS_HOME}/conf/token.properties` to the database table `linkis_mg_gateway_auth_token`,
+For the TOKEN originally configured in `token.properties`, you need to manually migrate the table
+### 4.2 UDF Adjustment
+1.1.1 supports the functions of UDF multi-version control and UDF storage to BML, the table structure stored by UDF functions has been adjusted, and the historical data of UDF needs to be migrated separately
+
+### 4.3 Session field key configuration
+
+In version 1.1.1, the key of the session field was adjusted from `bdp-user-ticket-id`-> to `linkis_user_session_ticket_id_v1`,
+If it is an upgrade to Linkis. At the same time, DSS or other projects are deployed, but in their service lib package, the linkis-module-x.x.x.jar package of Linkis that they depend on is <1.1.1, you need to modify the file located in `${LINKIS_HOME}/conf/linkis.properties`
+```shell
+echo "wds.linkis.session.ticket.key=bdp-user-ticket-id" >> linkis.properties
+````
+### 4.4 Adjustment of default queue
+1.1.1 Begin to adjust the default cluster name of yarn queue `wds.linkis.rm.cluster` sit is adjusted to default, if you have been using sit, please modify the table data
+Cluster name in `linkis_cg_rm_external_resource_provider`
+
+### 4.5 Copies of other related packages
+
+If there is a third-party appconn plugin installed in `${LINKIS_HOME_OLD}/lib/linkis-engineconn-plugins` in the previous version of Linkis, you need to copy it to the new version,
+It is best to link to the appconn path through a soft chain
+like:
+````
+#Check if the old version has a third-party appconn installed
+cd ${LINKIS_HOME_OLD}/lib/linkis-engineconn-plugins/
+ll
+ appconn -> /appcom/Install/LinkisInstall/appconn
+
+
+#The new version is consistent
+cd ${LINKIS_HOME}/lib/linkis-engineconn-plugins/
+#soft chain
+ln -snf /appcom/Install/LinkisInstall/appconn appconn
+````
+
+
+If dss is installed in the original version, you need to copy the `dss-gateway-support-x.x.x.jar` in the original package to the `./lib/linkis-spring-cloud-services/linkis-mg-gateway/` directory of linkis
+like:
+```shell script
+cp ${LINKIS_HOME_OLD}/lib/linkis-spring-cloud-services/linkis-mg-gateway/dss-gateway-support-1.1.3.jar ${LINKIS_HOME}/lib/linkis-spring-cloud-services/linkis- mg-gateway/dss-gateway-support-1.1.3.jar
+
+````
+
+## 5 Updates to the console
+
+> To upgrade the backend, you also need to upgrade the corresponding management console resources. You don't need to install the management console, just replace the static resources directly.
+
+### 5.1 Download the front-end installation package and unzip it
+Upload it to the server where the management console is located, and decompress it
+```shell script
+tar -xvf apache-linkis-x.x.x-incubating-web-bin.tar.gz
+````
+
+
+### 5.2 Upgrade
+>There are many ways to upgrade the management console, because it is only the update of resources, which can be done through the installation script of the management console, or it can directly overwrite the original resources.
+>It is recommended to use the soft chain method, just modify the target address of the soft chain. The following takes the new version resource path method as an example
+
+The nginx configuration file is by default in `/etc/nginx/conf.d/*`
+nginx log files are in `/var/log/nginx/access.log` and `/var/log/nginx/error.log`
+
+Scenario 1: If it is integrated into the DSS project, modify the address of the linkis management console resource in the DSS project to point to
+The nginx configuration file for dss is by default in `/etc/nginx/conf.d/dss.conf`
+````nginx
+#Example
+ server {
+ ......
+ location dss/linkis {
+ alias /appcom/Install/linkis-web-newversion/dist; # static file directory
+ index index.html index.html;
+ }
+ .....
+ }
+````
+
+Scenario 2: If linkis is deployed independently
+Modify the configuration of Nginx, the static resource address points to the new version of the linkis console
+Linkis' nginx configuration file is by default in `/etc/nginx/conf.d/dss.conf`
+````nginx
+#Example
+ server {
+ ......
+ location dss/linkis {
+ alias /appcom/Install/linkis-web-newversion/dist; # static file directory
+ index index.html index.html;
+ }
+ ......
+ }
+````
+
+Reload nginx configuration
+````
+sudo nginx -s reload
+````
+
+### 5.3 Notes
+
+- After the management console is upgraded, because the browser may have a cache, if you want to verify the effect, it is best to clear the browser cache
\ No newline at end of file
diff --git a/i18n/zh-CN/docusaurus-plugin-content-blog/2022-02-21-linkis-deploy/index.md b/i18n/zh-CN/docusaurus-plugin-content-blog/2022-02-21-linkis-deploy.md
similarity index 96%
rename from i18n/zh-CN/docusaurus-plugin-content-blog/2022-02-21-linkis-deploy/index.md
rename to i18n/zh-CN/docusaurus-plugin-content-blog/2022-02-21-linkis-deploy.md
index c4dc845c1..76606dd57 100644
--- a/i18n/zh-CN/docusaurus-plugin-content-blog/2022-02-21-linkis-deploy/index.md
+++ b/i18n/zh-CN/docusaurus-plugin-content-blog/2022-02-21-linkis-deploy.md
@@ -455,6 +455,38 @@ sh bin/linkis-cli -submitUser hadoop -engineType spark-2.4.3 -codeType sql -c
sh bin/linkis-cli -submitUser hadoop -engineType python-python2 -codeType python -code 'print("hello, world!")'
```
+## 8 查看支持的各个引擎的版本
+
+### 8.1 方式1:查看引擎打包的目录
+```
+$ tree linkis-package/lib/linkis-engineconn-plugins/ -L 3
+linkis-package/lib/linkis-engineconn-plugins/
+├── hive
+│ ├── dist
+│ │ └── v2.3.3 #版本为2.3.3 engineType 为hive-2.3.3
+│ └── plugin
+│ └── 2.3.3
+├── python
+│ ├── dist
+│ │ └── vpython2
+│ └── plugin
+│ └── python2 #版本为python2 engineType 为python-python2
+├── shell
+│ ├── dist
+│ │ └── v1
+│ └── plugin
+│ └── 1
+└── spark
+ ├── dist
+ │ └── v2.4.3
+ └── plugin
+ └── 2.4.3
+```
+
+### 8.2 方式2:查看linkis的数据库表
+```shell script
+select * from linkis_cg_engine_conn_plugin_bml_resources
+```
diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/current/deployment/engine_conn_plugin_installation.md b/i18n/zh-CN/docusaurus-plugin-content-docs/current/deployment/engine_conn_plugin_installation.md
index 76fc0e22b..70d1f9db9 100644
--- a/i18n/zh-CN/docusaurus-plugin-content-docs/current/deployment/engine_conn_plugin_installation.md
+++ b/i18n/zh-CN/docusaurus-plugin-content-docs/current/deployment/engine_conn_plugin_installation.md
@@ -3,60 +3,95 @@ title: 引擎的安装
sidebar_position: 3
---
-> 本文主要介绍Linkis引擎插件的使用，主要从编译、安装等方面进行介绍
+> 本文主要介绍对于官方安装包中，未包含的引擎物料(jdbc/sqoop/flink等)/或则自定义实现的新引擎，如何进行安装部署，以支持对应的任务
-## 1. 引擎插件的编译打包
+## 1 引擎插件目录结构
-linkis的引擎是由EngineConnManager进行管理的，引擎插件（EngineConnPlugin）支持实时生效。
+Linkis的引擎物料包安装目录为`${LINKIS_HOME}/lib/linkis-engineconn-plugins`，目录结构如下:
-为了方便 EngineConnManager 能够通过标签加载到对应的引擎插件，需要按照如下目录结构进行打包(以hive为例)：
+```html
+hive #引擎主目录，必须为引擎的名字
+│ ├── dist # 引擎启动需要的jar包依赖和配置，不同的版本需要在该目录放置对应的版本目录
+│ │ └── v2.3.3 # 版本号，必须以v开头加上引擎版本号，注意 不能出现-; 版本为2.3.3 任务请求参数的engineType 为hive-2.3.3
+│ │ └── conf # 引擎需要的配置文件目录
+│ │ └── lib # 引擎插件需要的依赖包
+│ ├── plugin #引擎插件目录，该目录用于引擎管理服务封装引擎的启动命令和资源申请
+│ └── 2.3.3 # 引擎版本,没有v开头
+│ └── linkis-engineplugin-hive-1.0.0.jar #引擎模块包（只需要放置单独的引擎包）
+├── python
+│ ├── dist
+│ │ └── vpython2
+│ └── plugin
+│ └── python2 #版本为python2 任务请求参数的engineTypee 为python-python2
-**请注意： 因为现在标签是通过-来进行拆分值的所以版本里面不能出现-如果出现可以通过用其他符号代替，比如engineType：hive-cdh-2.3.3，会拆分错，您可以直接使用这个：hive-2.3.3，**
-```
-hive:引擎主目录，必须为引擎的名字
- └── dist # 引擎启动需要的依赖和配置，引擎不同的版本需要在该目录防止对应的版本目录
- └── v2.3.3 #必须以v开头加上引擎版本号2.3.3
- └── conf # 引擎需要的配置文件目录
- └── lib # 引擎插件需要的依赖包
- └── plugin #引擎插件目录，该目录用于引擎管理服务封装引擎的启动命令和资源申请
- └── 2.3.3 # 引擎版本,没有V开头
- └── linkis-engineplugin-hive-1.0.0.jar #引擎模块包（只需要放置单独的引擎包）
```
-如果您是新增引擎，你可以参考hive的assembly配置方式，源码目录：`linkis-engineconn-plugins/engineconn-plugins/hive/src/main/assembly/distribution.xml`
+这里的物料包文件会在Linkis服务启动时候，会根据目录，解析出引擎和版本号，进行引擎物料的持久化存储(HDFS/本地文件系统中)，并将持久化存储信息(引擎类型和版本资源索引）
+记录到数据库表`linkis_cg_engine_conn_plugin_bml_resources`中。
+
+示例数据如下:
+
+| engine_conn_type | version | file_name | file_size | last_modified | bml_resource_id | bml_resource_version | create_time | last_update_time |
+| --- | --- | --- | ---: | ---: | --- | --- | --- | --- |
+| hive | v2.3.4 | conf.zip | 2046 | 1651925378000 | 4f0353ac-5703-4b4d-942d-dbaead38b506 | v000001 | 2022-05-07 20:17:45 | 2022-05-07 20:17:45 |
+| hive | v2.3.4 | lib.zip | 137715715 | 1651925379000 | 762595b5-a6d3-4311-8133-4f8d4e0c3aa0 | v000001 | 2022-05-07 20:17:52 | 2022-05-07 20:17:52 |
+
+提交任务执行时，会通过请求的参数`engineType`，从`linkis_cg_engine_conn_plugin_bml_resources`中查询到对应的资源索引，
+通过索引下载对应的引擎物料，并部署启动对应的引擎进程，再进行任务的处理。
+
+如 linkis-cli 提交hive查询示例
+```shell
+sh ./bin/linkis-cli -engineType hive-2.3.3 -codeType hql -code "show tables" -submitUser hadoop -proxyUser hadoop
+```
+
+:::caution 注意
+因为引擎执行时传递的参数`engineType:hive-2.3.3` 是通过-来进行拆分出引擎和版本的，所以版本号里面不能出现`-`，
+如果出现可以通过用其他符号代替，比如`engineType：hive-cdh-2.3.3`，会拆分错，可以直接使用这个：2.3.3 或则cdh_2.3.3 来命名引擎目录
+:::
+
+
+Linkis项目中包含的引擎模块`linkis-engineconn-plugins/engineconn-plugins`都是按这个目录进行打包配置的，
+如果是自己实现的新增引擎，需要按照上述的目录结构进行打包，可以参考hive的assembly配置方式来配置打包流程和配置，
+源码目录：`linkis-engineconn-plugins/engineconn-plugins/hive/src/main/assembly/distribution.xml`
+
+## 2. 引擎的安装
+
+### 2.1 引擎包的准备
-## 2. 引擎安装
+#### 方式1
+如果 [非默认引擎物料包](https://linkis.apache.org/zh-CN/blog/2022/04/15/how-to-download-engineconn-plugin)中有满足条件的，可以直接下载使用
-### 2.1 插件包安装
+#### 方式2 手动编译获取
+
+全量编译(首次编译时需要)
+```shell script
+cd ${linkis_code_dir}
+mvn -N install
+mvn clean install
```
-${linkis_code_dir}/linkis-enginepconn-pugins/engineconn-plugins/{插件模块名}/
+
+编译引擎
+```shell script
+cd linkis-enginepconn-pugins/engineconn-plugins/pipeline/
mvn clean install
```
-### 2.2 物料的部署和加载
-
-将 2.1 步编译出来的引擎包,位于
+编译出来的引擎包,位于
```bash
${linkis_code_dir}/linkis-engineconn-plugins/engineconn-plugins/{插件模块名}/target/out/{插件模块名}
```
-上传到服务器的引擎目录下
+
+### 2.2 部署和加载
+
+将 2.1 步编译出来的引擎包，上传到服务器的引擎目录下
```bash
${LINKIS_HOME}/lib/linkis-engineplugins
```
-### 2.3 引擎的资源目录
-（默认是`${LINKIS_HOME}/lib/linkis-engineconn-plugins`），linkis-cg-engineconnplugin服务启动时，会自动检测物料(引擎的配置文件和第三方Jar包)是否需要更新BML（物料库）中,引擎的目录结构如下所示。
-```
-${LINKIS_HOME}/lib/linkis-engineconn-plugins:
-└── hive
- └── dist
- └── plugin
-└── spark
- └── dist
- └── plugin
-```
+### 2.4 并配置默认的引擎版本(可选)
+
+> 主要是配置默认版本，当请求未带版本时 会使用默认版本
-### 2.4 并配置默认的引擎版本，方便没有带版本的任务进行提交(可选)
修改`$LINKIS_HOME/conf/linkis.properties` 配置文件
```html
wds.linkis.hive.engine.version=2.3.3
@@ -105,7 +140,8 @@ INNER JOIN linkis_cg_manager_label label ON relation.engine_type_label_id = labe
### 2.6 引擎刷新
-1. 引擎支持实时刷新，引擎放置到对应目录后，通过http接口向linkis-cg-engineconnplugin 服务发送刷新请求即可。
+#### 2.6.1 方式1 接口刷新
+引擎支持实时刷新，引擎放置到对应目录后，通过http接口向`linkis-cg-engineconnplugin` 服务发送刷新请求即可。
- 接口 `http://${engineconn-plugin-server-IP}:${port}/api/rest_j/v1/rpc/receiveAndReply`
@@ -117,7 +153,9 @@ INNER JOIN linkis_cg_manager_label label ON relation.engine_type_label_id = labe
}
```
-2. 重启刷新：通过重启也可以强制刷新引擎目录
+#### 2.6.2 方式2 重启刷新
+
+通过重启`linkis-cg-engineconnplugin` 服务，也可以强制刷新引擎目录
```bash
### cd到sbin目录下，重启linkis-cg-engineconnplugin服务
@@ -130,7 +168,9 @@ sh linkis-daemon.sh restart cg-engineplugin
```
-3. 检查引擎是否刷新成功：如果在刷新过程中遇到问题，需要确认是否刷新成功，则可以查看数据库中的linkis_engine_conn_plugin_bml_resources这张表的last_update_time是否为触发刷新的时间。
+#### 2.6.3 检查引擎是否刷新成功
+
+如果在刷新过程中遇到问题，需要确认是否刷新成功，则可以查看数据库中的`linkis_engine_conn_plugin_bml_resources`这张表的last_update_time是否为触发刷新的时间。
```sql
#登陆到linkis的数据库
select * from linkis_cg_engine_conn_plugin_bml_resources
diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/current/deployment/installation_hierarchical_structure.md b/i18n/zh-CN/docusaurus-plugin-content-docs/current/deployment/installation_hierarchical_structure.md
index dcdc66257..2730fe412 100644
--- a/i18n/zh-CN/docusaurus-plugin-content-docs/current/deployment/installation_hierarchical_structure.md
+++ b/i18n/zh-CN/docusaurus-plugin-content-docs/current/deployment/installation_hierarchical_structure.md
@@ -1,58 +1,52 @@
---
-title: 安装后的程序目录结构
-sidebar_position: 4
+title: 部署后的目录结构
+sidebar_position: 4.5
---
-## 1. 目录结构
-Linkis1.0简化后的目录结构如下，其中加`**`标注的文件，为用户安装使用时必定会使用的目录项，其他目录项初次使用无特殊情况无需关心：
-```
-├── bin
-│ ├── linkis-cli
-│ ├── linkis-cli-hive
-│ ├── linkis-cli-pre
-│ ├── linkis-cli-spark-sql
-│ ├── linkis-cli-spark-submit
-│ └── linkis-cli-sqoop
-├── conf 配置目录
-│ ├── application-eureka.yml
-│ ├── application-linkis.yml ──微服务通用yml
-│ ├── linkis-cg-engineconnmanager.properties
-│ ├── linkis-cg-engineplugin.properties
-│ ├── linkis-cg-entrance.properties
-│ ├── linkis-cg-linkismanager.properties
-│ ├── linkis-cli
-│ │ ├── linkis-cli.properties
-│ │ └── log4j2.xml
-│ ├── linkis-env.sh
-│ ├── linkis-mg-gateway.properties
-│ ├── linkis.properties
-│ ├── linkis-ps-cs.properties
-│ ├── linkis-ps-data-source-manager.properties
-│ ├── linkis-ps-metadatamanager.properties
-│ ├── linkis-ps-publicservice.properties
-│ ├── log4j2-console.xml
-│ ├── log4j2.xml
-│ └── token.properties(可选)
-├── db
-│ ├── linkis_ddl.sql ──数据库表定义SQL
-│ ├── linkis_dml.sql ──数据库表初始化SQL
-│ ├── module ──包含各个微服务的DML和DDL文件
-├── lib lib目录
-│ ├── linkis-commons ──公共依赖包
-│ ├── linkis-computation-governance ──计算治理模块的lib目录
-│ ├── linkis-engineconn-plugins ──所有引擎插件的lib目录
-│ ├── linkis-public-enhancements ──公共增强服务的lib目录
-│ └── linkis-spring-cloud-services ──SpringCloud的lib目录
-├── logs logs 日志目录
-│ ├── 2022-05
-│ │ ├── linkis-cg-engineconnmanager
-│ │ ├── linkis-cg-engineplugin
-│ │ ├── linkis-cg-entrance
-│ │ ├── linkis-cg-linkismanager
-│ │ ├── linkis-mg-eureka
-│ │ ├── linkis-mg-gateway
-│ │ ├── linkis-ps-cs
-│ │ └── linkis-ps-publicservice
+## 1 目录结构
+
+安装后`${LINKIS_HOME}`目录结构
+
+```html
+├── bin ── linkis-cli 用于向Linkis提交任务的Shell命令行程序
+│ ├── linkis-cli
+│ ├── linkis-cli-hive
+│ ├── linkis-cli-pre
+│ ├── linkis-cli-spark-sql
+│ ├── linkis-cli-spark-submit
+│ └── linkis-cli-sqoop
+├── conf 配置目录
+│ ├── application-eureka.yml
+│ ├── application-linkis.yml ── 微服务通用yml
+│ ├── linkis-cg-engineconnmanager.properties
+│ ├── linkis-cg-engineplugin.properties
+│ ├── linkis-cg-entrance.properties
+│ ├── linkis-cg-linkismanager.properties
+│ │── linkis-cli
+│ │ ├── linkis-cli.properties
+│ │ └── log4j2.xml
+│ ├── linkis-env.sh ── linkis 环境变量配置
+│ ├── linkis-mg-gateway.properties
+│ ├── linkis.properties ── linkis 服务的全局配合，所有微服务启动都会加载使用
+│ ├── linkis-ps-cs.properties
+│ ├── linkis-ps-data-source-manager.properties
+│ ├── linkis-ps-metadatamanager.properties
+│ ├── linkis-ps-publicservice.properties
+│ ├── log4j2.xml
+│ ├── proxy.properties(可选) proxy 代理用户模式的配置（>=1.1.1）
+│ └── token.properties(可选) token 模式认证的配置认证的token 1.1.1开始，用数据库存储
+├── db 数据库DML和DDL文件目录
+│ ├── linkis_ddl.sql ── 数据库表定义SQL
+│ ├── linkis_dml.sql ── 数据库表初始化SQL
+│ └── module ── 包含各个微服务的DML和DDL文件
+│ └── upgrade ── 针对每个版本 增量DML/DDL
+├── lib lib目录
+│ ├── linkis-commons ── 公共依赖包 大多服务启动时(linkis-mg-gateway除外) -cp 路径参数 都会加载这个目录
+│ ├── linkis-computation-governance ──计算治理模块的lib目录
+│ ├── linkis-engineconn-plugins ──所有引擎插件的lib目录
+│ ├── linkis-public-enhancements ──公共增强服务的lib目录
+│ └── linkis-spring-cloud-services ──SpringCloud的lib目录
+├── logs 日志目录
│ ├── linkis-cg-engineconnmanager-gc.log
│ ├── linkis-cg-engineconnmanager.log
│ ├── linkis-cg-engineconnmanager.out
@@ -66,11 +60,8 @@ Linkis1.0简化后的目录结构如下，其中加`**`标注的文件，为用
│ ├── linkis-cg-linkismanager.log
│ ├── linkis-cg-linkismanager.out
│ ├── linkis-cli
-│ │ ├── linkis-client.hadoop.log.20220506173421867398281
-│ │ ├── linkis-client.hadoop.log.20220506174717309123214
-│ │ ├── linkis-client.hadoop.log.20220506181154093620777
-│ │ ├── linkis-client.hadoop.log.20220506222334715024110
-│ │ └── linkis-client.hadoop.log.20220507100654982808251
+│ │ ├── linkis-client.hadoop.log.20220409162400037523664
+│ │ ├── linkis-client.hadoop.log.20220409162524417944443
│ ├── linkis-mg-eureka-gc.log
│ ├── linkis-mg-eureka.log
│ ├── linkis-mg-eureka.out
@@ -89,34 +80,38 @@ Linkis1.0简化后的目录结构如下，其中加`**`标注的文件，为用
│ ├── linkis-ps-publicservice-gc.log
│ ├── linkis-ps-publicservice.log
│ └── linkis-ps-publicservice.out
-├── pid 所有微服务的进程ID
-│ ├── linkis_cg-engineconnmanager.pid ──引擎管理器微服务
-│ ├── linkis_cg-engineplugin.pid ──引擎插件微服务
-│ ├── linkis_cg-entrance.pid ──引擎入口微服务
-│ ├── linkis_cg-linkismanager.pid ──linkis管理器微服务
-│ ├── linkis_mg-eureka.pid ──eureka微服务
-│ ├── linkis_mg-gateway.pid ──gateway微服务
-│ ├── linkis_ps-cs.pid ──上下文微服务
-│ ├── linkis_ps-data-source-manager.pid ──数据源管理微服务
-│ ├── linkis_ps-metadatamanager.pid ──元数据查询微服务
-│ └── linkis_ps-publicservice.pid ──公共微服务
-└── sbin
- ├── common.sh
- ├── ext ──各个微服务的启停脚本目录
- ├── kill-process-by-pid.sh
- ├── **linkis-daemon.sh** ── **快捷启停、重启单个微服务脚本**
- ├── **linkis-start-all.sh** ── **一键启动全部微服务脚本**
- └── **linkis-stop-all.sh** ── **一键停止全部微服务脚本**
+├── pid 所有微服务的进程ID
+│ ├── linkis_cg-engineconnmanager.pid ──引擎管理器微服务
+│ ├── linkis_cg-engineconnplugin.pid ──引擎插件微服务
+│ ├── linkis_cg-entrance.pid ──引擎入口微服务
+│ ├── linkis_cg-linkismanager.pid ──linkis管理器微服务
+│ ├── linkis_mg-eureka.pid ──eureka微服务
+│ ├── linkis_mg-gateway.pid ──gateway微服务
+│ ├── linkis_ps-cs.pid ──上下文微服务
+│ ├── linkis_ps-data-source-manager.pid --数据源微服务
+│ ├── linkis_ps-metadatamanager.pid --元数据管理微服务
+│ └── linkis_ps-publicservice.pid ──公共微服务
+└── sbin 微服务启停脚本目录
+ ├── ext ──各个微服务的启停脚本目录
+ ├── linkis-daemon.sh ── 快捷启停、重启单个微服务脚本
+ ├── linkis-start-all.sh ── 一键启动全部微服务脚本
+ └── linkis-stop-all.sh ── 一键停止全部微服务脚本
- ```
+```
+
+ ## 2 配置项修改
- ## 3. 配置项修改
+ 在执行完Linkis安装后，所有配置项位于conf目录下，
+ 如果需要进行配置项修改，修改配置`${LINKIS_HOME}/conf/*properties`文件后，重启对应的服务，
+ 如：`sh sbin/linkis-daemon.sh start ps-publicservice`。
+ 如果修改的是公共配置文件`application-eureka.yml/application-linkis.yml/linkis.properties`，需要重启所有服务`sh sbin/linkis-start-all.sh`
- 在执行完bin目录下的install.sh完成Linkis安装后，需要进行配置项修改，所有配置项位于con目录下，通常情况下需要修改db.sh、linkis.properties、linkis-env.sh三个配置文件，项目安装和配置可以参考文章《Linkis1.0安装》
+
+
- ## 4. 微服务启停
+ ## 3 微服务启停
-修改完配置项之后即可在sbin目录下启动微服务，所有微服务名称如下：
+所有微服务名称如下：
```
├── linkis-cg-engineconnmanager 引擎管理服务
├── linkis-cg-engineplugin 引擎插件管理服务
@@ -138,38 +133,35 @@ Linkis1.0简化后的目录结构如下，其中加`**`标注的文件，为用
| mg | Microservice Covernance | 微服务治理 |
| ps | Public Enhancement Service | 公共增强服务 |
- 以往启停单个微服务需要进入到各个微服务的bin目录下，执行start/stop脚本，在微服务较多的情况下启停比较麻烦，增加了很多额外的切换目录操作，Linkis1.0将所有的微服务启停相关的脚本放置在了sbin目录下，只需要执行单个入口脚本即可。
-
- **在Linkis/sbin目录下**：
-
+
+
```
- 1. 一次性启动所有微服务：
+# 一次性启动所有微服务：
sh linkis-start-all.sh
- 2. 一次性关停所有微服务
+# 一次性关停所有微服务
sh linkis-stop-all.sh
- 3. 启动单个微服务（服务名需要去掉linkis前缀如：mg-eureka）
+# 启动单个微服务（服务名需要去掉linkis前缀如：mg-eureka）
sh linkis-daemon.sh start service-name
例如: sh linkis-daemon.sh start mg-eureka
- 4. 关闭单个微服务
+# 关闭单个微服务
sh linkis-daemon.sh stop service-name
例如: sh linkis-daemon.sh stop mg-eureka
- 5. 重启单个微服务
+# 重启单个微服务
sh linkis-daemon.sh restart service-name
例如: sh linkis-daemon.sh restart mg-eureka
-
- 6. 查看单个微服务的状态
+# 查看单个微服务的状态
sh linkis-daemon.sh status service-name
diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/current/deployment/linkis_scriptis_install.md b/i18n/zh-CN/docusaurus-plugin-content-docs/current/deployment/linkis_scriptis_install.md
index 11babae85..5a83a4472 100644
--- a/i18n/zh-CN/docusaurus-plugin-content-docs/current/deployment/linkis_scriptis_install.md
+++ b/i18n/zh-CN/docusaurus-plugin-content-docs/current/deployment/linkis_scriptis_install.md
@@ -49,6 +49,7 @@ lerna bootstrap
> 如果不想本地运行查看，可以跳过此步
#### 3.2.1 配置linkis-gateway服务地址配置
+
如果是在本地启动服务，需要在代码中配置后端linkis-gateway服务地址，在`web/packages/dss/`目录下的`.env`文件，
打包部署时不需要进行配置
```shell script
diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/current/deployment/quick_deploy.md b/i18n/zh-CN/docusaurus-plugin-content-docs/current/deployment/quick_deploy.md
index 6f1b6a23b..a44d37519 100644
--- a/i18n/zh-CN/docusaurus-plugin-content-docs/current/deployment/quick_deploy.md
+++ b/i18n/zh-CN/docusaurus-plugin-content-docs/current/deployment/quick_deploy.md
@@ -43,7 +43,7 @@ hadoop ALL=(ALL) NOPASSWD: NOPASSWD: ALL
### 2.1 安装包准备
- 方式1：从官网[下载地址](https://linkis.apache.org/zh-CN/download/main):https://linkis.apache.org/zh-CN/download/main，下载对应的安装包(项目安装包和管理台安装包)
-- 方式2：根据[Linkis 编译打包](.development/linkis_compile_and_package)和[前端管理台编译](development/web_build) 自行编译出项目安装包和管理台安装包
+- 方式2：根据[Linkis 编译打包](../development/linkis_compile_and_package)和[前端管理台编译](../development/web_build) 自行编译出项目安装包和管理台安装包
上传安装包`apache-linkis-x.x.x-incubating-bin.tar.gz`后，进行解压安装包
@@ -188,7 +188,7 @@ LINKIS_HOME=/appcom/Install/LinkisInstall
#If you want to start metadata related microservices, you can set this export ENABLE_METADATA_MANAGE=true
export ENABLE_METADATA_QUERY=true
```
-#### 无HDFS模式部署(可选)
+#### 无HDFS模式部署(可选 >1.1.2版本支持)
> 在没有HDFS 的环境中部署 Linkis 服务，以方便更轻量化的学习使用和调试。去HDFS模式部署不支持hive/spark/flink引擎等任务
@@ -204,13 +204,12 @@ export ENABLE_HIVE=false
export ENABLE_SPARK=false
```
-将上述的配置修改为 false 之后，就不需要再单独配置 HDFS/HIVE/SPARK 等环境了, 安装部署时也会跳过这些基础环境的检查。
+## 4. 安装和启动
-## 3. 部署流程
+### 4.1 执行安装脚本：
-### 3.1 执行部署脚本
-```shell script
-sh bin/install.sh
+```bash
+ sh bin/install.sh
```
install.sh脚本会询问您是否需要初始化数据库并导入元数据。如果选择初始化，会把数据库中的表数据清空重新初始化。
@@ -262,7 +261,7 @@ echo "wds.linkis.keytab.enable=true" >> linkis.properties
#### 3.3.2 session
-如果您是对Linkis的升级。同时部署DSS或者其他项目，但他们服务lib包中，所依赖的Linkis的linkis-module-x.x.x.jar包 <1.1.1，则需要修改位于`${LINKIS_HOME}/conf/linkis.properties`文件
+如果您是对Linkis的升级。同时部署DSS或者其他项目，但其它软件中引入的依赖linkis版本<1.1.1(主要看lib包中，所依赖的Linkis的linkis-module-x.x.x.jar包 <1.1.1），则需要修改位于`${LINKIS_HOME}/conf/linkis.properties`文件
```shell
echo "wds.linkis.session.ticket.key=bdp-user-ticket-id" >> linkis.properties
```
@@ -412,13 +411,13 @@ sh bin/linkis-cli -submitUser hadoop -engineType python-python2 -codeType pyth
## 6 开发工具IDE（Scriptis）的安装(可选)
>安装Scripti工具后，可以支持在web页面在线写SQL、Pyspark、HiveQL等脚本
-详细指引见[工具Scriptis的安装部署](/deployment/linkis_scriptis_install.md)
+详细指引见[工具Scriptis的安装部署](./linkis_scriptis_install)
## 7 支持的引擎
### 7.1 引擎适配列表
-请注意：Linkis的单独安装包默认只包含的：Python/Shell/Hive/Spark四个引擎，如果有其他的引擎(如jdbc/flink/sqoop等引擎)使用场景，可以手动安装，具体请参考 [EngineConnPlugin引擎插件安装文档](deployment/engine_conn_plugin_installation.md)。
+请注意：Linkis的单独安装包默认只包含的：Python/Shell/Hive/Spark四个引擎，如果有其他的引擎(如jdbc/flink/sqoop等引擎)使用场景，可以手动安装，具体请参考 [EngineConnPlugin引擎插件安装文档](engine_conn_plugin_installation)。
本版本已适配的支持引擎列表如下：
@@ -526,7 +525,7 @@ select * from linkis_cg_engine_conn_plugin_bml_resources
查看引擎的物料记录是否存在(如果有更新,查看更新时间是否正确)。
-- 如果不存在或则未更新，先尝试手动刷新物料资源(详细见[引擎物料资源刷新](/deployment/engine_conn_plugin_installation#23-引擎刷新))。
+- 如果不存在或则未更新，先尝试手动刷新物料资源(详细见[引擎物料资源刷新](engine_conn_plugin_installation#23-引擎刷新))。
- 通过`log/linkis-cg-engineplugin.log`日志，查看物料失败的具体原因，很多时候可能是hdfs目录没有权限导致
- 检查gateway地址配置是否正确`conf/linkis.properties`的配置项`wds.linkis.gateway.url`
diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/current/deployment/sourcecode_hierarchical_structure.md b/i18n/zh-CN/docusaurus-plugin-content-docs/current/deployment/sourcecode_hierarchical_structure.md
index 2c2ca1fc3..5709893aa 100644
--- a/i18n/zh-CN/docusaurus-plugin-content-docs/current/deployment/sourcecode_hierarchical_structure.md
+++ b/i18n/zh-CN/docusaurus-plugin-content-docs/current/deployment/sourcecode_hierarchical_structure.md
@@ -3,76 +3,91 @@ title: 源码目录结构
sidebar_position: 5
---
-# Linkis源码目录结构
-
-> Linkis代码层级目录结构说明，如果您想详细了解Linkis各个模块，请查看[Linkis的相关架构设计](architecture/overview.md)
+> Linkis代码层级目录结构说明，如果想详细了解各个模块，请查看[Linkis的相关架构设计](architecture/overview.md)
```html
-
-├── assembly-combined-package //编译整个项目的模块
-│ ├── assembly-combined
-│ ├── bin
-│ ├── deploy-config
-│ └── src
-├── linkis-commons //核心抽象,里面放所有的公用模块
-│ ├── linkis-common //通用模块,内置很多通用工具
-│ ├── linkis-hadoop-common
-│ ├── linkis-httpclient //Java SDK顶层接口
-│ ├── linkis-module
-│ ├── linkis-mybatis //SpringCloud的Mybatis模块
-│ ├── linkis-protocol
-│ ├── linkis-rpc //RPC模块，基于Feign实现的复杂双向通信
-│ ├── linkis-scheduler //通用调度模块
-│ ├── linkis-storage
-├── linkis-computation-governance //计算治理服务
-│ ├── linkis-client //Java SDK，用户通过Client可直接访问Linkis
-│ ├── linkis-computation-governance-common
-│ ├── linkis-engineconn
-│ ├── linkis-engineconn-manager
-│ ├── linkis-entrance //通用底层entrance模块
-│ ├── linkis-jdbc-driver
-│ ├── linkis-manager
-├── linkis-engineconn-plugins
-│ ├── engineconn-plugins
-│ ├── linkis-engineconn-plugin-framework
-├── linkis-extensions
-│ ├── linkis-io-file-client
-├── linkis-orchestrator
-│ ├── linkis-code-orchestrator
-│ ├── linkis-computation-orchestrator
-│ ├── linkis-orchestrator-core
-│ ├── plugin
-├── linkis-public-enhancements //公共增强服务
-│ ├── linkis-bml //物料库
-│ ├── linkis-context-service //统一上下文
-│ ├── linkis-datasource //数据源服务
-│ ├── linkis-publicservice //公共服务
-├── linkis-spring-cloud-services
-│ ├── linkis-service-discovery
-│ ├── linkis-service-gateway //网关Gateway
-├── db //数据库信息
-│ ├── linkis_ddl.sql
-│ ├── linkis_dml.sql
-│ ├── module
-│ └── upgrade
-├── tool //工具脚本
-│ ├── dependencies
-│ └── modify_license.sh
-└── web //linkis的管理台代码
-├── scalastyle-config.xml //Scala 代码格式检查配置文件
-├── CONTRIBUTING_CN.md
-├── CONTRIBUTING.md
-├── DISCLAIMER
-├── LICENSE //项目源码的LICENSE
-├── LICENSE-binary //二进制包的LICENSE
-├── LICENSE-binary-ui //前端web编译包的LICENSE
-├── licenses-binary //二进制包的详细依赖的license文件
-├── licenses-binary-ui //前端web编译包详细依赖的license文件
-├── NOTICE //项目源码的NOTICE
-├── NOTICE-binary //二进制包的NOTICE
-├── NOTICE-binary-ui //前端web二进制包的NOTICE
-├── README.md
-├── README_CN.md
+│-- assembly-combined-package //编译打包最后阶段步骤 整合所有lib包和安装部署脚本配置等
+│ │-- assembly-combined
+│ │-- bin 安装相关的脚本
+│ │-- deploy-config //安装的配置
+│ │-- src
+│-- linkis-commons //核心抽象，里面放有所有的公用模块
+│ │-- linkis-common //通用模块，内置很多通用工具类
+│ │-- linkis-hadoop-common
+│ │-- linkis-httpclient //Java SDK顶层接口 对httpclient的进一步封装
+│ │-- linkis-module // linkis的服务顶层公用模块 涉及到服务启动时的参数和服务初始化 统一的Restful处理 登录态校验等
+│ │-- linkis-mybatis //SpringCloud的Mybatis模块
+│ │-- linkis-protocol //服务请求/响应的一些接口和实体类
+│ │-- linkis-rpc //RPC模块，基于Feign实现的复杂双向通信
+│ │-- linkis-scheduler //通用调度模块
+│ │-- linkis-storage //文件操作工具集
+│ │
+│-- linkis-computation-governance //计算治理服务
+│ │-- linkis-client //Java SDK，用户通过Client可直接访问Linkis
+│ │-- linkis-computation-governance-common
+│ │-- linkis-engineconn
+│ │-- linkis-engineconn-manager
+│ │-- linkis-entrance //通用底层entrance模块
+│ │-- linkis-entrance-client
+│ │-- linkis-jdbc-driver //可以类似jdbc sdk方式连接使用linkis
+│ │-- linkis-manager
+│
+│-- linkis-engineconn-plugins // 引擎插件
+│ │-- engineconn-plugins
+│ │-- linkis-engineconn-plugin-framework
+│
+│-- linkis-extensions // 扩展功能增强插件模块
+│ │-- linkis-io-file-client // 对linkis-storage的功能扩展
+│
+│-- linkis-orchestrator //服务的编排
+│ │-- linkis-code-orchestrator
+│ │-- linkis-computation-orchestrator
+│ │-- linkis-orchestrator-core
+│ │-- plugin
+│
+│-- linkis-public-enhancements //公共增强服务
+│ │-- linkis-bml // 物料库
+│ │-- linkis-context-service //统一上下文
+│ │-- linkis-datasource //数据源服务
+│ │ ├── linkis-datasource-client //客户端代码
+│ │ ├── linkis-datasource-manager //数据源管理模块
+│ │ │ ├── common //数据源管理公共模块
+│ │ │ └── server //数据源管理服务模块
+│ │ ├── linkis-metadata //旧版本已有的模块，保留
+│ │ ├── linkis-metadata-manager //数据元管理模块
+│ │ ├── common //数据元管理公共模块
+│ │ ├── server //数据元管理服务模块
+│ │ └── service //支持的数据源
+│ │ ├── elasticsearch
+│ │ ├── hive
+│ │ ├── kafka
+│ │ └── mysql
+│ │-- linkis-publicservice //公共服务
+│
+│-- linkis-spring-cloud-services //微服务治理
+│ │-- linkis-service-discovery
+│ │-- linkis-service-gateway //网关Gateway
+│-- db //数据库信息
+│
+│-- tool //工具脚本
+│ │-- check.sh
+│ │-- dependencies
+│
+│-- web //linkis的管理台代码
+│-- scalastyle-config.xml //Scala 代码格式检查配置文件
+│-- CONTRIBUTING.md
+│-- CONTRIBUTING_CN.md
+│-- DISCLAIMER-WIP
+│-- LICENSE //项目源码的LICENSE
+│-- LICENSE-binary //二进制包的LICENSE
+│-- LICENSE-binary-ui //前端web编译包的LICENSE
+│-- NOTICE //项目源码的NOTICE
+│-- NOTICE-binary //二进制包的NOTICE
+│-- NOTICE-binary-ui //前端web二进制包的NOTICE
+│-- licenses-binary 二进制包的详细依赖的license文件
+│-- licenses-binary-ui //前端web编译包详细依赖的license文件
+│-- README.md
+│-- README_CN.md
```
\ No newline at end of file
diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/current/deployment/unpack_hierarchical_structure.md b/i18n/zh-CN/docusaurus-plugin-content-docs/current/deployment/unpack_hierarchical_structure.md
index 9528fdcb8..3c8d1c770 100644
--- a/i18n/zh-CN/docusaurus-plugin-content-docs/current/deployment/unpack_hierarchical_structure.md
+++ b/i18n/zh-CN/docusaurus-plugin-content-docs/current/deployment/unpack_hierarchical_structure.md
@@ -1,19 +1,17 @@
---
title: 安装包目录结构
-sidebar_position: 4.5
+sidebar_position: 4
---
-
-## Linkis安装包解压的目录结构
-
+> Linkis安装包解压后的目录结构
下载官方发布的[编译完整包](https://linkis.apache.org/zh-CN/download/main)，解压后的目录结构如下:
```html
├── bin
-│ ├── checkEnv.sh //部署环境验证脚本
-│ ├── common.sh
-│ └── install.sh //执行安装的脚本
+│ ├── checkEnv.sh ── 环境变量检测
+│ ├── common.sh ── 部分公共shell函数
+│ └── install.sh ── Linkis安装的主脚本
├── deploy-config
│ ├── db.sh //数据库连接配置
│ └── linkis-env.sh //相关环境配置信息
diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/current/deployment/web_install.md b/i18n/zh-CN/docusaurus-plugin-content-docs/current/deployment/web_install.md
index 050da5c9b..7518e9267 100644
--- a/i18n/zh-CN/docusaurus-plugin-content-docs/current/deployment/web_install.md
+++ b/i18n/zh-CN/docusaurus-plugin-content-docs/current/deployment/web_install.md
@@ -2,13 +2,18 @@
title: 管理台部署
sidebar_position: 6
---
+> web端是使用nginx作为静态资源服务器的，访问请求流程是:`Linkis管理台请求->nginx ip:port->linkis-gateway ip:port-> 其他服务`
-Linkis在1.0提供了单独的前端管理台功能，提供了展示Linis的全局历史、修改用户参数、管理ECM和微服务等功能，部署前端管理台前需要先将Linkis后端进行部署，Linkis的部署手册见：[Linkis部署手册](deployment/quick_deploy.md)
-## 1、准备工作
+Linkis 提供了单独的前端管理台功能，提供了展示历史任务的全局历史、修改用户参数、管理ECM和微服务等功能，部署前端管理台前需要先将Linkis后端进行部署，Linkis的部署手册见：[Linkis部署手册](deployment/quick_deploy.md)
-1. 从linkis的release页面（[点击这里进入下载页面](https://linkis.apache.org/zh-CN/download/main)）下载web安装包，apache-linkis-x.x.x-incubating-web-bin.tar.gz
-手动解压：tar -xvf apache-linkis-x.x.x-incubating-web-bin.tar.gz，解压后目录为：
+
+## 1 准备工作
+
+1. 从linkis的release页面（[点击这里进入下载页面](https://linkis.apache.org/zh-CN/download/main)）下载web安装包`apache-linkis-x.x.x-incubating-web-bin.tar.gz`
+手动解压：`tar -xvf apache-linkis-x.x.x-incubating-web-bin.tar.gz`，
+
+解压后目录为：
```
├── config.sh
├── DISCLAIMER
@@ -19,34 +24,91 @@ Linkis在1.0提供了单独的前端管理台功能，提供了展示Linis的全
└── NOTICE
```
-## 2、部署
- 分为两种部署方式，自动化部署和手动部署
+## 2 部署
+
+> 分为两种部署方式，自动化部署和手动部署
-### 2.1 自动化部署
- 进入解压的前端目录，在该目录下编辑 ```vi config.sh ```
-更改前端端口和后端接口地址,后端接口地址为linkis的gateway地址
+### 2.1 自动化部署(推荐)
-```$xslt
-#Configuring front-end ports
-linkis_port="8088"
+#### 2.1.1 修改配置config.sh
+```shell script
+#linkis-mg-gateway服务地址
+linkis_url="http://127.0.0.1:9001"
-#URL of the backend linkis gateway
-linkis_url="http://localhost:9001"
+#可以配置为安装机器的ip 也可以使用默认值
+linkis_ipaddr=127.0.0.1
+# 访问管理台的端口
+linkis_port=8088
-#linkis ip address
-linkis_ipaddr=$(ip addr | awk '/^[0-9]+: / {}; /inet.*global/ {print gensub(/(.*)\/(.*)/, "\\1", "g", $2)}')
```
-修改完后在该目录下执行,需要使用sudo执行：```sudo sh install.sh ```
+#### 2.1.2 执行部署脚本
-执行完后可以直接通过在谷歌浏览器访问：```http://linkis_ipaddr:linkis_port``` 其中linkis_port为config.sh里面配置的端口，linkis_ipaddr为安装机器的IP
+```shell script
+# nginx 需要sudo权限进行安装
+sudo sh install.sh
+```
+安装后，linkis的nginx配置文件默认是 在`/etc/nginx/conf.d/linkis.conf`
+nginx的日志文件在 `/var/log/nginx/access.log` 和`/var/log/nginx/error.log`
+生成的linkis管理台的nginx配置文件示例如下:
+```nginx
+
+ server {
+ listen 8188;# 访问端口 如果端口被占用，则需要修改
+ server_name localhost;
+ #charset koi8-r;
+ #access_log /var/log/nginx/host.access.log main;
+ location / {
+ root /appcom/Install/linkis-web/dist; # 静态文件目录
+ index index.html index.html;
+ }
+ location /ws {
+ proxy_pass http://localhost:9020;#后端Linkis的地址
+ proxy_http_version 1.1;
+ proxy_set_header Upgrade $http_upgrade;
+ proxy_set_header Connection upgrade;
+ }
+
+ location /api {
+ proxy_pass http://localhost:9020; #后端Linkis的地址
+ proxy_set_header Host $host;
+ proxy_set_header X-Real-IP $remote_addr;
+ proxy_set_header x_real_ipP $remote_addr;
+ proxy_set_header remote_addr $remote_addr;
+ proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
+ proxy_http_version 1.1;
+ proxy_connect_timeout 4s;
+ proxy_read_timeout 600s;
+ proxy_send_timeout 12s;
+ proxy_set_header Upgrade $http_upgrade;
+ proxy_set_header Connection upgrade;
+ }
+
+ #error_page 404 /404.html;
+ # redirect server error pages to the static page /50x.html
+ #
+ error_page 500 502 503 504 /50x.html;
+ location = /50x.html {
+ root /usr/share/nginx/html;
+ }
+ }
+```
-如果访问失败：可以通过查看安装日志哪一步出错
### 2.2 手动部署
-1.安装Nginx:```sudo yum install nginx -y```
-2.修改配置文件：sudo vi /etc/nginx/conf.d/linkis.conf
+#### 2.2.1 安装Nginx
+>如果已经安装过nginx 可以跳过
+
+```shell script
+sudo yum install nginx -y
+```
+
+#### 2.2.2 修改配置文件
+```shell script
+sudo vi /etc/nginx/conf.d/linkis.conf
+```
+
添加如下内容：
```
server {
@@ -84,15 +146,45 @@ server {
```
-3.将前端包拷贝到对应的目录:```/appcom/Install/linkis/dist; # 前端包解压的目录 ```
+#### 2.2.3 资源部署
-4.启动服务```sudo systemctl restart nginx```
+将前端包拷贝到对应的目录:`/appcom/Install/linkis/dist`
-5.执行完后可以直接通过在谷歌浏览器访问：```http://nginx_ip:nginx_port```
+#### 2.2.4 启动服务
-## 3、常见问题
+```
+sudo systemctl restart nginx
+```
+
+
+## 3 登录管理台
-(1)上传文件大小限制
+浏览器访问`http://linkis_ipaddr:linkis_port` 其中linkis_port为config.sh里面配置的端口，linkis_ipaddr为安装机器的IP
+
+用户名/密码在`{LINKIS_HOME}/conf/linkis-mg-gateway.properties`中查看
+```shell script
+wds.linkis.admin.user= #用户
+wds.linkis.admin.password= #密码
+
+```
+管理台使用指引见[使用手册](user_guide/console_manual.md)
+
+
+## 4 注意事项
+
+如果需要修改端口或则静态资源目录等，请修改`/etc/nginx/conf.d/linkis.conf` 文件后执行 `sudo nginx -s reload` 命令
+:::caution 注意
+- 目前暂未集成visualis功能，安装过程中如果提示安装linkis/visualis失败，可以忽略
+- 查看nginx是否正常启动：检查nginx进程是否存在 `ps -ef |grep nginx`
+- 检查nginx的配置是否正确 `sudo nginx -T `
+- 如果端口被占用，可以修改nginx启动的服务端口`/etc/nginx/conf.d/linkis.conf`listen端口值，保存后重新启动
+- 如果访问管理台出现接口502，或则`Unexpected token < in JSON at position 0`异常，请确认linkis-mg-gateway是否正常启动，如果正常启动，查看nginx配置文件中配置的linkis-mg-gateway服务地址是否正确
+:::
+
+
+## 5 常见问题
+
+### 5.1 上传文件大小限制
```
sudo vi /etc/nginx/nginx.conf
@@ -104,13 +196,11 @@ sudo vi /etc/nginx/nginx.conf
client_max_body_size 200m
```
- (2)接口超时
+### 5.2 接口超时
```
sudo vi /etc/nginx/conf.d/linkis.conf
```
-
-
更改接口超时时间
```
diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/current/development/linkis_compile_and_package.md b/i18n/zh-CN/docusaurus-plugin-content-docs/current/development/linkis_compile_and_package.md
index 2e8e50026..6679eaf94 100644
--- a/i18n/zh-CN/docusaurus-plugin-content-docs/current/development/linkis_compile_and_package.md
+++ b/i18n/zh-CN/docusaurus-plugin-content-docs/current/development/linkis_compile_and_package.md
@@ -1,15 +1,16 @@
---
-title: Linkis 编译打包
+title: Linkis 后端编译打包
sidebar_position: 0
---
## 1. 前置准备
+## 1.1 环境要求
+
__编译环境要求：__ 必须 **JDK8** 以上，**Oracle/Sun** 和 **OpenJDK**都支持。
-从[github仓库](https://github.com/apache/incubator-linkis) https://github.com/apache/incubator-linkis 获取项目代码后，使用 maven 编译项目安装包。
-### 1.1 源码获取
+### 1.2 源码获取
- 方式1：从[github仓库](https://github.com/apache/incubator-linkis) https://github.com/apache/incubator-linkis 获取项目的源代码。
- 方式2：从[linkis的官方下载页面](https://linkis.apache.org/download/main) https://linkis.apache.org/download/main 下载所需版本的源码包。
@@ -58,11 +59,16 @@ __编译环境要求：__ 必须 **JDK8** 以上，**Oracle/Sun** 和 **OpenJDK
incubator-linkis-x.x.x/assembly-combined-package/target/apache-linkis-x.x.x-incubating-bin.tar.gz
```
-## 3. 编译单个模块
+## 3 常见问题
+
+### 3.1 如何编译单个模块
+> 有些场景可能只需要针对某个模块进行编译，可参考如下流程
-> 如有没有执行过全量编译，先要进行一次全量编译
+:::caution 注意
+如有没有执行过全量编译，先要进行一次全量编译
+:::
-### step1 进入到对应模块进行编译
+#### step1 进入到对应模块进行编译
进入到对应模块进行编译，比如想重新编译 Entrance，命令如下：
```bash
@@ -70,44 +76,70 @@ __编译环境要求：__ 必须 **JDK8** 以上，**Oracle/Sun** 和 **OpenJDK
mvn clean install
```
-### step2 获取安装包
+#### step2 获取安装包
获取安装包，在对应模块的->target目录下会有编译好的包：
```
ls incubator-linkis-x.x.x/linkis-computation-governance/linkis-entrance/target/linkis-entrance.x.x.x.jar
```
-## 4. 编译某个引擎
+### 3.2 如何编译某个引擎
-> 如有没有执行过全量编译，先要进行一次全量编译
+>有些场景可能只需要针对某个引擎进行编译，可参考如下流程
+
+:::caution 注意
+如有没有执行过全量编译，先要进行一次全量编译
+:::
这里以编译Spark 引擎为例：
-### step1 进入到对应模块进行编译
+#### step1 进入到对应模块进行编译
进入到 Spark 引擎所在的目录进行编译打包，命令如下：
```bash
cd incubator-linkis-x.x.x/linkis-engineconn-plugins/engineconn-plugins/spark
mvn clean install
```
-### step2 获取引擎的物料包
+#### step2 获取引擎的物料包
在对应模块的target目录下：
```
#spark文件下就是编译好的引擎物料
incubator-linkis-x.x.x/linkis-engineconn-plugins/engineconn-plugins/spark/target/out/spark
```
-
如何单独安装 Spark 引擎？请参考 [Linkis 引擎插件安装文档](../deployment/engine_conn_plugin_installation)
-## 5. 如何修改Linkis的依赖的Hadoop、Hive、Spark版本
+
+### 3.2 如何将非默认引擎打包至安装部署包中
+
+> 默认打包配置中`assembly-combined-package/assembly-combined/src/main/assembly/assembly.xml`，只会将`spark/hive/python/shell`打包到安装包中，如果需要添加其它引擎，可参考此步骤
+
+以jdbc引擎为例
+
+step1 修改`assembly-combined-package/assembly-combined/src/main/assembly/assembly.xml` 添加jdbc引擎
+```shell script
+ <!--jdbc-->
+ <fileSet>
+ <directory>
+ ../../linkis-engineconn-plugins/engineconn-plugins/jdbc/target/out/
+ </directory>
+ <outputDirectory>lib/linkis-engineconn-plugins/</outputDirectory>
+ <includes>
+ <include>**/*</include>
+ </includes>
+</fileSet>
+```
+step2 如果已经全量编译，可以直接重新编译`assembly-combined-package`模块，如果没有，这执行全量编译
+
+
+## 4. 如何修改Linkis的依赖的Hadoop、Hive、Spark版本
请注意：Hadoop 作为大数据基础服务，Linkis 必须依赖 Hadoop 进行编译；
而 Spark、Hive等计算存储引擎则不然，如果您不想使用某个引擎，可以无需设置该引擎的版本，无需编译该引擎插件。
具体而言，修改 Hadoop 的版本与 Spark、Hive 等计算引擎的方式不同，下面详细介绍：
-### 5.1 如何修改 Linkis 依赖的 Hadoop 版本
+### 4.1 如何修改 Linkis 依赖的 Hadoop 版本
进入 Linkis 源码包根目录，手动修改 pom.xml 文件的 Hadoop 版本信息，具体如下：
@@ -125,8 +157,10 @@ __编译环境要求：__ 必须 **JDK8** 以上，**Oracle/Sun** 和 **OpenJDK
</properties>
```
-
+:::caution 注意
**请注意：如果你的hadoop版本是hadoop3，需要修改linkis-hadoop-common的pom文件**
+:::
+
因为在hadoop2.8以下的时候，hdfs相关的class是在hadoop-hdfs模块中的，但是在hadoop 3.X中将对应的class移动到了模块hadoop-hdfs-client当中，您需要修改下这个文件：
pom:Linkis/linkis-commons/linkis-hadoop-common/pom.xml
@@ -145,7 +179,7 @@ pom:Linkis/linkis-commons/linkis-hadoop-common/pom.xml
</dependency>
```
-### 5.2 如何修改 Linkis 依赖的 Spark、Hive 版本
+### 4.2 如何修改 Linkis 依赖的 Spark、Hive 版本
这里以修改 Spark 的版本为例进行介绍。进入 Spark 引擎所在的目录，手动修改 pom.xml 文件的 Spark 版本信息，具体如下：
@@ -162,4 +196,4 @@ pom:Linkis/linkis-commons/linkis-hadoop-common/pom.xml
修改其他引擎的版本与修改 Spark 版本类似，先进入相关引擎所在的目录，手动修改 pom.xml 文件的引擎版本信息即可。
-然后请参考 [编译某个引擎](#4-编译某个引擎)
+然后请参考 [编译某个引擎](#32-如何编译某个引擎)
diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/current/development/linkis_debug.md b/i18n/zh-CN/docusaurus-plugin-content-docs/current/development/linkis_debug.md
index a077c1c77..bbc87a28c 100644
--- a/i18n/zh-CN/docusaurus-plugin-content-docs/current/development/linkis_debug.md
+++ b/i18n/zh-CN/docusaurus-plugin-content-docs/current/development/linkis_debug.md
@@ -1,5 +1,5 @@
---
-title: 调试指引
+title: 服务调试指引
sidebar_position: 2
---
diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/current/development/web_build.md b/i18n/zh-CN/docusaurus-plugin-content-docs/current/development/web_build.md
index 1d943fa33..271e82988 100644
--- a/i18n/zh-CN/docusaurus-plugin-content-docs/current/development/web_build.md
+++ b/i18n/zh-CN/docusaurus-plugin-content-docs/current/development/web_build.md
@@ -1,57 +1,47 @@
---
-title: 前端管理台编译
+title: Linkis 管理台编译
sidebar_position: 4
---
+## 1. 前置准备
-## 1. 安装Node.js
-将Node.js下载到电脑本地，安装即可。下载地址：[http://nodejs.cn/download/](http://nodejs.cn/download/) （建议使用node v14版本）
-**该步骤仅第一次使用时需要执行。**
-
-## 2. 安装项目
-在终端命令行中执行以下指令：
+## 1.1 安装Node.js
-```
-git clone git@github.com:apache/incubator-linkis.git
-cd incubator-linkis/web
-npm install
-```
+>该步骤仅第一次使用时需要执行,如果已有node环境，可跳过
-指令简介：
-1. 将项目包从远程仓库拉取到电脑本地
-2. 进入项目WEB根目录：cd incubator-linkis/web
-3. 安装项目所需依赖：npm install
+将Node.js下载到本地，安装即可。下载地址：[http://nodejs.cn/download/](http://nodejs.cn/download/) （建议使用node v14版本）
-**该步骤仅第一次使用时需要执行。**
+## 1.2 源码获取
-## 3. 配置
-您需要在代码中进行一些配置，如后端接口地址等，如根目录下的.env.development文件：
+- 方式1：从[github仓库](https://github.com/apache/incubator-linkis) https://github.com/apache/incubator-linkis 获取项目的源代码。
+- 方式2：从[linkis的官方下载页面](https://linkis.apache.org/download/main) https://linkis.apache.org/download/main 下载所需版本的源码包。
-```
-// 后端接口地址
-VUE_APP_MN_CONFIG_PREFIX=http://yourIp:yourPort/yourPath
-```
-配置的具体解释可参考vue-cli官方文档：[环境变量和模式](https://cli.vuejs.org/zh/guide/mode-and-env.html#%E7%8E%AF%E5%A2%83%E5%8F%98%E9%87%8F%E5%92%8C%E6%A8%A1%E5%BC%8F)
+## 2. 编译
-## 4. 打包项目
-您可以通过在终端命令行执行以下指令对项目进行打包，生成压缩后的代码：
+## 2.1 安装npm依赖
+在终端命令行中执行以下指令：
```
-npm run build
+#进入项目WEB根目录
+$ cd incubator-linkis/web
+#安装项目所需依赖
+$ npm install
```
+**该步骤仅第一次使用时需要执行。**
-该指令成功执行后，项目web目录下会出现一个 “dist” 的文件夹及“*-${getVersion()}-dist.zip”压缩文件，目录dist/dist即为打包好的代码，您可以直接将该文件夹放进您的静态服务器中，或者参考安装文档，使用脚本进行部署安装。
-## 5. 运行项目
-如果您想在本地浏览器上运行该项目并且改动代码查看效果，需要在终端命令行中执行以下指令：
+## 2.2. 打包项目
+在终端命令行执行以下指令对项目进行打包，生成压缩后的部署安装包。
+检查web/package.json，web/.env文件，检查前端管理台版本号是否正确。
```
-npm run serve
+$ npm run build
```
+上述命令执行成功后，会生成前端管理台安装包 `apache-linkis-${version}-incubating-web-bin.tar.gz`，可以直接将该文件夹放进您的静态服务器中，或者参考[安装文档](../deployment/web_install.md)，使用脚本进行部署安装。
-## 6. 注意事项
-1.Windows下npm install 步骤报错
+## 3 . 注意事项
+### 3.1 Windows下npm install 步骤报错
```shell
Error: Can't find Python executable "python", you can set the PYTHON env variable
安装windows-build-tools （管理员权限）
@@ -70,14 +60,15 @@ $ npm cache clear --force
$ npm install
```
-2.如果出现兼容问题,建议重新安装node,[node下载地址](https://nodejs.org/zh-cn/download/)
+### 3.2 如果出现兼容问题,建议重新安装node
+[node下载地址](https://nodejs.org/zh-cn/download/)
```shell
1.查看node版本(推荐使用node v14版本)
$ node -v
2.下载node v14版本并且重新安装node
```
-3.npm install下载前端依赖无法成功
+### 3.3 npm install下载前端依赖无法成功
如果遇到该情况，可以使用国内的淘宝npm镜像：
```
npm install -g cnpm --registry=https://registry.npm.taobao.org
@@ -86,22 +77,5 @@ npm install -g cnpm --registry=https://registry.npm.taobao.org
```
cnpm install
```
-注意，项目启动和打包时，仍然可以使用npm run build和npm run serve指令
-
-在浏览器中（建议Chrome浏览器）通过链接访问应用：[http://localhost:8080/](http://localhost:8080/) .
-当您使用该方式运行项目时，您对代码的改动产生的效果，会动态体现在浏览器上。
-**注意：因为项目采用前后端分离开发，所以在本地浏览器上运行时，需要对浏览器进行设置跨域才能访问后端接口：**
-
-比如chrome浏览器：
-windows系统下的配置方式：
-1. 关闭所有的chrome浏览器。
-2. 新建一个chrome快捷方式，右键“属性”，“快捷方式”选项卡里选择“目标”，添加 --args --disable-web-security --user-data-dir=C:\MyChromeDevUserData
-3. 通过快捷方式打开chrome浏览器
-mac系统下的配置方式：
-在终端命令行执行以下命令(需要替换路径中的yourname，若还不生效请检查您机器上MyChromeDevUserData文件夹的位置并将路径复制到下面指令的“--user-data-dir=”后面)
-
-```
-open -n /Applications/Google\ Chrome.app/ --args --disable-web-security --user-data-dir=/Users/yourname/MyChromeDevUserData/
-```
diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/current/engine_usage/pipeline.md b/i18n/zh-CN/docusaurus-plugin-content-docs/current/engine_usage/pipeline.md
index dcc308de4..485b482c3 100644
--- a/i18n/zh-CN/docusaurus-plugin-content-docs/current/engine_usage/pipeline.md
+++ b/i18n/zh-CN/docusaurus-plugin-content-docs/current/engine_usage/pipeline.md
@@ -1,93 +1,90 @@
---
-title: pipeline 引擎
+title: Pipeline 引擎
sidebar_position: 10
---
+> Pipeline的主要用来文件的导入和导出,本文主要介绍`pipeline`(>=1.1.0版本支持)引擎的配置、部署和使用。
-本文主要介绍`pipeline`(>=1.1.0版本支持)引擎的配置、部署和使用。
+## 1 配置和部署
+### 1.1 引擎包的获取
-## 1 配置和部署
+因为发布的安装部署包中默认安装包中没有pipeline引擎，因此需要获取对应引擎的jar包文件
-### 1.1 版本的选择和编译
-注意: 编译`pipeline`引擎之前需要进行linkis项目全量编译
-目前`pipeline`引擎，需自行安装部署
+#### 方式1
-发布的安装部署包中默认不包含此引擎插件，
-你可以按此指引部署安装 https://linkis.apache.org/zh-CN/blog/2022/04/15/how-to-download-engineconn-plugin
-或者按以下流程，手动编译部署
+通过 [非默认引擎物料包](https://linkis.apache.org/zh-CN/blog/2022/04/15/how-to-download-engineconn-plugin) 下载
-单独编译`pipeline`
+#### 方式2 手动编译获取
+
+注意: 编译`pipeline`引擎之前需要进行linkis项目全量编译
```
-${linkis_code_dir}/linkis-enginepconn-pugins/engineconn-plugins/pipeline/
+cd ${linkis_code_dir}
+mvn -N install #首次需要进行linkis项目全量编译
+
+cd linkis-enginepconn-pugins/engineconn-plugins/pipeline/
mvn clean install
```
-### 1.2 物料的部署和加载
-
-将 1.1 步编译出来的引擎包,位于
-
+编译出来的引擎包,位于
```bash
${linkis_code_dir}/linkis-engineconn-plugins/engineconn-plugins/pipeline/target/out/pipeline
```
-上传到服务器的引擎目录下
-```bash
-${LINKIS_HOME}/lib/linkis-engineplugins
-```
+### 1.2 物料的部署和加载
+
+
+将 步骤 1.1获取到的引擎物料包，上传到服务器的引擎目录下`${LINKIS_HOME}/lib/linkis-engineplugins`
+
并重启linkis-engineplugin进行引擎刷新
```bash
cd ${LINKIS_HOME}/sbin
sh linkis-daemon.sh restart cg-engineplugin
```
-或通过引擎接口进行刷新，引擎放置到对应目录后，通过http接口向linkis-cg-engineconnplugin 服务发送刷新请求即可。
-
-- 接口 `http://${engineconn-plugin-server-IP}:${port}/api/rest_j/v1/rpc/receiveAndReply`
-- 请求方式 `POST`
-
-```json
-{
- "method": "/enginePlugin/engineConn/refreshAll"
-}
-```
-检查引擎是否刷新成功：如果在刷新过程中遇到问题，需要确认是否刷新成功，则可以查看数据库中的linkis_engine_conn_plugin_bml_resources这张表的last_update_time是否为触发刷新的时间。
+检查引擎是否刷新成功：可以查看数据库中的linkis_engine_conn_plugin_bml_resources这张表的last_update_time是否为触发刷新的时间。
```sql
#登陆到linkis的数据库
select * from linkis_cg_engine_conn_plugin_bml_resources
```
-### 1.3 引擎的标签
-Linkis1.X是通过标签来进行的，所以需要在我们数据库中插入数据，插入的方式如下文所示。
+### 1.3 引擎的标签(可选)
+
+通过标签来进行的，所以需要在我们数据库中插入数据，插入的方式如下文所示
[EngineConnPlugin引擎插件安装](../deployment/engine_conn_plugin_installation)
## 2 引擎的使用
+>因为`pipeline`引擎主要用来导入导出文件为主，现在我们假设从A向B导入文件最为介绍案例
+
### 2.1 通过Linkis-cli进行任务提交
-Linkis 1.0后提供了cli的方式提交任务，我们只需要指定对应的EngineConn和CodeType标签类型即可，pipeline的使用如下：
+通过linkis-cli的方式提交任务，需要指定对应的EngineConn和CodeType标签类型，pipeline的使用如下：
+
- 注意 `engineType pipeline-1` 引擎版本设置是有前缀的 如 `pipeline` 版本为`v1` 则设置为 `pipeline-1`
+
```shell
sh bin/linkis-cli -submitUser hadoop -engineType pipeline-1 -codeType pipeline -code "from hdfs:///000/000/000/A.dolphin to file:///000/000/000/B.csv"
```
-`from hdfs:///000/000/000/A.dolphin to file:///000/000/000/B.csv` 该内容 3.3有解释
+`from hdfs:///000/000/000/A.dolphin to file:///000/000/000/B.csv` 该内容 2.3 有解释
具体使用可以参考： [Linkis CLI Manual](user_guide/linkiscli_manual.md).
-因为`pipeline`引擎主要用来导入导出文件为主，现在我们假设从A向B导入文件最为介绍案例
-### 2.2 新建脚本
+
+### 2.2 通过 Scriptis 使用
+
工作空间模块右键选择新建一个类型为`storage`的脚本
-### 2.3 编写脚本
+#### 2.2.1 编写脚本
##### 语法为：from path to path
@@ -107,7 +104,8 @@ A文件向B文件夹导入脚本
```bash
from hdfs:///000/000/000/A.csv to file:///000/000/000/B.csv
```
-- `from` 语法，`to`：语法
+
+- `from path to path`
- `hdfs:///000/000/000/A.csv`： 输出文件路径及文件
- `file:///000/000/000/B.csv`： 输入文件路径及文件
@@ -120,9 +118,9 @@ from hdfs:///000/000/000/B.csv to file:///000/000/000/A.CSV
-注意：语法末端不能带分号；否则语法错误。
+注意：语法末端不能带分号(;),否则语法错误。
-### 2.4 结果
+#### 2.2.2 结果
进度
diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/current/engine_usage/sqoop.md b/i18n/zh-CN/docusaurus-plugin-content-docs/current/engine_usage/sqoop.md
index ba1a003f8..97258268a 100644
--- a/i18n/zh-CN/docusaurus-plugin-content-docs/current/engine_usage/sqoop.md
+++ b/i18n/zh-CN/docusaurus-plugin-content-docs/current/engine_usage/sqoop.md
@@ -3,11 +3,9 @@ title: Sqoop 引擎
sidebar_position: 9
---
-# Sqoop 引擎使用文档
+> 本文主要介绍Sqoop(>=1.1.2 版本支持)引擎的配置、部署和使用。
-本文主要介绍Sqoop(>=1.1.2 版本支持)引擎的配置、部署和使用。
-
-## 1.Sqoop引擎Linkis系统参数配置
+## 1 Sqoop引擎Linkis系统参数配置
Sqoop引擎主要依赖Hadoop基础环境，如果该节点需要部署Sqoop引擎，需要部署Hadoop客户端环境。
@@ -45,7 +43,7 @@ sqoop export \
-## 2.Sqoop引擎的配置和部署
+## 2 Sqoop引擎的配置和部署
### 2.1 Sqoop版本的选择和编译
@@ -76,7 +74,7 @@ engineplugin更详细的介绍可以参看下面的文章。
https://linkis.apache.org/zh-CN/docs/latest/deployment/engine_conn_plugin_installation
-## 3.Sqoop引擎的使用
+## 3 Sqoop引擎的使用
### 3.1 通过Linkis-cli进行任务提交
hdfs文件导出到mysql
@@ -250,8 +248,8 @@ object SqoopOnceJobTest extends App {
```
-## 参数
-### Common arguments
+## 4 参数
+### 4.1 Common arguments
| 参数 | key | 说明 |
| --------------------------------------------------------------------------------------------------------------------- | --------------------------------------- | ------------------------------------------------------------------------------------------------------------------ |
@@ -275,7 +273,7 @@ object SqoopOnceJobTest extends App {
| | | |
-### Export import arguments
+### 4.2 Export import arguments
| 参数 | key | 说明 |
| --------------------------------------------------------------------------------------------------------------------- | --------------------------------------- | ------------------------------------------------------------------------------------------------------------------ |
@@ -297,7 +295,7 @@ object SqoopOnceJobTest extends App {
| \--validator <validator\> | sqoop.args.validator | Fully qualified class name for the Validator |
| | | |
-### Import control arguments
+### 4.3 Import control arguments
| 参数 | key | 说明 |
| --------------------------------------------------------------------------------------------------------------------- | --------------------------------------- | ------------------------------------------------------------------------------------------------------------------ |
| \--append | sqoop.args.append | Imports data in append mode |
@@ -331,7 +329,7 @@ object SqoopOnceJobTest extends App {
| \-z,--compress | sqoop.args.compress | Enable compression |
| | | |
-### Incremental import argument
+### 4.4 Incremental import argument
| 参数 | key | 说明 |
| --------------------------------------------------------------------------------------------------------------------- | --------------------------------------- | ------------------------------------------------------------------------------------------------------------------ |
@@ -341,7 +339,7 @@ object SqoopOnceJobTest extends App {
| | | |
-### Output line formatting arguments
+### 4.5 Output line formatting arguments
| 参数 | key | 说明 |
| --------------------------------------------------------------------------------------------------------------------- | --------------------------------------- | ------------------------------------------------------------------------------------------------------------------ |
| \--enclosed-by <char\> | sqoop.args.enclosed.by | Sets a required field enclosing character |
@@ -352,7 +350,7 @@ object SqoopOnceJobTest extends App {
| \--optionally-enclosed-by <char\> | sqoop.args.optionally.enclosed.by | Sets a field enclosing character |
| | | |
-### Input parsing arguments
+### 4.6 Input parsing arguments
| 参数 | key | 说明 |
| --------------------------------------------------------------------------------------------------------------------- | --------------------------------------- | ------------------------------------------------------------------------------------------------------------------ |
@@ -364,7 +362,7 @@ object SqoopOnceJobTest extends App {
| | | |
- ### Hive arguments
+ ### 4.7 Hive arguments
| 参数 | key | 说明 |
| --------------------------------------------------------------------------------------------------------------------- | --------------------------------------- | ------------------------------------------------------------------------------------------------------------------ |
@@ -381,7 +379,7 @@ object SqoopOnceJobTest extends App {
| \--map-column-hive <arg\> | sqoop.args.map.column.hive | Override mapping for specific column to hive types. |
-### HBase arguments
+### 4.8 HBase arguments
| 参数 | key | 说明 |
| --------------------------------------------------------------------------------------------------------------------- | --------------------------------------- | ------------------------------------------------------------------------------------------------------------------ |
@@ -393,7 +391,7 @@ object SqoopOnceJobTest extends App {
| | | |
-### HCatalog arguments
+### 4.9 HCatalog arguments
| 参数 | key | 说明 |
| --------------------------------------------------------------------------------------------------------------------- | --------------------------------------- | ------------------------------------------------------------------------------------------------------------------ |
@@ -413,7 +411,7 @@ object SqoopOnceJobTest extends App {
| | | |
-### Accumulo arguments
+### 4.10 Accumulo arguments
| 参数 | key | 说明 |
| --------------------------------------------------------------------------------------------------------------------- | --------------------------------------- | ------------------------------------------------------------------------------------------------------------------ |
@@ -430,7 +428,7 @@ object SqoopOnceJobTest extends App {
| \--accumulo-zookeepers <zookeepers\> | sqoop.args.accumulo.zookeepers | Comma-separated list of zookeepers (host:port) |
| | | |
-### Code generation arguments
+### 4.11 Code generation arguments
| 参数 | key | 说明 |
| --------------------------------------------------------------------------------------------------------------------- | --------------------------------------- | ------------------------------------------------------------------------------------------------------------------ |
@@ -446,7 +444,7 @@ object SqoopOnceJobTest extends App {
| \--package-name <name\> | sqoop.args.package.name | Put auto-generated classes in this package |
| | | |
-### Generic Hadoop command-line arguments
+### 4.12 Generic Hadoop command-line arguments
>must preceed any tool-specific arguments,Generic options supported are
| 参数 | key | 说明 |
diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/current/introduction.md b/i18n/zh-CN/docusaurus-plugin-content-docs/current/introduction.md
index 3605cd224..4aaac6e65 100644
--- a/i18n/zh-CN/docusaurus-plugin-content-docs/current/introduction.md
+++ b/i18n/zh-CN/docusaurus-plugin-content-docs/current/introduction.md
@@ -13,7 +13,7 @@ Linkis 自2019年开源发布以来，已累计积累了700多家试验企业和
## 核心特点
- **丰富的底层计算存储引擎支持**。
- **目前支持的计算存储引擎**：Spark、Hive、Flink、Python、Pipeline、Sqoop、OpenLookEng、JDBC和Shell等。
+ **目前支持的计算存储引擎**：Spark、Hive、Flink、Python、Pipeline、Sqoop、openLookEng、JDBC和Shell等。
**正在支持中的计算存储引擎**：Presto(计划1.2.0)、ElasticSearch(计划1.2.0)等。
**支持的脚本语言**：SparkSQL, HiveQL, Python, Shell, Pyspark, R, Scala 和JDBC 等。
- **强大的计算治理能力**。基于Orchestrator、Label Manager和定制的Spring Cloud Gateway等服务，Linkis能够提供基于多级标签的跨集群/跨IDC 细粒度路由、负载均衡、多租户、流量控制、资源控制和编排策略(如双活、主备等)支持能力。
@@ -25,7 +25,7 @@ Linkis 自2019年开源发布以来，已累计积累了700多家试验企业和
- **数据源对应的元数据查询**。提供了hive、es、mysql、kafka元数据的数据库、表、分区查询。
## 支持的引擎类型
-| **引擎名** | **支持底层组件版本<br/>(默认依赖版本)** | **Linkis 1.X 版本要求** | **是否默认包含在<br/>发布包中** | **说明** |
+| **引擎名** | **支持底层组件版本<br/>(默认依赖版本)** | **Linkis 1.X 版本要求** | **是否默认包含在发布包中** | **说明** |
|:---- |:---- |:---- |:---- |:---- |
|Spark|Apache 2.0.0~2.4.7, <br/>CDH >= 5.4.0, <br/>（默认Apache Spark 2.4.3）|\>=1.0.0_rc1|是|Spark EngineConn， 支持SQL, Scala, Pyspark 和R 代码|
|Hive|Apache >= 1.0.0, <br/>CDH >= 5.4.0, <br/>（默认Apache Hive 2.3.3）|\>=1.0.0_rc1|是|Hive EngineConn， 支持HiveQL 代码|
@@ -34,11 +34,11 @@ Linkis 自2019年开源发布以来，已累计积累了700多家试验企业和
|JDBC|MySQL >= 5.0, Hive >=1.2.1, <br/>(默认Hive-jdbc 2.3.4)|\>=1.0.0_rc1|否|JDBC EngineConn， 已支持MySQL 和HiveQL，可快速扩展支持其他有JDBC Driver 包的引擎, 如Oracle|
|Flink |Flink >= 1.12.2, <br/>(默认Apache Flink 1.12.2)|\>=1.0.2|否|Flink EngineConn， 支持FlinkSQL 代码，也支持以Flink Jar 形式启动一个新的Yarn 应用程序|
|Pipeline|-|\>=1.0.2|否|Pipeline EngineConn， 支持文件的导入和导出|
-|OpenLookEng|OpenLookEng >= 1.5.0, <br/>(默认OpenLookEng 1.5.0)|\>=1.1.1|否|LooKengEng EngineConn， 支持用Sql查询数据虚拟化引擎LooKengEng|
+|openLookEng|openLookEng >= 1.5.0, <br/>(默认openLookEng 1.5.0)|\>=1.1.1|否|openLooKeng EngineConn， 支持用Sql查询数据虚拟化引擎openLooKeng|
|Sqoop| Sqoop >= 1.4.6, <br/>(默认Apache Sqoop 1.4.6)|\>=1.1.2|否|Sqoop EngineConn， 支持 数据迁移工具 Sqoop 引擎|
|Impala|Impala >= 3.2.0, CDH >=6.3.0|ongoing|-|Impala EngineConn，支持Impala SQL 代码|
|Presto|Presto >= 0.180|ongoing|-|Presto EngineConn， 支持Presto SQL 代码|
-|ElasticSearch|ElasticSearch >=6.0||ongoing|-|ElasticSearch EngineConn， 支持SQL 和DSL 代码|
+|ElasticSearch|ElasticSearch >=6.0|ongoing|-|ElasticSearch EngineConn， 支持SQL 和DSL 代码|
|MLSQL| MLSQL >=1.1.0|ongoing|-|MLSQL EngineConn， 支持MLSQL 代码.|
|Hadoop|Apache >=2.6.0, <br/>CDH >=5.4.0|ongoing|-|Hadoop EngineConn， 支持Hadoop MR/YARN application|
|TiSpark|1.1|ongoing|-|TiSpark EngineConn， 支持用SparkSQL 查询TiDB|
@@ -48,9 +48,9 @@ Linkis 自2019年开源发布以来，已累计积累了700多家试验企业和
## 下载
请前往[Linkis releases 页面](https://linkis.apache.org/zh-CN/download/main) 下载Linkis 已编译的部署安装包或源码包。
-## 编译和安装部署
-请参照[编译指引](development/linkis_compile_and_package.md) 来编译Linkis 源码。
-请参考[安装部署文档](deployment/quick_deploy.md) 来部署Linkis。
+## 安装部署
+
+请参考[安装部署文档](deployment/quick_deploy.md) 来部署Linkis
## 示例和使用指引
- [用户手册](user_guide/overview.md)
diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/current/upgrade/overview.md b/i18n/zh-CN/docusaurus-plugin-content-docs/current/upgrade/overview.md
deleted file mode 100644
index 6b78e0314..000000000
--- a/i18n/zh-CN/docusaurus-plugin-content-docs/current/upgrade/overview.md
+++ /dev/null
@@ -1,9 +0,0 @@
----
-title: 总览
-sidebar_position: 0
----
-Linkis1.0 与 Linkis0.X的架构差异巨大，且安装部署包和数据库表结构存在一定程度的修改，在您正式安装 Linkis1.0 之前，请您仔细阅读以下说明：
-
-1. 如果您是第一次安装使用 Linkis，或重装 Linkis，您无需关注 Linkis 升级指南。
-
-2. 如果您是从Linkis0.X 升级到 Linkis1.0，请一定要仔细阅读 [Linkis从0.X升级到1.0指南](upgrade_from_0.X_to_1.0_guide)
\ No newline at end of file
diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/current/upgrade/upgrade_from_0.X_to_1.0_guide.md b/i18n/zh-CN/docusaurus-plugin-content-docs/current/upgrade/upgrade_from_0.X_to_1.0_guide.md
index a9f0be74c..55d8b3aa8 100644
--- a/i18n/zh-CN/docusaurus-plugin-content-docs/current/upgrade/upgrade_from_0.X_to_1.0_guide.md
+++ b/i18n/zh-CN/docusaurus-plugin-content-docs/current/upgrade/upgrade_from_0.X_to_1.0_guide.md
@@ -1,21 +1,21 @@
---
-title: 1.0升级指南
+title: 0.x到1.0的升级指南
sidebar_position: 1
---
-> 本文简单介绍Linkis从0.X升级到1.0的注意事项，Linkis1.0 对Linkis的多个服务进行了调整，改动较大，本文将介绍从0.X到1.X升级过程中的注意事项。
+> 本文简单介绍Linkis从0.X升级到1.0.0(1.0.1/1.0.2)的注意事项，Linkis1.0 对Linkis的多个服务进行了调整，改动较大，本文将介绍从0.X到1.X升级过程中的注意事项。
## 1. 注意事项
- **如果您是首次接触并使用Linkis，您可以忽略该章节；如果您已经是 Linkis 的使用用户，安装或升级前建议先阅读：[Linkis1.0 与 Linkis0.X 的区别简述](architecture/difference_between_1.0_and_0.x.md)**。
+**如果您是首次接触并使用Linkis，您可以忽略该章节；如果您已经是 Linkis 的使用用户，安装或升级前建议先阅读：[Linkis1.0 与 Linkis0.X 的区别简述](architecture/difference_between_1.0_and_0.x.md)**。
## 2. 服务升级安装
- 因为1.0基本上对所有服务进行了升级，包括服务名进行了修改，所以0.X到1.X升级时服务需要进行重新安装。
+因为1.0基本上对所有服务进行了升级，包括服务名进行了修改，所以0.X到1.X升级时服务需要进行重新安装。
- 在安装时如果需要保留0.X的数据，一定要选择1跳过建表语句（见下面代码）。
+在安装时如果需要保留0.X的数据，一定要选择1跳过建表语句（见下面代码）。
- Linkis1.0 的安装可以参考[如何快速安装使用Linkis-1.0](deployment/quick_deploy.md)
+Linkis1.0 的安装可以参考[如何快速安装](deployment/quick_deploy.md)
```
Do you want to clear Linkis table information in the database?
@@ -27,11 +27,11 @@ Please input the choice: ## choice 1
```
## 3. 数据库升级
- 服务安装完成后，需要对数据库进行结构修改，包括进行表结构变更和新增表和数据：
+ 服务安装完成后，需要对数据库进行结构修改，包括进行表结构变更和新增表和数据：
### 3.1 表结构修改部分：
- linkis_task 表新增了submit_user和label_json字段，更新语句是：
+ linkis_task 表新增了submit_user和label_json字段，更新语句是：
```mysql-sql
ALTER TABLE linkis_task ADD submit_user varchar(50) DEFAULT NULL COMMENT 'submitUser name';
@@ -52,17 +52,17 @@ Please input the choice: ## choice 1
### 3.3 publicservice-Configuration表修改
- 为了支持Linkis1.X 的全标签化能力，configuration模块相关数据表已全部升级为标签化，和0.X的Configuration表完全不同，需要重新执行建表语句和初始化语句。
+ 为了支持Linkis1.X 的全标签化能力，configuration模块相关数据表已全部升级为标签化，和0.X的Configuration表完全不同，需要重新执行建表语句和初始化语句。
- 这意味着，**Linkis0.X 用户已有的引擎配置参数，已无法迁移到Linkis1.0之中**（建议用户重新配置一次引擎参数）。
+ 这意味着，**Linkis0.X 用户已有的引擎配置参数，已无法迁移到Linkis1.0之中**（建议用户重新配置一次引擎参数）。
- 执行建表语句如下：
+ 执行建表语句如下：
```mysql-sql
source linkis_configuration.sql
```
- 执行初始化语句，因为 Linkis1.0 支持对接多版本的引擎，所以执行初始化语句时，一定需要修改对应引擎的版本，如下所示。
+ 执行初始化语句，因为 Linkis1.0 支持对接多版本的引擎，所以执行初始化语句时，一定需要修改对应引擎的版本，如下所示。
```mysql-sql
vim linkis_configuration_dml.sql
@@ -75,4 +75,4 @@ Please input the choice: ## choice 1
## 4. 安装Linkis1.0
- 启动Linkis1.0，验证服务是否已正常启动并对外提供服务，具体请参考： [如何快速安装使用Linkis-1.0](deployment/quick_deploy.md)
+ 启动Linkis1.0，验证服务是否已正常启动并对外提供服务，具体请参考： [如何快速安装](deployment/quick_deploy.md)
diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/current/upgrade/upgrade_guide.md b/i18n/zh-CN/docusaurus-plugin-content-docs/current/upgrade/upgrade_guide.md
new file mode 100644
index 000000000..d80072260
--- /dev/null
+++ b/i18n/zh-CN/docusaurus-plugin-content-docs/current/upgrade/upgrade_guide.md
@@ -0,0 +1,169 @@
+---
+title: 1.0.3以上的版本升级
+sidebar_position: 2
+---
+
+> 本文简单介绍1.0.3以上的版本的升级大体流程
+
+
+## 1 升级说明
+
+- 如果是第一次安装使用 Linkis，或重装 Linkis，无需关注 Linkis 升级指南。
+- 如果涉及到其他平台的组件（DataSphereStudio/Qualitis/Visualis等），升级前，请确认版本之间的兼容性，最好使用推荐的版本。
+- 建议通过软链方式来进行版本管控，可以通过修改软链的目标地址 来切换版本 如:`linkis -> /appcom/Install/LinkisInstall/linkis-1.1.3.20220615210213`
+- 升级过程主要是需要关注数据库表结构的调整和部分配置参数的调整
+- 除了后端服务的升级，linkis的管理台资源也需要一并升级
+- 每个版本的主要变动点 可以查阅版本的总览信息`https://linkis.apache.org/zh-CN/docs/x.x.x /release` 以及版本[release-note](https://linkis.apache.org/zh-CN/download/main):https://linkis.apache.org/zh-CN/download/main
+- 每个版本的数据库变化/配置参数变化 都是基于上一个版本
+
+## 2 服务升级安装
+
+按[部署指引文档](../deployment/quick_deploy)（文档中关于管理台的安装可以跳过），进行新版本的安装。
+
+安装服务时，如果历史数据保留，请保留历史数据，如果无需保留数据，直接重装即可
+```shell script
+Do you want to clear Linkis table information in the database?
+ 1: Do not execute table-building statements
+ 2: Dangerous! Clear all data and rebuild the tables
+ other: exit
+
+Please input the choice: ## choice 1
+```
+
+## 3. 数据库表升级
+>服务安装完成后，需要对数据库进行结构修改，包括进行表结构变更和表数据变更
+
+
+找到对应的版本`db/upgrade/x.x.x-schema/` sql变动文件
+
+如果是跨多个版本执行，请按版本顺序，依次执行，
+如果某些版本没有x.x.x_schema(linkis>=1.1.0版本后，只要涉及到数据库表的调整，都会有对应版本的schema文件),则表示该版本没有数据表的变化
+```shell script
+├── linkis_ddl.sql # 当前版本的全量ddl 数据库定义语言 建表语句
+├── linkis_dml.sql # 当前版本的全量dml 数据操纵语言 数据的增改
+└── upgrade
+ ├── 1.1.0_schema # 对应版本的sql
+ │ └── mysql
+ │ ├── linkis_ddl.sql
+ │ └── linkis_dml.sql
+ ├── 1.1.1_schema
+ │ └── mysql
+ │ ├── linkis_ddl.sql
+ │ └── linkis_dml.sql
+ └── 1.1.3_schema
+ └── mysql
+ └── linkis_ddl.sql
+```
+
+```mysql-sql
+ #如果是跨多个版本执行，请按版本顺序，依次执行 先执行ddl 再执行ddl
+ #比如当前从linkis-1.0.3 升级到linkis-1.1.2
+ source upgrade/1.1.0_schema/mysql/linkis_ddl.sql
+ source upgrade/1.1.0_schema/mysql/linkis_dml.sql
+
+ source upgrade/1.1.1_schema/mysql/linkis_ddl.sql
+ source upgrade/1.1.1_schema/mysql/linkis_dml.sql
+
+```
+## 4 数据的调整(可选)
+>按实际情况，决定是否需要做如下调整
+
+### 4.1 TOKEN 配置
+用于接口调用是的认证
+1.1.1 版本调整将原来的TOKEN配置从`${LINKIS_HOME}/conf/token.properties`迁移到数据库表`linkis_mg_gateway_auth_token`,
+对于原来在`token.properties`额外配置的TOKEN，需要手动迁移表中
+### 4.2 UDF 调整
+1.1.1 中支持支持UDF多版本控制、UDF存储到BML的功能特性，UDF函数存储的表结构有调整，UDF的历史数据，需要单独进行迁移
+
+### 4.3 Session 字段key配置
+
+1.1.1 版本中调整了session字段的key，从`bdp-user-ticket-id`-> 调整为 `linkis_user_session_ticket_id_v1`，
+如果是对Linkis的升级。同时部署DSS或者其他项目，但他们服务lib包中，所依赖的Linkis的linkis-module-x.x.x.jar包 <1.1.1，则需要修改位于`${LINKIS_HOME}/conf/linkis.properties`文件
+```shell
+echo "wds.linkis.session.ticket.key=bdp-user-ticket-id" >> linkis.properties
+```
+### 4.4 默认队列的调整
+1.1.1 开始调整了yarn队列默认集群名`wds.linkis.rm.cluster` sit调整为default，如果一直使用的sit，请修改表数据
+`linkis_cg_rm_external_resource_provider`中的集群名
+
+### 4.5 其他相关包的拷贝
+
+如果之前老版本Linkis中`${LINKIS_HOME_OLD}/lib/linkis-engineconn-plugins`有安装第三方appconn插件，需要拷贝至新版本中，
+最好通过软链链接到appconn路径上
+如:
+```
+#查看老版本是否有安装第三方appconn
+cd ${LINKIS_HOME_OLD}/lib/linkis-engineconn-plugins/
+ll
+ appconn -> /appcom/Install/LinkisInstall/appconn
+
+
+#新版本保持一致
+cd ${LINKIS_HOME}/lib/linkis-engineconn-plugins/
+#软链
+ln -snf /appcom/Install/LinkisInstall/appconn appconn
+```
+
+
+如果原来版本有安装dss，需要拷贝原来包中的`dss-gateway-support-x.x.x.jar` 至linkis的`./lib/linkis-spring-cloud-services/linkis-mg-gateway/`目录下
+如:
+```shell script
+cp ${LINKIS_HOME_OLD}/lib/linkis-spring-cloud-services/linkis-mg-gateway/dss-gateway-support-1.1.3.jar ${LINKIS_HOME}/lib/linkis-spring-cloud-services/linkis-mg-gateway/dss-gateway-support-1.1.3.jar
+
+```
+
+## 5 管理台的更新
+
+> 升级后端，同时也需要升级对应的管理台资源，无需执行管理台的安装，直接替换掉静态资源即可
+
+### 5.1 下载前端安装包并解压
+上传至管理台所在的服务器上 ，解压
+```shell script
+tar -xvf apache-linkis-x.x.x-incubating-web-bin.tar.gz
+```
+
+
+### 5.2 升级
+>管理台升级方式比较多，因为只是资源的更新，可以通过管理台安装脚本来进行，也可以直接覆盖掉原有的资源，
+>推荐使用软链方式来进行，只需呀修改软链的目标地址即可，下面以新建版本资源路径方式为例
+
+nginx配置文件默认是 在`/etc/nginx/conf.d/*`
+nginx的日志文件在 `/var/log/nginx/access.log` 和`/var/log/nginx/error.log`
+
+场景1： 如果是集成再DSS项目中，修改DSS项目中linkis管理台资源的地址指向
+dss的nginx配置文件默认是 在`/etc/nginx/conf.d/dss.conf`
+```nginx
+#示例
+ server {
+ ......
+ location dss/linkis {
+ alias /appcom/Install/linkis-web-newversion/dist; # 静态文件目录
+ index index.html index.html;
+ }
+ .....
+ }
+```
+
+场景2：如果linkis是独立部署
+修改Nginx的配置,静态资源地址 指向新版本的linkis管理台
+linkis的nginx配置文件默认是 在`/etc/nginx/conf.d/dss.conf`
+```nginx
+#示例
+ server {
+ ......
+ location dss/linkis {
+ alias /appcom/Install/linkis-web-newversion/dist; # 静态文件目录
+ index index.html index.html;
+ }
+ ......
+ }
+```
+
+重新加载nginx 配置
+```
+sudo nginx -s reload
+```
+
+### 5.3 注意事项
+
+- 管理台升级后，因为浏览器可能存在缓存，如果要验证效果，最好清空下浏览器缓存
\ No newline at end of file
diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-0.11.0/deployment/engine_conn_plugin_installation.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-0.11.0/deployment/engine_conn_plugin_installation.md
index ebe45d521..46c21af77 100644
--- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-0.11.0/deployment/engine_conn_plugin_installation.md
+++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-0.11.0/deployment/engine_conn_plugin_installation.md
@@ -9,7 +9,7 @@ sidebar_position: 5
在linkis1.0以后引擎是由引擎管理服务进行管理的，引擎插件支持实时生效。为了方便引擎管理服务能够通过标签加载到对应的引擎插件，需要按照如下目录结构进行打包(已hive为例)：
```
hive:引擎主目录，必须为引擎的名字
- └── dist # 引擎启动需要的依赖和配置，引擎不同的版本需要在该目录防止对应的版本目录
+ └── dist # 引擎启动需要的依赖和配置，引擎不同的版本需要在该目录放置对应的版本目录
└── v1.2.1 #必须以v开头加上引擎版本号1.2.1
└── conf # 引擎需要的配置文件目录
└── lib # 引擎插件需要的依赖包
diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.0.2/deployment/engine_conn_plugin_installation.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.0.2/deployment/engine_conn_plugin_installation.md
index b26e71c38..ad6868aeb 100644
--- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.0.2/deployment/engine_conn_plugin_installation.md
+++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.0.2/deployment/engine_conn_plugin_installation.md
@@ -14,7 +14,7 @@ sidebar_position: 3
**请注意： 因为现在标签是通过-来进行拆分值的所以版本里面不能出现-如果出现可以通过用其他符号代替，比如engineType：hive-cdh-2.3.3，会拆分错，您可以直接使用这个：hive-2.3.3，**
```
hive:引擎主目录，必须为引擎的名字
- └── dist # 引擎启动需要的依赖和配置，引擎不同的版本需要在该目录防止对应的版本目录
+ └── dist # 引擎启动需要的依赖和配置，引擎不同的版本需要在该目录放置对应的版本目录
└── v2.3.3 #必须以v开头加上引擎版本号2.3.3
└── conf # 引擎需要的配置文件目录
└── lib # 引擎插件需要的依赖包
diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.0.2/deployment/quick_deploy.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.0.2/deployment/quick_deploy.md
index a77bba08a..10054a2e1 100644
--- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.0.2/deployment/quick_deploy.md
+++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.0.2/deployment/quick_deploy.md
@@ -256,5 +256,5 @@ Linkis1.0 默认已适配的引擎列表如下：
#### (3)、查看服务是否正常
-1. 服务启动成功后您可以通过，安装前端管理台，来检验服务的正常性，[点击跳转管理台安装文档](deployment/web_install.md)
+1. 服务启动成功后您可以通过，安装前端管理台，来检验服务的正常性，[点击跳转管理台安装文档](web_install.md)
2. 您也可以通过Linkis用户手册来测试Linis是否能正常运行任务，[点击跳转用户手册](user_guide/overview.md)
diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.0.3/deployment/engine_conn_plugin_installation.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.0.3/deployment/engine_conn_plugin_installation.md
index c5c195bb2..793a1e639 100644
--- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.0.3/deployment/engine_conn_plugin_installation.md
+++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.0.3/deployment/engine_conn_plugin_installation.md
@@ -14,7 +14,7 @@ sidebar_position: 3
**请注意： 因为现在标签是通过-来进行拆分值的所以版本里面不能出现-如果出现可以通过用其他符号代替，比如engineType：hive-cdh-2.3.3，会拆分错，您可以直接使用这个：hive-2.3.3，**
```
hive:引擎主目录，必须为引擎的名字
- └── dist # 引擎启动需要的依赖和配置，引擎不同的版本需要在该目录防止对应的版本目录
+ └── dist # 引擎启动需要的依赖和配置，引擎不同的版本需要在该目录放置对应的版本目录
└── v2.3.3 #必须以v开头加上引擎版本号2.3.3
└── conf # 引擎需要的配置文件目录
└── lib # 引擎插件需要的依赖包
diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.1.0/deployment/engine_conn_plugin_installation.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.1.0/deployment/engine_conn_plugin_installation.md
index 8eb08d0b5..6b6d768d7 100644
--- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.1.0/deployment/engine_conn_plugin_installation.md
+++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.1.0/deployment/engine_conn_plugin_installation.md
@@ -14,7 +14,7 @@ sidebar_position: 3
**请注意： 因为现在标签是通过-来进行拆分值的所以版本里面不能出现-如果出现可以通过用其他符号代替，比如engineType：hive-cdh-2.3.3，会拆分错，您可以直接使用这个：hive-2.3.3，**
```
hive:引擎主目录，必须为引擎的名字
- └── dist # 引擎启动需要的依赖和配置，引擎不同的版本需要在该目录防止对应的版本目录
+ └── dist # 引擎启动需要的依赖和配置，引擎不同的版本需要在该目录放置对应的版本目录
└── v2.3.3 #必须以v开头加上引擎版本号2.3.3
└── conf # 引擎需要的配置文件目录
└── lib # 引擎插件需要的依赖包
diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.1.1/deployment/cluster_deployment.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.1.1/deployment/cluster_deployment.md
index ea39ffb05..d27e6b860 100644
--- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.1.1/deployment/cluster_deployment.md
+++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.1.1/deployment/cluster_deployment.md
@@ -3,8 +3,6 @@ title: 分布式部署
sidebar_position: 2
---
-分布式部署方案
-==================
Linkis的单机部署方式简单，过多的进程在同一个服务器上会让服务器压力过大，生产环境为了保证服务的高可用，推荐使用分部署部署。
部署方案的选择，和公司的用户规模、用户使用习惯、集群同时使用人数都有关，一般来说，我们会以使用Linkis的同时使用人数和用户对执行引擎的偏好来做依据进行部署方式的选择。
@@ -14,21 +12,28 @@ Linkis的每个微服务都支持多活的部署方案，当然不同的微服
**在安装EngineConnManager的机器上，由于会启动用户的引擎进程，机器的内存负载会比较高，其他类型的微服务对机器的负载则相对不会很高，
**对于这类微服务我们建议启动多个进行分布式部署，Linkis动态使用的总资源可以按照如下方式计算。
-**EngineConnManager**使用总资源 = 总内存 + 总核数 =
-
-**同时在线人数 \* (所有类型的引擎占用内存) \*单用户最高并发数+ 同时在线人数 \*
+**EngineConnManager**使用总资源<br/>
+= 总内存 + 总核数 <br/>
+= **同时在线人数 \* (所有类型的引擎占用内存) \*单用户最高并发数+ 同时在线人数 \*
(所有类型的引擎占用核数) \*单用户最高并发数**
例如：
-只使用spark、hive、python引擎且单用户最高并发数为1的情况下，同时使用人数50人，Spark的Driver内存1G，Hive
-Client内存1G，python client 1G，每个引擎都使用1个核，那么就是 50 \*（1+1+1）G \*
-1 + 50 \*(1+1+1)核\*1 = 150G 内存 + 150 CPU核数。
+```html
+
+只使用spark、hive、python引擎且单用户最高并发数为1的情况下，同时使用人数50人，
+spark的Driver内存1G，hive client内存1G，python client 1G，每个引擎都使用1个核
+
+EngineConnManager（ECM）使用总资源
+= 50 *（1+1+1）G *1 + 50 *(1+1+1)核*1
+= 150G 内存 + 150 CPU核
+```
+
分布式部署时微服务本身占用的内存可以按照每个2G计算，对于使用人数较多的情况下建议调大ps-publicservice的内存至6G，同时建议预留10G内存作为buffer。
以下配置假设**每个用户同时启动两个引擎为例**，**对于64G内存的机器**，参考配置如下：
-- 同时在线人数10-50
+### 1.1 同时在线人数10-50
**EngineConnManager**使用总资源 = 总内存 + 总核数 =
**同时在线人数 \* (所有类型的引擎占用内存) \*单用户最高并发数+ 同时在线人数 \*
(所有类型的引擎占用核数) \*单用户最高并发数**
@@ -42,7 +47,7 @@ Client内存1G，python client 1G，每个引擎都使用1个核，那么就是
| cg-engineconnmanager | S1、S2(共128G)| 每台机器单独部署 |
| Other services | S3、S4 | Eureka高可用部署 |
-- 同时在线人数50-100
+### 1.2 同时在线人数50-100
总内存:同时在线人数 100 * 单个引擎 1G内存 * 每个用户同时启动两个引擎 2 = 200G内存
@@ -53,7 +58,7 @@ Client内存1G，python client 1G，每个引擎都使用1个核，那么就是
| cg-engineconnmanager | S1-S4(共256G)| 每台机器单独部署 |
| Other services | S5、S6 | Eureka高可用部署 |
-- 同时使用人数 100-300
+### 1.3 同时使用人数 100-300
总内存:同时在线人数 300 * 单个引擎 1G内存 * 每个用户同时启动两个引擎 2 = 600G内存
@@ -65,18 +70,18 @@ Client内存1G，python client 1G，每个引擎都使用1个核，那么就是
| cg-engineconnmanager | S1-S10(共640G)| 每台机器单独部署 |
| Other services | S11、S12 | Eureka高可用部署 |
-- 同时使用人数300-500
+### 1.4 同时使用人数300-500
-> **服务器配置推荐**：20台服务器，分别命名为S1,S2..S20
+> **服务器配置推荐**：20台服务器，分别命名为S1,S2..S20
| Service | Host name | Remark |
|----------------------|-----------|----------------------------------------------------------------------------------------------|
| cg-engineconnmanager | S1-S18 | 每台机器单独部署 |
| Other services | S19、S20 | Eureka高可用部署，部分微服务如果请求量上万可以考虑扩容，目前双活部署可以支持行内上千用户使用 |
-- 同时使用人数500以上（按照同时在线800人估算）
-
-> **服务器配置推荐**：34台服务器，分别命名为S1,S2..S34
+### 1.5 同时使用人数500以上
+> 按照同时在线800人估算
+> **服务器配置推荐**：34台服务器，分别命名为S1,S2..S34
| Service | Host name | Remark |
|----------------------|-----------|----------------------------------------------------------------------------------------------|
@@ -98,6 +103,7 @@ Client内存1G，python client 1G，每个引擎都使用1个核，那么就是
### 2.2 Eureka多活配置调整
注册中心Eureka服务，需要部署在服务器A和服务器B上，
+
修改Eureka配置文件,把两台Eureka的配置地址都加上，让Eureka服务之间相互注册。
在服务器A上，进行如下配置修改
@@ -109,6 +115,7 @@ eureka:
serviceUrl:
defaultZone: http:/eurekaIp1:port1/eureka/,http:/eurekaIp2:port2/eureka/
+
修改 $LINKIS_HOME/conf/linkis.properties 配置
wds.linkis.eureka.defaultZone=http:/eurekaIp1:port1/eureka/,http:/eurekaIp2:port2/eureka/
@@ -137,6 +144,7 @@ sbin/linkis-stop-all.sh
```
+
## 3 注意事项
- 分部署部署时，linkis的安装目录建议保持一致，方便统一管控，相关的配置文件最好也保持一致
- 如果某些服务器，端口已被其他应用占用，无法使用时，需要调整该服务端口
diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.1.1/deployment/engine_conn_plugin_installation.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.1.1/deployment/engine_conn_plugin_installation.md
index 0cec2f04d..70d1f9db9 100644
--- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.1.1/deployment/engine_conn_plugin_installation.md
+++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.1.1/deployment/engine_conn_plugin_installation.md
@@ -3,60 +3,95 @@ title: 引擎的安装
sidebar_position: 3
---
-> 本文主要介绍Linkis引擎插件的使用，主要从编译、安装等方面进行介绍
+> 本文主要介绍对于官方安装包中，未包含的引擎物料(jdbc/sqoop/flink等)/或则自定义实现的新引擎，如何进行安装部署，以支持对应的任务
-## 1. 引擎插件的编译打包
+## 1 引擎插件目录结构
-linkis的引擎是由EngineConnManager进行管理的，引擎插件（EngineConnPlugin）支持实时生效。
+Linkis的引擎物料包安装目录为`${LINKIS_HOME}/lib/linkis-engineconn-plugins`，目录结构如下:
-为了方便 EngineConnManager 能够通过标签加载到对应的引擎插件，需要按照如下目录结构进行打包(以hive为例)：
+```html
+hive #引擎主目录，必须为引擎的名字
+│ ├── dist # 引擎启动需要的jar包依赖和配置，不同的版本需要在该目录放置对应的版本目录
+│ │ └── v2.3.3 # 版本号，必须以v开头加上引擎版本号，注意 不能出现-; 版本为2.3.3 任务请求参数的engineType 为hive-2.3.3
+│ │ └── conf # 引擎需要的配置文件目录
+│ │ └── lib # 引擎插件需要的依赖包
+│ ├── plugin #引擎插件目录，该目录用于引擎管理服务封装引擎的启动命令和资源申请
+│ └── 2.3.3 # 引擎版本,没有v开头
+│ └── linkis-engineplugin-hive-1.0.0.jar #引擎模块包（只需要放置单独的引擎包）
+├── python
+│ ├── dist
+│ │ └── vpython2
+│ └── plugin
+│ └── python2 #版本为python2 任务请求参数的engineTypee 为python-python2
-**请注意： 因为现在标签是通过-来进行拆分值的所以版本里面不能出现-如果出现可以通过用其他符号代替，比如engineType：hive-cdh-2.3.3，会拆分错，您可以直接使用这个：hive-2.3.3，**
-```
-hive:引擎主目录，必须为引擎的名字
- └── dist # 引擎启动需要的依赖和配置，引擎不同的版本需要在该目录防止对应的版本目录
- └── v2.3.3 #必须以v开头加上引擎版本号2.3.3
- └── conf # 引擎需要的配置文件目录
- └── lib # 引擎插件需要的依赖包
- └── plugin #引擎插件目录，该目录用于引擎管理服务封装引擎的启动命令和资源申请
- └── 2.3.3 # 引擎版本,没有V开头
- └── linkis-engineplugin-hive-1.0.0.jar #引擎模块包（只需要放置单独的引擎包）
```
-如果您是新增引擎，你可以参考hive的assembly配置方式，源码目录：`linkis-engineconn-plugins/engineconn-plugins/hive/src/main/assembly/distribution.xml`
+这里的物料包文件会在Linkis服务启动时候，会根据目录，解析出引擎和版本号，进行引擎物料的持久化存储(HDFS/本地文件系统中)，并将持久化存储信息(引擎类型和版本资源索引）
+记录到数据库表`linkis_cg_engine_conn_plugin_bml_resources`中。
+
+示例数据如下:
+
+| engine_conn_type | version | file_name | file_size | last_modified | bml_resource_id | bml_resource_version | create_time | last_update_time |
+| --- | --- | --- | ---: | ---: | --- | --- | --- | --- |
+| hive | v2.3.4 | conf.zip | 2046 | 1651925378000 | 4f0353ac-5703-4b4d-942d-dbaead38b506 | v000001 | 2022-05-07 20:17:45 | 2022-05-07 20:17:45 |
+| hive | v2.3.4 | lib.zip | 137715715 | 1651925379000 | 762595b5-a6d3-4311-8133-4f8d4e0c3aa0 | v000001 | 2022-05-07 20:17:52 | 2022-05-07 20:17:52 |
+
+提交任务执行时，会通过请求的参数`engineType`，从`linkis_cg_engine_conn_plugin_bml_resources`中查询到对应的资源索引，
+通过索引下载对应的引擎物料，并部署启动对应的引擎进程，再进行任务的处理。
+
+如 linkis-cli 提交hive查询示例
+```shell
+sh ./bin/linkis-cli -engineType hive-2.3.3 -codeType hql -code "show tables" -submitUser hadoop -proxyUser hadoop
+```
+
+:::caution 注意
+因为引擎执行时传递的参数`engineType:hive-2.3.3` 是通过-来进行拆分出引擎和版本的，所以版本号里面不能出现`-`，
+如果出现可以通过用其他符号代替，比如`engineType：hive-cdh-2.3.3`，会拆分错，可以直接使用这个：2.3.3 或则cdh_2.3.3 来命名引擎目录
+:::
+
+
+Linkis项目中包含的引擎模块`linkis-engineconn-plugins/engineconn-plugins`都是按这个目录进行打包配置的，
+如果是自己实现的新增引擎，需要按照上述的目录结构进行打包，可以参考hive的assembly配置方式来配置打包流程和配置，
+源码目录：`linkis-engineconn-plugins/engineconn-plugins/hive/src/main/assembly/distribution.xml`
+
+## 2. 引擎的安装
+
+### 2.1 引擎包的准备
-## 2. 引擎安装
+#### 方式1
+如果 [非默认引擎物料包](https://linkis.apache.org/zh-CN/blog/2022/04/15/how-to-download-engineconn-plugin)中有满足条件的，可以直接下载使用
-### 2.1 插件包安装
+#### 方式2 手动编译获取
+
+全量编译(首次编译时需要)
+```shell script
+cd ${linkis_code_dir}
+mvn -N install
+mvn clean install
```
-${linkis_code_dir}/linkis-enginepconn-lugins/engineconn-plugins/{插件模块名}/
+
+编译引擎
+```shell script
+cd linkis-enginepconn-pugins/engineconn-plugins/pipeline/
mvn clean install
```
-### 2.2 物料的部署和加载
-
-将 2.1 步编译出来的引擎包,位于
+编译出来的引擎包,位于
```bash
${linkis_code_dir}/linkis-engineconn-plugins/engineconn-plugins/{插件模块名}/target/out/{插件模块名}
```
-上传到服务器的引擎目录下
+
+### 2.2 部署和加载
+
+将 2.1 步编译出来的引擎包，上传到服务器的引擎目录下
```bash
${LINKIS_HOME}/lib/linkis-engineplugins
```
-### 2.3 引擎的资源目录
-（默认是`${LINKIS_HOME}/lib/linkis-engineconn-plugins`），linkis-cg-engineconnplugin服务启动时，会自动检测物料(引擎的配置文件和第三方Jar包)是否需要更新BML（物料库）中,引擎的目录结构如下所示。
-```
-${LINKIS_HOME}/lib/linkis-engineconn-plugins:
-└── hive
- └── dist
- └── plugin
-└── spark
- └── dist
- └── plugin
-```
+### 2.4 并配置默认的引擎版本(可选)
+
+> 主要是配置默认版本，当请求未带版本时 会使用默认版本
-### 2.4 并配置默认的引擎版本，方便没有带版本的任务进行提交(可选)
修改`$LINKIS_HOME/conf/linkis.properties` 配置文件
```html
wds.linkis.hive.engine.version=2.3.3
@@ -105,7 +140,8 @@ INNER JOIN linkis_cg_manager_label label ON relation.engine_type_label_id = labe
### 2.6 引擎刷新
-1. 引擎支持实时刷新，引擎放置到对应目录后，通过http接口向linkis-cg-engineconnplugin 服务发送刷新请求即可。
+#### 2.6.1 方式1 接口刷新
+引擎支持实时刷新，引擎放置到对应目录后，通过http接口向`linkis-cg-engineconnplugin` 服务发送刷新请求即可。
- 接口 `http://${engineconn-plugin-server-IP}:${port}/api/rest_j/v1/rpc/receiveAndReply`
@@ -117,7 +153,9 @@ INNER JOIN linkis_cg_manager_label label ON relation.engine_type_label_id = labe
}
```
-2. 重启刷新：通过重启也可以强制刷新引擎目录
+#### 2.6.2 方式2 重启刷新
+
+通过重启`linkis-cg-engineconnplugin` 服务，也可以强制刷新引擎目录
```bash
### cd到sbin目录下，重启linkis-cg-engineconnplugin服务
@@ -130,7 +168,9 @@ sh linkis-daemon.sh restart cg-engineplugin
```
-3. 检查引擎是否刷新成功：如果在刷新过程中遇到问题，需要确认是否刷新成功，则可以查看数据库中的linkis_engine_conn_plugin_bml_resources这张表的last_update_time是否为触发刷新的时间。
+#### 2.6.3 检查引擎是否刷新成功
+
+如果在刷新过程中遇到问题，需要确认是否刷新成功，则可以查看数据库中的`linkis_engine_conn_plugin_bml_resources`这张表的last_update_time是否为触发刷新的时间。
```sql
#登陆到linkis的数据库
select * from linkis_cg_engine_conn_plugin_bml_resources
diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.1.1/deployment/installation_hierarchical_structure.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.1.1/deployment/installation_hierarchical_structure.md
index dcdc66257..2730fe412 100644
--- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.1.1/deployment/installation_hierarchical_structure.md
+++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.1.1/deployment/installation_hierarchical_structure.md
@@ -1,58 +1,52 @@
---
-title: 安装后的程序目录结构
-sidebar_position: 4
+title: 部署后的目录结构
+sidebar_position: 4.5
---
-## 1. 目录结构
-Linkis1.0简化后的目录结构如下，其中加`**`标注的文件，为用户安装使用时必定会使用的目录项，其他目录项初次使用无特殊情况无需关心：
-```
-├── bin
-│ ├── linkis-cli
-│ ├── linkis-cli-hive
-│ ├── linkis-cli-pre
-│ ├── linkis-cli-spark-sql
-│ ├── linkis-cli-spark-submit
-│ └── linkis-cli-sqoop
-├── conf 配置目录
-│ ├── application-eureka.yml
-│ ├── application-linkis.yml ──微服务通用yml
-│ ├── linkis-cg-engineconnmanager.properties
-│ ├── linkis-cg-engineplugin.properties
-│ ├── linkis-cg-entrance.properties
-│ ├── linkis-cg-linkismanager.properties
-│ ├── linkis-cli
-│ │ ├── linkis-cli.properties
-│ │ └── log4j2.xml
-│ ├── linkis-env.sh
-│ ├── linkis-mg-gateway.properties
-│ ├── linkis.properties
-│ ├── linkis-ps-cs.properties
-│ ├── linkis-ps-data-source-manager.properties
-│ ├── linkis-ps-metadatamanager.properties
-│ ├── linkis-ps-publicservice.properties
-│ ├── log4j2-console.xml
-│ ├── log4j2.xml
-│ └── token.properties(可选)
-├── db
-│ ├── linkis_ddl.sql ──数据库表定义SQL
-│ ├── linkis_dml.sql ──数据库表初始化SQL
-│ ├── module ──包含各个微服务的DML和DDL文件
-├── lib lib目录
-│ ├── linkis-commons ──公共依赖包
-│ ├── linkis-computation-governance ──计算治理模块的lib目录
-│ ├── linkis-engineconn-plugins ──所有引擎插件的lib目录
-│ ├── linkis-public-enhancements ──公共增强服务的lib目录
-│ └── linkis-spring-cloud-services ──SpringCloud的lib目录
-├── logs logs 日志目录
-│ ├── 2022-05
-│ │ ├── linkis-cg-engineconnmanager
-│ │ ├── linkis-cg-engineplugin
-│ │ ├── linkis-cg-entrance
-│ │ ├── linkis-cg-linkismanager
-│ │ ├── linkis-mg-eureka
-│ │ ├── linkis-mg-gateway
-│ │ ├── linkis-ps-cs
-│ │ └── linkis-ps-publicservice
+## 1 目录结构
+
+安装后`${LINKIS_HOME}`目录结构
+
+```html
+├── bin ── linkis-cli 用于向Linkis提交任务的Shell命令行程序
+│ ├── linkis-cli
+│ ├── linkis-cli-hive
+│ ├── linkis-cli-pre
+│ ├── linkis-cli-spark-sql
+│ ├── linkis-cli-spark-submit
+│ └── linkis-cli-sqoop
+├── conf 配置目录
+│ ├── application-eureka.yml
+│ ├── application-linkis.yml ── 微服务通用yml
+│ ├── linkis-cg-engineconnmanager.properties
+│ ├── linkis-cg-engineplugin.properties
+│ ├── linkis-cg-entrance.properties
+│ ├── linkis-cg-linkismanager.properties
+│ │── linkis-cli
+│ │ ├── linkis-cli.properties
+│ │ └── log4j2.xml
+│ ├── linkis-env.sh ── linkis 环境变量配置
+│ ├── linkis-mg-gateway.properties
+│ ├── linkis.properties ── linkis 服务的全局配合，所有微服务启动都会加载使用
+│ ├── linkis-ps-cs.properties
+│ ├── linkis-ps-data-source-manager.properties
+│ ├── linkis-ps-metadatamanager.properties
+│ ├── linkis-ps-publicservice.properties
+│ ├── log4j2.xml
+│ ├── proxy.properties(可选) proxy 代理用户模式的配置（>=1.1.1）
+│ └── token.properties(可选) token 模式认证的配置认证的token 1.1.1开始，用数据库存储
+├── db 数据库DML和DDL文件目录
+│ ├── linkis_ddl.sql ── 数据库表定义SQL
+│ ├── linkis_dml.sql ── 数据库表初始化SQL
+│ └── module ── 包含各个微服务的DML和DDL文件
+│ └── upgrade ── 针对每个版本 增量DML/DDL
+├── lib lib目录
+│ ├── linkis-commons ── 公共依赖包 大多服务启动时(linkis-mg-gateway除外) -cp 路径参数 都会加载这个目录
+│ ├── linkis-computation-governance ──计算治理模块的lib目录
+│ ├── linkis-engineconn-plugins ──所有引擎插件的lib目录
+│ ├── linkis-public-enhancements ──公共增强服务的lib目录
+│ └── linkis-spring-cloud-services ──SpringCloud的lib目录
+├── logs 日志目录
│ ├── linkis-cg-engineconnmanager-gc.log
│ ├── linkis-cg-engineconnmanager.log
│ ├── linkis-cg-engineconnmanager.out
@@ -66,11 +60,8 @@ Linkis1.0简化后的目录结构如下，其中加`**`标注的文件，为用
│ ├── linkis-cg-linkismanager.log
│ ├── linkis-cg-linkismanager.out
│ ├── linkis-cli
-│ │ ├── linkis-client.hadoop.log.20220506173421867398281
-│ │ ├── linkis-client.hadoop.log.20220506174717309123214
-│ │ ├── linkis-client.hadoop.log.20220506181154093620777
-│ │ ├── linkis-client.hadoop.log.20220506222334715024110
-│ │ └── linkis-client.hadoop.log.20220507100654982808251
+│ │ ├── linkis-client.hadoop.log.20220409162400037523664
+│ │ ├── linkis-client.hadoop.log.20220409162524417944443
│ ├── linkis-mg-eureka-gc.log
│ ├── linkis-mg-eureka.log
│ ├── linkis-mg-eureka.out
@@ -89,34 +80,38 @@ Linkis1.0简化后的目录结构如下，其中加`**`标注的文件，为用
│ ├── linkis-ps-publicservice-gc.log
│ ├── linkis-ps-publicservice.log
│ └── linkis-ps-publicservice.out
-├── pid 所有微服务的进程ID
-│ ├── linkis_cg-engineconnmanager.pid ──引擎管理器微服务
-│ ├── linkis_cg-engineplugin.pid ──引擎插件微服务
-│ ├── linkis_cg-entrance.pid ──引擎入口微服务
-│ ├── linkis_cg-linkismanager.pid ──linkis管理器微服务
-│ ├── linkis_mg-eureka.pid ──eureka微服务
-│ ├── linkis_mg-gateway.pid ──gateway微服务
-│ ├── linkis_ps-cs.pid ──上下文微服务
-│ ├── linkis_ps-data-source-manager.pid ──数据源管理微服务
-│ ├── linkis_ps-metadatamanager.pid ──元数据查询微服务
-│ └── linkis_ps-publicservice.pid ──公共微服务
-└── sbin
- ├── common.sh
- ├── ext ──各个微服务的启停脚本目录
- ├── kill-process-by-pid.sh
- ├── **linkis-daemon.sh** ── **快捷启停、重启单个微服务脚本**
- ├── **linkis-start-all.sh** ── **一键启动全部微服务脚本**
- └── **linkis-stop-all.sh** ── **一键停止全部微服务脚本**
+├── pid 所有微服务的进程ID
+│ ├── linkis_cg-engineconnmanager.pid ──引擎管理器微服务
+│ ├── linkis_cg-engineconnplugin.pid ──引擎插件微服务
+│ ├── linkis_cg-entrance.pid ──引擎入口微服务
+│ ├── linkis_cg-linkismanager.pid ──linkis管理器微服务
+│ ├── linkis_mg-eureka.pid ──eureka微服务
+│ ├── linkis_mg-gateway.pid ──gateway微服务
+│ ├── linkis_ps-cs.pid ──上下文微服务
+│ ├── linkis_ps-data-source-manager.pid --数据源微服务
+│ ├── linkis_ps-metadatamanager.pid --元数据管理微服务
+│ └── linkis_ps-publicservice.pid ──公共微服务
+└── sbin 微服务启停脚本目录
+ ├── ext ──各个微服务的启停脚本目录
+ ├── linkis-daemon.sh ── 快捷启停、重启单个微服务脚本
+ ├── linkis-start-all.sh ── 一键启动全部微服务脚本
+ └── linkis-stop-all.sh ── 一键停止全部微服务脚本
- ```
+```
+
+ ## 2 配置项修改
- ## 3. 配置项修改
+ 在执行完Linkis安装后，所有配置项位于conf目录下，
+ 如果需要进行配置项修改，修改配置`${LINKIS_HOME}/conf/*properties`文件后，重启对应的服务，
+ 如：`sh sbin/linkis-daemon.sh start ps-publicservice`。
+ 如果修改的是公共配置文件`application-eureka.yml/application-linkis.yml/linkis.properties`，需要重启所有服务`sh sbin/linkis-start-all.sh`
- 在执行完bin目录下的install.sh完成Linkis安装后，需要进行配置项修改，所有配置项位于con目录下，通常情况下需要修改db.sh、linkis.properties、linkis-env.sh三个配置文件，项目安装和配置可以参考文章《Linkis1.0安装》
+
+
- ## 4. 微服务启停
+ ## 3 微服务启停
-修改完配置项之后即可在sbin目录下启动微服务，所有微服务名称如下：
+所有微服务名称如下：
```
├── linkis-cg-engineconnmanager 引擎管理服务
├── linkis-cg-engineplugin 引擎插件管理服务
@@ -138,38 +133,35 @@ Linkis1.0简化后的目录结构如下，其中加`**`标注的文件，为用
| mg | Microservice Covernance | 微服务治理 |
| ps | Public Enhancement Service | 公共增强服务 |
- 以往启停单个微服务需要进入到各个微服务的bin目录下，执行start/stop脚本，在微服务较多的情况下启停比较麻烦，增加了很多额外的切换目录操作，Linkis1.0将所有的微服务启停相关的脚本放置在了sbin目录下，只需要执行单个入口脚本即可。
-
- **在Linkis/sbin目录下**：
-
+
+
```
- 1. 一次性启动所有微服务：
+# 一次性启动所有微服务：
sh linkis-start-all.sh
- 2. 一次性关停所有微服务
+# 一次性关停所有微服务
sh linkis-stop-all.sh
- 3. 启动单个微服务（服务名需要去掉linkis前缀如：mg-eureka）
+# 启动单个微服务（服务名需要去掉linkis前缀如：mg-eureka）
sh linkis-daemon.sh start service-name
例如: sh linkis-daemon.sh start mg-eureka
- 4. 关闭单个微服务
+# 关闭单个微服务
sh linkis-daemon.sh stop service-name
例如: sh linkis-daemon.sh stop mg-eureka
- 5. 重启单个微服务
+# 重启单个微服务
sh linkis-daemon.sh restart service-name
例如: sh linkis-daemon.sh restart mg-eureka
-
- 6. 查看单个微服务的状态
+# 查看单个微服务的状态
sh linkis-daemon.sh status service-name
diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/current/deployment/linkis_scriptis_install.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.1.1/deployment/linkis_scriptis_install.md
similarity index 99%
copy from i18n/zh-CN/docusaurus-plugin-content-docs/current/deployment/linkis_scriptis_install.md
copy to i18n/zh-CN/docusaurus-plugin-content-docs/version-1.1.1/deployment/linkis_scriptis_install.md
index 11babae85..5a83a4472 100644
--- a/i18n/zh-CN/docusaurus-plugin-content-docs/current/deployment/linkis_scriptis_install.md
+++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.1.1/deployment/linkis_scriptis_install.md
@@ -49,6 +49,7 @@ lerna bootstrap
> 如果不想本地运行查看，可以跳过此步
#### 3.2.1 配置linkis-gateway服务地址配置
+
如果是在本地启动服务，需要在代码中配置后端linkis-gateway服务地址，在`web/packages/dss/`目录下的`.env`文件，
打包部署时不需要进行配置
```shell script
diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.1.1/deployment/quick_deploy.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.1.1/deployment/quick_deploy.md
index 621fc4d78..a44d37519 100644
--- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.1.1/deployment/quick_deploy.md
+++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.1.1/deployment/quick_deploy.md
@@ -1,214 +1,207 @@
---
-title: 快速部署
+title: 快速单机部署
sidebar_position: 1
---
-## 1. 注意事项
+## 1. 首次安装准备事项
-<font color="red">
+### 1.1 Linux服务器
-因为mysql-connector-java驱动是GPL2.0协议，不满足Apache开源协议关于license的政策，因此从1.0.3版本开始，提供的Apache版本官方部署包，默认是没有mysql-connector-java-x.x.x.jar的依赖包，安装部署时需要添加依赖到对应的lib包中。
+**硬件要求**
+安装linkis 微服务近10个，至少3G内存。**每个微服务默认配置启动的jvm -Xmx 内存大小为 512M(内存不够的情况下，可以尝试调小至256/128M，内存足够情况下也可以调大)
-安装过程中遇到的问题，可以参考[排障指引](https://linkis.apache.org/zh-CN/blog/2022/02/21/linkis-deploy) https://linkis.apache.org/zh-CN/blog/2022/02/21/linkis-deploy
-</font>
+### 1.2 添加部署用户
+
+>部署用户: linkis核心进程的启动用户，同时此用户会默认作为管理员权限，<font color="red">部署过程中会生成对应的管理员登录密码，位于`conf/linkis-mg-gateway.properties`文件中</font>
+Linkis支持指定提交、执行的用户。linkis主要进程服务会通过`sudo -u ${linkis-user}` 切换到对应用户下，然后执行对应的引擎启动命令，所以引擎`linkis-engine`进程归属的用户是任务的执行者（因此部署用户需要有sudo权限，而且是免密的）
+以hadoop用户为例:
-**如果您已经是 Linkis 的使用用户，安装或升级前建议先阅读：[Linkis1.0 与 Linkis0.X 的区别简述](architecture/difference_between_1.0_and_0.x.md)**。
+先查看系统中是否已经有 hadoop 用户，若已经存在，则直接授权即可；若不存在，先创建用户，再授权。
-请注意：除了 Linkis1.0 安装包默认已经包含的：Python/Shell/Hive/Spark四个EngineConnPlugin以外，如果大家有需要，可以手动安装如 JDBC 引擎等类型的其他引擎，具体请参考 [EngineConnPlugin引擎插件安装文档](/docs/latest/deployment/engine_conn_plugin_installation)。
+查看是否已存在 hadoop 用户
+```shell script
+$ id hadoop
+uid=2001(hadoop) gid=2001(hadoop) groups=2001(hadoop)
+```
-Linkis1.0.3 默认已适配的引擎列表如下：
+若不存在，则需要创建 hadoop 用户，并加入 hadoop 用户组
+```shell script
+$ sudo useradd hadoop -g hadoop
+$ vi /etc/sudoers
+#免密配置
+hadoop ALL=(ALL) NOPASSWD: NOPASSWD: ALL
+```
-| 引擎类型 | 适配情况 | 官方安装包是否包含 |
-|---------------|------------|---|
-| Python | 1.0已适配 | 包含 |
-| JDBC | 1.0已适配 | **不包含** |
-| Flink | 1.0已适配 | **不包含** |
-| OpenLooKeng | 1.1.1已适配 | **不包含** |
-| Shell | 1.0已适配 | 包含 |
-| Hive | 1.0已适配 | 包含 |
-| Spark | 1.0已适配 | 包含 |
-| Pipeline | 1.0已适配 | **不包含** |
-| Presto | **1.0未适配** | **不包含** |
-| ElasticSearch | **1.0未适配** | **不包含** |
-| Impala | **1.0未适配** | **不包含** |
-| MLSQL | **1.0未适配** | **不包含** |
-| TiSpark | **1.0未适配** | **不包含** |
+<font color='red'>以下操作都是在hadoop用户下进行</font>
-## 2. 确定您的安装环境
-这里给出每个引擎的依赖信息列表：
-| 引擎类型 | 依赖环境 | 特殊说明 |
-|---|---|---|
-| Python| Python环境 | 日志和结果集如果配置hdfs://则依赖HDFS环境|
-| JDBC| 可以无依赖 | 日志和结果集路径如果配置hdfs://则依赖HDFS环境 |
-| Shell| 可以无依赖 | 日志和结果集路径如果配置hdfs://则依赖HDFS环境 |
-| Hive| 依赖Hadoop和Hive环境 | |
-| Spark| 依赖Hadoop/Hive/Spark | |
-**要求：安装Linkis需要至少3G内存。**
+## 2 配置修改
-默认每个微服务JVM堆内存为512M，可以通过修改`SERVER_HEAP_SIZE`来统一调整每个微服务的堆内存，如果您的服务器资源较少，我们建议修改该参数为128M。如下：
+### 2.1 安装包准备
-```bash
- vim ${LINKIS_HOME}/deploy-config/linkis-env.sh
-```
+- 方式1：从官网[下载地址](https://linkis.apache.org/zh-CN/download/main):https://linkis.apache.org/zh-CN/download/main，下载对应的安装包(项目安装包和管理台安装包)
+- 方式2：根据[Linkis 编译打包](../development/linkis_compile_and_package)和[前端管理台编译](../development/web_build) 自行编译出项目安装包和管理台安装包
-```bash
- # java application default jvm memory.
- export SERVER_HEAP_SIZE="128M"
-```
-
-----
+上传安装包`apache-linkis-x.x.x-incubating-bin.tar.gz`后，进行解压安装包
-## 3. Linkis环境准备
+```shell script
+$ tar -xvf apache-linkis-x.x.x-incubating-bin.tar.gz
+```
-### 3.1 基础软件安装
+解压后的目录结构如下
+```shell script
+-rw-r--r-- 1 hadoop hadoop 531847342 Feb 21 10:10 apache-linkis-1.0.3-incubating-bin.tar.gz
+drwxrwxr-x 2 hadoop hadoop 4096 Feb 21 10:13 bin //执行环境检查和安装的脚本
+drwxrwxr-x 2 hadoop hadoop 4096 Feb 21 10:13 deploy-config // 部署时依赖的DB等环境配置信息
+-rw-r--r-- 1 hadoop hadoop 1707 Jan 22 2020 DISCLAIMER-WIP
+-rw-r--r-- 1 hadoop hadoop 66058 Jan 22 2020 LICENSE
+drwxrwxr-x 2 hadoop hadoop 16384 Feb 21 10:13 licenses
+drwxrwxr-x 7 hadoop hadoop 4096 Feb 21 10:13 linkis-package // 实际的软件包，包括lib/服务启动脚本工具/db的初始化脚本/微服务的配置文件等
+-rw-r--r-- 1 hadoop hadoop 83126 Jan 22 2020 NOTICE
+-rw-r--r-- 1 hadoop hadoop 7900 Jan 22 2020 README_CN.md
+-rw-r--r-- 1 hadoop hadoop 8184 Jan 22 2020 README.md
-下面的软件必装：
+```
-- MySQL (5.5+)，本地安装或者使用远程数据库都可以。[如何安装MySQL](https://www.runoob.com/mysql/mysql-install.html)
-- JDK (1.8.0_141以上)，[如何安装JDK](https://www.runoob.com/java/java-environment-setup.html)
+### 2.2 配置数据库信息
+`vim deploy-config/db.sh`
-### 3.2 创建用户
+```shell script
+# Linkis自身业务的数据库信息
+MYSQL_HOST=xx.xx.xx.xx
+MYSQL_PORT=3306
+MYSQL_DB=linkis_test
+MYSQL_USER=test
+MYSQL_PASSWORD=xxxxx
-例如: **部署用户是hadoop账号**
+# 提供 Hive 元数据数据库的 DB 信息，如果不涉及hive引擎（或则只是简单试用），可以不配置
+#主要是配合scriptis一起使用，如果不配置，会默认尝试通过$HIVE_CONF_DIR 中的配置文件获取
+HIVE_META_URL="jdbc:mysql://10.10.10.10:3306/hive_meta_demo?useUnicode=true&characterEncoding=UTF-8"
+HIVE_META_USER=demo # HiveMeta元数据库的用户
+HIVE_META_PASSWORD=demo123 # HiveMeta元数据库的密码
+```
-1. 在部署机器上创建部署用户，用于安装
-```bash
- sudo useradd hadoop
-```
-2. 因为Linkis的服务是以 sudo -u ${linux-user} 方式来切换引擎，从而执行作业，所以部署用户需要有 sudo 权限，而且是免密的。
+### 2.3 配置基础变量
-```bash
- vi /etc/sudoers
-```
+文件位于`deploy-config/linkis-env.sh`
-```text
- hadoop ALL=(ALL) NOPASSWD: NOPASSWD: ALL
+#### 部署用户
+```shell script
+deployUser=hadoop #执行部署的用户，为 1.2 步骤给中创建的用户
```
-3. **在每台安装节点设置如下的全局环境变量，以便Linkis能正常使用Hadoop、Hive和Spark**。
+#### 基础目录配置(可选)
+:::caution 注意
+根据实际情况确定是否需要调整，可以选择使用默认值
+:::
- 修改安装用户的.bash_rc，命令如下：
-```bash
- vim /home/hadoop/.bash_rc ##以部署用户Hadoop为例
-```
+```shell script
-下方为环境变量示例：
+# 指定用户使用的目录路径，一般用于存储用户的脚本文件和日志文件等，是用户的工作空间。 对应的配置文件配置项为 wds.linkis.filesystem.root.path(linkis.properties)
+WORKSPACE_USER_ROOT_PATH=file:///tmp/linkis
-```bash
- #JDK
- export JAVA_HOME=/nemo/jdk1.8.0_141
+# 结果集日志等文件路径，用于存储Job的结果集文件 wds.linkis.resultSet.store.path(linkis-cg-entrance.properties) //如果未配置 使用HDFS_USER_ROOT_PATH的配置
+RESULT_SET_ROOT_PATH=file:///tmp/linkis
- ##如果不使用Hive、Spark等引擎且不依赖Hadoop，则不需要修改以下环境变量
- #HADOOP
- export HADOOP_HOME=/appcom/Install/hadoop
- export HADOOP_CONF_DIR=/appcom/config/hadoop-config
- #Hive
- export HIVE_HOME=/appcom/Install/hive
- export HIVE_CONF_DIR=/appcom/config/hive-config
- #Spark
- export SPARK_HOME=/appcom/Install/spark
- export SPARK_CONF_DIR=/appcom/config/spark-config/
- export PYSPARK_ALLOW_INSECURE_GATEWAY=1 # Pyspark必须加的参数
+# 结果集日志等文件路径，用于存储Job的结果集文件 wds.linkis.filesystem.hdfs.root.path(linkis.properties)
+HDFS_USER_ROOT_PATH=hdfs:///tmp/linkis
+
+# 存放执行引擎的工作路径，需要部署用户有写权限的本地目录 wds.linkis.engineconn.root.dir(linkis-cg-engineconnmanager.properties)
+ENGINECONN_ROOT_PATH=/appcom/tmp
```
-4. **如果您的Pyspark和Python想拥有画图功能，则还需在所有安装节点，安装画图模块**。命令如下：
-
-```bash
- python -m pip install matplotlib
-```
+#### Yarn的ResourceManager的地址
-5. **底层依赖检查**
+:::caution 注意
+如果需要使用Spark引擎 则需要配置
+:::
-执行相应的命令，查看是否支持相关依赖
```shell script
-#spark/hive/hdfs/python/的校验
-$ spark-submit --version
-$ python --version
-$ hdfs version
-$ hive --version
+#可以通过访问http://xx.xx.xx.xx:8088/ws/v1/cluster/scheduler 接口确认是否可以正常访问
+YARN_RESTFUL_URL=http://xx.xx.xx.xx:8088
```
+执行spark任务时，需要使用到yarn的ResourceManager，linkis默认它是未开启权限验证的，如果ResourceManager开启了密码权限验证，请安装部署后，
+修改数据库表 `linkis_cg_rm_external_resource_provider` 插入yarn数据信息,详细可以参考[查看yarn地址是否配置正确](#811-查看yarn地址是否配置正确)
+#### 基础组件环境信息
-### 3.3 安装包准备
-
-从Linkis已发布的release中（[点击这里进入下载页面](https://linkis.apache.org/zh-CN/download/main)），下载最新的安装包。
-
-先解压安装包到安装目录，并对解压后的文件进行配置修改。
+:::caution 注意
+可以通过用户的系统环境变量配置, 如果通过系统环境变量配置的，deploy-config/linkis-env.sh配置文件中可以不进行配置 直接注释掉
+:::
-```bash
- #version >=1.0.3
- tar -xvf apache-linkis-x.x.x-incubating-bin.tar.gz
-```
+```shell script
+##如果不使用Hive、Spark等引擎且不依赖Hadoop，则不需要配置以下环境变量
+#HADOOP
+HADOOP_HOME=/appcom/Install/hadoop
+HADOOP_CONF_DIR=/appcom/config/hadoop-config
-### 3.4 依赖HDFS/Hive/Spark的基础配置修改
+#Hive
+HIVE_HOME=/appcom/Install/hive
+HIVE_CONF_DIR=/appcom/config/hive-config
-```bash
- vi deploy-config/linkis-env.sh
+#Spark
+SPARK_HOME=/appcom/Install/spark
+SPARK_CONF_DIR=/appcom/config/spark-config
```
-```properties
-
- deployUser=hadoop #指定部署用户
- WORKSPACE_USER_ROOT_PATH=file:///tmp/hadoop # 指定用户根目录，一般用于存储用户的脚本文件和日志文件等，是用户的工作空间。
- RESULT_SET_ROOT_PATH=hdfs:///tmp/linkis # 结果集文件路径，用于存储Job的结果集文件
- ENGINECONN_ROOT_PATH=/appcom/tmp #存放ECP的安装路径，需要部署用户有写权限的本地目录
- ENTRANCE_CONFIG_LOG_PATH=hdfs:///tmp/linkis/ #ENTRANCE的日志路径
- #因为1.0支持多Yarn集群，使用到Yarn队列资源的一定需要配置YARN_RESTFUL_URL
- YARN_RESTFUL_URL=http://127.0.0.1:8088 #Yarn的ResourceManager的地址
+#### LDAP 登录配置(可选)
- # 配置hadoop/hive/spark的配置目录
- HADOOP_CONF_DIR=/appcom/config/hadoop-config #hadoop的conf目录
- HIVE_CONF_DIR=/appcom/config/hive-config #hive的conf目录
- SPARK_CONF_DIR=/appcom/config/spark-config #spark的conf目录
+:::caution 注意
+默认是使用静态用户和密码,静态用户即部署用户，静态密码会在执行部署是随机生成一个密码串，存储于`{LINKIS_HOME}/conf/linkis-mg-gateway.properties`(>=1.0.3版本)
+:::
- ## LDAP配置，默认Linkis只支持部署用户登录，如果需要支持多用户登录可以使用LDAP，需要配置以下参数：
- #LDAP_URL=ldap://localhost:1389/
- #LDAP_BASEDN=
-
- ##如果spark不是2.4.3的版本需要修改参数：
- #SPARK_VERSION=3.1.1
- ##如果hive不是1.2.1的版本需要修改参数：
- #HIVE_VERSION=2.3.3
+```shell script
+#LDAP配置，默认Linkis只支持部署用户登录，如果需要支持多用户登录可以使用LDAP，需要配置以下参数：
+#LDAP_URL=ldap://localhost:1389/
+#LDAP_BASEDN=dc=webank,dc=com
```
-### 3.5 修改数据库配置
-```bash
- vi deploy-config/db.sh
+#### JVM内存配置（可选）
+>微服务启动jvm内存配置，可以根据机器实际情况进行调整，如果机器内存资源较少，可以尝试调小至256/128M
+```shell script
+## java application default jvm memory
+export SERVER_HEAP_SIZE="512M"
```
-```properties
+#### 安装目录配置（可选）
+> Linkis最终会被安装到此目录下，不配置默认是与当前安装包同一级目录下
- # 设置数据库的连接信息
- # 包括IP地址、数据库名称、用户名、端口
- # 主要用于存储用户的自定义变量、配置参数、UDF和小函数，以及提供JobHistory的底层存储
- MYSQL_HOST=
- MYSQL_PORT=
- MYSQL_DB=
- MYSQL_USER=
- MYSQL_PASSWORD=
+```shell script
+##The decompression directory and the installation directory need to be inconsistent
+LINKIS_HOME=/appcom/Install/LinkisInstall
+```
+#### 数据源服务开启(可选)
+> 按实际情况，如果想使用数据源功能，则需要调整
+
+```shell script
+#If you want to start metadata related microservices, you can set this export ENABLE_METADATA_MANAGE=true
+export ENABLE_METADATA_QUERY=true
+```
+#### 无HDFS模式部署(可选 >1.1.2版本支持)
- #主要是配合scriptis一起使用，如果不配置，会默认尝试通过$HIVE_CONF_DIR 中的配置文件获取
- HIVE_META_URL= # HiveMeta元数据库的URL
- HIVE_META_USER= # HiveMeta元数据库的用户
- HIVE_META_PASSWORD= # HiveMeta元数据库的密码
- ```
+> 在没有HDFS 的环境中部署 Linkis 服务，以方便更轻量化的学习使用和调试。去HDFS模式部署不支持hive/spark/flink引擎等任务
-### 3.6 检查需要的软件环境
+修改 `linkis-env.sh` 文件，修改以下内容
+```bash
+#使用[file://]路径模式代替[hdfs://]模式
+WORKSPACE_USER_ROOT_PATH=file:///tmp/linkis/
+HDFS_USER_ROOT_PATH=file:///tmp/linkis
+RESULT_SET_ROOT_PATH=file:///tmp/linkis
-```bash
- sh bin/checkEnv.sh
+export ENABLE_HDFS=false
+export ENABLE_HIVE=false
+export ENABLE_SPARK=false
```
## 4. 安装和启动
@@ -218,112 +211,121 @@ $ hive --version
```bash
sh bin/install.sh
```
->linkis默认是使用静态用户和密码,静态用户即部署用户，静态密码会在执行部署是随机生成一个密码串，存储于`{installPath}/conf/linkis-mg-gateway.propertie`(>=1.0.3版本)
-
-### 4.2 安装步骤
-
-install.sh脚本会询问您是否需要初始化数据库并导入元数据。
-
-因为担心用户重复执行install.sh脚本，把数据库中的用户数据清空，所以在install.sh执行时，会询问用户是否需要初始化数据库并导入元数据。
-
-**第一次安装**必须选是。
-
-**请注意：如果您是升级已有环境的 Linkis0.X 到 Linkis1.0，请不要直接选是，请先参考 [Linkis1.0升级指南](upgrade/upgrade_from_0.X_to_1.0_guide.md)**。
-**请注意：如果您是升级已有环境的 Linkis0.X 到 Linkis1.0，请不要直接选是，请先参考 [Linkis1.0升级指南](upgrade/upgrade_from_0.X_to_1.0_guide.md)**。
+install.sh脚本会询问您是否需要初始化数据库并导入元数据。如果选择初始化，会把数据库中的表数据清空重新初始化。
-**请注意：如果您是升级已有环境的 Linkis0.X 到 Linkis1.0，请不要直接选是，请先参考 [Linkis1.0升级指南](upgrade/upgrade_from_0.X_to_1.0_guide.md)**。
+<font color="red"> ** 第一次安装 **必须选清空数据库</font>
-### 4.3 是否安装成功：
-
-通过查看控制台打印的日志信息查看是否安装成功。
-
-如果有错误信息，可以查看具体报错原因。
+:::tip 注意
+- 如果出现报错，又不清楚具体是执行什么命令报错，可以加 -x 参数`sh -x bin/install.sh`，将shell脚本执行过程日志打印出来，方便定位问题
+- 权限问题:`mkdir: cannot create directory ‘xxxx’: Permission denied`,请确认部署用户是否拥有该路径的读写权限
+:::
-您也可以通过查看我们的[常见问题](https://docs.qq.com/doc/DSGZhdnpMV3lTUUxq)，获取问题的解答。
+执行成功提示如下:
+```shell script
+`Congratulations! You have installed Linkis 1.0.3 successfully, please use sh /data/Install/linkis/sbin/linkis-start-all.sh to start it!
+Your default account password is [hadoop/5e8e312b4]`
+```
-### <font color="red"> 4.4 添加mysql驱动包</font>
+### <font color="red"> 3.2 添加mysql驱动包</font>
:::caution 注意
-因为mysql-connector-java驱动是GPL2.0协议，不满足Apache开源协议关于license的政策，因此从1.0.3版本开始，提供的Apache版本官方部署包，默认是没有mysql-connector-java-x.x.x.jar的依赖包，安装部署时需要自行添加依赖到对应的lib包中
+因为mysql-connector-java驱动是GPL2.0协议，不满足Apache开源协议关于license的政策，因此从1.0.3版本开始，提供的Apache版本官方部署包，默认是没有mysql-connector-java-x.x.x.jar的依赖包（**若是通过集成的全家桶物料包安装，则无需手动添加**），安装部署时需要自行添加依赖到对应的lib包中。 可以在对应的目录下查看是否存在，如果不存在则需要添加
+
:::
下载mysql驱动 以5.1.49版本为例：[下载链接](https://repo1.maven.org/maven2/mysql/mysql-connector-java/5.1.49/mysql-connector-java-5.1.49.jar) https://repo1.maven.org/maven2/mysql/mysql-connector-java/5.1.49/mysql-connector-java-5.1.49.jar
-拷贝mysql 驱动包至lib包下
+拷贝mysql 驱动包至lib包下
```
cp mysql-connector-java-5.1.49.jar {LINKIS_HOME}/lib/linkis-spring-cloud-services/linkis-mg-gateway/
cp mysql-connector-java-5.1.49.jar {LINKIS_HOME}/lib/linkis-commons/public-module/
```
+### 3.3 配置调整（可选）
+> 以下操作，跟依赖的环境有关，根据实际情况，确定是否需要操作
-### 4.5 快速启动Linkis
-
-**注意** 如果您用的DSS或者其他项目依赖的Linkis版本<1.1.1，还需要修改位于`${LINKIS_HOME}/conf/linkis.properties`文件：
-```shell
-echo "wds.linkis.session.ticket.key=bdp-user-ticket-id" >> linkis.properties
+#### 3.3.1 kerberos认证
+如果使用的hive集群开启了kerberos模式认证，修改配置`${LINKIS_HOME}/conf/linkis.properties`（<=1.1.3）文件
+```shell script
+#追加以下配置
+echo "wds.linkis.keytab.enable=true" >> linkis.properties
```
+#### 3.3.2 Yarn的认证
-#### 4.5.1 启动服务：
+执行spark任务时，需要使用到yarn的ResourceManager，通过配置项`YARN_RESTFUL_URL=http://xx.xx.xx.xx:8088 `控制。
+执行安装部署时，会将`YARN_RESTFUL_URL=http://xx.xx.xx.xx:8088` 信息更新到数据库表中 `linkis_cg_rm_external_resource_provider`中时候，默认访问yarn资源是不需权限验证的，
+如果yarn的ResourceManager开启了密码权限验证，请安装部署后，修改数据库表 `linkis_cg_rm_external_resource_provider` 中生成的yarn数据信息,
+详细可以参考[查看yarn地址是否配置正确](#811-查看yarn地址是否配置正确)
-在安装目录执行以下命令，启动所有服务：
-```bash
- sh sbin/linkis-start-all.sh
+
+#### 3.3.2 session
+如果您是对Linkis的升级。同时部署DSS或者其他项目，但其它软件中引入的依赖linkis版本<1.1.1(主要看lib包中，所依赖的Linkis的linkis-module-x.x.x.jar包 <1.1.1），则需要修改位于`${LINKIS_HOME}/conf/linkis.properties`文件
+```shell
+echo "wds.linkis.session.ticket.key=bdp-user-ticket-id" >> linkis.properties
```
-#### 4.5.2 查看是否启动成功
+### 3.4 启动服务
+```shell script
+sh sbin/linkis-start-all.sh
+```
-可以在Eureka界面查看服务启动成功情况，查看方法：
+### 3.5 安装后配置的修改
+安装完成后，如果需要修改配置（因端口冲突或则某些配置有问题需要调整配置），可以重新执行安装，或则修改对应服务的配置`${LINKIS_HOME}/conf/*properties`文件后，重启对应的服务，如：`sh sbin/linkis-daemon.sh start ps-publicservice`
-使用http://${EUREKA_INSTALL_IP}:${EUREKA_PORT}, 在浏览器中打开，查看服务是否注册成功。
-如果您没有在linkis-env.sh指定EUREKA_INSTALL_IP和EUREKA_INSTALL_IP，则HTTP地址为：http://127.0.0.1:20303
+### 3.6 检查服务是否正常启动
+访问eureka服务页面(http://eurekaip:20303)，
+1.x.x版本默认会启动8个Linkis微服务，其中图下linkis-cg-engineconn服务为运行任务才会启动
+
-如下图，如您的Eureka主页出现以下微服务，则表示服务都启动成功，可以正常对外提供服务了：
+```shell script
+LINKIS-CG-ENGINECONNMANAGER 引擎管理服务
+LINKIS-CG-ENGINEPLUGIN 引擎插件管理服务
+LINKIS-CG-ENTRANCE 计算治理入口服务
+LINKIS-CG-LINKISMANAGER 计算治理管理服务
+LINKIS-MG-EUREKA 微服务注册中心服务
+LINKIS-MG-GATEWAY 网关服务
+LINKIS-PS-CS 上下文服务
+LINKIS-PS-PUBLICSERVICE 公共服务
+```
+如果开启了数据源服务功能(默认未开启),会看到这两个服务
+```shell script
+LINKIS-PS-DATA-SOURCE-MANAGER
+LINKIS-PS-METADATAMANAGER
+```
-默认会启动8个Linkis微服务，其中图下linkis-cg-engineconn服务为运行任务才会启动
+如果有服务未启动，可以在对应的log/${服务名}.log文件中查看详细异常日志。
-
-默认启动的微服务名称如下：
- ```
-├── linkis-cg-engineconnmanager 引擎管理服务
-├── linkis-cg-engineplugin 引擎插件管理服务
-├── linkis-cg-entrance 计算治理入口服务
-├── linkis-cg-linkismanager 计算治理管理服务
-├── linkis-mg-eureka 微服务注册中心服务
-├── linkis-mg-gateway Linkis网关服务
-├── linkis-ps-cs 上下文服务
-├── linkis-ps-publicservice 公共服务
- ```
-#### 4.5.3 查看服务是否正常
-1. 服务启动成功后您可以通过，安装前端管理台，来检验服务的正常性，[点击跳转管理台安装文档](web_install.md)
-2. 您也可以通过Linkis用户手册来测试Linkis是否能正常运行任务，[点击跳转用户手册](user_guide/overview.md)
-
-### 4.5 安装web前端
+## 4. 安装web前端
web端是使用nginx作为静态资源服务器的，访问请求流程是:
-linkis管理台请求->nginx ip:port->linkis-gateway ip:port-> 其他服务
+`Linkis管理台请求->nginx ip:port->linkis-gateway ip:port-> 其他服务`
-#### 4.5.1 下载前端安装包并解压
-tar -xvf apache-linkis-1.0.x-incubating-web-bin.tar.gz
+### 4.1 下载前端安装包并解压
+```shell script
+tar -xvf apache-linkis-x.x.x-incubating-web-bin.tar.gz
+```
-#### 4.5.2 修改配置config.sh
+### 4.2 修改配置config.sh
```shell script
-#管理台访问的端口 http://localhost:8088
-linkis_port="8088"
+#访问管理台的端口
+linkis_port="8188"
#linkis-mg-gateway服务地址
linkis_url="http://localhost:9020"
```
-#### 4.5.3 执行前端部署
+### 4.3 执行部署脚本
```shell script
+# nginx 需要sudo权限进行安装
sudo sh install.sh
```
-安装后，linkis的nginx配置文件默认是 在/etc/nginx/conf.d/linkis.conf
-nginx的日志文件在 /var/log/nginx/access.log 和/var/log/nginx/error.log
+安装后，linkis的nginx配置文件默认是 在`/etc/nginx/conf.d/linkis.conf`
+nginx的日志文件在 `/var/log/nginx/access.log` 和`/var/log/nginx/error.log`
+生成的linkis管理台的nginx配置文件示例如下:
```nginx
server {
@@ -331,10 +333,6 @@ nginx的日志文件在 /var/log/nginx/access.log 和/var/log/nginx/error.log
server_name localhost;
#charset koi8-r;
#access_log /var/log/nginx/host.access.log main;
- location /linkis/visualis {
- root /appcom/Install/linkis-web/linkis/visualis; # 静态文件目录
- autoindex on;
- }
location / {
root /appcom/Install/linkis-web/dist; # 静态文件目录
index index.html index.html;
@@ -371,26 +369,110 @@ nginx的日志文件在 /var/log/nginx/access.log 和/var/log/nginx/error.log
}
```
-如果需要修改端口或则静态资源目录等，请修改/etc/nginx/conf.d/linkis.conf 文件后执行 `sudo nginx -s reload` 命令
+如果需要修改端口或则静态资源目录等，请修改`/etc/nginx/conf.d/linkis.conf` 文件后执行 `sudo nginx -s reload` 命令
:::caution 注意
-- 目前暂未集成visualis功能，安装过程中如果提示安装linkis/visualis失败，可以忽略
-- 查看nginx是否正常启动：检查nginx进程是否存在 ps -ef |grep nginx
-- 检查nginx的配置是否正确 sudo nginx -T
+- 目前暂未集成visualis功能，安装过程中如果提示安装linkis/visualis失败，可以忽略
+- 查看nginx是否正常启动：检查nginx进程是否存在 `ps -ef |grep nginx`
+- 检查nginx的配置是否正确 `sudo nginx -T `
- 如果端口被占用，可以修改nginx启动的服务端口`/etc/nginx/conf.d/linkis.conf`listen端口值，保存后重新启动
- 如果访问管理台出现接口502，或则`Unexpected token < in JSON at position 0`异常，请确认linkis-mg-gateway是否正常启动，如果正常启动，查看nginx配置文件中配置的linkis-mg-gateway服务地址是否正确
:::
-#### 4.5.4 登录web端查看信息
-http://xx.xx.xx.xx:8188/#/login
-用户名/密码在{InstallPath}/conf/linkis-mg-gateway.properties中查看
+### 4.4 登录管理台
+
+浏览器登陆 `http://xx.xx.xx.xx:8188/#/login`
+用户名/密码在`{LINKIS_HOME}/conf/linkis-mg-gateway.properties`中查看
```shell script
-#未使用LDAP配置时
wds.linkis.admin.user= #用户
wds.linkis.admin.password= #密码
```
+管理台使用指引见[使用手册](user_guide/console_manual.md)
+
+## 5. 验证基础功能
+>根据实际需求，验证对应的引擎任务
+
+```
+#引擎的engineType 拼接的版本号，一定要与实际的相匹配，以下示例是默认的版本号
+#shell 引擎任务
+sh bin/linkis-cli -submitUser hadoop -engineType shell-1 -codeType shell -code "whoami"
+
+#hive引擎任务
+sh bin/linkis-cli -submitUser hadoop -engineType hive-2.3.3 -codeType hql -code "show tables"
+
+#spark引擎任务
+sh bin/linkis-cli -submitUser hadoop -engineType spark-2.4.3 -codeType sql -code "show tables"
+
+#python引擎任务
+sh bin/linkis-cli -submitUser hadoop -engineType python-python2 -codeType python -code 'print("hello, world!")'
+```
+如果验证失败，请参考【步骤6】进行排查
+
+## 6 开发工具IDE（Scriptis）的安装(可选)
+>安装Scripti工具后，可以支持在web页面在线写SQL、Pyspark、HiveQL等脚本
+
+详细指引见[工具Scriptis的安装部署](./linkis_scriptis_install)
+
+## 7 支持的引擎
+
+### 7.1 引擎适配列表
+
+请注意：Linkis的单独安装包默认只包含的：Python/Shell/Hive/Spark四个引擎，如果有其他的引擎(如jdbc/flink/sqoop等引擎)使用场景，可以手动安装，具体请参考 [EngineConnPlugin引擎插件安装文档](engine_conn_plugin_installation)。
+
+本版本已适配的支持引擎列表如下：
+
+| 引擎类型 | 适配情况 | 官方安装包是否包含 |
+|---------------|-------------------|------|
+| Python | >=1.0.0 已适配 | 包含 |
+| Shell | >=1.0.0 已适配 | 包含 |
+| Hive | >=1.0.0 已适配 | 包含 |
+| Spark | >=1.0.0 已适配 | 包含 |
+| Pipeline | >=1.0.0 已适配 | **不包含** |
+| JDBC | >=1.0.0 已适配 | **不包含** |
+| Flink | >=1.0.0 已适配 | **不包含** |
+| OpenLooKeng | >=1.1.1 已适配 | **不包含** |
+| Sqoop | >=1.1.2 已适配 | **不包含** |
+
+
+
+### 7.2 查看部署的引擎
+
+#### 方式1: 查看引擎lib包目录
+
+```
+$ tree linkis-package/lib/linkis-engineconn-plugins/ -L 3
+linkis-package/lib/linkis-engineconn-plugins/
+├── hive
+│ ├── dist
+│ │ └── v2.3.3 #版本为2.3.3 engineType 为hive-2.3.3
+│ └── plugin
+│ └── 2.3.3
+├── python
+│ ├── dist
+│ │ └── vpython2
+│ └── plugin
+│ └── python2 #版本为python2 engineType 为python-python2
+├── shell
+│ ├── dist
+│ │ └── v1
+│ └── plugin
+│ └── 1
+└── spark
+ ├── dist
+ │ └── v2.4.3
+ └── plugin
+ └── 2.4.3
+```
+
+#### 方式2: 查看linkis的数据库表
+```shell script
+select * from linkis_cg_engine_conn_plugin_bml_resources
+```
+
+
+## 8 常见异常问题排查指引
+### 8.1. Yarn队列检查
-## 5. Yarn队列检查
>如果需要使用到spark/hive/flink引擎
登录后查看能否正常显示yarn队列资源(点击页面右下角按钮)(需要先安装前端)
@@ -399,8 +481,8 @@ wds.linkis.admin.password= #密码
若如果无法显示：可以按以下指引调整
-### 5.1 查看yarn地址是否配置正确
-数据库表 linkis_cg_rm_external_resource_provider
+#### 8.1.1 查看yarn地址是否配置正确
+数据库表 `linkis_cg_rm_external_resource_provider` `
插入yarn数据信息
```sql
INSERT INTO `linkis_cg_rm_external_resource_provider`
@@ -423,17 +505,15 @@ config字段属性
sh sbin/linkis-daemon.sh restart cg-linkismanager
```
-### 5.2 查看yarn队列是否正确
-异常信息:`desc: queue ide is not exists in YARN.`
-表明配置的yarn队列不存在，需要进行调整
+#### 8.1.2 查看yarn队列是否存在
+异常信息:`desc: queue ide is not exists in YARN.`表明配置的yarn队列不存在，需要进行调整
-修改方式:linkis管理台/参数配置>全局设置>yarn队列名[wds.linkis.rm.yarnqueue],修改一个可以使用的yarn队列,可以使用的yarn 队列可以在 rmWebAddress:http://xx.xx.xx.xx:8088/cluster/scheduler 上查看到
+修改方式:`linkis管理台/参数配置>全局设置>yarn队列名[wds.linkis.rm.yarnqueue]`，修改一个可以使用的yarn队列，以使用的yarn 队列可以在 `rmWebAddress:http://xx.xx.xx.xx:8088/cluster/scheduler` 上查看到
-### 5.3 查看yarn队列
-- 查看hadoop集群地址: http://ip:8088/cluster
+查看可用的yarn队列
- 查看yarn队列地址：http://ip:8888/cluster/scheduler
-## 6. 检查引擎物料资源是否上传成功
+### 8.2 检查引擎物料资源是否上传成功
```sql
#登陆到linkis的数据库
@@ -445,9 +525,12 @@ select * from linkis_cg_engine_conn_plugin_bml_resources
查看引擎的物料记录是否存在(如果有更新,查看更新时间是否正确)。
-如果不存在或则未更新，先尝试手动刷新物料资源(详细见[引擎物料资源刷新](/docs/latest/deployment/engine_conn_plugin_installation#23-引擎刷新))。通过`log/linkis-cg-engineplugin.log`日志，查看物料失败的具体原因，很多时候可能是hdfs目录没有权限导致，检查gateway地址配置是否正确`conf/linkis.properties:wds.linkis.gateway.url`
+- 如果不存在或则未更新，先尝试手动刷新物料资源(详细见[引擎物料资源刷新](engine_conn_plugin_installation#23-引擎刷新))。
+- 通过`log/linkis-cg-engineplugin.log`日志，查看物料失败的具体原因，很多时候可能是hdfs目录没有权限导致
+- 检查gateway地址配置是否正确`conf/linkis.properties`的配置项`wds.linkis.gateway.url`
引擎的物料资源默认上传到hdfs目录为 `/apps-data/${deployUser}/bml`
+
```shell script
hdfs dfs -ls /apps-data/hadoop/bml
#如果没有该目录 请手动创建目录并授予${deployUser}读写权限
@@ -455,47 +538,17 @@ hdfs dfs -mkdir /apps-data
hdfs dfs -chown hadoop:hadoop /apps-data
```
-## 7. 验证基础功能
-```
-#引擎的engineType 拼接的版本号，一定要与实际的相匹配
+### 8.3 登陆密码问题
-sh bin/linkis-cli -submitUser hadoop -engineType shell-1 -codeType shell -code "whoami"
-sh bin/linkis-cli -submitUser hadoop -engineType hive-2.3.3 -codeType hql -code "show tables"
-sh bin/linkis-cli -submitUser hadoop -engineType spark-2.4.3 -codeType sql -code "show tables"
-sh bin/linkis-cli -submitUser hadoop -engineType python-python2 -codeType python -code 'print("hello, world!")'
-```
+linkis默认是使用静态用户和密码,静态用户即部署用户，静态密码会在执行部署是随机生成一个密码串，存储于
+`{LINKIS_HOME}/conf/linkis-mg-gateway.properties`(>=1.0.3版本)
-## 8. 修改注册中心eureka的端口
-有时候当eureka的端口被其他服务占用,无法使用默认的eureka端口的时候,需要对eureka端口进行修改,这里把对eureka端口的修改分为执行安装之前和执行安装之后两种情况。
-1.执行安装之前修改注册中心eureka端口
-```
-1. 进入apache-linkis-x.x.x-incubating-bin.tar.gz的解压目录
-2. 执行 vi deploy-config/linkis-env.sh
-3. 修改EUREKA_PORT=20303为EUREKA_PORT=端口号
-```
-2.执行安装之后修改注册中心eureka端口
-```
-1. 进入${linkis_home}/conf目录
-2. 执行grep -r 20303 ./* ,查询结果如下所示:
- ./application-eureka.yml: port: 20303
- ./application-eureka.yml: defaultZone: http://ip:20303/eureka/
- ./application-linkis.yml: defaultZone: http://ip:20303/eureka/
- ./linkis-env.sh:EUREKA_PORT=20303
- ./linkis.properties:wds.linkis.eureka.defaultZone=http://ip:20303/eureka/
-3. 将对应位置的端口修改为新的端口,并且重启所有服务sh restart sbin/linkis-start-all.sh
-```
-
-## <font color="red">9. 安装部署常见问题的排障</font>
+### 8.4 版本兼容性问题
-### 9.1 登陆密码问题
+linkis默认支持的引擎，与dss兼容关系可以查看[此文档](https://github.com/apache/incubator-linkis/blob/master/README.md)
- linkis默认是使用静态用户和密码,静态用户即部署用户，静态密码会在执行部署是随机生成一个密码串，存储于{InstallPath}/conf/linkis-mg-gateway.properties(>=1.0.3版本)
-### 9.2 版本兼容性问题
-
-linkis默认支持的引擎，与dss兼容关系可以查看此文档 https://github.com/apache/incubator-linkis/blob/master/README.md
-
-### 9.3 如何定位服务端异常日志
+### 8.5 如何定位服务端异常日志
linkis的微服务比较多，若对系统不熟悉，有时候无法定位到具体哪个模块出现了异常，可以通过全局日志搜索方式
```shell script
@@ -504,21 +557,26 @@ less log/* |grep -5n exception(或则less log/* |grep -5n ERROR)
```
-### 9.4 执行引擎任务的异常排查
+### 8.6 执行引擎任务的异常排查
** step1:找到引擎的启动部署目录 **
-方式1：如果执行日志中有显示，可以在管理台上查看到 如下图:
+
+- 方式1：如果执行日志中有显示，可以在管理台上查看到 如下图:
-方式2:如果方式1中没有找到，可以通过找到`conf/linkis-cg-engineconnmanager.properties`配置的`wds.linkis.engineconn.root.dir`的参数，该值就是引擎启动部署的目录，子目录按执行引擎的用户进行了隔离。
+- 方式2:如果方式1中没有找到，可以通过找到`conf/linkis-cg-engineconnmanager.properties`配置的`wds.linkis.engineconn.root.dir`的参数，该值就是引擎启动部署的目录，子目录按执行引擎的用户进行了隔离
+
```shell script
-如果不清楚taskid，可以按时间排序后进行选择 ll -rt /appcom/tmp/${执行的用户}/${日期}/${引擎}/
+# 如果不清楚taskid，可以按时间排序后进行选择 ll -rt /appcom/tmp/${执行的用户}/${日期}/${引擎}/
cd /appcom/tmp/${执行的用户}/${日期}/${引擎}/${taskId}
-目录大体如下
+```
+目录大体如下
+```shell script
conf -> /appcom/tmp/engineConnPublickDir/6a09d5fb-81dd-41af-a58b-9cb5d5d81b5a/v000002/conf #引擎的配置文件
engineConnExec.sh #生成的引擎的启动脚本
lib -> /appcom/tmp/engineConnPublickDir/45bf0e6b-0fa5-47da-9532-c2a9f3ec764d/v000003/lib #引擎依赖的包
logs #引擎启动执行的相关日志
```
+
** step2：查看引擎的日志 **
```shell script
less logs/stdout
@@ -527,10 +585,33 @@ less logs/stdout
** step3：尝试手动执行脚本(如果需要) **
可以通过尝试手动执行脚本，进行调试
```
-sh -v engineConnExec.sh
+sh -x engineConnExec.sh
+```
+
+### 8.7 如何修改注册中心eureka的端口
+有时候当eureka的端口被其他服务占用,无法使用默认的eureka端口的时候,需要对eureka端口进行修改,这里把对eureka端口的修改分为执行安装之前和执行安装之后两种情况。
+1.执行安装之前修改注册中心eureka端口
+```
+1. 进入apache-linkis-x.x.x-incubating-bin.tar.gz的解压目录
+2. 执行 vi deploy-config/linkis-env.sh
+3. 修改EUREKA_PORT=20303为EUREKA_PORT=端口号
+```
+2.执行安装之后修改注册中心eureka端口
+```
+1. 进入${linkis_home}/conf目录
+
+2. 执行grep -r 20303 ./* ,查询结果如下所示:
+ ./application-eureka.yml: port: 20303
+ ./application-eureka.yml: defaultZone: http://ip:20303/eureka/
+ ./application-linkis.yml: defaultZone: http://ip:20303/eureka/
+ ./linkis-env.sh:EUREKA_PORT=20303
+ ./linkis.properties:wds.linkis.eureka.defaultZone=http://ip:20303/eureka/
+
+3. 将对应位置的端口修改为新的端口,并且重启所有服务sh restart sbin/linkis-start-all.sh
```
-### 9.5 CDH适配版本的注意事项
+
+### 8.8 CDH适配版本的注意事项
CDH本身不是使用的官方标准的hive/spark包,进行适配时，最好修改linkis的源码中的hive/spark版本的依赖，进行重新编译部署。
具体可以参考CDH适配博文
@@ -539,7 +620,7 @@ CDH本身不是使用的官方标准的hive/spark包,进行适配时，最好修
[【DSS1.0.0与Linkis1.0.2——JDBC引擎相关问题汇总】](https://mp.weixin.qq.com/s/vcFge4BNiEuW-7OC3P-yaw)
[【DSS1.0.0与Linkis1.0.2——Flink引擎相关问题汇总】](https://mp.weixin.qq.com/s/VxZ16IPMd1CvcrvHFuU4RQ)
-### 9.6 Http接口的调试
+### 8.9 Http接口的调试
- 方式1 可以开启[免登陆模式指引](/docs/latest/api/login_api/#2免登录配置)
- 方式2 postman中的，请求头带上登陆成功的cookie值
@@ -557,7 +638,8 @@ Token-Code:TEST-AUTH
Token-User:hadoop
```
-### 9.7 异常问题的排查流程
+### 8.10 异常问题的排查流程
+
首先要按上述步骤检查服务/环境等是否都正常启动
按上述罗列的一些场景的方式进行基础问题的排查
[QA文档](https://docs.qq.com/doc/DSGZhdnpMV3lTUUxq)中查找是否有解决方案，链接：https://docs.qq.com/doc/DSGZhdnpMV3lTUUxq
@@ -567,7 +649,7 @@ Token-User:hadoop
-## 10. 相关的资料如何获取
+## 9. 相关的资料如何获取
linkis官网文档正在不断的完善,可以在本官网查看/关键字搜索相关文档。
相关博文链接
- Linkis的技术博文集 https://github.com/apache/incubator-linkis/issues/1233
diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.1.1/deployment/sourcecode_hierarchical_structure.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.1.1/deployment/sourcecode_hierarchical_structure.md
index 2c2ca1fc3..5709893aa 100644
--- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.1.1/deployment/sourcecode_hierarchical_structure.md
+++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.1.1/deployment/sourcecode_hierarchical_structure.md
@@ -3,76 +3,91 @@ title: 源码目录结构
sidebar_position: 5
---
-# Linkis源码目录结构
-
-> Linkis代码层级目录结构说明，如果您想详细了解Linkis各个模块，请查看[Linkis的相关架构设计](architecture/overview.md)
+> Linkis代码层级目录结构说明，如果想详细了解各个模块，请查看[Linkis的相关架构设计](architecture/overview.md)
```html
-
-├── assembly-combined-package //编译整个项目的模块
-│ ├── assembly-combined
-│ ├── bin
-│ ├── deploy-config
-│ └── src
-├── linkis-commons //核心抽象,里面放所有的公用模块
-│ ├── linkis-common //通用模块,内置很多通用工具
-│ ├── linkis-hadoop-common
-│ ├── linkis-httpclient //Java SDK顶层接口
-│ ├── linkis-module
-│ ├── linkis-mybatis //SpringCloud的Mybatis模块
-│ ├── linkis-protocol
-│ ├── linkis-rpc //RPC模块，基于Feign实现的复杂双向通信
-│ ├── linkis-scheduler //通用调度模块
-│ ├── linkis-storage
-├── linkis-computation-governance //计算治理服务
-│ ├── linkis-client //Java SDK，用户通过Client可直接访问Linkis
-│ ├── linkis-computation-governance-common
-│ ├── linkis-engineconn
-│ ├── linkis-engineconn-manager
-│ ├── linkis-entrance //通用底层entrance模块
-│ ├── linkis-jdbc-driver
-│ ├── linkis-manager
-├── linkis-engineconn-plugins
-│ ├── engineconn-plugins
-│ ├── linkis-engineconn-plugin-framework
-├── linkis-extensions
-│ ├── linkis-io-file-client
-├── linkis-orchestrator
-│ ├── linkis-code-orchestrator
-│ ├── linkis-computation-orchestrator
-│ ├── linkis-orchestrator-core
-│ ├── plugin
-├── linkis-public-enhancements //公共增强服务
-│ ├── linkis-bml //物料库
-│ ├── linkis-context-service //统一上下文
-│ ├── linkis-datasource //数据源服务
-│ ├── linkis-publicservice //公共服务
-├── linkis-spring-cloud-services
-│ ├── linkis-service-discovery
-│ ├── linkis-service-gateway //网关Gateway
-├── db //数据库信息
-│ ├── linkis_ddl.sql
-│ ├── linkis_dml.sql
-│ ├── module
-│ └── upgrade
-├── tool //工具脚本
-│ ├── dependencies
-│ └── modify_license.sh
-└── web //linkis的管理台代码
-├── scalastyle-config.xml //Scala 代码格式检查配置文件
-├── CONTRIBUTING_CN.md
-├── CONTRIBUTING.md
-├── DISCLAIMER
-├── LICENSE //项目源码的LICENSE
-├── LICENSE-binary //二进制包的LICENSE
-├── LICENSE-binary-ui //前端web编译包的LICENSE
-├── licenses-binary //二进制包的详细依赖的license文件
-├── licenses-binary-ui //前端web编译包详细依赖的license文件
-├── NOTICE //项目源码的NOTICE
-├── NOTICE-binary //二进制包的NOTICE
-├── NOTICE-binary-ui //前端web二进制包的NOTICE
-├── README.md
-├── README_CN.md
+│-- assembly-combined-package //编译打包最后阶段步骤 整合所有lib包和安装部署脚本配置等
+│ │-- assembly-combined
+│ │-- bin 安装相关的脚本
+│ │-- deploy-config //安装的配置
+│ │-- src
+│-- linkis-commons //核心抽象，里面放有所有的公用模块
+│ │-- linkis-common //通用模块，内置很多通用工具类
+│ │-- linkis-hadoop-common
+│ │-- linkis-httpclient //Java SDK顶层接口 对httpclient的进一步封装
+│ │-- linkis-module // linkis的服务顶层公用模块 涉及到服务启动时的参数和服务初始化 统一的Restful处理 登录态校验等
+│ │-- linkis-mybatis //SpringCloud的Mybatis模块
+│ │-- linkis-protocol //服务请求/响应的一些接口和实体类
+│ │-- linkis-rpc //RPC模块，基于Feign实现的复杂双向通信
+│ │-- linkis-scheduler //通用调度模块
+│ │-- linkis-storage //文件操作工具集
+│ │
+│-- linkis-computation-governance //计算治理服务
+│ │-- linkis-client //Java SDK，用户通过Client可直接访问Linkis
+│ │-- linkis-computation-governance-common
+│ │-- linkis-engineconn
+│ │-- linkis-engineconn-manager
+│ │-- linkis-entrance //通用底层entrance模块
+│ │-- linkis-entrance-client
+│ │-- linkis-jdbc-driver //可以类似jdbc sdk方式连接使用linkis
+│ │-- linkis-manager
+│
+│-- linkis-engineconn-plugins // 引擎插件
+│ │-- engineconn-plugins
+│ │-- linkis-engineconn-plugin-framework
+│
+│-- linkis-extensions // 扩展功能增强插件模块
+│ │-- linkis-io-file-client // 对linkis-storage的功能扩展
+│
+│-- linkis-orchestrator //服务的编排
+│ │-- linkis-code-orchestrator
+│ │-- linkis-computation-orchestrator
+│ │-- linkis-orchestrator-core
+│ │-- plugin
+│
+│-- linkis-public-enhancements //公共增强服务
+│ │-- linkis-bml // 物料库
+│ │-- linkis-context-service //统一上下文
+│ │-- linkis-datasource //数据源服务
+│ │ ├── linkis-datasource-client //客户端代码
+│ │ ├── linkis-datasource-manager //数据源管理模块
+│ │ │ ├── common //数据源管理公共模块
+│ │ │ └── server //数据源管理服务模块
+│ │ ├── linkis-metadata //旧版本已有的模块，保留
+│ │ ├── linkis-metadata-manager //数据元管理模块
+│ │ ├── common //数据元管理公共模块
+│ │ ├── server //数据元管理服务模块
+│ │ └── service //支持的数据源
+│ │ ├── elasticsearch
+│ │ ├── hive
+│ │ ├── kafka
+│ │ └── mysql
+│ │-- linkis-publicservice //公共服务
+│
+│-- linkis-spring-cloud-services //微服务治理
+│ │-- linkis-service-discovery
+│ │-- linkis-service-gateway //网关Gateway
+│-- db //数据库信息
+│
+│-- tool //工具脚本
+│ │-- check.sh
+│ │-- dependencies
+│
+│-- web //linkis的管理台代码
+│-- scalastyle-config.xml //Scala 代码格式检查配置文件
+│-- CONTRIBUTING.md
+│-- CONTRIBUTING_CN.md
+│-- DISCLAIMER-WIP
+│-- LICENSE //项目源码的LICENSE
+│-- LICENSE-binary //二进制包的LICENSE
+│-- LICENSE-binary-ui //前端web编译包的LICENSE
+│-- NOTICE //项目源码的NOTICE
+│-- NOTICE-binary //二进制包的NOTICE
+│-- NOTICE-binary-ui //前端web二进制包的NOTICE
+│-- licenses-binary 二进制包的详细依赖的license文件
+│-- licenses-binary-ui //前端web编译包详细依赖的license文件
+│-- README.md
+│-- README_CN.md
```
\ No newline at end of file
diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.1.1/deployment/unpack_hierarchical_structure.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.1.1/deployment/unpack_hierarchical_structure.md
index 9528fdcb8..3c8d1c770 100644
--- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.1.1/deployment/unpack_hierarchical_structure.md
+++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.1.1/deployment/unpack_hierarchical_structure.md
@@ -1,19 +1,17 @@
---
title: 安装包目录结构
-sidebar_position: 4.5
+sidebar_position: 4
---
-
-## Linkis安装包解压的目录结构
-
+> Linkis安装包解压后的目录结构
下载官方发布的[编译完整包](https://linkis.apache.org/zh-CN/download/main)，解压后的目录结构如下:
```html
├── bin
-│ ├── checkEnv.sh //部署环境验证脚本
-│ ├── common.sh
-│ └── install.sh //执行安装的脚本
+│ ├── checkEnv.sh ── 环境变量检测
+│ ├── common.sh ── 部分公共shell函数
+│ └── install.sh ── Linkis安装的主脚本
├── deploy-config
│ ├── db.sh //数据库连接配置
│ └── linkis-env.sh //相关环境配置信息
diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.1.1/deployment/web_install.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.1.1/deployment/web_install.md
index 050da5c9b..7518e9267 100644
--- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.1.1/deployment/web_install.md
+++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.1.1/deployment/web_install.md
@@ -2,13 +2,18 @@
title: 管理台部署
sidebar_position: 6
---
+> web端是使用nginx作为静态资源服务器的，访问请求流程是:`Linkis管理台请求->nginx ip:port->linkis-gateway ip:port-> 其他服务`
-Linkis在1.0提供了单独的前端管理台功能，提供了展示Linis的全局历史、修改用户参数、管理ECM和微服务等功能，部署前端管理台前需要先将Linkis后端进行部署，Linkis的部署手册见：[Linkis部署手册](deployment/quick_deploy.md)
-## 1、准备工作
+Linkis 提供了单独的前端管理台功能，提供了展示历史任务的全局历史、修改用户参数、管理ECM和微服务等功能，部署前端管理台前需要先将Linkis后端进行部署，Linkis的部署手册见：[Linkis部署手册](deployment/quick_deploy.md)
-1. 从linkis的release页面（[点击这里进入下载页面](https://linkis.apache.org/zh-CN/download/main)）下载web安装包，apache-linkis-x.x.x-incubating-web-bin.tar.gz
-手动解压：tar -xvf apache-linkis-x.x.x-incubating-web-bin.tar.gz，解压后目录为：
+
+## 1 准备工作
+
+1. 从linkis的release页面（[点击这里进入下载页面](https://linkis.apache.org/zh-CN/download/main)）下载web安装包`apache-linkis-x.x.x-incubating-web-bin.tar.gz`
+手动解压：`tar -xvf apache-linkis-x.x.x-incubating-web-bin.tar.gz`，
+
+解压后目录为：
```
├── config.sh
├── DISCLAIMER
@@ -19,34 +24,91 @@ Linkis在1.0提供了单独的前端管理台功能，提供了展示Linis的全
└── NOTICE
```
-## 2、部署
- 分为两种部署方式，自动化部署和手动部署
+## 2 部署
+
+> 分为两种部署方式，自动化部署和手动部署
-### 2.1 自动化部署
- 进入解压的前端目录，在该目录下编辑 ```vi config.sh ```
-更改前端端口和后端接口地址,后端接口地址为linkis的gateway地址
+### 2.1 自动化部署(推荐)
-```$xslt
-#Configuring front-end ports
-linkis_port="8088"
+#### 2.1.1 修改配置config.sh
+```shell script
+#linkis-mg-gateway服务地址
+linkis_url="http://127.0.0.1:9001"
-#URL of the backend linkis gateway
-linkis_url="http://localhost:9001"
+#可以配置为安装机器的ip 也可以使用默认值
+linkis_ipaddr=127.0.0.1
+# 访问管理台的端口
+linkis_port=8088
-#linkis ip address
-linkis_ipaddr=$(ip addr | awk '/^[0-9]+: / {}; /inet.*global/ {print gensub(/(.*)\/(.*)/, "\\1", "g", $2)}')
```
-修改完后在该目录下执行,需要使用sudo执行：```sudo sh install.sh ```
+#### 2.1.2 执行部署脚本
-执行完后可以直接通过在谷歌浏览器访问：```http://linkis_ipaddr:linkis_port``` 其中linkis_port为config.sh里面配置的端口，linkis_ipaddr为安装机器的IP
+```shell script
+# nginx 需要sudo权限进行安装
+sudo sh install.sh
+```
+安装后，linkis的nginx配置文件默认是 在`/etc/nginx/conf.d/linkis.conf`
+nginx的日志文件在 `/var/log/nginx/access.log` 和`/var/log/nginx/error.log`
+生成的linkis管理台的nginx配置文件示例如下:
+```nginx
+
+ server {
+ listen 8188;# 访问端口 如果端口被占用，则需要修改
+ server_name localhost;
+ #charset koi8-r;
+ #access_log /var/log/nginx/host.access.log main;
+ location / {
+ root /appcom/Install/linkis-web/dist; # 静态文件目录
+ index index.html index.html;
+ }
+ location /ws {
+ proxy_pass http://localhost:9020;#后端Linkis的地址
+ proxy_http_version 1.1;
+ proxy_set_header Upgrade $http_upgrade;
+ proxy_set_header Connection upgrade;
+ }
+
+ location /api {
+ proxy_pass http://localhost:9020; #后端Linkis的地址
+ proxy_set_header Host $host;
+ proxy_set_header X-Real-IP $remote_addr;
+ proxy_set_header x_real_ipP $remote_addr;
+ proxy_set_header remote_addr $remote_addr;
+ proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
+ proxy_http_version 1.1;
+ proxy_connect_timeout 4s;
+ proxy_read_timeout 600s;
+ proxy_send_timeout 12s;
+ proxy_set_header Upgrade $http_upgrade;
+ proxy_set_header Connection upgrade;
+ }
+
+ #error_page 404 /404.html;
+ # redirect server error pages to the static page /50x.html
+ #
+ error_page 500 502 503 504 /50x.html;
+ location = /50x.html {
+ root /usr/share/nginx/html;
+ }
+ }
+```
-如果访问失败：可以通过查看安装日志哪一步出错
### 2.2 手动部署
-1.安装Nginx:```sudo yum install nginx -y```
-2.修改配置文件：sudo vi /etc/nginx/conf.d/linkis.conf
+#### 2.2.1 安装Nginx
+>如果已经安装过nginx 可以跳过
+
+```shell script
+sudo yum install nginx -y
+```
+
+#### 2.2.2 修改配置文件
+```shell script
+sudo vi /etc/nginx/conf.d/linkis.conf
+```
+
添加如下内容：
```
server {
@@ -84,15 +146,45 @@ server {
```
-3.将前端包拷贝到对应的目录:```/appcom/Install/linkis/dist; # 前端包解压的目录 ```
+#### 2.2.3 资源部署
-4.启动服务```sudo systemctl restart nginx```
+将前端包拷贝到对应的目录:`/appcom/Install/linkis/dist`
-5.执行完后可以直接通过在谷歌浏览器访问：```http://nginx_ip:nginx_port```
+#### 2.2.4 启动服务
-## 3、常见问题
+```
+sudo systemctl restart nginx
+```
+
+
+## 3 登录管理台
-(1)上传文件大小限制
+浏览器访问`http://linkis_ipaddr:linkis_port` 其中linkis_port为config.sh里面配置的端口，linkis_ipaddr为安装机器的IP
+
+用户名/密码在`{LINKIS_HOME}/conf/linkis-mg-gateway.properties`中查看
+```shell script
+wds.linkis.admin.user= #用户
+wds.linkis.admin.password= #密码
+
+```
+管理台使用指引见[使用手册](user_guide/console_manual.md)
+
+
+## 4 注意事项
+
+如果需要修改端口或则静态资源目录等，请修改`/etc/nginx/conf.d/linkis.conf` 文件后执行 `sudo nginx -s reload` 命令
+:::caution 注意
+- 目前暂未集成visualis功能，安装过程中如果提示安装linkis/visualis失败，可以忽略
+- 查看nginx是否正常启动：检查nginx进程是否存在 `ps -ef |grep nginx`
+- 检查nginx的配置是否正确 `sudo nginx -T `
+- 如果端口被占用，可以修改nginx启动的服务端口`/etc/nginx/conf.d/linkis.conf`listen端口值，保存后重新启动
+- 如果访问管理台出现接口502，或则`Unexpected token < in JSON at position 0`异常，请确认linkis-mg-gateway是否正常启动，如果正常启动，查看nginx配置文件中配置的linkis-mg-gateway服务地址是否正确
+:::
+
+
+## 5 常见问题
+
+### 5.1 上传文件大小限制
```
sudo vi /etc/nginx/nginx.conf
@@ -104,13 +196,11 @@ sudo vi /etc/nginx/nginx.conf
client_max_body_size 200m
```
- (2)接口超时
+### 5.2 接口超时
```
sudo vi /etc/nginx/conf.d/linkis.conf
```
-
-
更改接口超时时间
```
diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.1.1/development/linkis_compile_and_package.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.1.1/development/linkis_compile_and_package.md
index 2e8e50026..6679eaf94 100644
--- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.1.1/development/linkis_compile_and_package.md
+++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.1.1/development/linkis_compile_and_package.md
@@ -1,15 +1,16 @@
---
-title: Linkis 编译打包
+title: Linkis 后端编译打包
sidebar_position: 0
---
## 1. 前置准备
+## 1.1 环境要求
+
__编译环境要求：__ 必须 **JDK8** 以上，**Oracle/Sun** 和 **OpenJDK**都支持。
-从[github仓库](https://github.com/apache/incubator-linkis) https://github.com/apache/incubator-linkis 获取项目代码后，使用 maven 编译项目安装包。
-### 1.1 源码获取
+### 1.2 源码获取
- 方式1：从[github仓库](https://github.com/apache/incubator-linkis) https://github.com/apache/incubator-linkis 获取项目的源代码。
- 方式2：从[linkis的官方下载页面](https://linkis.apache.org/download/main) https://linkis.apache.org/download/main 下载所需版本的源码包。
@@ -58,11 +59,16 @@ __编译环境要求：__ 必须 **JDK8** 以上，**Oracle/Sun** 和 **OpenJDK
incubator-linkis-x.x.x/assembly-combined-package/target/apache-linkis-x.x.x-incubating-bin.tar.gz
```
-## 3. 编译单个模块
+## 3 常见问题
+
+### 3.1 如何编译单个模块
+> 有些场景可能只需要针对某个模块进行编译，可参考如下流程
-> 如有没有执行过全量编译，先要进行一次全量编译
+:::caution 注意
+如有没有执行过全量编译，先要进行一次全量编译
+:::
-### step1 进入到对应模块进行编译
+#### step1 进入到对应模块进行编译
进入到对应模块进行编译，比如想重新编译 Entrance，命令如下：
```bash
@@ -70,44 +76,70 @@ __编译环境要求：__ 必须 **JDK8** 以上，**Oracle/Sun** 和 **OpenJDK
mvn clean install
```
-### step2 获取安装包
+#### step2 获取安装包
获取安装包，在对应模块的->target目录下会有编译好的包：
```
ls incubator-linkis-x.x.x/linkis-computation-governance/linkis-entrance/target/linkis-entrance.x.x.x.jar
```
-## 4. 编译某个引擎
+### 3.2 如何编译某个引擎
-> 如有没有执行过全量编译，先要进行一次全量编译
+>有些场景可能只需要针对某个引擎进行编译，可参考如下流程
+
+:::caution 注意
+如有没有执行过全量编译，先要进行一次全量编译
+:::
这里以编译Spark 引擎为例：
-### step1 进入到对应模块进行编译
+#### step1 进入到对应模块进行编译
进入到 Spark 引擎所在的目录进行编译打包，命令如下：
```bash
cd incubator-linkis-x.x.x/linkis-engineconn-plugins/engineconn-plugins/spark
mvn clean install
```
-### step2 获取引擎的物料包
+#### step2 获取引擎的物料包
在对应模块的target目录下：
```
#spark文件下就是编译好的引擎物料
incubator-linkis-x.x.x/linkis-engineconn-plugins/engineconn-plugins/spark/target/out/spark
```
-
如何单独安装 Spark 引擎？请参考 [Linkis 引擎插件安装文档](../deployment/engine_conn_plugin_installation)
-## 5. 如何修改Linkis的依赖的Hadoop、Hive、Spark版本
+
+### 3.2 如何将非默认引擎打包至安装部署包中
+
+> 默认打包配置中`assembly-combined-package/assembly-combined/src/main/assembly/assembly.xml`，只会将`spark/hive/python/shell`打包到安装包中，如果需要添加其它引擎，可参考此步骤
+
+以jdbc引擎为例
+
+step1 修改`assembly-combined-package/assembly-combined/src/main/assembly/assembly.xml` 添加jdbc引擎
+```shell script
+ <!--jdbc-->
+ <fileSet>
+ <directory>
+ ../../linkis-engineconn-plugins/engineconn-plugins/jdbc/target/out/
+ </directory>
+ <outputDirectory>lib/linkis-engineconn-plugins/</outputDirectory>
+ <includes>
+ <include>**/*</include>
+ </includes>
+</fileSet>
+```
+step2 如果已经全量编译，可以直接重新编译`assembly-combined-package`模块，如果没有，这执行全量编译
+
+
+## 4. 如何修改Linkis的依赖的Hadoop、Hive、Spark版本
请注意：Hadoop 作为大数据基础服务，Linkis 必须依赖 Hadoop 进行编译；
而 Spark、Hive等计算存储引擎则不然，如果您不想使用某个引擎，可以无需设置该引擎的版本，无需编译该引擎插件。
具体而言，修改 Hadoop 的版本与 Spark、Hive 等计算引擎的方式不同，下面详细介绍：
-### 5.1 如何修改 Linkis 依赖的 Hadoop 版本
+### 4.1 如何修改 Linkis 依赖的 Hadoop 版本
进入 Linkis 源码包根目录，手动修改 pom.xml 文件的 Hadoop 版本信息，具体如下：
@@ -125,8 +157,10 @@ __编译环境要求：__ 必须 **JDK8** 以上，**Oracle/Sun** 和 **OpenJDK
</properties>
```
-
+:::caution 注意
**请注意：如果你的hadoop版本是hadoop3，需要修改linkis-hadoop-common的pom文件**
+:::
+
因为在hadoop2.8以下的时候，hdfs相关的class是在hadoop-hdfs模块中的，但是在hadoop 3.X中将对应的class移动到了模块hadoop-hdfs-client当中，您需要修改下这个文件：
pom:Linkis/linkis-commons/linkis-hadoop-common/pom.xml
@@ -145,7 +179,7 @@ pom:Linkis/linkis-commons/linkis-hadoop-common/pom.xml
</dependency>
```
-### 5.2 如何修改 Linkis 依赖的 Spark、Hive 版本
+### 4.2 如何修改 Linkis 依赖的 Spark、Hive 版本
这里以修改 Spark 的版本为例进行介绍。进入 Spark 引擎所在的目录，手动修改 pom.xml 文件的 Spark 版本信息，具体如下：
@@ -162,4 +196,4 @@ pom:Linkis/linkis-commons/linkis-hadoop-common/pom.xml
修改其他引擎的版本与修改 Spark 版本类似，先进入相关引擎所在的目录，手动修改 pom.xml 文件的引擎版本信息即可。
-然后请参考 [编译某个引擎](#4-编译某个引擎)
+然后请参考 [编译某个引擎](#32-如何编译某个引擎)
diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.1.1/development/web_build.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.1.1/development/web_build.md
index 1d943fa33..271e82988 100644
--- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.1.1/development/web_build.md
+++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.1.1/development/web_build.md
@@ -1,57 +1,47 @@
---
-title: 前端管理台编译
+title: Linkis 管理台编译
sidebar_position: 4
---
+## 1. 前置准备
-## 1. 安装Node.js
-将Node.js下载到电脑本地，安装即可。下载地址：[http://nodejs.cn/download/](http://nodejs.cn/download/) （建议使用node v14版本）
-**该步骤仅第一次使用时需要执行。**
-
-## 2. 安装项目
-在终端命令行中执行以下指令：
+## 1.1 安装Node.js
-```
-git clone git@github.com:apache/incubator-linkis.git
-cd incubator-linkis/web
-npm install
-```
+>该步骤仅第一次使用时需要执行,如果已有node环境，可跳过
-指令简介：
-1. 将项目包从远程仓库拉取到电脑本地
-2. 进入项目WEB根目录：cd incubator-linkis/web
-3. 安装项目所需依赖：npm install
+将Node.js下载到本地，安装即可。下载地址：[http://nodejs.cn/download/](http://nodejs.cn/download/) （建议使用node v14版本）
-**该步骤仅第一次使用时需要执行。**
+## 1.2 源码获取
-## 3. 配置
-您需要在代码中进行一些配置，如后端接口地址等，如根目录下的.env.development文件：
+- 方式1：从[github仓库](https://github.com/apache/incubator-linkis) https://github.com/apache/incubator-linkis 获取项目的源代码。
+- 方式2：从[linkis的官方下载页面](https://linkis.apache.org/download/main) https://linkis.apache.org/download/main 下载所需版本的源码包。
-```
-// 后端接口地址
-VUE_APP_MN_CONFIG_PREFIX=http://yourIp:yourPort/yourPath
-```
-配置的具体解释可参考vue-cli官方文档：[环境变量和模式](https://cli.vuejs.org/zh/guide/mode-and-env.html#%E7%8E%AF%E5%A2%83%E5%8F%98%E9%87%8F%E5%92%8C%E6%A8%A1%E5%BC%8F)
+## 2. 编译
-## 4. 打包项目
-您可以通过在终端命令行执行以下指令对项目进行打包，生成压缩后的代码：
+## 2.1 安装npm依赖
+在终端命令行中执行以下指令：
```
-npm run build
+#进入项目WEB根目录
+$ cd incubator-linkis/web
+#安装项目所需依赖
+$ npm install
```
+**该步骤仅第一次使用时需要执行。**
-该指令成功执行后，项目web目录下会出现一个 “dist” 的文件夹及“*-${getVersion()}-dist.zip”压缩文件，目录dist/dist即为打包好的代码，您可以直接将该文件夹放进您的静态服务器中，或者参考安装文档，使用脚本进行部署安装。
-## 5. 运行项目
-如果您想在本地浏览器上运行该项目并且改动代码查看效果，需要在终端命令行中执行以下指令：
+## 2.2. 打包项目
+在终端命令行执行以下指令对项目进行打包，生成压缩后的部署安装包。
+检查web/package.json，web/.env文件，检查前端管理台版本号是否正确。
```
-npm run serve
+$ npm run build
```
+上述命令执行成功后，会生成前端管理台安装包 `apache-linkis-${version}-incubating-web-bin.tar.gz`，可以直接将该文件夹放进您的静态服务器中，或者参考[安装文档](../deployment/web_install.md)，使用脚本进行部署安装。
-## 6. 注意事项
-1.Windows下npm install 步骤报错
+## 3 . 注意事项
+### 3.1 Windows下npm install 步骤报错
```shell
Error: Can't find Python executable "python", you can set the PYTHON env variable
安装windows-build-tools （管理员权限）
@@ -70,14 +60,15 @@ $ npm cache clear --force
$ npm install
```
-2.如果出现兼容问题,建议重新安装node,[node下载地址](https://nodejs.org/zh-cn/download/)
+### 3.2 如果出现兼容问题,建议重新安装node
+[node下载地址](https://nodejs.org/zh-cn/download/)
```shell
1.查看node版本(推荐使用node v14版本)
$ node -v
2.下载node v14版本并且重新安装node
```
-3.npm install下载前端依赖无法成功
+### 3.3 npm install下载前端依赖无法成功
如果遇到该情况，可以使用国内的淘宝npm镜像：
```
npm install -g cnpm --registry=https://registry.npm.taobao.org
@@ -86,22 +77,5 @@ npm install -g cnpm --registry=https://registry.npm.taobao.org
```
cnpm install
```
-注意，项目启动和打包时，仍然可以使用npm run build和npm run serve指令
-
-在浏览器中（建议Chrome浏览器）通过链接访问应用：[http://localhost:8080/](http://localhost:8080/) .
-当您使用该方式运行项目时，您对代码的改动产生的效果，会动态体现在浏览器上。
-**注意：因为项目采用前后端分离开发，所以在本地浏览器上运行时，需要对浏览器进行设置跨域才能访问后端接口：**
-
-比如chrome浏览器：
-windows系统下的配置方式：
-1. 关闭所有的chrome浏览器。
-2. 新建一个chrome快捷方式，右键“属性”，“快捷方式”选项卡里选择“目标”，添加 --args --disable-web-security --user-data-dir=C:\MyChromeDevUserData
-3. 通过快捷方式打开chrome浏览器
-mac系统下的配置方式：
-在终端命令行执行以下命令(需要替换路径中的yourname，若还不生效请检查您机器上MyChromeDevUserData文件夹的位置并将路径复制到下面指令的“--user-data-dir=”后面)
-
-```
-open -n /Applications/Google\ Chrome.app/ --args --disable-web-security --user-data-dir=/Users/yourname/MyChromeDevUserData/
-```
diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.1.1/engine_usage/openlookeng.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.1.1/engine_usage/openlookeng.md
index 2f43ccfd7..de4bb7a6a 100644
--- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.1.1/engine_usage/openlookeng.md
+++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.1.1/engine_usage/openlookeng.md
@@ -24,7 +24,7 @@ sidebar_position: 8
单独编译openLooKeng
```
-${linkis_code_dir}/linkis-enginepconn-lugins/engineconn-plugins/openlookeng/
+${linkis_code_dir}/linkis-enginepconn-pugins/engineconn-plugins/openlookeng/
mvn clean install
```
diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/current/engine_usage/pipeline.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.1.1/engine_usage/pipeline.md
similarity index 56%
copy from i18n/zh-CN/docusaurus-plugin-content-docs/current/engine_usage/pipeline.md
copy to i18n/zh-CN/docusaurus-plugin-content-docs/version-1.1.1/engine_usage/pipeline.md
index dcc308de4..485b482c3 100644
--- a/i18n/zh-CN/docusaurus-plugin-content-docs/current/engine_usage/pipeline.md
+++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.1.1/engine_usage/pipeline.md
@@ -1,93 +1,90 @@
---
-title: pipeline 引擎
+title: Pipeline 引擎
sidebar_position: 10
---
+> Pipeline的主要用来文件的导入和导出,本文主要介绍`pipeline`(>=1.1.0版本支持)引擎的配置、部署和使用。
-本文主要介绍`pipeline`(>=1.1.0版本支持)引擎的配置、部署和使用。
+## 1 配置和部署
+### 1.1 引擎包的获取
-## 1 配置和部署
+因为发布的安装部署包中默认安装包中没有pipeline引擎，因此需要获取对应引擎的jar包文件
-### 1.1 版本的选择和编译
-注意: 编译`pipeline`引擎之前需要进行linkis项目全量编译
-目前`pipeline`引擎，需自行安装部署
+#### 方式1
-发布的安装部署包中默认不包含此引擎插件，
-你可以按此指引部署安装 https://linkis.apache.org/zh-CN/blog/2022/04/15/how-to-download-engineconn-plugin
-或者按以下流程，手动编译部署
+通过 [非默认引擎物料包](https://linkis.apache.org/zh-CN/blog/2022/04/15/how-to-download-engineconn-plugin) 下载
-单独编译`pipeline`
+#### 方式2 手动编译获取
+
+注意: 编译`pipeline`引擎之前需要进行linkis项目全量编译
```
-${linkis_code_dir}/linkis-enginepconn-pugins/engineconn-plugins/pipeline/
+cd ${linkis_code_dir}
+mvn -N install #首次需要进行linkis项目全量编译
+
+cd linkis-enginepconn-pugins/engineconn-plugins/pipeline/
mvn clean install
```
-### 1.2 物料的部署和加载
-
-将 1.1 步编译出来的引擎包,位于
-
+编译出来的引擎包,位于
```bash
${linkis_code_dir}/linkis-engineconn-plugins/engineconn-plugins/pipeline/target/out/pipeline
```
-上传到服务器的引擎目录下
-```bash
-${LINKIS_HOME}/lib/linkis-engineplugins
-```
+### 1.2 物料的部署和加载
+
+
+将 步骤 1.1获取到的引擎物料包，上传到服务器的引擎目录下`${LINKIS_HOME}/lib/linkis-engineplugins`
+
并重启linkis-engineplugin进行引擎刷新
```bash
cd ${LINKIS_HOME}/sbin
sh linkis-daemon.sh restart cg-engineplugin
```
-或通过引擎接口进行刷新，引擎放置到对应目录后，通过http接口向linkis-cg-engineconnplugin 服务发送刷新请求即可。
-
-- 接口 `http://${engineconn-plugin-server-IP}:${port}/api/rest_j/v1/rpc/receiveAndReply`
-- 请求方式 `POST`
-
-```json
-{
- "method": "/enginePlugin/engineConn/refreshAll"
-}
-```
-检查引擎是否刷新成功：如果在刷新过程中遇到问题，需要确认是否刷新成功，则可以查看数据库中的linkis_engine_conn_plugin_bml_resources这张表的last_update_time是否为触发刷新的时间。
+检查引擎是否刷新成功：可以查看数据库中的linkis_engine_conn_plugin_bml_resources这张表的last_update_time是否为触发刷新的时间。
```sql
#登陆到linkis的数据库
select * from linkis_cg_engine_conn_plugin_bml_resources
```
-### 1.3 引擎的标签
-Linkis1.X是通过标签来进行的，所以需要在我们数据库中插入数据，插入的方式如下文所示。
+### 1.3 引擎的标签(可选)
+
+通过标签来进行的，所以需要在我们数据库中插入数据，插入的方式如下文所示
[EngineConnPlugin引擎插件安装](../deployment/engine_conn_plugin_installation)
## 2 引擎的使用
+>因为`pipeline`引擎主要用来导入导出文件为主，现在我们假设从A向B导入文件最为介绍案例
+
### 2.1 通过Linkis-cli进行任务提交
-Linkis 1.0后提供了cli的方式提交任务，我们只需要指定对应的EngineConn和CodeType标签类型即可，pipeline的使用如下：
+通过linkis-cli的方式提交任务，需要指定对应的EngineConn和CodeType标签类型，pipeline的使用如下：
+
- 注意 `engineType pipeline-1` 引擎版本设置是有前缀的 如 `pipeline` 版本为`v1` 则设置为 `pipeline-1`
+
```shell
sh bin/linkis-cli -submitUser hadoop -engineType pipeline-1 -codeType pipeline -code "from hdfs:///000/000/000/A.dolphin to file:///000/000/000/B.csv"
```
-`from hdfs:///000/000/000/A.dolphin to file:///000/000/000/B.csv` 该内容 3.3有解释
+`from hdfs:///000/000/000/A.dolphin to file:///000/000/000/B.csv` 该内容 2.3 有解释
具体使用可以参考： [Linkis CLI Manual](user_guide/linkiscli_manual.md).
-因为`pipeline`引擎主要用来导入导出文件为主，现在我们假设从A向B导入文件最为介绍案例
-### 2.2 新建脚本
+
+### 2.2 通过 Scriptis 使用
+
工作空间模块右键选择新建一个类型为`storage`的脚本
-### 2.3 编写脚本
+#### 2.2.1 编写脚本
##### 语法为：from path to path
@@ -107,7 +104,8 @@ A文件向B文件夹导入脚本
```bash
from hdfs:///000/000/000/A.csv to file:///000/000/000/B.csv
```
-- `from` 语法，`to`：语法
+
+- `from path to path`
- `hdfs:///000/000/000/A.csv`： 输出文件路径及文件
- `file:///000/000/000/B.csv`： 输入文件路径及文件
@@ -120,9 +118,9 @@ from hdfs:///000/000/000/B.csv to file:///000/000/000/A.CSV
-注意：语法末端不能带分号；否则语法错误。
+注意：语法末端不能带分号(;),否则语法错误。
-### 2.4 结果
+#### 2.2.2 结果
进度
diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.1.1/introduction.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.1.1/introduction.md
index 070bb82a2..4aaac6e65 100644
--- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.1.1/introduction.md
+++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.1.1/introduction.md
@@ -13,43 +13,49 @@ Linkis 自2019年开源发布以来，已累计积累了700多家试验企业和
## 核心特点
- **丰富的底层计算存储引擎支持**。
- **目前支持的计算存储引擎**：Spark、Hive、Python、Presto、ElasticSearch、MLSQL、TiSpark、JDBC和Shell等。
- **正在支持中的计算存储引擎**：Flink(>=1.0.2版本已支持)、Impala等。
+ **目前支持的计算存储引擎**：Spark、Hive、Flink、Python、Pipeline、Sqoop、openLookEng、JDBC和Shell等。
+ **正在支持中的计算存储引擎**：Presto(计划1.2.0)、ElasticSearch(计划1.2.0)等。
**支持的脚本语言**：SparkSQL, HiveQL, Python, Shell, Pyspark, R, Scala 和JDBC 等。
- **强大的计算治理能力**。基于Orchestrator、Label Manager和定制的Spring Cloud Gateway等服务，Linkis能够提供基于多级标签的跨集群/跨IDC 细粒度路由、负载均衡、多租户、流量控制、资源控制和编排策略(如双活、主备等)支持能力。
- **全栈计算存储引擎架构支持**。能够接收、执行和管理针对各种计算存储引擎的任务和请求，包括离线批量任务、交互式查询任务、实时流式任务和存储型任务；
-- **资源管理能力**。 ResourceManager 不仅具备 Linkis0.X 对 Yarn 和 Linkis EngineManager 的资源管理能力，还将提供基于标签的多级资源分配和回收能力，让 ResourceManager 具备跨集群、跨计算资源类型的强大资源管理能力。
+- **资源管理能力**。 ResourceManager 不仅具备对 Yarn 和 Linkis EngineManager 的资源管理能力，还将提供基于标签的多级资源分配和回收能力，让 ResourceManager 具备跨集群、跨计算资源类型的强大资源管理能力。
- **统一上下文服务**。为每个计算任务生成context id，跨用户、系统、计算引擎的关联管理用户和系统资源文件（JAR、ZIP、Properties等），结果集，参数变量，函数等，一处设置，处处自动引用；
- **统一物料**。系统和用户级物料管理，可分享和流转，跨用户、系统共享物料。
- **统一数据源管理**。提供了hive、es、mysql、kafka类型数据源的增删查改、版本控制、连接测试等功能。
- **数据源对应的元数据查询**。提供了hive、es、mysql、kafka元数据的数据库、表、分区查询。
## 支持的引擎类型
-| **引擎** | **引擎版本** | **Linkis 0.X 版本要求**| **Linkis 1.X 版本要求** | **说明** |
+| **引擎名** | **支持底层组件版本<br/>(默认依赖版本)** | **Linkis 1.X 版本要求** | **是否默认包含在发布包中** | **说明** |
|:---- |:---- |:---- |:---- |:---- |
-|Flink |1.12.2|\>=dev-0.12.0, PR #703 尚未合并|>=1.0.2| Flink EngineConn。支持FlinkSQL 代码，也支持以Flink Jar 形式启动一个新的Yarn 应用程序。|
-|Impala|\>=3.2.0, CDH >=6.3.0"|\>=dev-0.12.0, PR #703 尚未合并|ongoing|Impala EngineConn. 支持Impala SQL 代码.|
-|Presto|\>= 0.180|\>=0.11.0|ongoing|Presto EngineConn. 支持Presto SQL 代码.|
-|ElasticSearch|\>=6.0|\>=0.11.0|ongoing|ElasticSearch EngineConn. 支持SQL 和DSL 代码.|
-|Shell|Bash >=2.0|\>=0.9.3|\>=1.0.0_rc1|Shell EngineConn. 支持Bash shell 代码.|
-|MLSQL|\>=1.1.0|\>=0.9.1|ongoing|MLSQL EngineConn. 支持MLSQL 代码.|
-|JDBC|MySQL >=5.0, Hive >=1.2.1|\>=0.9.0|\>=1.0.0_rc1|JDBC EngineConn. 已支持MySQL 和HiveQL，可快速扩展支持其他有JDBC Driver 包的引擎, 如Oracle.
-|Spark|Apache 2.0.0~2.4.7, CDH >=5.4.0|\>=0.5.0|\>=1.0.0_rc1|Spark EngineConn. 支持SQL, Scala, Pyspark 和R 代码.|
-|Hive|Apache >=1.0.0, CDH >=5.4.0|\>=0.5.0|\>=1.0.0_rc1|Hive EngineConn. 支持HiveQL 代码.|
-|Hadoop|Apache >=2.6.0, CDH >=5.4.0|\>=0.5.0|ongoing|Hadoop EngineConn. 支持Hadoop MR/YARN application.|
-|Python|\>=2.6|\>=0.5.0|\>=1.0.0_rc1|Python EngineConn. 支持python 代码.|
-|TiSpark|1.1|\>=0.5.0|ongoing|TiSpark EngineConn. 支持用SparkSQL 查询TiDB.|
-|OpenLookEng|1.5.0|不支持|>=1.1.1|LooKengEng EngineConn. 支持用Sql查询数据虚拟化引擎LooKengEng|
+|Spark|Apache 2.0.0~2.4.7, <br/>CDH >= 5.4.0, <br/>（默认Apache Spark 2.4.3）|\>=1.0.0_rc1|是|Spark EngineConn， 支持SQL, Scala, Pyspark 和R 代码|
+|Hive|Apache >= 1.0.0, <br/>CDH >= 5.4.0, <br/>（默认Apache Hive 2.3.3）|\>=1.0.0_rc1|是|Hive EngineConn， 支持HiveQL 代码|
+|Python|Python >= 2.6, <br/>（默认Python2*）|\>=1.0.0_rc1|是|Python EngineConn， 支持python 代码|
+|Shell|Bash >= 2.0|\>=1.0.0_rc1|是|Shell EngineConn， 支持Bash shell 代码|
+|JDBC|MySQL >= 5.0, Hive >=1.2.1, <br/>(默认Hive-jdbc 2.3.4)|\>=1.0.0_rc1|否|JDBC EngineConn， 已支持MySQL 和HiveQL，可快速扩展支持其他有JDBC Driver 包的引擎, 如Oracle|
+|Flink |Flink >= 1.12.2, <br/>(默认Apache Flink 1.12.2)|\>=1.0.2|否|Flink EngineConn， 支持FlinkSQL 代码，也支持以Flink Jar 形式启动一个新的Yarn 应用程序|
+|Pipeline|-|\>=1.0.2|否|Pipeline EngineConn， 支持文件的导入和导出|
+|openLookEng|openLookEng >= 1.5.0, <br/>(默认openLookEng 1.5.0)|\>=1.1.1|否|openLooKeng EngineConn， 支持用Sql查询数据虚拟化引擎openLooKeng|
+|Sqoop| Sqoop >= 1.4.6, <br/>(默认Apache Sqoop 1.4.6)|\>=1.1.2|否|Sqoop EngineConn， 支持 数据迁移工具 Sqoop 引擎|
+|Impala|Impala >= 3.2.0, CDH >=6.3.0|ongoing|-|Impala EngineConn，支持Impala SQL 代码|
+|Presto|Presto >= 0.180|ongoing|-|Presto EngineConn， 支持Presto SQL 代码|
+|ElasticSearch|ElasticSearch >=6.0|ongoing|-|ElasticSearch EngineConn， 支持SQL 和DSL 代码|
+|MLSQL| MLSQL >=1.1.0|ongoing|-|MLSQL EngineConn， 支持MLSQL 代码.|
+|Hadoop|Apache >=2.6.0, <br/>CDH >=5.4.0|ongoing|-|Hadoop EngineConn， 支持Hadoop MR/YARN application|
+|TiSpark|1.1|ongoing|-|TiSpark EngineConn， 支持用SparkSQL 查询TiDB|
+
+
## 下载
请前往[Linkis releases 页面](https://linkis.apache.org/zh-CN/download/main) 下载Linkis 已编译的部署安装包或源码包。
-## 编译和安装部署
-请参照[编译指引](development/linkis_compile_and_package.md) 来编译Linkis 源码。
-请参考[安装部署文档](deployment/quick_deploy.md) 来部署Linkis。
+## 安装部署
+
+请参考[安装部署文档](deployment/quick_deploy.md) 来部署Linkis
## 示例和使用指引
-请到[用户手册](user_guide/overview.md), [各引擎使用指引](engine_usage/overview.md) 和[API 文档](api/overview.md) 中，查看如何使用和管理Linkis 的示例和指引。
+- [用户手册](user_guide/overview.md)
+- [各引擎使用指引](engine_usage/overview.md)
+- [API 文档](api/overview.md)
## 文档
完整的Linkis文档代码存放在[linkis-website仓库中](https://github.com/apache/incubator-linkis-website)
@@ -83,8 +89,10 @@ Linkis 基于微服务架构开发，其服务可以分为3类:计算治理服
## 贡献
我们非常欢迎和期待更多的贡献者参与共建Linkis, 不论是代码、文档，或是其他能够帮助到社区的贡献形式。
+
代码和文档相关的贡献请参照[贡献指引](/community/how-to-contribute)。
+
## 联系我们
对Linkis 的任何问题和建议，敬请提交issue，以便跟踪处理和经验沉淀共享。
您也可以扫描下面的二维码，加入我们的微信群，以获得更快速的响应。
diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.1.1/upgrade/overview.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.1.1/upgrade/overview.md
deleted file mode 100644
index 6b78e0314..000000000
--- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.1.1/upgrade/overview.md
+++ /dev/null
@@ -1,9 +0,0 @@
----
-title: 总览
-sidebar_position: 0
----
-Linkis1.0 与 Linkis0.X的架构差异巨大，且安装部署包和数据库表结构存在一定程度的修改，在您正式安装 Linkis1.0 之前，请您仔细阅读以下说明：
-
-1. 如果您是第一次安装使用 Linkis，或重装 Linkis，您无需关注 Linkis 升级指南。
-
-2. 如果您是从Linkis0.X 升级到 Linkis1.0，请一定要仔细阅读 [Linkis从0.X升级到1.0指南](upgrade_from_0.X_to_1.0_guide)
\ No newline at end of file
diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.1.1/upgrade/upgrade_from_0.X_to_1.0_guide.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.1.1/upgrade/upgrade_from_0.X_to_1.0_guide.md
index a9f0be74c..55d8b3aa8 100644
--- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.1.1/upgrade/upgrade_from_0.X_to_1.0_guide.md
+++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.1.1/upgrade/upgrade_from_0.X_to_1.0_guide.md
@@ -1,21 +1,21 @@
---
-title: 1.0升级指南
+title: 0.x到1.0的升级指南
sidebar_position: 1
---
-> 本文简单介绍Linkis从0.X升级到1.0的注意事项，Linkis1.0 对Linkis的多个服务进行了调整，改动较大，本文将介绍从0.X到1.X升级过程中的注意事项。
+> 本文简单介绍Linkis从0.X升级到1.0.0(1.0.1/1.0.2)的注意事项，Linkis1.0 对Linkis的多个服务进行了调整，改动较大，本文将介绍从0.X到1.X升级过程中的注意事项。
## 1. 注意事项
- **如果您是首次接触并使用Linkis，您可以忽略该章节；如果您已经是 Linkis 的使用用户，安装或升级前建议先阅读：[Linkis1.0 与 Linkis0.X 的区别简述](architecture/difference_between_1.0_and_0.x.md)**。
+**如果您是首次接触并使用Linkis，您可以忽略该章节；如果您已经是 Linkis 的使用用户，安装或升级前建议先阅读：[Linkis1.0 与 Linkis0.X 的区别简述](architecture/difference_between_1.0_and_0.x.md)**。
## 2. 服务升级安装
- 因为1.0基本上对所有服务进行了升级，包括服务名进行了修改，所以0.X到1.X升级时服务需要进行重新安装。
+因为1.0基本上对所有服务进行了升级，包括服务名进行了修改，所以0.X到1.X升级时服务需要进行重新安装。
- 在安装时如果需要保留0.X的数据，一定要选择1跳过建表语句（见下面代码）。
+在安装时如果需要保留0.X的数据，一定要选择1跳过建表语句（见下面代码）。
- Linkis1.0 的安装可以参考[如何快速安装使用Linkis-1.0](deployment/quick_deploy.md)
+Linkis1.0 的安装可以参考[如何快速安装](deployment/quick_deploy.md)
```
Do you want to clear Linkis table information in the database?
@@ -27,11 +27,11 @@ Please input the choice: ## choice 1
```
## 3. 数据库升级
- 服务安装完成后，需要对数据库进行结构修改，包括进行表结构变更和新增表和数据：
+ 服务安装完成后，需要对数据库进行结构修改，包括进行表结构变更和新增表和数据：
### 3.1 表结构修改部分：
- linkis_task 表新增了submit_user和label_json字段，更新语句是：
+ linkis_task 表新增了submit_user和label_json字段，更新语句是：
```mysql-sql
ALTER TABLE linkis_task ADD submit_user varchar(50) DEFAULT NULL COMMENT 'submitUser name';
@@ -52,17 +52,17 @@ Please input the choice: ## choice 1
### 3.3 publicservice-Configuration表修改
- 为了支持Linkis1.X 的全标签化能力，configuration模块相关数据表已全部升级为标签化，和0.X的Configuration表完全不同，需要重新执行建表语句和初始化语句。
+ 为了支持Linkis1.X 的全标签化能力，configuration模块相关数据表已全部升级为标签化，和0.X的Configuration表完全不同，需要重新执行建表语句和初始化语句。
- 这意味着，**Linkis0.X 用户已有的引擎配置参数，已无法迁移到Linkis1.0之中**（建议用户重新配置一次引擎参数）。
+ 这意味着，**Linkis0.X 用户已有的引擎配置参数，已无法迁移到Linkis1.0之中**（建议用户重新配置一次引擎参数）。
- 执行建表语句如下：
+ 执行建表语句如下：
```mysql-sql
source linkis_configuration.sql
```
- 执行初始化语句，因为 Linkis1.0 支持对接多版本的引擎，所以执行初始化语句时，一定需要修改对应引擎的版本，如下所示。
+ 执行初始化语句，因为 Linkis1.0 支持对接多版本的引擎，所以执行初始化语句时，一定需要修改对应引擎的版本，如下所示。
```mysql-sql
vim linkis_configuration_dml.sql
@@ -75,4 +75,4 @@ Please input the choice: ## choice 1
## 4. 安装Linkis1.0
- 启动Linkis1.0，验证服务是否已正常启动并对外提供服务，具体请参考： [如何快速安装使用Linkis-1.0](deployment/quick_deploy.md)
+ 启动Linkis1.0，验证服务是否已正常启动并对外提供服务，具体请参考： [如何快速安装](deployment/quick_deploy.md)
diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.1.1/upgrade/upgrade_guide.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.1.1/upgrade/upgrade_guide.md
new file mode 100644
index 000000000..d80072260
--- /dev/null
+++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.1.1/upgrade/upgrade_guide.md
@@ -0,0 +1,169 @@
+---
+title: 1.0.3以上的版本升级
+sidebar_position: 2
+---
+
+> 本文简单介绍1.0.3以上的版本的升级大体流程
+
+
+## 1 升级说明
+
+- 如果是第一次安装使用 Linkis，或重装 Linkis，无需关注 Linkis 升级指南。
+- 如果涉及到其他平台的组件（DataSphereStudio/Qualitis/Visualis等），升级前，请确认版本之间的兼容性，最好使用推荐的版本。
+- 建议通过软链方式来进行版本管控，可以通过修改软链的目标地址 来切换版本 如:`linkis -> /appcom/Install/LinkisInstall/linkis-1.1.3.20220615210213`
+- 升级过程主要是需要关注数据库表结构的调整和部分配置参数的调整
+- 除了后端服务的升级，linkis的管理台资源也需要一并升级
+- 每个版本的主要变动点 可以查阅版本的总览信息`https://linkis.apache.org/zh-CN/docs/x.x.x /release` 以及版本[release-note](https://linkis.apache.org/zh-CN/download/main):https://linkis.apache.org/zh-CN/download/main
+- 每个版本的数据库变化/配置参数变化 都是基于上一个版本
+
+## 2 服务升级安装
+
+按[部署指引文档](../deployment/quick_deploy)（文档中关于管理台的安装可以跳过），进行新版本的安装。
+
+安装服务时，如果历史数据保留，请保留历史数据，如果无需保留数据，直接重装即可
+```shell script
+Do you want to clear Linkis table information in the database?
+ 1: Do not execute table-building statements
+ 2: Dangerous! Clear all data and rebuild the tables
+ other: exit
+
+Please input the choice: ## choice 1
+```
+
+## 3. 数据库表升级
+>服务安装完成后，需要对数据库进行结构修改，包括进行表结构变更和表数据变更
+
+
+找到对应的版本`db/upgrade/x.x.x-schema/` sql变动文件
+
+如果是跨多个版本执行，请按版本顺序，依次执行，
+如果某些版本没有x.x.x_schema(linkis>=1.1.0版本后，只要涉及到数据库表的调整，都会有对应版本的schema文件),则表示该版本没有数据表的变化
+```shell script
+├── linkis_ddl.sql # 当前版本的全量ddl 数据库定义语言 建表语句
+├── linkis_dml.sql # 当前版本的全量dml 数据操纵语言 数据的增改
+└── upgrade
+ ├── 1.1.0_schema # 对应版本的sql
+ │ └── mysql
+ │ ├── linkis_ddl.sql
+ │ └── linkis_dml.sql
+ ├── 1.1.1_schema
+ │ └── mysql
+ │ ├── linkis_ddl.sql
+ │ └── linkis_dml.sql
+ └── 1.1.3_schema
+ └── mysql
+ └── linkis_ddl.sql
+```
+
+```mysql-sql
+ #如果是跨多个版本执行，请按版本顺序，依次执行 先执行ddl 再执行ddl
+ #比如当前从linkis-1.0.3 升级到linkis-1.1.2
+ source upgrade/1.1.0_schema/mysql/linkis_ddl.sql
+ source upgrade/1.1.0_schema/mysql/linkis_dml.sql
+
+ source upgrade/1.1.1_schema/mysql/linkis_ddl.sql
+ source upgrade/1.1.1_schema/mysql/linkis_dml.sql
+
+```
+## 4 数据的调整(可选)
+>按实际情况，决定是否需要做如下调整
+
+### 4.1 TOKEN 配置
+用于接口调用是的认证
+1.1.1 版本调整将原来的TOKEN配置从`${LINKIS_HOME}/conf/token.properties`迁移到数据库表`linkis_mg_gateway_auth_token`,
+对于原来在`token.properties`额外配置的TOKEN，需要手动迁移表中
+### 4.2 UDF 调整
+1.1.1 中支持支持UDF多版本控制、UDF存储到BML的功能特性，UDF函数存储的表结构有调整，UDF的历史数据，需要单独进行迁移
+
+### 4.3 Session 字段key配置
+
+1.1.1 版本中调整了session字段的key，从`bdp-user-ticket-id`-> 调整为 `linkis_user_session_ticket_id_v1`，
+如果是对Linkis的升级。同时部署DSS或者其他项目，但他们服务lib包中，所依赖的Linkis的linkis-module-x.x.x.jar包 <1.1.1，则需要修改位于`${LINKIS_HOME}/conf/linkis.properties`文件
+```shell
+echo "wds.linkis.session.ticket.key=bdp-user-ticket-id" >> linkis.properties
+```
+### 4.4 默认队列的调整
+1.1.1 开始调整了yarn队列默认集群名`wds.linkis.rm.cluster` sit调整为default，如果一直使用的sit，请修改表数据
+`linkis_cg_rm_external_resource_provider`中的集群名
+
+### 4.5 其他相关包的拷贝
+
+如果之前老版本Linkis中`${LINKIS_HOME_OLD}/lib/linkis-engineconn-plugins`有安装第三方appconn插件，需要拷贝至新版本中，
+最好通过软链链接到appconn路径上
+如:
+```
+#查看老版本是否有安装第三方appconn
+cd ${LINKIS_HOME_OLD}/lib/linkis-engineconn-plugins/
+ll
+ appconn -> /appcom/Install/LinkisInstall/appconn
+
+
+#新版本保持一致
+cd ${LINKIS_HOME}/lib/linkis-engineconn-plugins/
+#软链
+ln -snf /appcom/Install/LinkisInstall/appconn appconn
+```
+
+
+如果原来版本有安装dss，需要拷贝原来包中的`dss-gateway-support-x.x.x.jar` 至linkis的`./lib/linkis-spring-cloud-services/linkis-mg-gateway/`目录下
+如:
+```shell script
+cp ${LINKIS_HOME_OLD}/lib/linkis-spring-cloud-services/linkis-mg-gateway/dss-gateway-support-1.1.3.jar ${LINKIS_HOME}/lib/linkis-spring-cloud-services/linkis-mg-gateway/dss-gateway-support-1.1.3.jar
+
+```
+
+## 5 管理台的更新
+
+> 升级后端，同时也需要升级对应的管理台资源，无需执行管理台的安装，直接替换掉静态资源即可
+
+### 5.1 下载前端安装包并解压
+上传至管理台所在的服务器上 ，解压
+```shell script
+tar -xvf apache-linkis-x.x.x-incubating-web-bin.tar.gz
+```
+
+
+### 5.2 升级
+>管理台升级方式比较多，因为只是资源的更新，可以通过管理台安装脚本来进行，也可以直接覆盖掉原有的资源，
+>推荐使用软链方式来进行，只需呀修改软链的目标地址即可，下面以新建版本资源路径方式为例
+
+nginx配置文件默认是 在`/etc/nginx/conf.d/*`
+nginx的日志文件在 `/var/log/nginx/access.log` 和`/var/log/nginx/error.log`
+
+场景1： 如果是集成再DSS项目中，修改DSS项目中linkis管理台资源的地址指向
+dss的nginx配置文件默认是 在`/etc/nginx/conf.d/dss.conf`
+```nginx
+#示例
+ server {
+ ......
+ location dss/linkis {
+ alias /appcom/Install/linkis-web-newversion/dist; # 静态文件目录
+ index index.html index.html;
+ }
+ .....
+ }
+```
+
+场景2：如果linkis是独立部署
+修改Nginx的配置,静态资源地址 指向新版本的linkis管理台
+linkis的nginx配置文件默认是 在`/etc/nginx/conf.d/dss.conf`
+```nginx
+#示例
+ server {
+ ......
+ location dss/linkis {
+ alias /appcom/Install/linkis-web-newversion/dist; # 静态文件目录
+ index index.html index.html;
+ }
+ ......
+ }
+```
+
+重新加载nginx 配置
+```
+sudo nginx -s reload
+```
+
+### 5.3 注意事项
+
+- 管理台升级后，因为浏览器可能存在缓存，如果要验证效果，最好清空下浏览器缓存
\ No newline at end of file
diff --git a/src/pages/team/config.json b/src/pages/team/config.json
index eb2c0b8a6..ff6890fc6 100644
--- a/src/pages/team/config.json
+++ b/src/pages/team/config.json
@@ -1,7 +1,7 @@
{
"zh-CN": {
"info": {
- "desc": "您可以通过上报bug/提交新功能或改进建议/提交补丁/文档编写/社区答疑/组织社区活动等方式参与到Apache Linkis的贡献中，详细指引参见<a class=\"link\" href=\"community/how-to-contribute\" rel=\"noopener noreferrer\">贡献者指南</a>。",
+ "desc": "您可以通过上报bug/提交新功能或改进建议/提交补丁/文档编写/社区答疑/组织社区活动等方式参与到Apache Linkis的贡献中，详细指引参见<a class=\"link\" href=\"../zh-CN/community/how-to-contribute\" rel=\"noopener noreferrer\">贡献者指南</a>。",
"tip": "(排名不分先后)",
"committerTip": "(按英文首字母排序)"
},
@@ -208,7 +208,7 @@
},
"en": {
"info": {
- "desc": "You can participate in the contribution of Apache Linkis by reporting bugs/submitting new features or improvement suggestions/submitting patches/ writing or refining documents/attending community Q&A/organizing community activities, etc. For detailed instructions, please refer to <a class=\"link\" href=\"community/how-to-contribute\" rel=\"noopener noreferrer\">Contributor's Guide</a>.",
+ "desc": "You can participate in the contribution of Apache Linkis by reporting bugs/submitting new features or improvement suggestions/submitting patches/ writing or refining documents/attending community Q&A/organizing community activities, etc. For detailed instructions, please refer to <a class=\"link\" href=\"../community/how-to-contribute\" rel=\"noopener noreferrer\">Contributor's Guide</a>.",
"tip": "(In no particular order)",
"committerTip": "(Sort by English initials)"
},
diff --git a/versioned_docs/version-1.1.1/deployment/linkis_scriptis_install.md b/versioned_docs/version-1.1.1/deployment/linkis_scriptis_install.md
new file mode 100644
index 000000000..d86b292cf
--- /dev/null
+++ b/versioned_docs/version-1.1.1/deployment/linkis_scriptis_install.md
@@ -0,0 +1,190 @@
+---
+title: Installation and deployment of tool scriptis
+sidebar_position: 10
+---
+
+## 1. introduce
+
+> On linkis1.0 and DSS 1.1 After X, scriptpis can be deployed separately to integrate with linkis. Using the interactive analysis function of scriptis, you can write SQL, pyspark, hiveql and other scripts online on the web page, submit them to linkis for execution, and support UDF, functions, resource control, user-defined variables and other features. This article will introduce how to deploy the web component scriptis separately, and use linkis through such a web page as scriptis.
+:::caution be careful
+Premise: the linkis service (back-end and management console services) has been successfully installed and can be used normally. See [rapid deployment of linkis] (deployment/quick_deploy) for the deployment process of linkis
+Example description:
+- The address of the linkis gateway service is 10.10.10.10 and the port is 9001
+- The management console nginx of linkis is deployed on port 8080 of 10.10.10.10
+ :::
+
+
+
+
+
+## 2. Compilation process
+
+### 2.1 Install node js
+```shell script
+ Set node JS download and install. Download address: http://nodejs.cn/download/ (it is recommended to use the latest stable version) this step is only required for the first use
+```
+
+### 2.1 install learn
+```shell script
+ #The computer opens the CMD terminal tool and enters the command for global installation
+ npm install lerna -g
+```
+Wait until the installation is completed. The installation of liarn only needs to be performed when it is used for the first time
+
+
+### 2.2 Get scripts code
+> Scriptis is a pure front-end project, which is integrated into the DSS web code component as a component. We only need to compile the DSS web project with a separate scripts module
+
+```shell script
+#Before downloading the official version of DSS 1.1.0 through GIT and releasing it, it is recommended to use the dev-1.1.4 branch of this branch to compile the scripts component
+git clone -b dev-1.1.4 https://github.com/WeDataSphere/DataSphereStudio
+# Or download the zip package directly and unzip it
+https://codeload.github.com/WeDataSphere/DataSphereStudio/zip/refs/heads/dev-1.1.4
+
+#Enter web directory
+cd DataSphereStudio/web
+
+#Add dependency note: learn needs to be installed in lerna bootstrap instead of NPM install. This step needs to be performed only for the first time
+lerna bootstrap
+```
+
+
+
+### 2.3 Local operation project
+> If you do not want to run the view locally, you can skip this step
+
+#### 2.3.1 Configure the linkis gateway service address configuration
+If the service is started locally, you need to configure the back-end linkis gateway service address in the code, which is in the `. Under the web/packages/dss/ directory Env` file,
+Configuration is not required when packaging deployment
+```shell script
+// Backend linkis gatway service address
+VUE_APP_HOST=http://10.10.10.10:9001
+VUE_APP_MN_CONFIG_PREFIX=http://10.10.10.10:9001/api/rest_j/v1
+```
+#### 2.3.2 Running scripts module
+
+```shell script
+cd DataSphereStudio/web
+# Run scripts component
+npm run serve --module=scriptis
+```
+
+Open the browser and link` http://localhost:8080 `(the default port for the local request is 8080) to access the application scripts, because it will request the remote linkis gatway service interface, which will have a cross domain problem. To solve the cross domain problem for the Chrome browser, please refer to [solve the chrome cross domain problem]（ https://www.jianshu.com/p/56b1e01e6b6a )
+
+## 3. Packaging & Deployment scriptis
+
+### 3.1 pack
+```shell script
+#Specify scripts module
+cd DataSphereStudio/web
+
+#After the instruction is successfully executed, a folder named 'dist' will appear in the web directory, which is the component resource code of packaged scripts. We need to deploy this front-end resource to the nginx server where linkis web is located
+npm run build --module=scriptis
+```
+
+### 3.2 deploy
+
+Upload the static resources compiled in 3.1 to the server where the linkis management console is located, and store them in `/data/install/scripts-web/dist/`,
+Add the static resource access rules of scripts to the nginx server configuration for installing the linkis management console. The nginx configuration deployed by the linkis management console is generally located in `/etc/nginx/conf.d/linkis conf`
+
+```shell script
+ location /scriptis {
+ alias /data/Install/scriptis-web/dist/ ;
+ index index.html ;
+}
+```
+
+sudo vim `/etc/nginx/conf.d/linkis.conf`
+
+```shell script
+server {
+ listen 8080;# Access port
+ server_name localhost;
+ #charset koi8-r;
+ #access_log /var/log/nginx/host.access.log main;
+
+ location / {
+ root /appcom/Install/linkis-web/dist/; # Static file directory
+ index index.html;
+ }
+
+ location /scriptis { #The resources of scripts are prefixed with scripts to distinguish them from the linkis management console
+ alias /data/Install/scriptis-web/dist/ ; #Nginx scripts static file storage path (customizable)
+ index index.html ;
+ }
+
+ .......
+
+location /api {
+ proxy_pass http://10.10.10.10:9001; #Address of gatway
+ proxy_set_header Host $host;
+ proxy_set_header X-Real-IP $remote_addr;
+ proxy_set_header x_real_ipP $remote_addr;
+ proxy_set_header remote_addr $remote_addr;
+ proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
+ proxy_http_version 1.1;
+ proxy_connect_timeout 4s;
+ proxy_read_timeout 600s;
+ proxy_send_timeout 12s;
+ proxy_set_header Upgrade $http_upgrade;
+ proxy_set_header Connection upgrade;
+ }
+
+ #error_page 404 /404.html;
+ # redirect server error pages to the static page /50x.html
+ #
+ error_page 500 502 503 504 /50x.html;
+ location = /50x.html {
+ root /usr/share/nginx/html;
+ }
+ }
+
+```
+After modifying the configuration, reload the nginx configuration
+```shell script
+sudo nginx -s reload
+```
+
+Note the difference between root and alias in nginx
+- The result of root processing is: root path + location path
+- The result of alias processing is to replace the location path with the alias path
+- Alias is the definition of a directory alias, and root is the definition of the top-level directory
+
+## 4. scriptis Use steps
+
+### 4.1 Log in to the linkis management console normally
+```shell script
+#http://10.10.10.10:8080/#/
+http://nginxIp:port/#/
+```
+Because scripts requires login verification, you need to log in first to get the cookie.
+
+### 4.2 Visit the scripts page after successful login
+
+```shell script
+#http://10.10.10.10:8080/scriptis/
+http://nginxIp:port/scriptis/
+```
+Nginxip:nginx server IP, port:linkis management console nginx configuration start port number, `scripts` is the location address configured for the static file nginx of the requested scripts project (customizable)
+### 4.3 use scriptis
+Take creating an SQL query task as an example.
+
+
+step1 New script
+
+
+
+step2 Enter the statement to query
+
+
+
+step3 function
+
+
+
+
+shep4 View results
+
+
+
+
diff --git a/versioned_docs/version-1.1.1/engine_usage/pipeline.md b/versioned_docs/version-1.1.1/engine_usage/pipeline.md
new file mode 100644
index 000000000..f35e192ed
--- /dev/null
+++ b/versioned_docs/version-1.1.1/engine_usage/pipeline.md
@@ -0,0 +1,129 @@
+---
+title: pipeline engine
+sidebar_position: 10
+---
+
+This article mainly introduces the configuration, deployment and use of pipeline (>=1.1.0 version support) engine.
+
+
+## 1 Configuration and deployment
+
+### 1.1 Version selection and compilation
+Note: before compiling the `pipeline`engine, you need to compile the linkis project in full
+Currently, the `pipeline` engine needs to be installed and deployed by itself
+
+This engine plug-in is not included in the published installation and deployment package by default,
+You can follow this guide to deploy the installation https://linkis.apache.org/zh-CN/blog/2022/04/15/how-to-download-engineconn-plugin
+Or manually compile the deployment according to the following process
+
+Compile separately`pipeline`
+
+```
+${linkis_code_dir}/linkis-enginepconn-pugins/engineconn-plugins/pipeline/
+mvn clean install
+```
+
+### 1.2 Material deployment and loading
+
+将 1.1 The engine package compiled in step, located in
+
+```bash
+${linkis_code_dir}/linkis-engineconn-plugins/engineconn-plugins/pipeline/target/out/pipeline
+```
+Upload to the engine directory of the server
+
+```bash
+${LINKIS_HOME}/lib/linkis-engineplugins
+```
+
+And restart the `linkis engineplugin` to refresh the engine
+```bash
+cd ${LINKIS_HOME}/sbin
+sh linkis-daemon.sh restart cg-engineplugin
+```
+Or refresh through the engine interface. After the engine is placed in the corresponding directory, send a refresh request to the `linkis CG engineconplugin service` through the HTTP interface.
+- Interface`http://${engineconn-plugin-server-IP}:${port}/api/rest_j/v1/rpc/receiveAndReply`
+
+- Request mode `POST`
+
+```json
+{
+ "method": "/enginePlugin/engineConn/refreshAll"
+}
+```
+Check whether the engine is refreshed successfully: if you encounter problems during the refresh process and need to confirm whether the refresh is successful, you can view the`linkis_engine_conn_plugin_bml_resources`Of this table`last_update_time`Whether it is the time when the refresh is triggered.
+
+```sql
+#Log in to the database of linkis
+select * from linkis_cg_engine_conn_plugin_bml_resources
+```
+
+### 1.3 Engine label
+
+Linkis1.XIt is carried out through labels, so it is necessary to insert data into our database. The insertion method is shown below.
+
+[EngineConnPlugin Engine plug-in installation](../deployment/engine_conn_plugin_installation)
+
+
+## 2 Use of engine
+
+### 2.1 Task submission via linkis cli
+
+Link 1.0 provides cli to submit tasks. We only need to specify the corresponding enginecon and codetype tag types. The use of pipeline is as follows:
+- Note that the enginetype pipeline-1 engine version setting is prefixed. If the pipeline version is V1 , it is set to pipeline-1
+```shell
+sh bin/linkis-cli -submitUser hadoop -engineType pipeline-1 -codeType pipeline -code "from hdfs:///000/000/000/A.dolphin to file:///000/000/000/B.csv"
+```
+from hdfs:///000/000/000/A.dolphin to file:///000/000/000/B.csv 3.3 Explained
+
+For specific use, please refer to： [Linkis CLI Manual](user_guide/linkiscli_manual.md).
+
+because`pipeline`The engine is mainly used to import and export files. Now let's assume that importing files from a to B is the most introduced case
+
+### 2.2 New script
+Right click the workspace module and select Create a new workspace of type`storage`Script for
+
+
+
+### 2.3 Script
+
+##### Syntax is：from path to path
+
+The syntax is file copy rule:`dolphin`Suffix type files are result set files that can be converted to`.csv`Type and`.xlsx`Type file, other types can only be copied from address a to address B, referred to as handling
+
+```bash
+#dolphin type
+from hdfs:///000/000/000/A.dolphin to file:///000/000/000/B.csv
+from hdfs:///000/000/000/A.dolphin to file:///000/000/000/B.xlsx
+
+#Other types
+from hdfs:///000/000/000/A.txt to file:///000/000/000/B.txt
+```
+
+
+A file importing script to B folder
+```bash
+from hdfs:///000/000/000/A.csv to file:///000/000/B/
+```
+- `from` grammar，`to`：grammar
+- `hdfs:///000/000/000/A.csv`：Output file path and file
+- `file:///000/000/B/`： Input file path and file
+
+B file import script to a folder
+```bash
+from hdfs:///000/000/000/B.csv to file:///000/000/000/A.CSV
+```
+- `hdfs:///000/000/000/B.csv`： Output file path and file
+- `file:///000/000/A/`： Input file path and file
+
+
+
+Note: no semicolon is allowed at the end of the syntax; Otherwise, the syntax is incorrect.
+
+### 2.4 result
+speed of progress
+
+
+
+historical information
+
diff --git a/versioned_docs/version-1.1.1/upgrade/overview.md b/versioned_docs/version-1.1.1/upgrade/overview.md
deleted file mode 100644
index cb2cca307..000000000
--- a/versioned_docs/version-1.1.1/upgrade/overview.md
+++ /dev/null
@@ -1,11 +0,0 @@
----
-title: Overview
-sidebar_position: 3
----
-
-
-The architecture of Linkis1.0 is very different from Linkis0.x, and there are some changes to the configuration of the deployment package and database tables. Before you install Linkis1.0, please read the following instructions carefully:
-
-1. If you are installing Linkis for the first time, or reinstalling Linkis, you do not need to pay attention to the Linkis Upgrade Guide.
-
-2. If you are upgrading from Linkis0.x to Linkis1.0, be sure to read the [Linkis Upgrade from 0.x to 1.0 guide](upgrade_from_0.X_to_1.0_guide.md) carefully.
diff --git a/versioned_docs/version-1.1.1/upgrade/upgrade_guide.md b/versioned_docs/version-1.1.1/upgrade/upgrade_guide.md
new file mode 100644
index 000000000..5a2660907
--- /dev/null
+++ b/versioned_docs/version-1.1.1/upgrade/upgrade_guide.md
@@ -0,0 +1,169 @@
+---
+title: Version upgrades above 1.0.3
+sidebar_position: 2
+---
+
+> This article briefly introduces the general upgrade process for versions above 1.0.3
+
+
+## 1 Upgrade Instructions
+
+- If you are installing and using Linkis for the first time, or reinstalling Linkis, you don't need to pay attention to the Linkis upgrade guide.
+- If components of other platforms (DataSphereStudio/Qualitis/Visualis, etc.) are involved, please confirm the compatibility between versions before upgrading, and it is best to use the recommended version.
+- It is recommended to control the version through the soft chain. You can switch the version by modifying the target address of the soft chain. For example: `linkis -> /appcom/Install/LinkisInstall/linkis-1.1.3.20220615210213`
+- The upgrade process mainly requires attention to the adjustment of the database table structure and the adjustment of some configuration parameters
+- In addition to the upgrade of the back-end services, the management console resources of linkis also need to be upgraded together
+- The main changes of each version can be found in the overview information of the version `https://linkis.apache.org/zh-CN/docs/x.x.x/release` and the version [release-note](https://linkis.apache .org/zh-CN/download/main): https://linkis.apache.org/zh-CN/download/main
+- The database changes/configuration parameter changes of each version are based on the previous version
+
+## 2 Service upgrade installation
+
+Press [Deployment guide document](../deployment/quick_deploy) (the installation of the management console in the document can be skipped) to install the new version.
+
+When installing the service, if the historical data is retained, please retain the historical data, if you do not need to retain the data, just reinstall it directly
+```shell script
+Do you want to clear Linkis table information in the database?
+ 1: Do not execute table-building statements
+ 2: Dangerous! Clear all data and rebuild the tables
+ other: exit
+
+Please input the choice: ## choice 1
+````
+
+## 3. Database table upgrade
+>After the service installation is completed, the database structure needs to be modified, including table structure changes and table data changes
+
+
+Find the corresponding version `db/upgrade/x.x.x-schema/` sql change file
+
+If it is executed across multiple versions, please execute them in the order of versions,
+If some versions do not have x.x.x_schema (after the linkis>=1.1.0 version, as long as the adjustment of the database table is involved, there will be a corresponding version of the schema file), it means that there is no change in the data table in this version
+```shell script
+├── linkis_ddl.sql # The current version of the full ddl database definition language table building statement
+├── linkis_dml.sql # The current version of the full dml data manipulation language data additions and changes
+└── upgrade
+ ├── 1.1.0_schema # The corresponding version of sql
+ │ └── mysql
+ │ ├── linkis_ddl.sql
+ │ └── linkis_dml.sql
+ ├── 1.1.1_schema
+ │ └── mysql
+ │ ├── linkis_ddl.sql
+ │ └── linkis_dml.sql
+ └── 1.1.3_schema
+ └── mysql
+ └── linkis_ddl.sql
+````
+
+```mysql-sql
+ #If it is executed across multiple versions, please execute in order of versions, execute ddl first and then execute ddl
+ #For example, currently upgrade from linkis-1.0.3 to linkis-1.1.2
+ source upgrade/1.1.0_schema/mysql/linkis_ddl.sql
+ source upgrade/1.1.0_schema/mysql/linkis_dml.sql
+
+ source upgrade/1.1.1_schema/mysql/linkis_ddl.sql
+ source upgrade/1.1.1_schema/mysql/linkis_dml.sql
+
+````
+## 4 Adjustment of data (optional)
+>According to the actual situation, decide whether to make the following adjustments
+
+### 4.1 TOKEN configuration
+Authentication for interface calls yes
+1.1.1 Version adjustment Migrate the original TOKEN configuration from `${LINKIS_HOME}/conf/token.properties` to the database table `linkis_mg_gateway_auth_token`,
+For the TOKEN originally configured in `token.properties`, you need to manually migrate the table
+### 4.2 UDF Adjustment
+1.1.1 supports the functions of UDF multi-version control and UDF storage to BML, the table structure stored by UDF functions has been adjusted, and the historical data of UDF needs to be migrated separately
+
+### 4.3 Session field key configuration
+
+In version 1.1.1, the key of the session field was adjusted from `bdp-user-ticket-id`-> to `linkis_user_session_ticket_id_v1`,
+If it is an upgrade to Linkis. At the same time, DSS or other projects are deployed, but in their service lib package, the linkis-module-x.x.x.jar package of Linkis that they depend on is <1.1.1, you need to modify the file located in `${LINKIS_HOME}/conf/linkis.properties`
+```shell
+echo "wds.linkis.session.ticket.key=bdp-user-ticket-id" >> linkis.properties
+````
+### 4.4 Adjustment of default queue
+1.1.1 Begin to adjust the default cluster name of yarn queue `wds.linkis.rm.cluster` sit is adjusted to default, if you have been using sit, please modify the table data
+Cluster name in `linkis_cg_rm_external_resource_provider`
+
+### 4.5 Copies of other related packages
+
+If there is a third-party appconn plugin installed in `${LINKIS_HOME_OLD}/lib/linkis-engineconn-plugins` in the previous version of Linkis, you need to copy it to the new version,
+It is best to link to the appconn path through a soft chain
+like:
+````
+#Check if the old version has a third-party appconn installed
+cd ${LINKIS_HOME_OLD}/lib/linkis-engineconn-plugins/
+ll
+ appconn -> /appcom/Install/LinkisInstall/appconn
+
+
+#The new version is consistent
+cd ${LINKIS_HOME}/lib/linkis-engineconn-plugins/
+#soft chain
+ln -snf /appcom/Install/LinkisInstall/appconn appconn
+````
+
+
+If dss is installed in the original version, you need to copy the `dss-gateway-support-x.x.x.jar` in the original package to the `./lib/linkis-spring-cloud-services/linkis-mg-gateway/` directory of linkis
+like:
+```shell script
+cp ${LINKIS_HOME_OLD}/lib/linkis-spring-cloud-services/linkis-mg-gateway/dss-gateway-support-1.1.3.jar ${LINKIS_HOME}/lib/linkis-spring-cloud-services/linkis- mg-gateway/dss-gateway-support-1.1.3.jar
+
+````
+
+## 5 Updates to the console
+
+> To upgrade the backend, you also need to upgrade the corresponding management console resources. You don't need to install the management console, just replace the static resources directly.
+
+### 5.1 Download the front-end installation package and unzip it
+Upload it to the server where the management console is located, and decompress it
+```shell script
+tar -xvf apache-linkis-x.x.x-incubating-web-bin.tar.gz
+````
+
+
+### 5.2 Upgrade
+>There are many ways to upgrade the management console, because it is only the update of resources, which can be done through the installation script of the management console, or it can directly overwrite the original resources.
+>It is recommended to use the soft chain method, just modify the target address of the soft chain. The following takes the new version resource path method as an example
+
+The nginx configuration file is by default in `/etc/nginx/conf.d/*`
+nginx log files are in `/var/log/nginx/access.log` and `/var/log/nginx/error.log`
+
+Scenario 1: If it is integrated into the DSS project, modify the address of the linkis management console resource in the DSS project to point to
+The nginx configuration file for dss is by default in `/etc/nginx/conf.d/dss.conf`
+````nginx
+#Example
+ server {
+ ......
+ location dss/linkis {
+ alias /appcom/Install/linkis-web-newversion/dist; # static file directory
+ index index.html index.html;
+ }
+ .....
+ }
+````
+
+Scenario 2: If linkis is deployed independently
+Modify the configuration of Nginx, the static resource address points to the new version of the linkis console
+Linkis' nginx configuration file is by default in `/etc/nginx/conf.d/dss.conf`
+````nginx
+#Example
+ server {
+ ......
+ location dss/linkis {
+ alias /appcom/Install/linkis-web-newversion/dist; # static file directory
+ index index.html index.html;
+ }
+ ......
+ }
+````
+
+Reload nginx configuration
+````
+sudo nginx -s reload
+````
+
+### 5.3 Notes
+
+- After the management console is upgraded, because the browser may have a cache, if you want to verify the effect, it is best to clear the browser cache
\ No newline at end of file
---------------------------------------------------------------------
To unsubscribe, e-mail: commits-unsubscribe@linkis.apache.org
For additional commands, e-mail: commits-help@linkis.apache.org