You are viewing a plain text version of this content. The canonical link for it is here.
Posted to issues@kylin.apache.org by GitBox <gi...@apache.org> on 2018/11/15 10:25:20 UTC
[GitHub] shaofengshi closed pull request #343: modified document about job
engine ha and adjusted some formats
shaofengshi closed pull request #343: modified document about job engine ha and adjusted some formats
URL: https://github.com/apache/kylin/pull/343
This is a PR merged from a forked repository.
As GitHub hides the original diff on merge, it is displayed below for
the sake of provenance:
As this is a foreign pull request (from a fork), the diff is supplied
below (as it won't show otherwise due to GitHub magic):
diff --git a/website/_docs/install/configuration.cn.md b/website/_docs/install/configuration.cn.md
index e580f109e9..4f298dc951 100644
--- a/website/_docs/install/configuration.cn.md
+++ b/website/_docs/install/configuration.cn.md
@@ -10,18 +10,19 @@ permalink: /cn/docs/install/configuration.html
- [配置文件及参数重写](#kylin-config)
- [Kylin 配置文件](#kylin-config)
- [配置重写](#config-override)
- - [项目配置重写](#project-config-override)
- - [Cube 配置重写](#cube-config-override)
- - [重写 MapReduce 参数](#mr-config-override)
- - [重写 Hive 参数](#hive-config-override)
- - [重写 Spark 参数](#spark-config-override)
+ - [项目级别配置重写](#project-config-override)
+ - [Cube 级别配置重写](#cube-config-override)
+ - [MapReduce 任务配置重写](#mr-config-override)
+ - [Hive 任务配置重写](#hive-config-override)
+ - [Spark 任务配置重写](#spark-config-override)
- [部署配置](#kylin-deploy)
- [部署 Kylin](#deploy-config)
- - [任务引擎高可用](#job-engine-ha)
- [分配更多内存给 Kylin 实例](#kylin-jvm-settings)
+ - [任务引擎高可用](#job-engine-ha)
+ - [读写分离配置](#rw-deploy)
- [RESTful Webservice](#rest-config)
- [Metastore 配置](#kylin_metastore)
- - [元数据](#metadata)
+ - [元数据相关](#metadata)
- [基于 MySQL 的 Metastore (测试)](#mysql-metastore)
- [构建配置](#kylin-build)
- [Hive 客户端 & SparkSQL](#hive-client-and-sparksql)
@@ -67,11 +68,10 @@ permalink: /cn/docs/install/configuration.html
### Kylin 配置文件 {#kylin-config-file}
-Kylin 会自动从环境中读取 Hadoop 配置（`core-site.xml`），Hive 配置（`hive-site.xml`）和 HBase 配置（`hbase-site.xml`），另外，Kylin 的配置文件在 `$KYLIN_HOME/conf/` 目录下。
-Kylin 的配置文件如下：
+Kylin 会自动从环境中读取 Hadoop 配置（`core-site.xml`），Hive 配置（`hive-site.xml`）和 HBase 配置（`hbase-site.xml`），另外，Kylin 的配置文件在 `$KYLIN_HOME/conf/` 目录下，如下：
- `kylin_hive_conf.xml`：该文件包含了 Hive 任务的配置项。
-- `kylin_job_conf.xml` & `kylin_job_conf_inmem.xml`：该文件包含了 MapReduce 任务的配置项。当执行**In-mem Cubing**任务时，需要在 `kylin_job_conf_inmem.xml` 中为 mapper 申请更多的内存
+- `kylin_job_conf.xml` & `kylin_job_conf_inmem.xml`：该文件包含了 MapReduce 任务的配置项。当执行 **In-mem Cubing** 任务时，需要在 `kylin_job_conf_inmem.xml` 中为 mapper 申请更多的内存
- `kylin-kafka-consumer.xml`：该文件包含了 Kafka 任务的配置项。
- `kylin-server-log4j.properties`：该文件包含了 Kylin 服务器的日志配置项。
- `kylin-tools-log4j.properties`：该文件包含了 Kylin 命令行的日志配置项。
@@ -86,21 +86,21 @@ Kylin 的配置文件如下：
-### 项目配置重写 {#project-config-override}
+### 项目级别配置重写 {#project-config-override}
在 Web UI 界面点击 **Manage Project** ，选中某个项目，点击 **Edit** -> **Project Config** -> **+ Property**，进行项目级别的配置重写，如下图所示：
-### Cube 配置重写 {#cube-config-override}
+### Cube 级别配置重写 {#cube-config-override}
在设计 Cube （**Cube Designer**）的 **Configuration Overwrites** 步骤可以添加配置项，进行 Cube 级别的配置重写，如下图所示：
-### 重写 MapReduce 任务相关 {#mr-config-override}
+### MapReduce 任务配置重写 {#mr-config-override}
Kylin 支持在项目和 Cube 级别重写 `kylin_job_conf.xml` 和 `kylin_job_conf_inmem.xml` 中参数，以键值对的性质，按照如下格式替换：
`kylin.job.mr.config.override.<key> = <value>`
@@ -109,7 +109,7 @@ Kylin 支持在项目和 Cube 级别重写 `kylin_job_conf.xml` 和 `kylin_job_c
-### 重写 Hive 参数 {#hive-config-override}
+### Hive 任务配置重写 {#hive-config-override}
Kylin 支持在项目和 Cube 级别重写 `kylin_hive_conf.xml` 中参数，以键值对的性质，按照如下格式替换：
`kylin.source.hive.config-override.<key> = <value>`
@@ -118,7 +118,7 @@ Kylin 支持在项目和 Cube 级别重写 `kylin_hive_conf.xml` 中参数，以
-### 重写 Spark 参数 {#spark-config-override}
+### Spark 任务配置重写 {#spark-config-override}
Kylin 支持在项目和 Cube 级别重写 `kylin.properties` 中的 Spark 参数，以键值对的性质，按照如下格式替换：
`kylin.engine.spark-conf.<key> = <value>`
@@ -136,7 +136,7 @@ Kylin 支持在项目和 Cube 级别重写 `kylin.properties` 中的 Spark 参
### 部署 Kylin {#deploy-config}
- `kylin.env.hdfs-working-dir`：指定 Kylin 服务所用的 HDFS 路径，默认值为 `/kylin`，请确保启动 Kylin 实例的用户有读写该目录的权限
-- `kylin.env`：指定 Kylin 部署的用途，参数值可选 (`DEV` | `QA` | `PROD`)，默认值为 `DEV`，在 DEV 模式下一些开发者功能将被启用
+- `kylin.env`：指定 Kylin 部署的用途，参数值可选 `DEV`，`QA`， `PROD`，默认值为 `DEV`，在 DEV 模式下一些开发者功能将被启用
- `kylin.env.zookeeper-base-path`：指定 Kylin 服务所用的 ZooKeeper 路径，默认值为 `/kylin`
- `kylin.env.zookeeper-connect-string`：指定 ZooKeeper 连接字符串，如果为空，使用 HBase 的 ZooKeeper
- `kylin.env.hadoop-conf-dir`：指定 Hadoop 配置文件目录，如果不指定的话，获取环境中的 `HADOOP_CONF_DIR`
@@ -145,15 +145,6 @@ Kylin 支持在项目和 Cube 级别重写 `kylin.properties` 中的 Spark 参
-### 读写分离配置 {#rw-deploy}
-
-- `kylin.storage.hbase.cluster-fs`：指明 HBase 集群的 HDFS 文件系统
-- `kylin.storage.hbase.cluster-hdfs-config-file`：指向 HBase 集群的 HDFS 配置文件
-
-> 提示：更多信息请参考 [Deploy Apache Kylin with Standalone HBase Cluster](http://kylin.apache.org/blog/2016/06/10/standalone-hbase-cluster/)
-
-
-
### 分配更多内存给 Kylin 实例 {#kylin-jvm-settings}
在 `$KYLIN_HOME/conf/setenv.sh` 中存在对 `KYLIN_JVM_SETTINGS` 的两种示例配置。
@@ -166,6 +157,24 @@ export KYLIN_JVM_SETTINGS="-Xms1024M -Xmx4096M -Xss1024K -XX`MaxPermSize=512M -v
+### 任务引擎高可用 {#job-engine-ha}
+
+- `kylin.job.scheduler.default=2`：启用分布式任务调度器
+- `kylin.job.lock=org.apache.kylin.storage.hbase.util.ZookeeperJobLock`：开启分布式任务锁
+
+> 提示：更多信息请参考 [集群模式部署](/cn/docs/install/kylin_cluster.html) 中的**任务引擎高可用**部分。
+
+
+
+### 读写分离配置 {#rw-deploy}
+
+- `kylin.storage.hbase.cluster-fs`：指明 HBase 集群的 HDFS 文件系统
+- `kylin.storage.hbase.cluster-hdfs-config-file`：指向 HBase 集群的 HDFS 配置文件
+
+> 提示：更多信息请参考 [Deploy Apache Kylin with Standalone HBase Cluster](http://kylin.apache.org/blog/2016/06/10/standalone-hbase-cluster/)
+
+
+
### RESTful Webservice {#rest-config}
- `kylin.web.timezone`：指定 Kylin 的 REST 服务所使用的时区，默认值为 GMT+8
@@ -182,7 +191,7 @@ export KYLIN_JVM_SETTINGS="-Xms1024M -Xmx4096M -Xss1024K -XX`MaxPermSize=512M -v
-### 元数据 {#metadata}
+### 元数据相关 {#metadata}
- `kylin.metadata.url`：指定元数据库路径，默认值为 kylin_metadata@hbase
- `kylin.metadata.dimension-encoding-max-length`：指定维度作为 Rowkeys 时使用 fix_length 编码时的最大长度，默认值为 256
@@ -208,7 +217,7 @@ export KYLIN_JVM_SETTINGS="-Xms1024M -Xmx4096M -Xss1024K -XX`MaxPermSize=512M -v
- `kylin.metadata.jdbc.max-cell-size`：默认值为 1(MB)
- `kylin.metadata.resource-store-provider.jdbc`：指定 JDBC 使用的类，默认值为 org.apache.kylin.common.persistence.JDBCResourceStore
-> 提示：更多信息请参考[基于 MySQL 的 Metastore 配置](/docs/tutorial/mysql_metastore.html)
+> 提示：更多信息请参考[基于 MySQL 的 Metastore 配置](/cn/docs/tutorial/mysql_metastore.html)
@@ -242,7 +251,7 @@ export KYLIN_JVM_SETTINGS="-Xms1024M -Xmx4096M -Xss1024K -XX`MaxPermSize=512M -v
- `kylin.source.jdbc.sqoop-mapper-num`：指定应该分为多少个切片，Sqoop 将为每一个切片运行一个 mapper，默认值为 4
- `kylin.source.jdbc.field-delimiter`：指定字段分隔符， 默认值为 \
-> 提示：更多信息请参考[建立 JDBC 数据源](/docs/tutorial/setup_jdbc_datasource.html)。
+> 提示：更多信息请参考[建立 JDBC 数据源](/cn/docs/tutorial/setup_jdbc_datasource.html)。
@@ -314,7 +323,7 @@ Kylin 和 HBase 都在写入磁盘时使用压缩，因此，Kylin 将在其原
- `kylin.source.hive.redistribute-flat-table`：是否重分配 Hive 平表，默认值为 TRUE
- `kylin.source.hive.redistribute-column-count`：重分配列的数量，默认值为 3
- `kylin.source.hive.table-dir-create-first`：默认值为 FALSE
-- `kylin.storage.partition.aggr-spill-enabled`：默认值为 `TRUE`
+- `kylin.storage.partition.aggr-spill-enabled`：默认值为 TRUE
- `kylin.engine.mr.lib-dir`：指定 MapReduce 任务所使用的 jar 包的路径
- `kylin.engine.mr.reduce-input-mb`：MapReduce 任务启动前会依据输入预估 Reducer 接收数据的总量，再除以该参数得出 Reducer 的数目，默认值为 500（MB）
- `kylin.engine.mr.reduce-count-ratio`：用于估算 Reducer 数目，默认值为 1.0
@@ -371,7 +380,7 @@ Cube 构建默认在 **Extract Fact Table Distinct Column** 这一步为每一
- `kylin.engine.spark-conf-mergedict.spark.executor.memory`：为合并字典申请更多的内存，默认值为 6G
- `kylin.engine.spark-conf-mergedict.spark.memory.fraction`：给系统预留的内存百分比，默认值为 0.2
-> 提示：更多信息请参考 [用 Spark 构建 Cube](/docs/tutorial/cube_spark.html)。
+> 提示：更多信息请参考 [用 Spark 构建 Cube](/cn/docs/tutorial/cube_spark.html)。
@@ -432,7 +441,7 @@ Cube 构建默认在 **Extract Fact Table Distinct Column** 这一步为每一
- `kylin.cube.cubeplanner.algorithm-threshold-genetic`：默认值为 23
-> 提示：更多信息请参考 [使用 Cube Planner](/docs/tutorial/use_cube_planner.html)。
+> 提示：更多信息请参考 [使用 Cube Planner](/cn/docs/tutorial/use_cube_planner.html)。
@@ -528,7 +537,7 @@ Kylin 可以使用三种类型的压缩，分别是 HBase 表压缩，Hive 输
- `kylin.query.calcite.extras-props.conformance`：是否严格解析，默认值为 LENIENT
- `kylin.query.calcite.extras-props.caseSensitive`：是否大小写敏感，默认值为 TRUE
- `kylin.query.calcite.extras-props.unquotedCasing`：是否需要将查询语句进行大小写转换，参数值可选 `UNCHANGED`， `TO_UPPER`， `TO_LOWER` ，默认值为 `TO_UPPER`，即全部大写
-- `kylin.query.calcite.extras-props.quoting`：是否添加引号，参数值可选 `DOUBLE_QUOTE`， `BACK_TICK`，`BRACKET`，默认值为 DOUBLE_QUOTE
+- `kylin.query.calcite.extras-props.quoting`：是否添加引号，参数值可选 `DOUBLE_QUOTE`， `BACK_TICK`，`BRACKET`，默认值为 `DOUBLE_QUOTE`
- `kylin.query.statement-cache-max-num`：缓存的 PreparedStatement 的最大条数，默认值为 50000
- `kylin.query.statement-cache-max-num-per-key`：每个键缓存的 PreparedStatement 的最大条数，默认值为 50
- `kylin.query.enable-dict-enumerator`：是否启用字典枚举器，默认值为 FALSE
@@ -565,18 +574,18 @@ Kylin 可以使用三种类型的压缩，分别是 HBase 表压缩，Hive 输
### 查询下压 {#query-pushdown}
-- `kylin.query.pushdown.runner-class-name=org.apache.kylin.query.adhoc.PushDownRunnerJdbcImpl`：如果需要启用查询下压，需要移除这句配置的注释。
+- `kylin.query.pushdown.runner-class-name=org.apache.kylin.query.adhoc.PushDownRunnerJdbcImpl`：如果需要启用查询下压，需要移除这句配置的注释
- `kylin.query.pushdown.jdbc.url`：JDBC 的 URL
-- `kylin.query.pushdown.jdbc.driver`：JDBC 的 driver 类名，默认值为 org.apache.hive.jdbc.HiveDriver
-- `kylin.query.pushdown.jdbc.username`：JDBC 对应数据库的用户名，默认值为 hive
-- `kylin.query.pushdown.jdbc.password`：JDBC 对应数据库的密码，默认值为
+- `kylin.query.pushdown.jdbc.driver`：JDBC 的 driver 类名，默认值为 `org.apache.hive.jdbc.HiveDriver`
+- `kylin.query.pushdown.jdbc.username`：JDBC 对应数据库的用户名，默认值为 `hive`
+- `kylin.query.pushdown.jdbc.password`：JDBC 对应数据库的密码
- `kylin.query.pushdown.jdbc.pool-max-total`：JDBC 连接池的最大连接数，默认值为8
- `kylin.query.pushdown.jdbc.pool-max-idle`：JDBC 连接池的最大等待连接数，默认值为8
- `kylin.query.pushdown.jdbc.pool-min-idle`：默认值为 0
- `kylin.query.pushdown.update-enabled`：指定是否在查询下压中开启 update，默认值为 FALSE
- `kylin.query.pushdown.cache-enabled`：是否开启下压查询的缓存来提高相同查询语句的查询效率，默认值为 FALSE
-> 提示：更多信息请参考[查询下压](/docs/tutorial/query_pushdown.html)
+> 提示：更多信息请参考[查询下压](/cn/docs/tutorial/query_pushdown.html)
diff --git a/website/_docs/install/configuration.md b/website/_docs/install/configuration.md
index a2dd958a2d..c8217405c8 100644
--- a/website/_docs/install/configuration.md
+++ b/website/_docs/install/configuration.md
@@ -16,11 +16,12 @@ permalink: /docs/install/configuration.html
- [Spark Configuration Overriding](#spark-config-override)
- [Deployment configuration](#kylin-deploy)
- [Deploy Kylin](#deploy-config)
- - [Job Engine HA](#job-engine-ha)
- [Allocate More Memory for Kylin](#kylin-jvm-settings)
+ - [Job Engine HA](#job-engine-ha)
+ - [Read/Write Separation](#rw-deploy)
- [RESTful Webservice](#rest-config)
- [Metastore Configuration](#kylin_metastore)
- - [Metadata](#metadata)
+ - [Metadata-related](#metadata)
- [MySQL Metastore Configuration (Beta)](#mysql-metastore)
- [Modeling Configuration](#kylin-build)
- [Hive Client and SparkSQL](#hive-client-and-sparksql)
@@ -141,15 +142,6 @@ This section introduces Kylin Deployment related configuration.
-### Read and write separation configuration {#rw-deploy}
-
-- `kylin.storage.hbase.cluster-fs`: specifies the HDFS file system of the HBase cluster
-- `kylin.storage.hbase.cluster-hdfs-config-file`: specifies HDFS configuration file pointing to the HBase cluster
-
-> Note: For more information, please refer to [Deploy Apache Kylin with Standalone HBase Cluster](http://kylin.apache.org/blog/2016/06/10/standalone-hbase-cluster/)
-
-
-
### Allocate More Memory for Kylin {#kylin-jvm-settings}
There are two sample settings for `KYLIN_JVM_SETTINGS` are given in `$KYLIN_HOME/conf/setenv.sh`.
@@ -162,6 +154,24 @@ Export KYLIN_JVM_SETTINGS="-Xms1024M -Xmx4096M -Xss1024K -XX`MaxPermSize=512M -v
+### Job Engine HA {#job-engine-ha}
+
+- `kylin.job.scheduler.default=2`: to enable the distributed job scheduler.
+- `kylin.job.lock=org.apache.kylin.storage.hbase.util.ZookeeperJobLock`: to enable distributed job lock
+
+> Note: For more information, please refer to the **Enable Job Engine HA** section in [Deploy in Cluster Mode](/docs/install/kylin_cluster.html)
+
+
+
+### Read/Write Separation {#rw-deploy}
+
+- `kylin.storage.hbase.cluster-fs`: specifies the HDFS file system of the HBase cluster
+- `kylin.storage.hbase.cluster-hdfs-config-file`: specifies HDFS configuration file pointing to the HBase cluster
+
+> Note: For more information, please refer to [Deploy Apache Kylin with Standalone HBase Cluster](http://kylin.apache.org/blog/2016/06/10/standalone-hbase-cluster/)
+
+
+
### RESTful Webservice {#rest-config}
- `kylin.web.timezone`: specifies the time zone used by Kylin's REST service. The default value is GMT+8.
@@ -178,7 +188,7 @@ This section introduces Kylin Metastore related configuration.
-### Metadata {#metadata}
+### Metadata-related {#metadata}
- `kylin.metadata.url`: specifies the Metadata path. The default value is *kylin_metadata@hbase*
- `kylin.metadata.dimension-encoding-max-length`: specifies the maximum length when the dimension is used as Rowkeys with fix_length encoding. The default value is 256.
diff --git a/website/_docs/install/kylin_cluster.cn.md b/website/_docs/install/kylin_cluster.cn.md
index 488925186b..6213aeb5a9 100644
--- a/website/_docs/install/kylin_cluster.cn.md
+++ b/website/_docs/install/kylin_cluster.cn.md
@@ -10,7 +10,7 @@ Kylin 实例是无状态的服务，运行时的状态信息存储在 HBase meta
-### Kylin 节点配置
+### Kylin 集群模式部署
如果您需要将多个 Kylin 节点组成集群，请确保他们使用同一个 Hadoop 集群、HBase 集群。然后在每个节点的配置文件 `$KYLIN_HOME/conf/kylin.properties` 中执行下述操作：
@@ -18,7 +18,22 @@ Kylin 实例是无状态的服务，运行时的状态信息存储在 HBase meta
2. 配置 Kylin 节点列表 `kylin.server.cluster-servers`，包括所有节点（包括当前节点），当事件变化时，接收变化的节点需要通知其他所有节点（包括当前节点）。
3. 配置 Kylin 节点的运行模式 `kylin.server.mode`，参数值可选 `all`, `job`, `query` 中的一个，默认值为 `all`。
`job` 模式代表该服务仅用于任务调度，不用于查询；`query` 模式代表该服务仅用于查询，不用于构建任务的调度；`all` 模式代表该服务同时用于任务调度和 SQL 查询。
-> **注意：**默认情况下只有**一个实例**用于构建任务的调度 （即 `kylin.server.mode` 设置为 `all` 或者 `job` 模式），如果您需要配置多个节点进行任务构建，以满足高可用和高并发的需求，请参考 [Kylin 设置](/docs/install/configuration.html) 页中的**任务引擎高可用**的内容。
+
+> **注意：**默认情况下只有**一个实例**用于构建任务的调度 （即 `kylin.server.mode` 设置为 `all` 或者 `job` 模式）。
+
+
+
+### 任务引擎高可用
+
+从 v2.0 开始, Kylin 支持多个任务引擎一起运行，相比于默认单任务引擎的配置，多引擎可以保证任务构建的高可用。
+
+使用多任务引擎，你可以在多个 Kylin 节点上配置它的角色为 `job` 或 `all`。为了避免它们之间产生竞争，需要启用分布式任务锁，请在 `kylin.properties` 里配置：
+
+```properties
+kylin.job.scheduler.default=2
+kylin.job.lock=org.apache.kylin.storage.hbase.util.ZookeeperJobLock
+```
+并记得将所有任务和查询节点的地址注册到 `kylin.server.cluster-servers`。
diff --git a/website/_docs/install/kylin_cluster.md b/website/_docs/install/kylin_cluster.md
index 617e09be68..9bd029ca81 100644
--- a/website/_docs/install/kylin_cluster.md
+++ b/website/_docs/install/kylin_cluster.md
@@ -18,8 +18,24 @@ If you need to cluster multiple Kylin nodes, make sure they use the same Hadoop
1. Configure the same `kylin.metadata.url` value to configure all Kylin nodes to use the same HBase metastore.
2. Configure the Kylin node list `kylin.server.cluster-servers`, including all nodes (the current node is also included). When the event changes, the node receiving the change needs to notify all other nodes (the current node is also included).
3. Configure the running mode `kylin.server.mode` of the Kylin node. Optional values include `all`, `job`, `query`. The default value is *all*.
-The *job* mode means that the service is only used for task scheduling, not for queries; the *query* pattern means that the service is only used for queries, not for scheduling tasks; the *all* pattern represents the service for both task scheduling and queries.
-> *Note*: By default, only *one instance* is used for the scheduling of the build job (ie `kylin.server.mode` is set to `all` or `job`), if you need to configure multiple Nodes as job mode to meet high-availability and high-concurrency requirements, please refer to the *Job Engine High Availability* section of the [Kylin Settings](/docs/install/configuration.html) page.
+The *job* mode means that the service is only used for job scheduling, not for queries; the *query* pattern means that the service is only used for queries, not for scheduling jobs; the *all* pattern represents the service for both job scheduling and queries.
+
+> *Note*: By default, only *one instance* can be used for the job scheduling (ie., `kylin.server.mode` is set to `all` or `job`).
+
+
+
+### Enable Job Engine HA
+
+Since v2.0, Kylin supports multiple job engines running together, which is more extensible, available and reliable than the default job scheduler.
+
+To enable the distributed job scheduler, you need to set or update the configs in the `kylin.properties`:
+
+```properties
+kylin.job.scheduler.default=2
+kylin.job.lock=org.apache.kylin.storage.hbase.util.ZookeeperJobLock
+```
+
+Please add all job servers and query servers to the `kylin.server.cluster-servers`.
----------------------------------------------------------------
This is an automated message from the Apache Git Service.
To respond to the message, please log on GitHub and use the
URL above to go to the specific comment.
For queries about this service, please contact Infrastructure at:
users@infra.apache.org
With regards,
Apache Git Services