[GitHub] [kylin] liuyonghengheng commented on pull request #1424: KYLIN-4775 Use docker-compose to deploy Hadoop and Kylin

[GitBox <gi...@apache.org>]

liuyonghengheng commented on pull request #1424:
URL: https://github.com/apache/kylin/pull/1424#issuecomment-699629940


   #### 如何启动一个集群
   
   进入docker 目录：
   ```shell script
   cd apachekylin/kylin/docker
   ```
   
   执行如下命令可以 构建docker镜像，并启动docker-compose
   ```shell script
   sh setup_cluster.sh --cluster_mode write-read --hadoop_version 2.8.5 --hive_version 1.2.2 --enable_hbase yes --hbase_version 1.1.2  --enable_ldap no  
   ```
   
   1. --cluster_mode 参数值可选项为[write,write-read]默认参数是 write，也就是会启动一个写集群，不做读写分离 \
       在write 模式下会启动一个 hadoop集群包含hive，hbase，等。在write-read模式下会启动两个hadoop集群，一个作为计算集群，一个作为查询集群，并且hbase装在查询集群中
   2. --hadoop_version 可以指定hadoop的版本，默认是 2.8.5 \
       hadoop 集群包含 1个 namenode节点和3个datanode节点，以及1个resourcemanager和2个nodemanager，以及一个jobhistoryserver。
   3. --hive_version 可以指定hive版本，默认是 1.2.2 \
       hive 包含一个 hivemetastore 和一个 hiveserver2 节点
   4. --hbase_version 可以指定hbase版本，默认是 1.1.2
   5. --enable_hbase 是否启动habase服务，可选参数为[yes,no], 默认参数是yes \
       hbase 包含一个 hmaster 和两个 regionserver
   6. --enable_ldap 是否启动ldap服务，可选参数为[yes,no], 默认参数是no
   7. --enable_kafka 是否启动kafka broker，可选参数为[yes,no], 默认参数是no
   8. --enable_kerberos 是否启动 kerberos 服务，可选参数为[yes,no], 默认参数是no。(目前尚为开发完成)
   
   另外会启动一个kylin集群，包含一个all节点一个job节点和一个query节点。三个节点的kylin目录与 docker-compose/others/kylin/ 一一对应
   其中。一般将打包好的kylin jar包解压到 对应的路径下，并修改相应的配置文件，即可实现部署和修改kylin配置的目的。
   
   如果是第一次执行以上命令，那么会首先去构建和拉取相应的docker镜像，所以执行时间会很长，一般会在半个小时左右才能完成。
   
   脚本执行完成后可以执行如下命令查询集群状态：
   
   ```shell
   docker ps -a
   ```
   
   等待所有的container都达到health状态即可执行kylin的测试工作。
   
   
   关闭集群：
   
   ```shell
   sh stop_cluster.sh
   ```


----------------------------------------------------------------
This is an automated message from the Apache Git Service.
To respond to the message, please log on to GitHub and use the
URL above to go to the specific comment.

For queries about this service, please contact Infrastructure at:
users@infra.apache.org