- 基于Apache Kylin构建大数据分析平台
- 蒋守壮
- 546字
- 2021-01-07 17:48:01
4.3 正式安装CDH：准备工作
1．安装Cloudera Manager Server和Agent
首先在主节点（SZB-L0020040）解压安装CM。
将下载的CM包放在/opt/目录中解压：
# cd /opt
# tar xzf cloudera-manager*.tar.gz
CM Agent配置
修改/opt/cm-5.7.0/etc/cloudera-scm-agent/config.ini中的server_host为主节点的主机名和端口号：
# CM server的主机名
server_host=SZB-L0020040
# CM server监听的端口号
server_port=7182
同步主节点（SZB-L0020040）的Agent到其他节点：
# scp -r /opt/cm-5.7.0 SZB-L0020041:/opt/
# scp -r /opt/cm-5.7.0 SZB-L0020042:/opt/
# scp -r /opt/cm-5.7.0 SZB-L0020043:/opt/
2．所有节点都创建cloudera-scm用户
# useradd --system --home=/opt/cm-5.7.0/run/cloudera-scm-server --no-
create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm
3．为Cloudera Manager 5建立数据库（选择存放CM元数据的MySQL数据库）
首先需要去MySql的官网下载JDBC驱动，下载地址为：
http://dev.mysql.com/downloads/connector/j/
下载完成后，进行解压缩，找到mysql-connector-java-5.1.38-bin.jar文件并放到/opt/cm-5.7.0/share/cmf/lib/中。
然后在主节点初始化CM 5的数据库。
在MySQL数据库中创建scm用户：
mysql> grant all on scm.* TO 'scm'@'%' IDENTIFIED BY 'xxxxxx';
mysql> flush privileges;
再执行创建scm数据库等操作：
# /opt/cm-5.7.0/share/cmf/schema/scm_prepare_database.sh mysql -
hlocalhost -uroot -pxxxxxx --scm-host SZB-L0020040 scm scm scm
4．准备Parcels，用以安装CDH5
在CM Server上创建存放Parcels的目录并修改属主和属组：
# mkdir -p /opt/cloudera/parcel-repo
# chown cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo
在集群的每个节点创建目录：
# mkdir -p /opt/cloudera/parcels
# chown cloudera-scm:cloudera-scm /opt/cloudera/parcels
提示
如果CM5安装包解压缩就存在上面两个目录，那么就不需要创建此目录了。
将CDH5相关的Parcel包放到主节点的/opt/cloudera/parcel-repo/目录中。
相关的文件如下：
CDH-5.7.0-1.cdh5.7.0.p0.45-el6.parcel
CDH-5.7.0-1.cdh5.7.0.p0.45-el6.parcel.sha1
manifest.json
最后，将CDH-5.7.0-1.cdh5.7.0.p0.45-el6.parcel.sha1重命名为CDH-5.7.0-1.cdh5.7.0.p0.45-el6.parcel.sha，这点必须注意，否则，系统会重新下载CDH-5.7.0-1.cdh5.7.0.p0.45-el6.parcel文件。
5. CM相关启动脚本
通过/opt/cm-5.7.0/etc/init.d/cloudera-scm-server start启动服务端。
通过/opt/cm-5.7.0/etc/init.d/cloudera-scm-agent start启动Agent服务。
我们启动的其实是个service脚本，需要停止服务将以上的start参数改为stop就可以了，重启是restart。
针对我们的环境，需要在SZB-L0020040主节点上启动Server和Agent，然后其余节点启动Agent服务。