离线安装CDH 6.3.2大数据平台(基于CentOS 7.9操作系统)

记录：303

场景：在CentOS 7.9操作系统上，离线安装CM6.3.1和CDH6.3.2大数据平台。主要内容：配置集群基础环境、安装MySQL数据库、配置本地yum源、配置NTP校时、安装CM和CDH基础依赖包、安装CM和CDH。

名词：

Hadoop：是一个由Apache基金会开发的分布式系统基础架构。

CM：Cloudera Manager简称，Cloudera公司开发的一款大数据集群安装部署工具。

CDH：Cloudera’s Distribution Including Apache Hadoop简称，Cloudera 公司构建的Hadoop稳定发行版。

1.平台环境规划

使用5台CentOS 7.9操作系统机器，离线安装CM6.3.1和CDH6.3.2大数据平台。

1.1机器规划

5台机器组成集群部署大数据平台。

每台机器基础配置：内存4GB，硬盘50GB。

1.2安装包清单

1.2.1操作系统iso包

操作系统安装包：CentOS-7-x86_64-DVD-2009.iso

本地镜像yum源包：CentOS-7-x86_64-Everything-2009.iso

下载地址：https://developer.aliyun.com/mirror/

1.2.2 JDK包

JDK包：jdk-8u281-linux-x64.tar.gz

下载地址：https://www.oracle.com/java/technologies/downloads/archive/

1.2.3 MySQL包

MySQL包：mysql-5.7.36-linux-glibc2.12-x86_64.tar.gz

MySQL驱动包：mysql-connector-java-5.1.49.jar

下载地址：https://downloads.mysql.com/archives/community/

1.2.4 CM和CDH包

CM包：

allkeys.asc
cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm
cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm
cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm
cloudera-manager-server-6.3.1-1466458.el7.x86_64.rpm
cloudera-manager-server-db-2-6.3.1-1466458.el7.x86_64.rpm
enterprise-debuginfo-6.3.1-1466458.el7.x86_64.rpm
oracle-j2sdk1.8-1.8.0+update181-1.x86_64.rpm

CDH包：

CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel
CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1
CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha256
manifest.json

下载地址：在本文的第一条评论。

2.配置集群基础环境(5台机器)

准备5台机器，基础配置一样。

2.1基础规划

集群由5台机器构成，每台机器，内存：4GB；磁盘：50GB；操作系统：CentOS 7.9。

机器名称：B151、B152、B153、B154、B155。

2.2配置网络信息(设置静态IP)

机器：B151、B152、B153、B154、B155，都使用静态IP,需修改并确认配置。

2.2.1查看静态IP配置信息

查看指令：cat /etc/sysconfig/network-scripts/ifcfg-ens33

2.2.2修改静态IP配置信息

修改指令：vi /etc/sysconfig/network-scripts/ifcfg-ens33

2.2.3机器对应的静态IP详细信息

B151机器静态IP信息：

ONBOOT=yes
BOOTPROTO=static
IPADDR=192.168.19.151
GATEWAY=192.168.19.2
DNS1=192.168.19.2

B152机器静态IP信息：

ONBOOT=yes
BOOTPROTO=static
IPADDR=192.168.19.152
GATEWAY=192.168.19.2
DNS1=192.168.19.2

B153机器静态IP信息：

ONBOOT=yes
BOOTPROTO=static
IPADDR=192.168.19.153
GATEWAY=192.168.19.2
DNS1=192.168.19.2

B154机器静态IP信息：

ONBOOT=yes
BOOTPROTO=static
IPADDR=192.168.19.154
GATEWAY=192.168.19.2
DNS1=192.168.19.2

B155机器静态IP信息：

ONBOOT=yes
BOOTPROTO=static
IPADDR=192.168.19.155
GATEWAY=192.168.19.2
DNS1=192.168.19.2

2.2.4重启网络

重启指令：systemctl restart network.service

2.3安装JDK

2.3.1上传jdk包

安装包上传到目录：/home/apps/software

版本：jdk-8u281-linux-x64.tar.gz

JDK安装目录：/home/apps/module/jdk1.8.0_281

2.3.2安装JDK

安装指令：

tar -zxvf  /home/apps/software/jdk-8u281-linux-x64.tar.gz -C /home/apps/module/

其中，-C 指定安装在某个目录。

2.3.3配置JDK环境变量

查看指令：cat /etc/profile

修改指令：vi /etc/profile

修改内容，新增如下：

export JAVA_HOME=/home/apps/module/jdk1.8.0_281
export PATH=$PATH:$JAVA_HOME/bin

2.3.4配置生效

生效指令：source /etc/profile

2.3.5配置Java安装目录软链接

配置Java安装目录软链接，CM等启动时会读取此目录。

创建目录指令：mkdir -p /usr/java

软连接指令：

ln -s /home/apps/module/jdk1.8.0_281  /usr/java/default

查看软链接指令：ll /usr/java/

2.4设置主机名

2.4.1查看主机名

查看指令：hostnamectl

2.4.2修改主机名

B151机器：hostnamectl  set-hostname  hadoop151

B152机器：hostnamectl  set-hostname  hadoop152

B153机器：hostnamectl  set-hostname  hadoop153

B154机器：hostnamectl  set-hostname  hadoop154

B155机器：hostnamectl  set-hostname  hadoop155

2.5设置hosts文件域名

2.5.1查看配置

查看指令：cat /etc/hosts

2.5.2新增配置

修改指令：vi /etc/hosts

修改内容：

192.168.19.151  hadoop151
192.168.19.152  hadoop152
192.168.19.153  hadoop153
192.168.19.154  hadoop154
192.168.19.155  hadoop155

2.4.3验证配置

无需重启，立即生效。

验证指令：ping hadoop152

2.6关闭SELinux

2.6.1查看配置

查看指令：cat /etc/selinux/config

2.6.2修改配置

修改指令：vi /etc/selinux/config

修改内容：把SELINUX=enforcing改成SELINUX=disabled

2.7关闭防火墙

2.7.1查看防火墙状态

查看防火墙状态指令：systemctl status firewalld

2.7.2关闭防火墙

关闭防火墙指令：systemctl stop firewalld

2.7.3设置开机禁用防火墙

设置开机禁用防火墙：systemctl disable firewalld

2.8配置SSH免密登录(root用户)

免密要求：服务器双向免密登录。

2.8.1配置B151的免密登录

在B151主机操作。

2.8.1.1生成公钥和秘钥

公钥和秘钥生成指令：ssh-keygen -t rsa

连续3次回车。

2.8.1.2配置免密登录其它机器

需输入一次密码。

免密到B151：ssh-copy-id hadoop151

免密到B152：ssh-copy-id hadoop152

免密到B153：ssh-copy-id hadoop153

免密到B154：ssh-copy-id hadoop154

免密到B155：ssh-copy-id hadoop155

2.8.1.3公钥和秘钥信息说明

2.8.1.3.1公钥和秘钥生成目录信息

公钥和秘钥生成目录：/root/.ssh/

秘钥文件：id_rsa；

公钥文件：id_rsa.pub。

2.8.1.3.2目标机器生成authorized_keys

B151免密登录B152，则在B152生成authorized_keys文件信息。

目录：cd  /root/.ssh/

文件名：authorized_keys

2.8.2配置其它机器的免密登录

按照配置B151的免密登录，配置B152、B153、B154、B155免密登录。

2.8.3验证免密登录

B151登录B152.

登录指令：ssh root@hadoop152

2.9配置MySQL的驱动包

CM和CDH在部署和应用时会到指定目录读取MySQL驱动包。

2.9.1上传MySQL驱动包

MySQL驱动包：mysql-connector-java-5.1.49.jar

上传目录：/home/apps/software/

2.9.2把MySQL驱动包存放到指定目录

创建目录：mkdir -p /usr/share/java/

复制指令：

cp /home/apps/software/mysql-connector-java-5.1.49.jar /usr/share/java/mysql-connector-java.jar

查看指令：ll /usr/share/java/

2.9.3配置其它节点驱动包

(1)在其它机器创建指定目录。

创建指令：mkdir -p /usr/share/java/

(2)在B151机器操作，使用scp复制MySQL驱动包到其它节点目录。

分发到B152指令：

scp /usr/share/java/mysql-connector-java.jar root@hadoop152:/usr/share/java/mysql-connector-java.jar

其它节点，按照此格式分发，只需修改目标主机的主机名。

2.10修改系统内核参数

2.10.1设置swappiness

设置swappiness，控制运行时内存的相对权重，Cloudera建议将交换空间设置为10，过多的交换空间会引起GC耗时的激增。

(1)查看swappiness

永久设置查看指令：cat /etc/sysctl.conf

(2)永久设置swappiness

永久设置指令：

echo vm.swappiness = 10 >> /etc/sysctl.conf

2.10.2关闭透明大页面transparent_hugepage

(1)查看透明大页面

查看指令1：cat /sys/kernel/mm/transparent_hugepage/enabled

查看指令2：cat /sys/kernel/mm/transparent_hugepage/defrag

(2)永久关闭透明大页面

查看指令：cat /etc/rc.d/rc.local

编辑指令：vi /etc/rc.d/rc.local

修改内容：

if test -f /sys/kernel/mm/transparent_hugepage/enabled;
then echo never > /sys/kernel/mm/transparent_hugepage/enabled
fi
if test -f /sys/kernel/mm/transparent_hugepage/defrag;
then echo never > /sys/kernel/mm/transparent_hugepage/defrag
fi

(3)配置rc.local脚本为可执行

赋权指令：chmod +x /etc/rc.d/rc.local

(4)配置其它节点永久关闭透明大页

使用scp把rc.local脚本分发到其它节点

分发到B152指令：

scp /etc/rc.d/rc.local root@hadoop152:/etc/rc.d/rc.local

其它节点，按照此格式分发，只需修改目标主机的主机名。

2.10.3设置最大文件句柄数

(1)查看最大文件句柄数

查看最大文件句柄数指令：ulimit -n

查看最大文件句柄数指令：cat /etc/security/limits.conf

(2)修改最大文件句柄数

修改指令：vi /etc/security/limits.conf

修改内容：

* soft nofile 102400
* hard nofile 102400

其中，*代表匹配所有。

(3)使用scp把limits.conf脚本分发到其它节点

分发到B152指令：

scp /etc/security/limits.conf root@hadoop152:/etc/security/limits.conf

其它节点，按照此格式分发，只需修改目标主机的主机名。

2.11配置离线本地镜像(本地yum源)

2.11.1直接使用iso镜像制作离线本地镜像(本地yum源)

镜像源作用范围：只能在机器B151使用。

目的：为了安装httpd服务和createrepo服务。

2.11.1.1上传iso镜像到指定目录

创建目录指令：/home/apps/software/local_iso

使用Xftp把CentOS-7-x86_64-Everything-2009.iso上传到local_iso目录。

2.11.1.2创建需要挂载镜像的目录

创建挂载目录指令：mkdir /mnt/local_iso

2.11.1.3挂载镜像到指定目录

挂载镜像指令：

mount -o loop /home/apps/software/local_iso/CentOS-7-x86_64-Everything-2009.iso /mnt/local_iso/

2.11.1.4创建本地yum源配置文件

创建本地yum源配置文件local_iso.repo。

新建指令：vi /etc/yum.repos.d/local_iso.repo

新增本地yum内容：

[local_iso]
name=CentOS7Iso
baseurl=file:///mnt/local_iso
enabled=1
gpgcheck=0

2.11.1.5刷新yum源

刷新指令：yum clean all && yum makecache

2.11.2基于httpd使用iso镜像制作离线本地镜像(本地yum源)

镜像源作用范围：集群每台机器。

目的：为了集群安装NTP校时、CM和CDH依赖的第三方安装包、以及安装过程中缺少的各类包。

2.11.2.1安装httpd和createrepo

安装指令：yum -y install httpd createrepo

2.11.2.2启动httpd服务和设置开机启动

启动指令：systemctl start httpd

开机自启动指令：systemctl enable httpd

查看httpd启动状态指令：systemctl status httpd.service

2.11.2.3安装httpd后生成服务目录

httpd服务目录：cd /var/www/html/

2.11.2.4卸载镜像

卸载/mnt/local_iso/挂载的镜像，后续使用挂载到httpd目录下的镜像。

卸载镜像指令：umount /mnt/local_iso/

2.11.2.5创建httpd挂载镜像的目录

创建目录指令：

mkdir -p /var/www/html/local_iso

2.11.2.6挂载镜像到httpd目录下

在httpd目录/var/www/html/local_iso挂载镜像

挂载镜像指令：

mount -o loop /home/apps/software/local_iso/CentOS-7-x86_64-Everything-2009.iso /var/www/html/local_iso

2.11.2.7查看httpd发布的服务

在浏览器查看httpd发布的服务，验证服务成功。

查看地址：http://192.168.19.151/local_iso/

2.11.2.8创建httpd本地的yum源配置文件

操作目录：cd /etc/yum.repos.d

新建文件名：vi /etc/yum.repos.d/httpd_local_iso.repo

添加内容：

[httpd-local-iso]
name=httpdLocalIso
baseurl=http://192.168.19.151/local_iso
enabled=1
gpgcheck=0

2.11.2.9刷新yum源

刷新指令：yum clean all && yum makecache

2.11.2.10分发yum源配置文件到其它机器

分发到B152指令：

scp /etc/yum.repos.d/httpd_local_iso.repo root@hadoop152:/etc/yum.repos.d/httpd_local_iso.repo

其它节点，按照此格式分发，只需修改目标主机的主机名。

2.11.2.11刷新yum源

刷新指令：yum clean all && yum makecache

2.11.2.12设置开机自动挂载镜像

2.11.2.12.1需设置开机自动挂载镜像原因

使用mount命令把iso镜像挂载到/var/www/html/local_iso目录，但是，开机重启后，挂载已经被清空，导致yum指令无法使用。因此，需设置开机自动挂载。

2.11.2.12.2挂载命令加入到自启动配置

把挂载命令加入到自启动配置文件：/etc/rc.d/rc.local中。

修改指令：vi /etc/rc.d/rc.local

修改内容：

mount -o loop /home/apps/software/local_iso/CentOS-7-x86_64-Everything-2009.iso /var/www/html/local_iso

2.11.2.12.3重启系统验证

重启系统，可以看到iso镜像已经挂载到/var/www/html/local_iso，那么yum命令就可以正常使用。

2.12配置NTP

集群配置NTP，以B151为服务端，集群中其它机器使用NTP同步B151时间，达到集群时间一致。

2.12.1修改时区为本地时区

修改指令：

ln -sf /usr/share/zoneinfo/Asia/Shanghai /etc/localtime

2.12.2安装NTP

安装指令：yum -y install ntp

2.12.3配置NTP主节点

2.12.3.1查看配置

查看指令：cat /etc/ntp.conf

2.12.3.2修改配置

操作指令：vi /etc/ntp.conf

编辑内容包括注释掉和新增。

注释掉部分：

#server 0.centos.pool.ntp.org iburst
#server 1.centos.pool.ntp.org iburst
#server 2.centos.pool.ntp.org iburst
#server 3.centos.pool.ntp.org iburst

新增部分：

server 127.127.1.0
fudge 127.127.1.0 stratum 10

2.12.4配置从节点(其它节点)

从节点配置是一致的，配置一台后，建议使用scp远程拷贝完成其它机器配置。

2.12.4.1查看配置

查看指令：cat /etc/ntp.conf

2.12.4.2修改配置指令

操作指令：vi /etc/ntp.conf

编辑内容包括注释掉和新增。

注释掉部分：

#server 0.centos.pool.ntp.org iburst
#server 1.centos.pool.ntp.org iburst
#server 2.centos.pool.ntp.org iburst
#server 3.centos.pool.ntp.org iburst

新增部分：

server 192.168.19.151
fudge 192.168.19.151 stratum 10

2.12.5操作NTP常用指令

启动指令：service ntpd start

重启指令：service ntpd restart

停止指令：service ntpd stop

开机自启动指令：systemctl enable ntpd.service

查看服务状态指令：systemctl status ntpd.service

2.12.6查看ntp服务

(1)查看当前节点同步的时间服务器。

查看指令：ntpq -p

(2)查看节点与时间同步服务器的偏差时间

查看指令：ntpdc -c loopinfo

(3)查看ntp状态

查看指令：ntpstat

2.13第三方依赖包

安装第三方依赖包，为了避免安装过程出现异常。

2.13.1安装CM和CDH基础环境依赖包

安装指令：

yum -y install bind-utils psmisc cyrus-sasl-plain cyrus-sasl-gssapi fuse portmap fuse-libs /lib/lsb/init-functions httpd mod_ssl openssl-devel python-psycopg2 MySQL-python libxslt

2.13.2配置rpcbind开机启动

2.13.2.1启动指令

启动指令：systemctl start rpcbind

2.13.2.2配置开机启动

配置指令：

echo 'systemctl start rpcbind' >> /etc/rc.d/rc.local

配置可执行指令：

chmod +x /etc/rc.d/rc.local

2.13.3安装perl

本例的CentOS 7.9的Minimal版，缺少perl，需安装。

安装指令：yum -y install perl

3.安装MySQL

在B154安装MySQL，支撑CM和CDH。

3.1 MySQL安装说明

安装包：mysql-5.7.36-linux-glibc2.12-x86_64.tar.gz

JDBC驱动包：mysql-connector-java-5.1.49.jar

安装方式：使用tar命令方式安装MySQL。

安装目录：/home/apps/module/mysql

3.2卸载自带Mariadb和已安装MySQL(root用户)

3.2.1卸载系统自带mariadb

3.2.1.1查找mariadb

查找指令rpm方式：rpm -qa|grep mariadb

查找指令yum方式：yum list installed | grep mariadb

查出结果：mariadb-libs-5.5.68-1.el7.x86_64

3.2.1.2卸载mariadb

卸载指令：rpm -e --nodeps mariadb-libs-5.5.68-1.el7.x86_64

3.2.1.3删除mariadb的my.cnf配置

删除指令：rm -rf /etc/my.cnf

3.2.2卸载已经安装的MySQL

3.2.2.1查找已安装MySQL

查找指令rpm方式：rpm -qa|grep mysql

查找指令yum方式：yum list installed | grep mysql

3.2.2.2使用find和whereis查找

find查看指令：find / -name mysql

whereis查看指令：whereis mysql

3.2.2.3删除相关文件

删除指令：rm -rf /etc/selinux/targeted/active/modules/100/mysql

删除指令：rm -rf /usr/lib64/mysql

3.3创建用户名和用户组

本例规划，用户组：dmysql；用户名：dmysql。

创建用户组指令：groupadd dmysql

创建用户名指令：useradd -g dmysql dmysql -d /home/dmysql

修改登录密码格式：passwd 用户名 密码

修改登录密码指令：passwd dmysql 12345678

3.4安装MySQL

3.4.1上传安装包(root用户)

安装包存放目录：/home/apps/module/

3.4.2解压安装包(root用户)

操作目录：/home/apps/module

解压指令：

tar -zxvf mysql-5.7.36-linux-glibc2.12-x86_64.tar.gz

注意：使用.tar.gz包是免安装版本，直接配置即可。

3.4.3重命名安装目录(root用户)

重命名：mv mysql-5.7.36-linux-glibc2.12-x86_64 mysql

重命名后MySQL安装目录：/home/apps/module/mysql

3.4.4更改安装目录所有权(root用户)

更改安装目录所有权：

chown -R dmysql:dmysql /home/apps/module/mysql

权限修改：chmod -R 755 /home/apps/module/mysql

3.4.5修改MySQL配置文件(root用户)

编辑文件指令：vi /etc/my.cnf

修改内容：

[mysql]
default-character-set=utf8
[mysqld]
port=3306
basedir=/home/apps/module/mysql
datadir=/home/apps/module/mysql/data
max_connections=5000
character-set-server=utf8
default-storage-engine=INNODB
default-time_zone='+8:00'
lower_case_table_names=1

3.4.6初始化MySQL配置(dmysql用户)

操作目录：cd /home/apps/module/mysql/bin

3.4.6.1执行初始化指令

初始化指令：

./mysqld --initialize --user=dmysql --datadir=/home/apps/module/mysql/data --basedir=/home/apps/module/mysql

3.4.6.2生成初始化密码

初始化密码：bnY!fmwfF8-o

在首次登录是需要使用初始化生成的密码。

3.5启动MySQL(dmysql用户)

3.5.1启动MySQL服务

操作目录：cd /home/apps/module/mysql/support-files

启动指令：

./mysql.server start

查看端口指令：netstat -na | grep 3306

3.5.2重启MySQL服务

重启指令：./mysql.server restart

3.5.3停止MySQL服务

停止指令：./mysql.server stop

3.5.4设置便捷操作指令

操作目录：/home/apps/module/mysql/support-files

(1)拷贝mysql.server到init.d目录

拷贝mysql.server到init.d目录后，重名为mysqld。

拷贝指令：

cp /home/apps/module/mysql/support-files/mysql.server /etc/rc.d/init.d/mysqld

(2)赋权mysqld可执行

如果mysqld为不可执行，则执行赋权指令。

赋权指令：chmod +x /etc/rc.d/init.d/mysqld

3.5.5常用便捷操作指令

在dmysql用户下，任何目录均可执行。

启动指令：service mysqld start

重启指令：service mysqld restart

停止指令：service mysqld stop

3.6登录MySQL(dmysql用户)

3.6.1创建登录指令mysql的软链接

登录指令脚本目录：/home/apps/module/mysql/bin

创建指令：

ln -s /home/apps/module/mysql/bin/mysql /usr/bin/mysql

注意：建立软链接后，任意目录可登录。

3.6.2首次登录

登录指令：mysql -u root -p

首次登录密码：bnY!fmwfF8-o

3.6.3修改密码

修改指令：

set password for root@localhost = password('12345678');

刷新指令：flush privileges;

3.6.4开放root用户远程连接

开放远程连接指令：

update user set user.Host='%' where user.User='root';

刷新指令：flush privileges;

3.6.5远程连接验证

IP/端口：192.168.19.154:3306

用户名/口令：root/12345678

4.安装CM

安装CM：使用rpm包制作的本地镜像源安装。

安装CDH：使用CM安装CDH，CM使用本地parcel包存储库方式获取安装包。

4.1配置CM的安装包(使用RPM包制作本地yum源)

在B151机器，使用CM的RPM包生制作地yum源，把yum源配置文件拷贝到其它节点，并刷新yum源。

镜像源作用范围：集群每台机器。

目的：为安装CM。

4.1.1安装httpd和createrepo

安装指令：

yum -y install httpd createrepo

4.1.2启动httpd服务和设置开机自启动

启动指令：systemctl start httpd

开机自启动指令：systemctl enable httpd

4.1.3安装httpd后生成服务目录

httpd服务目录：

cd /var/www/html/

4.1.4上传CM的RPM包

存放目录：/home/apps/software/cloudera-repos/cm

操作指令：mkdir /home/apps/software/cloudera-repos/cm

4.1.5生成RPM包元数据

操作目录目录：/home/apps/software/cloudera-repos/cm

生成指令：createrepo .

在cm目录下生成了repodata目录。

4.1.6把cloudera-repos的中内容移到html中

移动指令：

mv /home/apps/software/cloudera-repos/cm  /var/www/html/

4.1.7浏览器中访问httpd发布内容

(1)访问httpd服务中/var/www/html/cm目录下内容

发布地址：http://192.168.19.151/cm

(2)访问结果

使用发布地址，在浏览器中可以访问到页面，则发布成功。

4.1.8创建httpd本地的yum源配置文件

操作目录：/etc/yum.repos.d

新增文件名：cloudera-manager.repo

修改指令：vi cloudera-manager.repo

添加内容：

[cloudera-manager]
name=Cloudera Manager 6.3.1
baseurl=http://192.168.19.151/cm/
gpgcheck=0
enabled=1

4.1.9刷新yum源配置

刷新指令：yum clean all && yum makecache

4.1.10分发yum源配置文件到其它机器

分发到B152指令：

scp /etc/yum.repos.d/cloudera-manager.repo root@hadoop152:/etc/yum.repos.d/cloudera-manager.repo

其它节点，按照此格式分发，只需修改目标主机的主机名。

4.1.11刷新节点yum源配置

刷新指令：yum clean all && yum makecache

4.2配置CDH的安装包(使用parcel包制作Parcel存储库)

CM安装CDH时，使用本地parcel包存储库方式安装CDH。

parcel包存储库目录：/opt/cloudera/parcel-repo。

4.2.1创建CDH包存放目录

指定目录：/opt/cloudera/parcel-repo

创建目录指令：

mkdir -p /opt/cloudera/parcel-repo

4.2.2上传CDH的parcel包

4.2.3重命名sha1为.sha

注意：如果后缀为sha1，必须重命名，否则，安装时读取文件报错。

重命名指令：

mv CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1 CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha

4.3配置CM和CDH相关数据库

CM和CDH以及安装组件对应的数据库。

4.3.1数据库规划

服务名：数据库名称：用户名称

Cloudera Manger：scm：scm；

Activity Monitor：amon：amon；

Reports Manager：rman：rman；

Hue：Hue：Hue；

Hive Metastore Server：metastore：hive；

Sentry Server：sentry：sentry；

Cloudera Navigator Audit Server：nav：nav；

Cloudera Navigator Metadata Server：navms：navms；

Oozie：oozie：oozie。

4.3.2创建数据库和用户

(1)Cloudera Manger服务对应的数据库和用户

执行SQL指令：

create database scm DEFAULT CHARACTER set utf8 DEFAULT collate utf8_general_ci;
grant all on scm.* to 'scm'@'%' identified by '12345678';
flush privileges;

(2)Activity Monitor服务对应的数据库和用户

执行SQL指令：

create database amon DEFAULT CHARACTER set utf8 DEFAULT collate utf8_general_ci;
grant all on amon.* to 'amon'@'%' identified by '12345678';
flush privileges;

(3)Reports Manager服务对应的数据库和用户

执行SQL指令：

create database rman DEFAULT CHARACTER set utf8 DEFAULT collate utf8_general_ci;
grant all on rman.* to 'rman'@'%' identified by '12345678';
flush privileges;

(4)Hue服务对应的数据库和用户

执行SQL指令：

create database hue DEFAULT CHARACTER set utf8 DEFAULT collate utf8_general_ci;
grant all on hue.* to 'hue'@'%' identified by '12345678';
flush privileges;

(5)Hive Metastore Server服务对应的数据库和用户

执行SQL指令：

create database metastore DEFAULT CHARACTER set utf8 DEFAULT collate utf8_general_ci;
grant all on metastore.* to 'hive'@'%' identified by '12345678';
flush privileges;

(6)Sentry Server服务对应的数据库和用户

执行SQL指令：

create database sentry DEFAULT CHARACTER set utf8 DEFAULT collate utf8_general_ci;
grant all on sentry.* to 'sentry'@'%' identified by '12345678';
flush privileges;

(7)Cloudera Navigator Audit Server服务对应的数据库和用户

执行SQL指令：

create database nav DEFAULT CHARACTER set utf8 DEFAULT collate utf8_general_ci;
grant all on nav.* to 'nav'@'%' identified by '12345678';
flush privileges;

(8)Cloudera Navigator Metadata Server服务对应的数据库和用户

执行SQL指令：

create database navms DEFAULT CHARACTER set utf8 DEFAULT collate utf8_general_ci;
grant all on navms.* to 'navms'@'%' identified by '12345678';
flush privileges;

(9)Oozie服务对应的数据库和用户

执行SQL指令：

create database oozie DEFAULT CHARACTER set utf8 DEFAULT collate utf8_general_ci;
grant all on oozie.* to 'oozie'@'%' identified by '12345678';
flush privileges;

4.4安装CM

4.4.1主节点安装CM

在B151安装daemons、agent、server。

6.4.1.1主节点安装指令

安装指令：

yum -y install cloudera-manager-daemons cloudera-manager-agent  cloudera-manager-server

6.4.1.2主节点安装完成

(1)CM自动创建了cloudera-scm用户

查看命令：cat /etc/group

(2)安装目录

CM安装目录：/opt/cloudera。

6.4.1.3把Parcel存储库所有权赋给cloudera-scm用户

在Parcel存储库：/opt/cloudera/parcel-repo中存放了CDH安装需要的parcel包。

必须把Parcel存储库所有权赋给cloudera-scm，否安装时无权限读取。

执行指令：

chown -R cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo/

6.4.1.4主节点配置CM数据库

Cloudera Manager Server包含的初始化数据库的脚本。

(1)操作目录和操作文件

操作目录：/opt/cloudera/cm/schema

文件名：scm_prepare_database.sh

(2)操作指令(方式一:MySQL和CM在同一台机器)

初始化指令：

/opt/cloudera/cm/schema/scm_prepare_database.sh mysql scm scm 12345678

(3)操作指令(方式二:MySQL和CM不在同一台机器)

初始化指令格式：/opt/cloudera/cm/schema/scm_prepare_database.sh mysql -h 数据库ip --scm-host scm的ip scm scm 12345678

初始化指令：

/opt/cloudera/cm/schema/scm_prepare_database.sh mysql -h 192.168.19.154 --scm-host 192.168.19.151 scm scm 12345678

(4)CM的数据库配置文件已经修改

查看指令：cat /etc/cloudera-scm-server/db.properties

内容如下：

com.cloudera.cmf.db.type=mysql
com.cloudera.cmf.db.host=192.168.19.160
com.cloudera.cmf.db.name=scm
com.cloudera.cmf.db.user=scm
com.cloudera.cmf.db.setupType=EXTERNAL
com.cloudera.cmf.db.password=12345678

(5)在SQLyog客户端看scm数据库表清单

在SQLyog客户端看scm数据库表清单。

注意：如果在SQLyog客户端看scm数据库表清单是空的，那么在启动CM的Server节点后后会重新生成。

4.4.2从节点安装CM的

在从节点，安装daemons、agent。

4.4.2.1从节点安装指令

安装指令：

yum -y install cloudera-manager-daemons cloudera-manager-agent

6.4.1.2从节点安装完成

(1)CM自动创建了cloudera-scm用户

查看命令：cat /etc/group

(2)安装目录

CM安装目录：/opt/cloudera。

4.4.3配置agent的server_host属性

主节点和从节点都安装了cloudera-manager-agent，都需修改config.ini。指向主节点。

修改指令：vi /etc/cloudera-scm-agent/config.ini

修改内容：

# Hostname of the CM server.
server_host=hadoop151
# Port that the CM server is listening on.
server_port=7182

4.5启动CM

4.5.1启动server指令(主节点)

启动指令：systemctl start cloudera-scm-server

4.5.2启动agent指令(全部节点)

启动指令：systemctl start cloudera-scm-agent

4.6查看CM状态

查看server和agent服务状态来判断服务启用状况。

4.6.1查看server服务状态

查看指令：systemctl status cloudera-scm-server

4.6.2查看agent服务状态

查看状态：systemctl status cloudera-scm-agent

4.6.3成功状态

成功状态。

4.7查看CM日志

4.7.1查看server服务日志

日志目录：/var/log/cloudera-scm-server/cloudera-scm-server.log

(1)查看日志

查看日志：tail -f /var/log/cloudera-scm-server/cloudera-scm-server.log

(2)查看Jetty服务启动成功日志

查看Jetty服务是否启动成功：

cat  /var/log/cloudera-scm-server/cloudera-scm-server.log |grep Jetty

4.7.2查看agent服务日志

日志目录：/var/log/cloudera-scm-agent/cloudera-scm-agent.log

查看日志：tail -f /var/log/cloudera-scm-agent/cloudera-scm-agent.log

4.8停止CM

4.8.1停止CM的server服务

停止server指令：systemctl stop cloudera-scm-server

4.8.2停止CM的agent服务

停止agent指令：systemctl stop cloudera-scm-agent

4.9设置CM开机启动

设置开机自启动后，系统重启后，会自动启动CM相关服务。

4.9.1设置server服务开机启动

设置开机启动指令：chkconfig cloudera-scm-server on

4.9.2设置agent服务开机启动

设置为开机启动：chkconfig cloudera-scm-agent on

5.安装CDH

5.1登录CM控制台

5.1.1登录信息

登录地址：http://192.168.19.151:7180

用户/口令：admin/admin

5.1.2登录页

CM登录页。

5.1.3安装导航-欢迎页

使用默认账号，登录后按照安装导航，依次欢迎页、Accept License页面、Select Edition页面。按照实际情况选择，选定后点击右下角：继续。

5.1.4安装导航-接受条款

勾选同意，选定后点击右下角：继续。

5.1.5安装导航-选择版本

在Select Edition页面，按需选择，本例免费版本。

5.2集群安装

从上一步骤，点击：继续。直接跳转到集群安装欢迎页面。

5.2.1欢迎页面(集群安装)

集群安装的欢迎页面，无需选择直接点击：继续。

5.2.2集群命名

集群命名：Hangzhou。

5.2.3选择主机(Specify Hosts)

选择，当前管理主机。能看到集群主机列表。

5.2.4选择存储库

选择择存储库。确保本地Parcel存储库配置完成。

先前配置正确，在界面中就能正常加载出CDH版本：CDH-6.3.2-1.cdh6.3.2.p0.1605554。

配置过程：把Parcel包复制到/parcel-repo目录下，并赋权给cloudera-scm用户。

5.2.5安装Parcels(Install Parcels)

安装Parcels(Install Parcels)。

安装进度条，包括已下载、已分配、已解压、已激活。

5.2.6检查集群(Inspect Cluster)

检查集群(Inspect Cluster)，包括检查网络性能检查和检查主机。

5.3集群设置

从上一步骤，点击：继续。直接跳转到集群设置选择服务(Select Services)页面。

5.3.1选择服务(Select Services)

本例选择：所有服务。

内容: HDFS、YARN（含 MapReduce 2）、ZooKeeper、Oozie、Hive、Hue、HBase、Impala、Solr、Spark 和 Key-Value Store Indexer。

5.3.2自定义角色分配

本例分配角色，按组件查看，Part01。

 本例分配角色，按组件查看，Part02。

5.3.3数据库设置

数据库设置，显示密码和测试连接验证。本例MySQL数据库部署在hadoop154。

5.3.4审核更改

审核更改，使用默认设置。

审核更改，Part01。

 审核更改，Part02。

 审核更改，Part03。

5.3.5命令详细信息

命令详细信息，主要是首次运行时，需要执行的命令，实际就是安装选择的各个组件，耗时较长。

5.3.6汇总

安装完成，汇总。

5.4集群管理

从上一步骤，点击：完成。直接跳转到集群管理页面。

5.4.1集群管理页面

集群管理页面。

5.4.2已经安装组件

已经安装组件。

6.应用大数据平台

安装完成后，使用大数据平台可以按如下步骤。

6.1启动MySQL

(1)登录B154的dmysql用户

主机名：192.168.19.154

用户名/口令：dmysql/12345678

(2)启动MySQL服务

启动指令：service mysqld start

(3)使用命令行登录

登录指令：mysql -u root -p

用户名/口令：root/12345678

(4)使用SQLyog客户端登录

主机IP/端口：192.168.19.154:3306

用户名/口令：root/12345678

(5)重启MySQL服务

重启指令：service mysqld restart

6.2启动CM

6.2.1启动server指令(主节点)

启动指令：systemctl start cloudera-scm-server

6.2.2启动agent指令(全部节点)

启动指令：systemctl start cloudera-scm-agent

6.3查看CM状态

查看server和agent服务状态来判断服务启用状况。

6.3.1查看server服务状态

查看指令：systemctl status cloudera-scm-server

6.3.2查看agent服务状态

查看状态：systemctl status cloudera-scm-agent

6.4查看CM日志

6.4.1查看server服务日志

日志目录：/var/log/cloudera-scm-server/cloudera-scm-server.log

(1)查看日志

查看日志：tail -f /var/log/cloudera-scm-server/cloudera-scm-server.log

(2)查看Jetty服务启动成功日志

查看Jetty服务是否启动成功：

cat  /var/log/cloudera-scm-server/cloudera-scm-server.log |grep Jetty

6.4.2查看agent服务日志

日志目录：/var/log/cloudera-scm-agent/cloudera-scm-agent.log

查看日志：tail -f /var/log/cloudera-scm-agent/cloudera-scm-agent.log

6.5登录CM

登录地址：http://192.166.19.151:7180

用户/口令：admin/admin

6.6停止CM

6.6.1停止CM的server服务

停止server指令：systemctl stop cloudera-scm-server

6.6.2停止CM的agent服务

停止agent指令：systemctl stop cloudera-scm-agent

6.7停止MySQL服务

停止指令：service mysqld stop

以上，感谢。

2022年10月31日