离线环境下安装Cloudera Manager和CDH 5.16.2版本

最新推荐文章于 2022-06-16 12:51:40 发布

置顶鲲鹏小飞猪

最新推荐文章于 2022-06-16 12:51:40 发布

阅读量2.3k

点赞数 3

分类专栏： cloudera manager Hadoop生态

本文链接：https://blog.csdn.net/zyl651334919/article/details/102619863

版权

Hadoop生态同时被 2 个专栏收录

27 篇文章 2 订阅

订阅专栏

cloudera manager

7 篇文章 0 订阅

订阅专栏

第一部分准备工作：系统环境搭建

三台centos7.2的服务器，63为主节点如下：

172.20.122.67 bigdata001
172.20.122.63 bigdata002
172.20.122.68 bigdata003

以下操作均用root用户操作

配置host（所有节点）

/etc/hosts

172.20.122.67 bigdata001
172.20.122.63 bigdata002
172.20.122.68 bigdata003

172.20.122.63 archive.cloudera.com

一、查看 SELinux状态及关闭SELinux（需要在所有的节点上执行）

查看SELinux状态：

1、/usr/sbin/sestatus -v ##如果SELinux status参数为enabled即为开启状态

SELinux status: enabled

2、getenforce ##也可以用这个命令检查

关闭SELinux：

1、临时关闭（不用重启机器）：

setenforce 0 ##设置SELinux 成为permissive模式

##setenforce 1 设置SELinux 成为enforcing模式

2、修改配置文件需要重启机器：

修改/etc/selinux/config 文件

将SELINUX=enforcing改为SELINUX=disabled

重启机器即可!

关闭防火墙：

service iptables stop （临时关闭）

chkconfig iptables off （重启后生效）

二、安装配置MySql（主节点，安装时如果使用默认嵌入式 PostgreSQL 数据库，无需该步骤）

通过yum install mysql-server安装mysql服务器，

chkconfig mysqld on设置开机启动，

并service mysqld start启动mysql服务，

设置root的初试密码：

mysqladmin -u root password 'mysql'。

mysql -uroot -p进入mysql命令行，创建以下数据库：

如需要使用mysql做hive等组件的元数据库，则需安装mysql server并创建相关数据库：

CREATE DATABASE scm DEFAULT CHARACTER SET utf8 COLLATE utf8_general_ci;

CREATE DATABASE hive DEFAULT CHARACTER SET utf8 COLLATE utf8_general_ci;

CREATE DATABASE mon DEFAULT CHARACTER SET utf8 COLLATE utf8_general_ci;

CREATE DATABASE Oozie DEFAULT CHARACTER SET utf8 COLLATE utf8_general_ci;

设置root授权访问以上所有的数据库：

#授权root用户在主节点拥有所有数据库的访问权限

grant all privileges on *.* to 'root'@'bigdata002 ' identified by 'mysql' with grant option;

flush privileges;

三、打通SSH，设置ssh无密码登陆（所有节点）

1、在主节点上执行ssh-keygen -t rsa一路回车，生成无密码的密钥对。

2、将公钥添加到认证文件中：cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

3、并设置authorized_keys的访问权限：chmod 600 ~/.ssh/authorized_keys

4、scp文件到所有datenode节点：

例如：scp ~/.ssh/authorized_keys root@bigdata001 :~/.ssh/

5、测试：在主节点上ssh bigdata001 ，正常情况下，不需要密码就能直接登陆进去了。

五、配置NTP服务（所有节点）

修改时间

date -s '09:16:00 2017-09-25'

1. 配置同步服务端

本配置并未采用集群内的节点作为服务端，实际部署中可以使用集群内的节点作为服务端。

vim /etc/ntp.conf

打开ntp配置文件，改为以下内容

driftfile /var/lib/ntp/drift
restrict default kod nomodify notrap nopeer noquery
restrict -6 default kod nomodify notrap nopeer noquery
restrict 127.0.0.1
restrict -6 ::1
restrict 本地服务器IP地址 mask 255.255.255.0 nomodify notrap
server 0.centos.pool.ntp.org iburst
server 1.centos.pool.ntp.org iburst
server 2.centos.pool.ntp.org iburst
server 3.centos.pool.ntp.org iburst
server  127.127.1.0
fudag   127.127.1.0     stratum 10
includefile /etc/ntp/crypto/pw
keys /etc/ntp/keys

或者直接在终端执行：

cat << EOF > /etc/ntp.conf
driftfile /var/lib/ntp/drift
restrict default kod nomodify notrap nopeer noquery
restrict -6 default kod nomodify notrap nopeer noquery
restrict 127.0.0.1
restrict -6 ::1
restrict 本地服务器IP地址 mask 255.255.255.0 nomodify notrap
server 0.centos.pool.ntp.org iburst
server 1.centos.pool.ntp.org iburst
server 2.centos.pool.ntp.org iburst
server 3.centos.pool.ntp.org iburst
server  127.127.1.0  #local clock
fudag   127.127.1.0     stratum 10
includefile /etc/ntp/crypto/pw
keys /etc/ntp/keys  
EOF

然后启动ntp服务并加入开机自启：

service ntpd start
chkconfig ntpd on

2. 配置ntp时间同步客户端

打开 /etc/ntp.conf 文件，改为我们自己配置好的内容（以192.68.6.132为例）

driftfile /var/lib/ntp/drift
restrict 127.0.0.1
restrict ::1
restrict 192.168.6.132 mask 255.255.255.0 nomodify notrap
server 192.168.6.132
server 127.127.1.0
fudge 127.127.1.0 statum 10
includefile /etc/ntp/crypto/pw
keys /etc/ntp/keys
SYNC_HWCLOCK=yes

或者直接在终端执行：

cat << EOF > /etc/ntp.conf
driftfile /var/lib/ntp/drift
restrict 127.0.0.1
restrict ::1
restrict 192.168.6.132 mask 255.255.255.0 nomodify notrap
server 192.168.6.132
server 127.127.1.0
fudge 127.127.1.0 statum 10
includefile /etc/ntp/crypto/pw
keys /etc/ntp/keys
SYNC_HWCLOCK=yes
EOF

启动ntp服务并加入开机自启：