CM+CDH Hadoop 集群部署

最新推荐文章于 2022-05-23 15:04:01 发布
最新推荐文章于 2022-05-23 15:04:01 发布
阅读量646 收藏 4
点赞数
分类专栏： Hadoop + Spark 文章标签： cm cdh hadoop spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhanggqianglovec/article/details/103650085
版权

1. 集群规划


    1.1 机器准备：

hostname           内网IP           功能          内存    核数    磁盘
cm.cdh.com        192.168.32.180    CM和CDH安装    16G    4    200G
master.cdh.com    192.168.32.181    Master节点     16G    4    1T
slave1.cdh.com    192.168.32.182    Slave节点      16G    4    1T
slave2.cdh.com    192.168.32.183    Slave节点      16G    4    1T

    1.2 软件版本：       

组件    描述
linux    Centos7.5
CM    5.16.1
CDH    5.16.1
MySQL    5.6
JDK    1.8.0_181    

        
2. 环境配置
    2.1 基本配置(本配置在CM机器上操作，其他机器秩序操作 前三步)
        (1) 修改network (修改计算机标示名)            

 vim /etc/sysconfig/network
            
     NETWORKING=yes
     HOSTNAME=cm.cdh.com

          (2) 修改Hosts (修改dns)

vim /etc/hosts
                
    192.168.32.180 cm.cdh.com
    192.168.32.181 master.cdh.com
    192.168.32.182 slave1.cdh.com
    192.168.32.183 slave2.cdh.com

      (3) 修改Hostname (修改主机名)

vim /etc/hostname
            
    cm.cdh.com

        #以下操作只针对CM机器
        (4) 检查关闭防火墙，注意：需要重启

 systemctl status firewalld.service
 systemctl disable firewalld.service

         (5) 安装OpenSSL             

yum install openssl

        (6) 检查安装NTP时间服务             

rpm -qa | grep ntp
yum install ntp ntpdate -y

       (7) 关闭selinux            

vim /etc/selinux/config
            
    SELINUX=disabled

       (8)    安装httpd服务            

yum install httpd -y    #安装
systemctl start httpd.service    #开启
systemctl enable httpd.service    #开机启动

 把临时数据放入到/var/www/html，在浏览器输入ip地址，查看能否看到临时文件
            
    2.2 SSH免密登录(所有)        

ssh-keygen -t rsa     #生成公钥私钥
        
ssh-copy-id cm.cdh.com     #拷贝公钥到其他机器
ssh-copy-id master.cdh.com
ssh-copy-id slave1.cdh.com
ssh-copy-id slave2.cdh.com

 同理：在其他机器上面执行上面语句
    
    2.3 安装JDK(所有)
        创建java目录           

 mkdir -p /usr/local/software/java/

      解压mysql到 java目录           

 tar -zvxf jdk-8u181-linux-x64.tar.gz -C /usr/local/software/java/

      配置jdk

vim /etc/profile
            
   export JAVA_HOME=/usr/local/software/java/jdk1.8.0_181
   export PATH=\${JAVA_HOME}/bin:\$PATH

      配置重新导入           

 source /etc/profile

     验证java            

java -version

如果java验证成功，拷贝/usr/local/software/java/ 和 /etc/profile 到其他机器，并且使配置生效
    
    2.4 安装MySql(CM)
        可以直接安装，也可以通过Docker安装Mysql,此处选择直接安装
        
        1. 上传mysql的服务端和客户端rpm文件

MySQL-server-5.6.24-1.el6.x86_64.rpm
MySQL-client-5.6.24-1.el6.x86_64.rpm

       2. 安装服务端

rpm -ivh MySQL-server-5.6.24-1.el6.x86_64.rpm    #执行安装
service mysql start        #启动服务
service mysql status    #查看状态

     3. 安装客户端

(1) rpm -ivh MySQL-client-5.6.24-1.el6.x86_64.rpm    #执行安装
(2) cat /root/.mysql_secret                            #查看密码，最后的就是密码
(3) 登陆mysql
       mysql -uroot -p随机密码
(4) 修改密码
       set password=password('gey2018');

     重新登陆验证是否正确 
            
3. CM+CDH安装
    3.1 CDH下载，以CentOS7.5和CDH5.16.1举例
        (1) cm的tar包下载    
            http://archive.cloudera.com/cm5/repo-as-tarball/5.16.1/
        (2) parcels包下载
            http://archive.cloudera.com/cdh5/parcels/5.16.1/            
            请选择对应的版本，el7，并将后缀.sha1更改为.sha。
            并且下载mainfest.json 文件
        (3) 创建本地源
            在/var/www/html下创建一个cdh_repo文件夹，并将上述下载的4个文件上传到该目录下
            http://cm.cdh.com/cdh_repo/
        (4) 修改repo文件

            vim /etc/yum.repos.d/cloudera-manager.repo
                
                [cloudera-manager]
                name = Cloudera Manager, Version 5.7.0
                baseurl = http://cm.cdh.com/cdh_repo/cm/5.16.1/
                gpgcheck = 0

           同时同步到其他机上，不然cdh会出错

            scp cloudera-manager.repo root@master.cdh.com:/etc/yum.repos.d/
            scp cloudera-manager.repo root@slave1.cdh.com:/etc/yum.repos.d/
            scp cloudera-manager.repo root@slave2.cdh.com:/etc/yum.repos.d/


    3.2 CM安装
        (1) 安装服务
            进入上述创建的CM的文件目录下 /var/www/html/cdh_repo/cm/5.16.1/RPMS/x86_64
            安装cloudera-manager-daemons-5.16.1-1.cm5161.p0.1.el7.x86_64.rpm                

yum install cloudera-manager-daemons-5.16.1-1.cm5161.p0.1.el7.x86_64.rpm

        安装cloudera-manager-server-5.16.1-1.cm5161.p0.1.el7.x86_64.rpm，请注意，不用安装db版本的，那是使用默认数据库的，在生产环境中一般不使用，生产环境中是使用MySQL数据库的

        (2) 在MySQL中创建元数据库并上传jar包            
            A. 在MySQL中创建元数据库[mysql数据我这里统一安装在master.cdh.com机器上]

                create database cmf DEFAULT CHARACTER SET utf8;
                create database amon DEFAULT CHARACTER SET utf8;
                create database hive DEFAULT CHARACTER SET utf8;
                create database oozie DEFAULT CHARACTER SET utf8;
                create database hue DEFAULT CHARACTER SET utf8;
                
                grant all on cmf.* TO 'cmf'@'%' IDENTIFIED BY '123456';
                grant all on amon.* TO 'amon'@'%' IDENTIFIED BY '123456';
                grant all on hive.* TO 'hive'@'%' IDENTIFIED BY '123456';
                grant all on oozie.* TO 'oozie'@'%' IDENTIFIED BY '123456';
                grant all on hue.* TO 'hue'@'%' IDENTIFIED BY '123456';
                
                flush privileges;

            B. 将mysql-connector-java-5.1.27.jar上传到/usr/share/java目录
                再改名字或者软连接为mysql-connector-java.jar    

 ln -s mysql-connector-java-5.1.27.jar mysql-connector-java.jar

        (3) 修改CDH关于数据库的配置文件

             vim /etc/cloudera-scm-server/db.properties
             
                db.type = mysql
                db.host = 192.168.32.181:3306
                db.name = cmf        #此处为上面配置的cmf库，用户名，密码
                db.user = cmf
                db.passwd = 123456
                
                db.setuptype = EXTERNAL

        (4) 启动cloudera-scm-server服务并查看日志

systemctl start cloudera-scm-server.service        #启动命令
systemctl status cloudera-scm-server.service    #查看状态

 如果报JAVA_HOME错，在CDH的cloudera-scm-server启动脚本中添加JAVA_HOME环境变量

vim /etc/rc.d/init.d/cloudera-scm-server
                
    export JAVA_HOME=/usr/local/software/java/jdk1.8.0_181

            如果报java.jdbc.driver
                将mysql-connector-java-5.1.27.jar放到路径/usr/share/cmf/lib目录下
    
    3.3 安装cdh
        (1) 登录管理页面,登录CM的web界面，账号和密码均为admin
            http://cm.cdh.com:7180/cmf/login            
            点击继续
            
        (2) 选择版本，选择免费，点击继续
        (3) 指定主机
            输入上述所有主机名，点击搜索，
            搜索出来后点击继续
        (4) 选择CDH版本
            选择方法：更多选项，
                设置Parcel：Parcel路径选择：http://cm.cdh.com/cdh_repo/
                自定义存储库：http://cm.cdh.com/cdh_repo/cm/5/
            选择正确的cdh版本
        (5) 安装jdk，默认不勾选，此处不勾选安装，直接继续
        (6) 单用户模式，可自由选择
        (7) 提供 SSH 登录凭据
            提供 SSH 登录凭据，可以自由选择，这里直接使用root用户,点击继续
        (8) 安装agent，等待安装完毕，点击继续
        (9) 安装parcel，此处不会进行官网下载，如果前面没有配置，则会去官网下载，对网络要求比较高，等待安装完毕
        
        以上为安装基础服务完毕，现在开始安装集群服务
        
        (12) 添加服务
            http://cm.cdh.com:7180/cmf/hardware/hosts
            
        (13) 安装组件服务，可以选择所有或自行选择
        (14) 自定义角色分配
            包括hbase，hdfs，cloudrea management server，ooize，solr，spark，zookeeper等
            此处根据自己环境进行配置
        
        安装完毕，其实所有的服务都在以下目录中：/opt/cloudera/parcels/CDH-5.16.1-1.cdh5.16.1.p0.3/lib/
        
到此为止，cm+cdh hadoop集群安装完毕

    

Freedom3568
关注
专栏目录
搭建5个节点的hadoop集群环境（CDH5）
陌上花开
05-18 5万+
搭建一个分布式的hadoop集群环境，下面是详细步骤，使用cdh5 。提示：如果还不了解Hadoop的，可以下查看这篇文章Hadoop生态系统，通过这篇文章，我们可以首先大致了解Hadoop及Hadoop的生态系统中的工具的使用场景。 一、硬件准备 基本配置: 操作系统 64位 CPU (英特尔)Intel(R) I3处理器 内存 8.00 GB ( 1600 MHz) 硬盘剩余空间 50G 流畅配置: 操作系统 64位
CDH大数据平台搭建之HADOOP分布式集群搭建
qq_41924766的博客
06-09 4487
CHD大数据平台搭建之HADOOP安装一、什么是HADOOP?二、如何下载1.官网下载2.网盘下载三、搭建集群1.准备5台虚拟机2.安装JDK3.安装ZOOKEEPER4.集群规划5.安装HADOOP6.修改配置文件1、进入配置文件目录：2、修改env文件3、修改core-site.xml文件4、修改hdfs-site.xml文件5、配置mapred-site.xml文件6、修改yarn-site.xml文件7、修改slaves文件8、分发文件9、配置环境变量四、启动集群1.启动ZOOKEEPER集群2.启
cdh搭建hadoop集群
weixin_42814075的博客
07-29 414
本文接cdh平台离线搭建（一）、（二）：https://blog.csdn.net/weixin_42814075/article/details/97392216 https://blog.csdn.net/weixin_42814075/article/details/97623782 登录管理页面 http://<主机名>:7180，默认用户名登录密码都是admin，我这里是主机...
CDH搭建hadoop集群
Cruise的博客
09-04 2048
目的：CDH5.8.0离线搭建hadoop环境关于CDH和ClouderaManager CDH (Cloudera’s Distribution, includingApache Hadoop)，是Hadoop众多分支中的一种，由Cloudera维护，基于稳定版本的Apache Hadoop构建，并集成了很多补丁，可直接用于生产环境。 Cloudera Manager（本文以下简称为CM）则
CDH 版本 Hadoop集群搭建
zjh_746140129的博客
03-31 981
一、安装前期准备1、下载CDH的Hadoop版本软件http://cloudera-fastly-s3-2.s3-website-us-west-1.amazonaws.com/cdh5/parcels/5.10.0/
大数据技术之CM6.3.1+CDH6.3.2集群模式部署Dolphinscheduler.pdf
11-23
大数据技术之CM6.3.1+CDH6.3.2集群模式部署Dolphinscheduler 大数据技术之CM6.3.1+CDH6.3.2集群模式部署Dolphinscheduler是大数据领域的一种集群模式部署解决方案。该解决方案使用CDH6.3.2集群模式，结合Dolphin...
大数据技术之CM6.3.1+CDH6.3.2单机部署Streamsets3.22.3.pdf
11-23
在大数据领域，Cloudera Manager（CM）和CDH（Cloudera Distribution Including Apache Hadoop）是广泛使用的管理工具和Hadoop发行版。CM6.3.1是Cloudera Manager的一个版本，它提供了一个集中的界面来管理和监控...
Hadoop发行版CM5与CDH5集群部署手册.pdf
10-14
Hadoop发行版CM5与CDH5集群部署手册.pdf
CM5和CDH5 搭建Hadoop 集群
03-30
在本篇中，我们将探讨如何使用CM5和CDH5搭建Hadoop集群，包括安装过程、可能遇到的问题以及解决方案。CM5（Cloudera Manager 5）是Cloudera公司提供的一个管理工具，用于简化Hadoop集群的部署、管理和监控。而CDH5...
CDH_Hadoop5.13.3集群离线部署（三台主机）
10-10
前言：想学习大数据开发，搭建大数据CDH_Hadoop集群是免不了的工作，这一步至关重要。而搭建CDH_Hadoop不是一件容易的事情，步骤很多，配置繁琐，这也是大数据门槛高的一个体现，很多新手都卡在这一关。经过实践和参考相关资料，个人总结整理成文档，为自己为他人，希望都有帮助。
CDH6.3.3 Hadoop集群详细部署
非晚の的博客
05-23 4260
CDH6.3.3详细部署文档，手把手教你部署CDH集群。 文章包括：CDH安装部署，服务添加、服务高可用配置、集群启用Kerberos配置、服务可用性验证等内容。
CDH的Hadoop集群搭建
weixin_46011754的博客
12-09 683
创建一个新的虚拟机分配8G+内存，100G+硬盘，4核+处理器，配域名映射，免密，ip地址，主机域名映射 一：Linux中安装CDH linux中域名映射 vi /etc/hosts 修改固定ip地址 vi /etc/sysconfig/network-scripts/ifcfg-ens33 配置免密 ssh-keygen --一路回车 ssh-copy-id doitcdh --分发免密给自己 在/opt目录下创建一个apps文件夹上传文件夹到此目录下 详细步骤： ①： vi.
1.9CDH搭建Hadoop集群（一）
寒暄的博客
04-09 528
总目录:https://www.jianshu.com/p/e406a9bc93a9 Hadoop - 子目录：https://www.jianshu.com/p/9428e443b7fd Ambari+HDP简介 虚拟机准备 主机名 IP 角色 内存 核数 磁盘 hadoop01 192.168.10.201 Master 4G 1 20G hadoop02 1...
1.9CDH搭建Hadoop集群（二）
寒暄的博客
04-16 290
总目录:https://www.jianshu.com/p/e406a9bc93a9 Hadoop - 子目录：https://www.jianshu.com/p/9428e443b7fd 解压cloudera-manager mkdir -p /usr/hdk/module/cloudera-manager tar -zxvf cloudera-manager-centos7-c...
cdh hadoop 集群搭建
qq_35094452的博客
04-28 300
CDH5 Hadoop集群完全离线安装说明安装准备工具：1. 操作系统centos72. Jdk环境：jdk包3. Jdbc连接包：jdbc连接包mysql-connector-java-5.1.39-bin.jar下载地址:http://dev.mysql.com/downloads/connector/j/4. cdh 安装相关包 （1）cloudera manager包 下载地址：http:...
Hadoop集群2.6.0 CDH部署方案
kamisamak的博客
10-31 213
环境说明 配置环境准备3台机器，四台机器环境是 CentOS 6.9，IP和主机名配置如下： 192.168.100.101 node01 192.168.100.102 node02 192.168.100.103 node03 前置配置 ssh免密登录,JDK环境,防火墙配置,SELINUX关闭 Hadoop配置及安装 ①文件下载&&解压 下载:h...
CDH版本Hadoop集群环境搭建详解
Fenggms的博客
09-19 4515
Hadoop简介1、hadoop简介以及发展历史2、hadoop的历史版本介绍3、hadoop三大公司发型版本介绍4、hadoop的架构模型第一种：NameNode与ResourceManager单节点架构模型第二种：NameNode单节点与ResourceManager高可用架构模型第三种：NameNode高可用与ResourceManager单节点架构模型第四种：NameNode与Resour...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Freedom3568

技术域不存在英雄主义，不进则退

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值