前奏1:首先介绍Cloudera的CDH和Apache的Hadoop的区别
Cloudera的CDH和Apache的Hadoop的区别 目前而言,不收费的Hadoop版本主要有三个(均是国外厂商),分别是:Apache(最原始的版本,所有发行版均基于这个版本进行改进)、Cloudera版本(Cloudera’s Distribution Including Apache Hadoop,简称CDH)、Hortonworks版本(Hortonworks Data Platform,简称“HDP”),对于国内而言,绝大多数选择CDH版本,CDH和Apache版本主要区别如下:
(1) CDH对Hadoop版本的划分非常清晰,只有两个系列的版本,分别是cdh3和cdh4,分别对应第一代Hadoop(Hadoop 1.0)和第二代Hadoop(Hadoop 2.0),相比而言,Apache版本则混乱得多;比Apache hadoop在兼容性,安全性,稳定性上有增强。
(2)CDH3版本是基于Apache hadoop 0.20.2改进的,并融入了最新的patch,CDH4版本是基于Apache hadoop 2.X改进的,CDH总
是并应用了最新Bug修复或者Feature的Patch,并比Apache hadoop同功能版本提早发布,更新速度比Apache官方快。
(3)安全 CDH支持Kerberos安全认证,apache hadoop则使用简陋的用户名匹配认证
(4)CDH文档清晰,很多采用Apache版本的用户都会阅读CDH提供的文档,包括安装文档、升级文档等。
(5)CDH支持Yum/Apt包,Tar包,RPM包,Cloudera Manager四种方式安装,Apache hadoop只支持Tar包安装。
注:CDH使用推荐的Yum/Apt包安装时,有以下几个好处:
1、联网安装、升级,非常方便
2、自动下载依赖软件包
3、Hadoop生态系统包自动匹配,不需要你寻找与当前Hadoop匹配的Hbase,Flume,Hive等软件,Yum/Apt会根据当前安装Hadoop版本自动寻找匹配版本的软件包,并保证兼容性。
4、自动创建相关目录并软链到合适的地方(如conf和logs等目录);自动创建hdfs, mapred用户,hdfs用户是HDFS的最高权限用户,mapred用户则负责mapreduce执行过程中相关目录的权限。
Cloudera CDH、CM简化了hadoop的部署,对于hadoop监控及hadoop生态系统监控都是非常方便的。
cdh安装,只需要一键安装即可,
参考各个版本Linux单节点伪分布一键安装CDH5.1.X及提交wordcount到yarn高可靠文档
如果想安装hadoop生态系统,并且能够监控起来,Cloudera Manager安装是一个不错的选择
参考:Cloudera Manager5及CDH5在线(cloudera-manager-installer.bin)安装详细文档
如果是apache hadoop的安装则相对复杂些,在加上监控,难度就加大了。
对于三个组件的安装参考hadoop2.2+hbase0.96+hive0.12安装整合详细高可靠文档及经验总结
从上面看出,整合方面就比较复杂些,所以cdh简化了不少部署
虽然CDH、CM(Cloudera Manager)简化了部署,但是hadoop原生也有自己的好处,版本更新快,不受限制,各有优点和缺点
前奏2:介绍Cloudera的CDH的生态系统
Cloudera 由来自 Facebook 、 谷歌 和雅虎的前工程师杰夫·哈默巴切(Jeff Hammerbacher) 、克里斯托弗·比塞格利亚 (Christophe Bisciglia) 、埃姆·阿瓦达拉 (Amr Awadallah) 以及现任 CEO 、甲骨文前高管迈克·奥尔森 (Mike Olson) 在2008 年创建。
首先来看下 Cloudera 的技术框架:
主要有几大主要的组件:
1 、 Hbase:Hbase 是一个分布式的,扩展性很强的存储,主要受 G oogle 的Bigtable 的启发,可以参考《 实时分析系统 (HIVE/HBASE/IMPALA) 浅析》。
2 、 Impala : I mpala 是 Cloudera 在受到 Google 的 Dremel 启发下开发的实时交互SQL 大数据查询工具, Impala 没有再使用缓慢的 Hive+MapReduce 批处理,而是通过使用与商用并行关系数据库中类似的分布式查询引擎(由 Query Planner 、Query Coordinator 和 Query Exec Engine 三部分组成),可以直接从 HDFS 或 HBase中用 SELECT 、 JOIN 和统计函数查询数据,从而大大降低了延迟。 Impala现在还谈不上成熟,Cloudera坚持在Impala上投入,相信会有一个比较好的发展。
3 、 Spark : spark 是伯克利大学开源的一个内存分布式计算引擎。内存替代硬盘成为趋势,所以 spark 现在非常热门,包括腾讯, UC ,淘宝都有团队在研究和应用。
相比 Hortonworks , Cloudera 包装的开源软件要显得少一些,可以参考文章《 hadoop 发行商介绍: Hortonworks 》 ,但是从目前业界的情况来看,cloudera 坚持了自己的技术,普遍认为 cloudera 的发展潜力更大,包括最近 intel 放弃自己的发行版本,转而支持 cloudera 。
从 Hortonworks 和 Cloudera 两家都支持的力度来看, Spark 是未来的一个方向,尽快现在还存在或多或少的问题,内存替代硬盘的趋势基本得到了所有人的认同。
除了 Hortonworks 和 Cloudera 两家主要的发型版提供商, Hadoop 发型领域还有MapR , EMC 等,各有特点。从大多数应用来说,选择 Cloudera 和 Hortonworks 就足够了,更具技术能力的公司,可以考虑在开源的基础上封装,完善开源以适合自己的应用。当能,要考虑及时将自己的成果开源出去哦,无数的经验证明,不开源出去的软件单靠单个公司去维护,很快就会没有生命力的。
问题导读:
1.安装需要做哪些准备?2.如何安装CM?
3.如何通过CM安装CDH?
4.CM及CDH安装的过程都包含什么?
![](https://i-blog.csdnimg.cn/blog_migrate/00b6bcbc02b928b436cd7bd45240dc9c.gif)
相信通过这篇文章大家都对Cloudera Manager及CDH安装有一个整体的认识
1.1 说明...............................................................................................................................................3
1.2 集群网络环境介绍..........................................................................................................................3
2 环境搭建...........................................................................................................................................5
2.1 设置IP...........................................................................................................................................5
2.2 设置hosts......................................................................................................................................5
2.3 关闭防火墙....................................................................................................................................6
2.4 关闭SElinux....................................................................................................................................8
2.5 设置机器名....................................................................................................................................8
3 ClouderaManager安装................................................................................................................... 11
3.1 下载Cloudera Manager安装文件................................................................................................... 11
3.2 下载Cloudera Manager所需的rpm包............................................................................................ 11
3.3 安装rpm文件............................................................................................................................... 11
3.4 安装CM....................................................................................................................................... 11
3.5 登录CM....................................................................................................................................... 12
4 ClouderaManager配置及本地源配置.............................................................................................. 13
4.1 配置config.ini文件........................................................................................................................ 13
4.2 配置本地源.................................................................................................................................. 14
5 Hadoop及其组件安装......................................................................................................................17
5.1 选择Cloudera版本........................................................................................................................ 17
5.2 选中受管理的主机........................................................................................................................ 17
5.3 选择安装方式(Cloudera推荐使用Parcel)................................................................................... 18
5.4 把Parcel分配到主机..................................................................................................................... 18
5.5 选择服务...................................................................................................................................... 19
5.6 测试数据库连接........................................................................................................................... 20
5.7 等待所有服务启动........................................................................................................................ 20
6 向集群增加节点............................................................................................................................... 22
6.1 添加主机...................................................................................................................................... 22
6.2 输入IP或主机名........................................................................................................................... 23
6.3 提供SSH登录凭据........................................................................................................................ 24
6.4 安装............................................................................................................................................. 24
l 虚拟软件:VMware®Workstation 9.0.0 build-812388
l 虚拟机操作系统:CentOs 64bit,单核,2G内存
l JDK:1.7.0_45 64 bit
l Hadoop:2.2.0
集群网络环境集群包含三个节点:1个namenode,1个datanode,节点之间局域网连接,可以相互ping通。节点IP地址和主机名分布如下:
l 192.168.188.141 hadoo1 (namenode))
l 192.168.188.139 hadoo2 (datanode01)
l 192.168.188.140 hadoo3 (datanode03)
所有节点均是CentOS系统,防火墙iptables均禁用
环境搭建
本集群分为三个节点,先安装节点hadoop1(192.168.188.141),完成2.1~2.6步骤后,在步骤2.7中复制虚拟机并命名为hadoop2(192.168.188.139)和hadoop3(192.168.188.140)。
设置IP1. 点击System-->Preferences-->Network Connections,如下图所示:
2. 删除原来的连接信息,新建一个“”连接,设置该连接为手工方式,设置如下信息:
![](https://i-blog.csdnimg.cn/blog_migrate/fec55c6b6724b5777ef72e097459d8e9.png)
3. 在命令行中查看设置的IP地址信息,如果不能够正确可以在执行2.5重启机器后再次确认:
![](https://i-blog.csdnimg.cn/blog_migrate/f086ebdf3f3fc9ef5e3ecfc1dd6b2980.png)
设置Host文件1. 编辑/etc/hosts文件,设置IP地址与机器名的映射,设置信息如下:
l 10.88.147.141 hadoop1.localdomain
l 10.88.147.139 hadoop2.localdomain
l 10.88.147.140 hadoop2.localdomain
![](https://i-blog.csdnimg.cn/blog_migrate/b268111434f96067a63376dc8832e37a.png)
2. 使用如下命令对网络设置进行重启
3. 验证设置是否成功
![](https://i-blog.csdnimg.cn/blog_migrate/49feca4c585a8394764fbe5103fbd203.png)
关闭防火墙
在Hadoop安装过程中需要关闭防火墙和SElinux,否则会异常
1. service iptables status 查看防火墙状态,如下所示表示iptables已经开启
![](https://i-blog.csdnimg.cn/blog_migrate/2d7505e3dadf065d0c7b35cf418ce61a.png)
2. 使用如下命令关闭iptables,执行该命令后重启机器生效
关闭SElinux1. 使用getenforce命令查看是否关闭
![](https://i-blog.csdnimg.cn/blog_migrate/b24049c8f7fcc96844da18056c2c2f8e.png)
2. 修改/etc/selinux/config 文件
将SELINUX=enforcing改为SELINUX=disabled,执行该命令后重启机器生效
![](https://i-blog.csdnimg.cn/blog_migrate/56ee039510eb5211f2f9a13a3f3bb3d8.png)
设置机器名以root用户登录,使用 vi/etc/sysconfig/network 打开配置文件,修改主机名称为hadoop1
![](https://i-blog.csdnimg.cn/blog_migrate/df1d3600f353a7cc66bcf2f066ff2fca.png)
复制虚拟机关闭机器,复制当前节点两份,分别命名为:hadoop2和hadoop3
SSH无密码验证配置(这一步可省略)
3. 在三个节点中使用ssh-keygen -t rsa生成私钥和公钥;
4. 在三个节点中分别把公钥命名为authorized_keys_hadoop1、authorized_keys_hadoop2、authorized_keys_hadoop3;
5. 把两个从节点的公钥使用scp authorized_keys_hadoop2 jan@hadoop1:/home/jan/.ssh 命令传送到hadoop1节点的/home/jan/.ssh文件夹中;
6. 把三个节点的公钥信息保存到authorized_key文件中
使用cat authorized_keys_hadoop1 >> authorized_keys命令
7. 把该文件分发到其他两个从节点上
使用scp authorized_keys jan@hadoop2:/home/jan/.ssh把密码文件分发出去
8. 测试ssh免密码登录是否生效
Cloudera Manager安装
下载Cloudera Manager安装文件
下载Cloudera Manager所需的rpm包
安装rpm文件
l 将下载的rpm包放入文件夹rpm(文件夹名随意)
l cd ./rpm(进入rpm目录)
l yum localinstall –-nogpgcheck *.rpm(安装rpm包)
3.4 安装rpm文件l 进入cloudera-manager-installer.bin的下载目录
l chmod u+x cloudera-manager-installer.bin(给下载的bin文件权限)
l 执行 ./cloudera-manager-installer.bin(大约十分钟左右)
3.5登录CM浏览器输入localhost:7180初次登录 用户名:admin 密码:admin
![](https://i-blog.csdnimg.cn/blog_migrate/2a36d22907989d6678e7d5e464bb4abe.png)
Cloudera Manager文件配置及本地源配置
配置config.ini文件
修改主机名
修改前为:localhost 修改后为:localhost.localdomain
![](https://i-blog.csdnimg.cn/blog_migrate/4d99e49f4f554a8185bd0f387f56d5c0.png)
本地源配置
l 把以下载的.parcel文件和manifest.json文件拷贝到/opt/cloudera/parcel-repo/文件夹下
l 新建文件命名为:CDH-5.0.1-1.cdh5.0.1.p0.47-el6.parcel.sha
l 打开manifest.json文件查看CDH-5.0.1-1.cdh5.0.1.p0.47-el6.parcel对应的编号,并拷贝到CDH-5.0.1-1.cdh5.0.1.p0.47-el6.parcel.sha文件中
以下是manifest.json中CDH-5.0.1-1.cdh5.0.1.p0.47-el6.parcel对应的编号,这里是:ec68971d2969a5a31e720a2a79ce7a7c1d38e397
l 现在本地源已配好,总之parcel-repo文件中包含一下三个文件:
CDH-5.0.1-1.cdh5.0.1.p0.47-el6.parcel
CDH-5.0.1-1.cdh5.0.1.p0.47-el6.parcel.sha
Manifest.json
l 重启系统
Hadoop及其组件安装选择Cloudera版本
![](https://i-blog.csdnimg.cn/blog_migrate/96cc30782a330c3abf4d054d082d26d5.png)
选中受管理的主机
![](https://i-blog.csdnimg.cn/blog_migrate/c7aece3664288550a792d6488c502bc7.png)
选择安装方式(Cloudera推荐使用Parcel)
![](https://i-blog.csdnimg.cn/blog_migrate/61aaf07d85cb152b23a717d1c1a696b4.png)
把Parcel分配到主机
![](https://i-blog.csdnimg.cn/blog_migrate/0ab5396d4c34faf5f4f027d60a460174.png)
![](https://i-blog.csdnimg.cn/blog_migrate/61ad3725e2e68ab543b7e1cadf72bea1.png)
添加服务
![](https://i-blog.csdnimg.cn/blog_migrate/0cd7632334e7044c1f4601caecfd305c.png)
测试数据库连接
![](https://i-blog.csdnimg.cn/blog_migrate/e939edc50c4be8fa69c7c8497974d565.png)
等待所有服务开启等待所有服务开启,时间可能会有点长
![](https://i-blog.csdnimg.cn/blog_migrate/30e10b0bf58b8e2de12e96e7eefba5c6.png)
![](https://i-blog.csdnimg.cn/blog_migrate/03b902de949769746ff4cd3606f369d0.png)
向集群增加节点增加主机
![](https://i-blog.csdnimg.cn/blog_migrate/60ccdee3f34ae990b2b1b7204668852d.png)
输入IP或主机名
![](https://i-blog.csdnimg.cn/blog_migrate/55823aab079f2e3075cc36576d440f1c.png)
![](https://i-blog.csdnimg.cn/blog_migrate/04b262e970de6b59a626bc31ebddeb6a.png)
提供SSH登录凭据
![](https://i-blog.csdnimg.cn/blog_migrate/9dbc0c962a7caaa747464cb362f09c87.png)
安装
![](https://i-blog.csdnimg.cn/blog_migrate/7ba84ce1d3dcca2052379e317597318b.png)
出处:http://www.aboutyun.com/thread-9190-1-1.html