cdh

最新推荐文章于 2024-06-12 15:24:38 发布
最新推荐文章于 2024-06-12 15:24:38 发布
阅读量1.7k 收藏 9
点赞数 1
分类专栏： hadoop 文章标签： cdh5
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhangxueleishamo/article/details/84936091
版权

一、cdh角色分配

在介绍角色划分时，我们首先来看看有哪几种主要的角色：

  1. 管理节点（Master Hosts）：主要用于运行Hadoop的管理进程，比如HDFS的NameNode，YARN的ResourceManager。
  2. 工具节点（Utility Hosts）:主要用于运行非管理进程的其他进程，比如Cloudera Manager和Hive Metastore.
  3. 边缘节点（Edge Hosts）：用于集群中启动作业的客户端机器，边缘节点的数量取决于工作负载的类型和数量。
  4. 工作节点（Worker Hosts）：主要用于运行DataNode以及其他分布式进程，比如ImpalaD。

角色划分：

  1. 小于10台：一般用于测试/开发集群，我们建议至少5台机器，没有高可用。一个管理节点主要用于安装NameNode和ResourceManager，工具节点和边缘节点复用一个，主要用于安装Cloudera Manager等，剩余3-7台工作节点。 
  2. 10-20台：最小规模的生产系统，必须启用高可用。我们会用2个管理节点用于安装2个NameNode,一个工具节点用于安装Cloudera Manager等，如果机器充足或者Hue/HiveServer2/Flume的负载特别高，可以考虑独立出边缘节点用于部署这些角色，否则也可以跟Cloudera Manager复用。最后还剩下7-17个工作节点 
    注：根据实际情况选择是否需要单独的边缘节点
  3. 20-50台：这是中小规模的生产集群，必须启用高可用，与小规模集群角色划分差别不大。我们会用3个管理节点用于安装NameNode和Zookeeper等，一个工具节点用于安装ClouderaManager等，如果机器充足或者Hue/HiveServer2/Flume的负载特别高，可以考虑独立出边缘节点用于部署这些角色，否则也可以跟Cloudera Manager复用。最后还剩下16-46个工作节点。
    注：根据实际情况选择是否需要单独的边缘节点。 
    Zookeeper和JournalNode需配置专有的数据盘
  4. 50-100台：这是中等规模的生产集群，必须启用高可用。我们会用3个管理节点用于安装NameNode和Zookeeper等，一个工具节点用于安装Cloudera Manager，一个工具节点用于安装ClouderaManagement Service和Navigator等。使用三个节点安装Hue/HiveServer2/Flume，作为边缘节点，使用两个节点安装负载均衡软件比如F5或者HAProxy并配置为KeepAlive的主主模式，该负载均衡可同时用于HiveServer2和Impala Daemon。最后还剩下42-92个工作节点。
    注：Zookeeper和JournalNode需配置专有的数据盘 
  5. 100-200台：属于大规模的生产集群，必须启用高可用。我们会用5个管理节点用于安装NameNode和Zookeeper等，1个工具节点用于安装Cloudera Manager，再使用4个工具节点分别安装HMS，Activity Monitor，Navigator等。使用3个以上节点安装Hue/HiveServer2/Flume，作为边缘节点，使用2个节点安装负载均衡软件比如F5或者HAProxy并配置为KeepAlive的主主模式，该负载均衡可同时用于HiveServer2和Impala Daemon。最后还剩下85-185个工作节点
    注：Zookeeper和JournalNode需配置专有的数据盘 
    Kudu Master不超过3个 
    Kudu Tablet Server不超过100个
  6. 200-500台：属于超大规模的生产集群，必须启用高可用。我们会用7个管理节点用于安装NameNode和Zookeeper等，1个工具节点用于安装Cloudera Manager，再使用7个工具节点分别安装HMS，Activity Monitor，Navigator等。使用3个以上节点安装Hue/HiveServer2/Flume，作为边缘节点，使用2个节点安装负载均衡软件比如F5或者HAProxy并配置为KeepAlive的主主模式，该负载均衡可同时用于HiveServer2和Impala Daemon。最后还剩下180-480个工作节点。 
    注：Zookeeper和JournalNode需配置专有的数据盘 
    Kudu Master不超过3个 
    Kudu Tablet Server不超过100个

二、cdh内存分配

不同的环境可以根据自己环境的总内存以及总内核和这个参考值得出系数,那么：值= 推荐值 X 系数

  • hdfs

  • hive

  • impala

  • kafka

  • kudu

  • spark

  • yarn

  • zookeeper

  • Cloudera Management Service

三、cdh配置

准备软件
http://archive.cloudera.com/cdh5/parcels/5.16.1.3/
CDH-5.16.1-1.cdh5.16.1.p0.3-el7.parcel
CDH-5.16.1-1.cdh5.16.1.p0.3-el7.parcel.sha1
cloudera-manager-centos7-cm5.16.1_x86_64.tar.gz
jdk-8u191-linux-x64.rpm
manifest.json
mysql
mysql-connector-java-5.1.46.tar.gz

1、关闭selinux和iptables

2、配置ntp同步 

3、配置ip和个主机名

192.168.5.119    cdh1
192.168.5.124    cdh2
192.168.5.126    cdh3
192.168.5.127    cdh4
192.168.5.128    cdh5
192.168.5.129    cdh6
192.168.5.118    cdh7
192.168.5.117    cdh8
192.168.5.141    cdh9
192.168.5.142    cdh10

4、配置免密码登陆
ssh-keygen -t rsa  一直回车
 ssh-copy-id root@192.168.5.124
 ssh-copy-id root@192.168.5.126
 ssh-copy-id root@192.168.5.127
 ssh-copy-id root@192.168.5.128
 ssh-copy-id root@192.168.5.129
 ssh-copy-id root@192.168.5.118
 ssh-copy-id root@192.168.5.117
 ssh-copy-id root@192.168.5.141
 ssh-copy-id root@192.168.5.142

5、配置安装java（所有节点）
 rpm -ivh jdk-8u191-linux-x64.rpm

6、安装mysql
./mysql_install_db --basedir=/data/server/mysql --datadir=/data/mysql/3306/
./mysqld_safe --defaults-file=/data/mysql/3306/my.cnf &
ln -s /data/server/mysql/bin/mysql /sbin/
ln -s /data/mysql/3306/mysql.sock /tmp/

mysql -uroot -p
SET PASSWORD=PASSWORD('yoyi@2018');
use mysql
update user set host='%' where user='root' and host='localhost';
FLUSH PRIVILEGES;

CREATE DATABASE r_manager DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
CREATE DATABASE a_monitor DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
CREATE DATABASE hive DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
CREATE DATABASE hue DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
CREATE DATABASE scm DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
CREATE DATABASE amon DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
CREATE DATABASE rman DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
CREATE DATABASE metastore DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
CREATE DATABASE sentry DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
CREATE DATABASE nav DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
CREATE DATABASE navms DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
CREATE DATABASE oozie DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;

GRANT ALL ON r_manager.* TO 'r_manager'@'%' IDENTIFIED BY 'yoyi@2018';
GRANT ALL ON a_monitor.* TO 'a_monitor'@'%' IDENTIFIED BY 'yoyi@2018';
GRANT ALL ON hue.* TO 'hue'@'%' IDENTIFIED BY 'yoyi@2018';
GRANT ALL ON hive.* TO 'hive'@'%' IDENTIFIED BY 'yoyi@2018';
GRANT ALL ON scm.* TO 'scm'@'%' IDENTIFIED BY 'yoyi@2018';
GRANT ALL ON amon.* TO 'amon'@'%' IDENTIFIED BY 'yoyi@2018';
GRANT ALL ON rman.* TO 'rman'@'%' IDENTIFIED BY 'yoyi@2018';
GRANT ALL ON metastore.* TO 'metastore'@'%' IDENTIFIED BY 'yoyi@2018';
GRANT ALL ON sentry.* TO 'sentry'@'%' IDENTIFIED BY 'yoyi@2018';
GRANT ALL ON nav.* TO 'nav'@'%' IDENTIFIED BY 'yoyi@2018';
GRANT ALL ON navms.* TO 'navms'@'%' IDENTIFIED BY 'yoyi@2018';
GRANT ALL ON oozie.* TO 'oozie'@'%' IDENTIFIED BY 'yoyi@2018';

7、制作本地安装源
yum -y install http

8、
mkdir  /opt/cloudera-manager
tar xzf cloudera-manager*.tar.gz -C /opt/cloudera-manager
chown root.root /opt/cloudera-manager -R
useradd  --system --home=/opt/cloudera-manager/cm-5.16.1/run/cloudera-scm-server --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm
mkdir /usr/share/java
tar xzf mysql-connector-java-5.1.46.tar.gz -C /usr/share/java
 cd /usr/share/java/
 mv mysql-connector-java-5.1.46.jar mysql-connector.jar
mv mysql-connector-java-5.1.46-bin.jar mysql-connector-java.jar
scp -r /usr/share/java cdh(2-10):/usr/share/
mkdir /var/lib/cloudera-scm-server
chown cloudera-scm:cloudera-scm /var/lib/cloudera-scm-server

/opt/cloudera-manager/cm-5.16.1/share/cmf/schema/scm_prepare_database.sh mysql scm scm yoyi@2018
cp CDH-5.16.1-1.cdh5.16.1.p0.3-el7.parcel* /opt/cloudera-manager/cloudera/parcel-repo/
scp manifest.json /opt/cloudera-manager/cloudera/parcel-repo/
 /opt/cloudera-manager/cm-5.16.1/etc/init.d/cloudera-scm-server start
 

http://192.168.5.119:7180/cmf/login

 

 

 

 

 

疯飙的蜗牛
关注
  • 1
    点赞
  • 踩
  • 9
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
CDH
01-20
CDH，全称为Cloudera Distribution Including Apache Hadoop，是由Cloudera公司提供的一款开源大数据平台，它包含了多个经过优化和集成的开源组件，旨在简化大数据处理和分析。CDH的核心在于提供一个全面的数据处理...
手把手教你在centos7下搭建大数据CDH5.15.2平台（5个节点）
huicooling的博客
04-27 2092
1、CDH的介绍 1.1 CDH是什么？ hadoop是一个开源项目，所以很多公司在这个基础进行商业化，Cloudera对hadoop做了相应的改变。Cloudera公司的发行版，我们将该版本称为CDH（Cloudera Distribution Hadoop）。截至目前为止，CDH共有5个版本，其中，前两个已经不再更新，最近的两个，分别是CDH4在Apache Hadoop 2.0.0...
笨鸟的平凡之路-CDH集群角色和节点数规划建议
笨鸟的平凡之路
06-14 5128
1、 CDH组件角色说明 Hadoop 集群服务器按照节点任务的不同可以分为管理节点和工作节点。管理节点上部署各组件的管理角色，工作节点部署各角色的存储、容器或计算角色。但因为Hadoop 不同组件之间兼容性的问题，所以一般使用Cloudera 套件。 在CDH套件中就有如下角色。 2、 CDH 节点数量建议 2.1 小规模集群 一般来说，小于20个节点的都属于小规模集群，受限于集群的存储和处...
CDH详解（史上最全）
最新发布
weixin_45424111的博客
06-12 1837
CDH详解，从小白到精通
CDH新增机器节点
myself_ning的博客
07-18 1047
CDH5新增机器节点
CDH 集群的角色分配
浅汐入梦的博客
05-16 1582
参考了许多文章....未列举😥
cdh裸机部署最佳推荐
edgar_t的博客
07-09 452
官方文档：https://docs.cloudera.com/documentation/other/reference-architecture/topics/ra_bare_metal_deployment.html 服务器角色配置 Master Node：运行 Hadoop 主守护进程：NameNode、备用 NameNode、YARN 资源管理器和历史服务器、HBase 主守护进程、Sentry 服务器以及 Impala StateStore 服务器和目录服务器。主节点也是 Zookeepe.
CDH之ZK升级.doc
03-01
- 备份现有ZooKeeper Jar包：`cp /opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/jars/zookeeper-3.4.5-cdh6.3.2.jar /opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/jars/zookeeper-3.4.5-cdh...
CDH6.3.2集成tez
03-01
### CDH6.3.2集成tez #### 概述 Cloudera Distribution Including Apache Hadoop (CDH) 是一款由 Cloudera 公司提供的企业级大数据平台，它包含了 Hadoop 生态系统中的核心组件和服务。Tez 是一个支持复杂数据处理...
CDH6.3.2安装包下载
06-10
由于CSDN上传文件大小限制，大家可以下载《CDH6.3.2下载.txt》获取网盘地址进行下载，我打包了CDH6.3.2 搭建所需要的各种安装文件，包括： manifest.json cloudera-manager.repo RPM-GPG-KEY-cloudera cm6.3.1-...
CDH6.3.2安装包及下载地址
08-17
### CDH 6.3.2 安装包与下载指南 #### 一、背景介绍 自2021年1月31日起，Cloudera宣布其所有软件产品（包括Cloudera Data Hub，简称CDH）均需有效的订阅才能获取。这意味着用户无法再像以往那样免费下载CDH的各种...
CDH集群3节点安装步骤
12-27
安装过程都使用root用户 CDH 安装在/opt。 Centos7.3x64 所有主机名配置 配置好 所有机器的无密钥登陆
CentOS 7 安装 CDH 5.12.1
wzhwangzhuohui的博客
06-25 7604
准备4台机器，内存，磁盘尽量给足node1(master)          192.168.231.128                  内存16G,磁盘50Gnode2                         192.168.231.129                  内存3G,磁盘50Gnode3                         192.168.231.13...
大数据之CDH数仓(22) | 集群管理之节点的添加和删除
Knight
10-15 1830
准备新节点 1）准备一台新的阿里云ECS服务器，并确保其和之前的集群位于同一地域，以及同一个安全组，主机名为hadoop105。 （1）相同地域 （2）相同安全组 （3）主机名 2）安装jdk，如果集群启用了Kerberos，还需安装Kerberos客户端，并做相应的配置。 （1）安装jdk 将jdk解压到/usr/java/目录下，并编辑/etc/profile，声明JAVA_HOME （2）安装Kerberos客户端，并作相应配置 安装Kerberos客户端 yum install -y krb5
大数据之CDH 集群部署
csdnwindnorth的博客
10-19 663
Cloudera Manager cloudera manager的概念 简单来说，Cloudera Manager是一个拥有集群自动化安装、中心化管理、集群监控、报警功能的一个工具（软件）,使得安装集群从几天的时间缩短在几个小时内，运维人员从数十人降低到几人以内，极大的提高集群管理的效率。 cloudera manager的功能 1.管理：对集群进行管理，如添加、删除节点等操作。 2.监控：监控...
CDH各角色功能简介
刘李404not_found的博客
01-21 4070
文章目录Cloudera ManagementEvent ServerHost MonitorActivity MonitorService MonitorAlert PublisherReports ManagerHDFSNameNodeDataNodeSecondaryNameNodeStandby NamenodeJournalNodeFailover ControllerNFS Gatew...
搭建5个节点的hadoop集群环境（CDH5）
热门推荐
陌上花开
05-18 5万+
搭建一个分布式的hadoop集群环境，下面是详细步骤，使用cdh5 。提示：如果还不了解Hadoop的，可以下查看这篇文章Hadoop生态系统，通过这篇文章，我们可以首先大致了解Hadoop及Hadoop的生态系统中的工具的使用场景。 一、硬件准备 基本配置: 操作系统 64位 CPU (英特尔)Intel(R) I3处理器 内存 8.00 GB ( 1600 MHz) 硬盘剩余空间 50G 流畅配置: 操作系统 64位
大数据之CDH（web页面部署Hadoop）
leon.yan的博客
09-09 1万+
一、了解CDH 在众多 Hadoop 版本中， CDH 是 Hadoop 众多分支中比较出色的版本， 它由Cloudera 发行和维护。CDH 基于 Apache 的 Hadoop 进行重新构建，提供了基于 Web 页面的群集部署和管理操作。 1.1 Hadoop 属于开源软件，采用Apache 2.0许可协议 官方版本称为社区版Hadoop 1.2 比较流行Hadoop版本 Apache Hadoop 维护人员比较多，更新频率比较快，稳定性相对比较差 Cloudera Hadoop（CDH） C
CDH 使用 CM下线节点
mc的博客
02-10 2046
本文档为cdh集群，下线/上线节点操作文档。 CM 集群下线节点，主要参考官方文档： 操作前调优文档： https://docs.cloudera.com/documentation/enterprise/6/latest/topics/cm_mc_decomm_host.html#concept_urw_wyw_cy 操作文档：https://docs.cloudera.com/documentation/enterprise/6/latest/topics/cm_mc_host_maint.html#
Cloudera CDH4快速入门指南
"CDH4QuickStartGuide是Cloudera公司发布的一份针对CDH4版本Hadoop的快速入门指南，旨在帮助用户了解和使用这一版本的Hadoop分布式计算框架。该指南提供了安装、配置和操作CDH4的基本步骤，以及相关的最佳实践。" ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

疯飙的蜗牛

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值