大数据实战第二十八课 - CDH03

最新推荐文章于 2022-08-29 18:17:18 发布
最新推荐文章于 2022-08-29 18:17:18 发布
阅读量492 收藏 1
点赞数
分类专栏： 高级班-CDH三次课程
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhikanjiani/article/details/102686315
版权

第一章：CDH添加kafka服务

第二章：Spark2部署

第一章：CDH添加Kafka服务

添加kafka服务的时候会跳出来一句话：

  • Before adding this service， ensure that either the kafka parcel is activated or the kafka package is installed.

那我们去哪儿确认呢，回到主页，单击Hosts --> Parcels，远程download安装取决于网络环境：

  • CDK是cloudera公司对kafka版本的叫法。

1、点击添加服务：add service
在这里插入图片描述
2、添加kafka服务的时候会提示：Before adding this service, ensure that either the Kafka parcel is activated or the Kafka package is installed.
在这里插入图片描述
3、如何去确认：
我们单击右上角的Configurations：

  • 这个地址能让我们知道哪些地址可以下kafka包裹文件
    在这里插入图片描述

  • 这些是远程安装仓库地址：受限于当前集群与网络环境，如果网路环境强大，可以远程；但是大多数公司都是离线部署的

  • 有些地址我们不需要，但是这些地址能让我们知道哪些地方能下载包裹文件。
    在这里插入图片描述

  • 单击check for new检查网络环境：
    在这里插入图片描述

  • 此时我们去到cdh的kafka官网：https://docs.cloudera.com/documentation/index.html

  • 单击Apache Kafka

在这里插入图片描述

  • CentOS是7.X版本，cdhshi5.16.1，cdh6.0版本我们没有使用，J总最近一到两年不建议使用；CDH6.X版本有多少bug需要各位去踩坑。

  • cloudera公司给kafka取的名字的版本。
    在这里插入图片描述

  • cloudera公司把Apache Kafka拿过来，打的一些不定，Apache Kafka的版本是2.1.0，kafka4.0指的就是cloudera公司打的版本号；17是打的补丁号。
    在这里插入图片描述

  • 进入到如下网址下载包裹文件：http://archive.cloudera.com/kafka/parcels/4.0.0/

  • 我们要下载三个文件：KAFKA-4.0.0-1.4.0.0.p0.1-el7.parcel、KAFKA-4.0.0-1.4.0.0.p0.1-el7.parcel.sha1、manifest.json，下载好后上传到云主机上。

[root@hadoop001 kafka_parcels]# ll
total 83904
-rw-r--r-- 1 root root 85897902 Oct 22 22:53 KAFKA-4.0.0-1.4.0.0.p0.1-el7.parcel
-rw-r--r-- 1 root root       41 Oct 22 22:52 KAFKA-4.0.0-1.4.0.0.p0.1-el7.parcel.sha
-rw-r--r-- 1 root root     5212 Oct 22 22:56 manifest.json

2、选择install and upgrade：https://docs.cloudera.com/documentation/kafka/4-0-x/topics/kafka_install.html

  • 单机这个链接在这里插入图片描述

  • 进入到如下网址：官方步骤
    https://docs.cloudera.com/documentation/kafka/4-0-x/topics/kafka_installing.html#concept_ngx_4l4_4r

  • 还缺少一步，配置离线源：yum install httpd

[root@hadoop001 kafka_parcels]# cd /var/www/html
[root@hadoop001 html]# ll
total 0
[root@hadoop001 html]# service httpd start
Redirecting to /bin/systemctl start  httpd.service
[root@hadoop001 html]# ps -ef|grep httpd
root     16306     1  0 23:02 ?        00:00:00 /usr/sbin/httpd -DFOREGROUND
apache   16307 16306  0 23:02 ?        00:00:00 /usr/sbin/httpd -DFOREGROUND
apache   16308 16306  0 23:02 ?        00:00:00 /usr/sbin/httpd -DFOREGROUND
apache   16309 16306  0 23:02 ?        00:00:00 /usr/sbin/httpd -DFOREGROUND
apache   16310 16306  0 23:02 ?        00:00:00 /usr/sbin/httpd -DFOREGROUND
apache   16311 16306  0 23:02 ?        00:00:00 /usr/sbin/httpd -DFOREGROUND
root     16323 15264  0 23:02 pts/1    00:00:00 grep --color=auto httpd
[root@hadoop001 html]# netstat -nlp|grep 16306
tcp        0      0 0.0.0.0:80              0.0.0.0:*               LISTEN      16306/httpd

注意：阿里云安全组规则配置中放开80端口

  • 使用：hadoop001的外网IP+80端口访问：说明httpd服务已经安装成功
    在这里插入图片描述
    第二步：将下载好的kafka离线源移动到当前文件夹下，目的：构造和官网一样的路径：

  • [root@hadoop001 html]# mv /root/kafka_parcels /var/www/html/
    思考问题：部署的时候建议使用主机名（内网IP）访问

  • 拷贝我们的仓库链接地址：我们通过的是http服务
    在这里插入图片描述

  • download分布式，activiate激活；激活之后提示重启集群，如果并不需要重启集群，那就关闭忽略提示。
    在这里插入图片描述
    1、步骤：download --> activiate（需要手动的），激活好了之后，状态也是distributed、activiate
    在这里插入图片描述

1.1 在集群中add service

1、add service
在这里插入图片描述
2、选中kafka服务，下一步，kafka brokers三台机器都要选中
在这里插入图片描述

在这里插入图片描述
Kafka启动过程中正常是没有问题的，如果有问题：可能是由于内存小的原因。

  • 回到主界面，尝试手工启动。

报错（猜测是因为内存的原因，第一台机器的角色太多了）：

注意：

  • 日志打的是starting，但是jps查看命令查看不到进程了，是因为linux的oom进程把它杀掉了的原因。
[root@hadoop001 kafka]# pwd
/var/log/kafka
[root@hadoop001 kafka]# ll
total 52
-rw-r--r-- 1 kafka kafka 45805 Oct 22 23:33 kafka-broker-hadoop001.log
drwxr-xr-x 2 kafka kafka  4096 Oct 22 23:33 stacks

在这里插入图片描述

  • 修改Java Heap Memory（java堆栈内存）
    在这里插入图片描述
  • 我们使用的是离线包裹源部署的文件：
[root@hadoop001 kafka]# cd /opt/cloudera/parcels
[root@hadoop001 parcels]# pwd
/opt/cloudera/parcels
[root@hadoop001 parcels]# ll
total 8
lrwxrwxrwx  1 root root   27 Oct 22 21:44 CDH -> CDH-5.16.1-1.cdh5.16.1.p0.3
drwxr-xr-x 11 root root 4096 Nov 22  2018 CDH-5.16.1-1.cdh5.16.1.p0.3
lrwxrwxrwx  1 root root   24 Oct 22 23:19 KAFKA -> KAFKA-4.0.0-1.4.0.0.p0.1
drwxr-xr-x  6 root root 4096 Apr  3  2019 KAFKA-4.0.0-1.4.0.0.p0.1
[root@hadoop001 parcels]# cd KAFKA
[root@hadoop001 KAFKA]# ll
total 16
drwxr-xr-x 2 root root 4096 Apr  3  2019 bin
drwxr-xr-x 5 root root 4096 Apr  3  2019 etc
drwxr-xr-x 3 root root 4096 Apr  3  2019 lib
drwxr-xr-x 2 root root 4096 Apr  3  2019 meta
  • Kafka部署的家目录：
[root@hadoop001 KAFKA]# cd lib
[root@hadoop001 lib]# ll
total 4
drwxr-xr-x 6 root root 4096 Apr  3  2019 kafka
[root@hadoop001 lib]# cd kafka/
[root@hadoop001 kafka]# ll
total 60
drwxr-xr-x 2 root root  4096 Apr  3  2019 bin
drwxr-xr-x 2 root root  4096 Apr  3  2019 cloudera
lrwxrwxrwx 1 root root    15 Apr  3  2019 config -> /etc/kafka/conf
drwxr-xr-x 2 root root 12288 Apr  3  2019 libs
-rwxr-xr-x 1 root root 32216 Apr  3  2019 LICENSE
-rwxr-xr-x 1 root root   336 Apr  3  2019 NOTICE
drwxr-xr-x 2 root root  4096 Apr  3  2019 site-docs
[root@hadoop001 kafka]# ll cloudera/
total 4
-rwxr-xr-x 1 root root 532 Apr  3  2019 cdh_version.properties
[root@hadoop001 kafka]# pwd
/opt/cloudera/parcels/KAFKA/lib/kafka

第二章：Spark2部署

https://docs.cloudera.com/documentation/spark2/latest/topics/spark2_installing.html

1、检查软件环境是否满足要求：

  • Check that all the software prerequisites are satisfied. If not, you might need to upgrade or install other software components first. See CDS Powered by Apache Spark Requirements for details.

2.1 下载jar包和对应的包裹文件

1、下载jar包和对应的包裹文件：http://archive.cloudera.com/spark2/parcels/2.4.0.cloudera2/

  • Install the CDS Powered by Apache Spark service descriptor into Cloudera Manager.

在这里插入图片描述

第一步下载：

  • To download the CDS Powered by Apache Spark service description, in the Version information table in CDS Version Available for Download, click the service description link for the version you want to install.
1、所在目录：
[root@hadoop001 spark2_parcels]# pwd
/root/spark2_parcels

2、对sha1文件重命名，代表手工下载已经完成
[root@hadoop001 spark2_parcels]# mv SPARK2-2.4.0.cloudera2-1.cdh5.13.3.p0.1041012-el7.parcel.sha1 SPARK2-2.4.0.cloudera2-1.cdh5.13.3.p0.1041012-el7.parcel.sha

3、上传目录结构如下：
[root@hadoop001 spark2_parcels]# ll
total 194296
-rw-r--r-- 1 root root      5212 Oct 22 22:56 manifest.json
-rw-r--r-- 1 root root 198924405 Oct 23 00:01 SPARK2-2.4.0.cloudera2-1.cdh5.13.3.p0.1041012-el7.parcel
-rw-r--r-- 1 root root        41 Oct 23 00:00 SPARK2-2.4.0.cloudera2-1.cdh5.13.3.p0.1041012-el7.parcel.sha
-rw-r--r-- 1 root root     19066 Oct 23 00:01 SPARK2_ON_YARN-2.4.0.cloudera2.jar

第二步：

2、 Log on to the Cloudera Manager Server host, and copy the CDS Powered by Apache Spark service descriptior in the location configured for service descriptor files.

  • 登录到CM server的机器，拷贝SPARK2_ON_YARN-2.4.0.cloudera2.jar包到路径/opt/cloudera/csd；这个路径没有的话使用mkdir -p创建。

有一个location configured：

location configured的步骤如下：

1、Select Administration > Settings.
在这里插入图片描述
2、Click the Custom Service Descriptors category.

  • linux上没有这个目录的话自己创建目录：mkdir -p /opt/cloudera/csd
    在这里插入图片描述
    3、Edit the Local Descriptor Repository Path property.

4、Enter a Reason for change, and then click Save Changes to commit the changes.

5、Restart Cloudera Manager Server:

第三步：

3、Set the file ownership of the service descriptor to cloudera-scm:cloudera-scm with permission 644.

  • 设置文件的用户和用户组是cloudera-scm:cloudera-scm，并且设置文件权限是644.
[root@hadoop001 csd]# chown -R cloudera-scm:cloudera-scm SPARK2_ON_YARN-2.4.0.cloudera2.jar

[root@hadoop001 csd]# chmod 644 SPARK2_ON_YARN-2.4.0.cloudera2.jar

第四步：

4、restart the Cloudera Manager Server with the following command：

  • systemctl restart cloudera-scm-server

我们使用如下方式重启，经验值等待一分钟：

[root@hadoop001 init.d]# ./cloudera-scm-server restart
Stopping cloudera-scm-server:                              [  OK  ]
Starting cloudera-scm-server:                              [  OK  ]
[root@hadoop001 init.d]# pwd
/opt/cloudera-manager/cm-5.16.1/etc/init.d

第五步：

in the Cloudera Manager Admin Console, add the CDS Powered by Apache Spark parcel repository to the Remote Parcel Repository URLs in Parcel Settings as described in Parcel Cofiguration Settings.

  • CDH管理员控制台去添加spark2仓库，因为我们事先已经把包裹文件下载好了，移动到http服务下面就可以了；
[root@hadoop001 ~]# mv spark2_parcels /var/www/html/

移动进去之后使用外网IP/spark2_parcels，就能够进行访问：

  • http://47.102.150.69/spark2_parcels/
    在这里插入图片描述
    注意：hadoop001机器上的httpd服务需要开启。

此时继续：

zhikanjiani
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
hive2.1.1-cdh6.3.2
05-08
hive JDBC jar包全家桶。由于项目使用，此jar包从国外下载费了好大劲，现分享给大家。 cdh6.3.2版本的
spark-3.2.2-bin-3.0.0-cdh6.3.2
10-20
内容概要：由于cdh6.3.2的spark版本为2.4.0，并且spark-sql被阉割，现基于cdh6.3.2，scala2.12.0，java1.8，maven3.6.3，,对spark-3.2.2源码进行编译 应用：该资源可用于cdh6.3.2集群配置spark客户端，用于spark-sql
apache-flume-1.5.0-cdh5.3.6-bin.zip
03-15
flume-1.5.0-cdh5.3.6。 大数据日志收集工具 flume-1.5.0-cdh5.3.6。 大数据日志收集工具flume-1.5.0-cdh5.3.6。 大数据日志收集工具flume-1.5.0-cdh5.3.6。 大数据日志收集工具flume-1.5.0-cdh5.3.6。 大数据日志收集工具flume-1.5.0-cdh5.3.6。 大数据日志收集工具
单机到集群安装cdh5.16
felix.shao的博客
04-28 535
1 单机到集群安装cdh5.16 cdh5.16单机到集群安装，通过VM虚拟机安装。 1.1 文档规范 代码块和vi编辑块用灰色区域标记 $后跟的linux命令 2 安装准备 2.1 节点分配 操作系统：CentOS7.5 节点分配如下表 节点 组件 cdh-master server cdh01 agent cdh02 agent cdh03 agent cd...
热门推荐
Oracle大型数据库灾备、数据联机实时同步、迁移技术专栏
12-17 1万+
Oracle® GoldenGate Oracle Installation and Setup Guide Release 11.2.1 E35957-01 August 2012 Oracle GoldenGate for Oracle Installation and Setup Guide, Release 11.2.1 E35957-01 Copyright © 2010,
CDH5.16：添加Kafka和Spark2服务
11号车厢
07-29 1073
文章目录1、前言2、添加CDK4.02.1 选择对应的版本2.2 配置Kafka Pacel下载源2.3 CDH添加Kafka3、添加CDS2.43.1 选择对应的版本3.2 配置Spark2 Pacel下载源3.3 添加Spark23.4 测试Spark2 1、前言 CDH5有自带kafka和spark的安装包，但是版本比较低，spark是1.6版本，如果想安装更高的版本，那么就需要自己手动从官...
Ubuntu16.04下CDH 5.14.0 集群使用parcel包的方式接入KAFKA
爱璇子爱生活
10-18 663
1、查看kafka与CDH的版本对应 https://docs.cloudera.com/documentation/enterprise/release-notes/topics/rn_consolidated_pcm.html#pcm_kafka 2、下载parcel包和kafka的jar包 （1）centos下载el系列，我的CDH版本是5.14.0，搭建在ubuntu16.04上，所以...
二十：CDH5.14离线安装kafka (含版本选择)
weizhonggui的博客
02-23 3413
一：当安装好CDH的hadoop后，准备安装kafka,可是CDH上添加服务是这样的，没法直接添加，需要添加相应包才可以： Apache Kafka is publish-subscribe messaging rethought as a distributed commit log. Before adding this service, ensure that either the Kafk...
CDH5.12.X添加Kafka服务
aizhenshi的博客
07-05 1859
    最近有同学问我CDH怎么安装Kafka服务，正好我之前也有安装过，在这里将安装过程记录一下，方便各位同学过坑！    既然已经安装了CDH,那么我们在安装kafka服务的时候,很自然的直接添加服务：        但是有提示:Before adding this service, ensure that either the Kafka parcel is activated or the...
Centos7部署大数据CDH6.2.1集群
qq_42869878的博客
10-30 905
1、集群集群准备 阿里云按需付费云主机即可，或者自己配置三台服务器，2C16G 服务器操作系统：Centos7.2 64 2、安装包 JDK：jdk-8u181-linux-x64.tar.gz 连接：https://www.oracle.com/technetwork/java/javase/downloads/java-archive-javase8-2177648.html 下载地址：https://archive.cloudera.com/cm6/6.2.1/redhat7/yum/RP
hue-3.7.0-cdh5.3.6
06-26
这个是hue-3.7.0-cdh5.3.6版本压缩包.
Hive-2.1.1-CDH-3.6.1 相关JDBC连接驱动 Jar 包集合
04-20
03、hive-jdbc-2.1.1-cdh6.3.1.jar 04、hive-jdbc-2.1.1-cdh6.3.1-standalone.jar 05、hive-metastore-2.1.1-cdh6.3.1.jar 06、hive-service-2.1.1-cdh6.3.1.jar 07、libfb303-0.9.3.jar 08、log4j-1.2.17.jar 09、...
PMP_模考三 (3A通过分享)（180题附答案及解析）
在IT技术的世界,天天向上↑
08-29 1235
3A通过之PMP_模考三（附答案及解析） 本卷共180道试题作答时间为240分钟，总分180分，105分及格
操作系统概念(Operating System Concepts Ninth Edition恐龙书)第二章课后非编程题答案
you are sherlocked by me!
12-02 8938
CHAPTER 2 Chapter 2 is concerned with the operating-system interfaces that users (or at least  programmers) actually see:system calls. The treatment is somewhat vague since more  detail requires pick...
ZooKeeper Dynamic Reconfiguration（ZooKeeper 动态配置重构）
你学废了吗？
01-03 1497
2022年要像冰冰一样努力突破自己
在安装过Kafka集群的环境中再次安装Kafka出现的问题
sunyang098的博客
11-26 5813
使用ClouderaManager安装Kafka，启动Kafka时出现问题： 1. 2015-11-26 13:51:21,952 INFO kafka.log.LogManager: Loading log '.gnome2' 2015-11-26 13:51:21,960 FATAL kafka.server.KafkaServerStartable: Fatal error durin
记录自定义kafka的parcel库,CDH安装kafka服务,无法安装过去的排雷过程
weixin_34414196的博客
03-30 643
1.版本 CDH5.9.1 安装KAFKA-2.0.2-1.2.0.2.p0.5-el6 https://archive.cloudera.com/kafka/parcels/2.0/失败 CDH5.9.1 安装KAFKA-2.1.0-1.2.1.0.p0.115-el6 https://arch...
clouder-manager安装kafka
qq_27822907的博客
06-20 626
前言 由于本人基于spring-boot使用spring-kafka来连接kafka的，所以要考虑到spring-boot版本对应的kafka版本，还需要考虑到clouder-manager对应的kafka版本。其实网上这块介绍也挺多的，但是本人翻阅了一些，最终还是导致版本不一致，所以在此记录下安装过程。 版本介绍 clouder-manager :5.9.3 spring-boot...
电力系统调度过程连续潮流matlab代码.zip
最新发布
04-26
1.版本：matlab2014/2019a/2021a 2.附赠案例数据可直接运行matlab程序。 3.代码特点：参数化编程、参数可方便更改、代码编程思路清晰、注释明细。 4.适用对象：计算机，电子信息工程、数学等专业的大学生课程设计、期末大作业和毕业设计。
hadoop-common-cdh
10-14
Hadoop-Common-CDH指的是Cloudera Distribution for Hadoop (CDH)中的Hadoop Common组件。CDH是基于Apache Hadoop的一个开源分发版，它集成了一系列的Hadoop生态系统组件，包括Hadoop Common、HDFS、YARN和MapReduce...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值