hadoop基础----hadoop实战(十一)-----hadoop管理工具---CDH的目录结构了解

最新推荐文章于 2025-03-07 16:27:26 发布
最新推荐文章于 2025-03-07 16:27:26 发布
阅读量4.3k 收藏 12
点赞数 4
分类专栏： hadoop hadoop从基础到实战 文章标签： hadoop cdh 目录
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zzq900503/article/details/79045955
版权
本文介绍了CDH 5.13.0版本的目录结构，特别是对于Hadoop和Hive集群的重要路径。关键目录包括：/opt/cloudera/parcels/CDH用于组件安装和配置，/var/log/目录存储CM和Hadoop的日志，Hadoop的jar包位于/lib下，Hive仓库目录为/user/hive/warehouse，而Zookeeper数据位于/var/lib/zookeeper。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

我们在进行hadoop和hive集群的使用和操作时经常需要获取hadoop和hive的版本以及从服务器上获取它们的相关jar包，才能保证驱动一致运行正常。

但是我们发现使用CDH安装的hadoop和hive集群找不到它们的相关jar包，因为CDH安装集群的过程对我们来说是透明的。
(透明：在计算机中，客观存在并且运行着但是我们看不到的特性。)

针对这种情况，对CDH的目录结构进行了解就非常重要了。

我这里以CDH 5.13.0版本为例进行解析，其他版本的目录类似。

所有组件的配置以及安装组件目录--最经常用的目录

ls /opt/cloudera/parcels/CDH

如下:

了解本专栏 订阅专栏 解锁全文
hadoop-2.6.0-cdh5.16.2的压缩包.rar
12-17
主要是因为hadoop的cdh5官网收费，项目下载不了了，上传我下载的到csdn方便各位下载
hadoop-2.6.0-cdh5.14.2.tar
09-04
hadoop-2.6.0-cdh5.14.2.tar.gz适用于Linux环境，centos7已测试
cdh的hive配置文件位置_cdh版本的hive安装以及配置
weixin_39837867的博客
12-22 1188
hive依赖hadoop需要的软件包：hive-0.13.1-cdh5.3.6.tar.gz 、hadoop-2.5.0-cdh5.3.6.tar.gz1、hadoop的安装步骤请访问：http://www.cnblogs.com/xningge/articles/8433297.html2、将hive软件包上传到Linux系统指定的目录：/opt/softwares/cdh3、解压hive-0....
CDH目录结构
weixin_41538547的博客
05-23 552
本文转载自：https://blog.csdn.net/didi7696/article/details/103462528 CDH目录结构 meihuiziaaaaaa 2019-12-09 18:15:41 103 收藏 1 展开 一、总结目的 因为CDH集群的配置、日志、jar包以及安装文件的目录非常多，而且分散，每次绕进去就有种绕不出来的感觉。所以，下决心总结一下，防止自己后面采坑。 二、关键目录 1.开启应用目录：默认可以直接敲命令行 /opt/cloudera/parcels/CDH/b
Hadoop安装、配置与管理
最新发布
2301_79639443的博客
03-07 1371
新建虚拟机选择稍后安装选择Linux 版本Centos 8 64位（如果需要centos7 则选择7版本就可以）虚拟机名称自己改，位置最好不要安装在C盘磁盘大小看着给，尽量多点，我的电脑内存不够，给的少 然后完成即可打开CD ，使用镜像使用的镜像需要下载，可以看我之前写的，在这然后打开虚拟机点击软件选择，选择最小安装再点记 根密码 设置密码再点击安装目的地完成 ，开始安装。
cdh系列大纲（目录 先看）
weixin_34138521的博客
03-20 204
需要搭建一个庞大的cdh系统 //写一个博客系列 从无到有 自己思想的升华！根据此系统进行相应的优化构思：1、搭建cdh 前硬件资源的选型 //这里就要针对hadoop生态圈 去选择什么样的硬件 cpu 硬盘厂家等2、搭建cdh 版本控制，各个版本的相应的信息3、搭建cdh 生产环境前的Linux 优化 4、搭建cdh 集群时候的角色规划5、搭建cdh 生产环境搭建6、搭建cdh 后hdfs...
CDH目录结构说明
小哇
10-02 1176
1 各种应用的shell客户端 cd /opt/cloudera/parcels/CDH/bin ls avro-tools impala-collect-diagnostics kafka-preferred-replica-election oozie sqoop-import-all-tables beeline impala-collect-minidumps kafka-producer-...
hadoop-yarn-common-2.6.5-API文档-中文版.zip
04-07
赠送jar包：hadoop-yarn-common-2.6.5.jar 赠送原API文档：hadoop-yarn-common-2.6.5-javadoc.jar 赠送源代码：hadoop-yarn-common-2.6.5-sources.jar 包含翻译后的API文档：hadoop-yarn-common-2.6.5-javadoc-...
hadoop-common-2.6.0-cdh5.8.4.jar
12-20
hadoop-common-2.6.0-cdh5.8.4.jarhadoop-common-2.6.0-cdh5.8.4.jar
flink-shaded-hadoop-2-uber-3.0.0-cdh6.2.0-7.0.jar
02-18
# 解压命令 tar -zxvf flink-shaded-hadoop-2-uber-3.0.0-cdh6.2.0-7.0.jar.tar.gz # 介绍 用于CDH部署 Flink所依赖的jar包
hadoop-2.6.0-cdh5.14.0 64位 native文件库
05-24
自己编译的hadoop2.6-cdh5.14.0库文件，亲测可用。因为编译过程中需要下载大量的maven依赖包，该库文件编译花了十个多小时，所以网络环境不好的情况下，不建议自己编译。
查看Hadoop当前集群信息的方法
RichardJing的博客
06-20 3942
我想每隔几秒钟就查看Hadoop集群中有哪些正在运行的Job，每个Job正在运行着多少个Map/Reduce Task。这就牵扯到如何查看当前Hadoop集群信息的问题，我查了查相关的资料。 用过Hadoop的人肯定都使过它提供的webapp来查看集群信息。这个webapp相当强大，所以我首先想到借用webapp的代码，但发现不太可能。 webapp使用JobInProgress对象查看当前J...
从零开始搭建Hadoop2.7.1的分布式集群
fishineye的专栏
01-19 1580
2016-01-17 21:49 Hadoop 2.7.1 (2015-7-6更新)，Hadoop的环境配置不是特别的复杂，但是确实有很多细节需要注意，不然会造成许多配置错误的情况。尽量保证一次配置正确防止反复修改。 网上教程有很多关于Hadoop配置的，但是每一个教程都对应了一个版本信息，有一些教程也存在很大的问题，配置环境，系统环境都没说清楚。在此我将记录下来从零搭
解析Cloudera Manager内部结构、功能包括配置文件、目录位置等
wulantian的专栏
11-26 2360
问题导读 1.CM的安装目录在什么位置？ 2.hadoop配置文件在什么位置？ 3.Cloudera manager运行所需要的信息存在什么位置？ 4.CM结构和功能是什么？ 1. 相关目录 /var/log/cloudera-scm-installer : 安装日志目录。 /var/log/* : 相关日志文件（相关服务的及CM的）。 /u
Hadoop之CDH安装
热门推荐
dongyunlon的专栏
03-30 2万+
1. 离线数据存储及查询环境部署 离线数据的存储与查询主要是以hadoop为中心的技术栈，包括hive，hbase，hue，kylin等。部署hadoop的方式比较流行的主要有三种： 1. 直接部署Apache Hadoop，即手工部署，需要自己配置，协调版本兼容等，好处是能够加深理解，但是过程较繁琐。 2. Ambari ：Hortonworks的产品，用于创建，管理，监视hadoop集群...
基于CDH5.4的Spark1.4.1下SparkR的部署
08-29 2328
[Author]: kwu --- 基于CDH5.4的Spark1.4.1下SparkR的部署，R与Spark的结合为数据分析提供高效的解决方案，Hadoop的中hdfs为数据分析提供分布式存储。本文介绍集成安装的步骤：
Hadoop-2.6.0-cdh5.10.2在Win7下的bin文件编译指南
标题 "hadoop-2.6.0-cdh5.10.2-bin" 指的是Hadoop的一个特定版本，具体为2.6.0，...由于篇幅限制，本文无法详尽覆盖Hadoop所有组件和特性，但已提供的信息足以对Hadoop版本2.6.0结合CDH5.10.2有一个基本和全面的了解。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

阿泽财商会

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值