HDFS
文章平均质量分 53
張萠飛
这个作者很懒,什么都没留下…
展开
-
Hadoop: Capacity Scheduler yarn容量调度
本文描述了 CapacityScheduler,这是一种可插拔的 Hadoop 调度器,它允许多租户安全地共享一个大型集群,从而在分配容量的限制下及时为其应用程序分配资源。翻译 2022-08-15 17:31:48 · 1056 阅读 · 0 评论 -
统计 HDFS 的小文件个数
使用 hdfs oiv 命令解析 namenode fsimage 文件,输入为 , 号分隔的文本文件hdfs oiv -i $fsimage -t /data1/zpf/ops/small_file/tmp/ -o /data1/zpf/ops/small_file/fsimage.txt -p Delimited -delimiter ,在hive上建一个表将数据 put 到 hive 表对应的 hdfs 目录上hadoop fs -put -f /data1/zpf/ops/sma原创 2020-08-07 18:00:10 · 2562 阅读 · 0 评论 -
MapReduce V2 开发手册
目的这个文档全面描述了 Hadoop MapReduce 框架面向用户的所有方面,作为一个教程。前提条件确保 Hadoop 已安装、配置并正在运行。更多的细节: Single Node Setup for first-time users. Cluster Setup for large, distributed clusters. 概述Hadoop MapReduce 是一个软件框架,可以轻松地编写在大型集群(数千个节点)上并行处理大量数据(兆兆字节数据集)的应翻译 2020-09-07 11:35:45 · 350 阅读 · 0 评论 -
HDFS 视图(View Fs)
介绍视图文件系统(ViewFs)提供了一种管理多个Hadoop文件系统名称空间(或名称空间卷)的方法。对于具有多个namenode的集群,因此在HDFS联合中具有多个名称空间,这一点特别有用。ViewFs类似于某些Unix/Linux系统中的客户端挂载表。ViewFs可以用来创建个性化的名称空间视图,也可以创建每个集群的通用视图。...翻译 2020-09-07 14:48:13 · 1670 阅读 · 0 评论 -
HDFS 客户端的 Shell 命令
classpathdfsenvvarsfetchdtfsckgetconfgroupshttpfslsSnapshottableDirjmxgetoevoivoiv_legacysnapshotDiffversion翻译 2020-11-21 14:52:55 · 843 阅读 · 1 评论 -
HDFS 纠删码 EC
目的复制是昂贵的 - HDFS中的默认3x 复制方案在存储空间和其他资源(例如,网络带宽)上有 200%的开销。但是,对于具有较低 I/O 活动的暖数据集和冷数据集,在正常操作期间很少访问其他块副本,但仍然消耗与第一个副本相同的资源。...翻译 2020-06-08 09:05:40 · 1635 阅读 · 1 评论 -
HDFS 联邦
背景HDFS 有两个主要层:HDFS has two main layers:Namespace 由目录、文件和块组成。 它支持所有与名称空间相关的文件系统操作,如创建、删除、修改和列出文件和目录。 Block Storage Service分为两部分: Block Management (在 Namenode 中执行) 通过处理注册和定期心跳提供 Datanode 集群成员资格。 处理块报告并维护块的位置。 支持块相关的操作,如创建,删除,修改和获取块的位.翻译 2020-06-04 18:38:17 · 349 阅读 · 0 评论 -
Hadoop: Fair Scheduler yarn公平调度
目的FairScheduler 是一个插件式的 Hadoop 调度器,它允许 yarn 程序在集群中以公平的方式共享资源简介公平调度是一种将资源分配给应用程序的方法,以便所有应用程序在一段时间内平均获得相等的资源份额。Hadoop NextGen能够调度多种资源类型。在默认情况下,公平调度程序仅基于内存调度公平决策。它可以配置为使用内存和CPU进行调度,使用Ghodsi等人开发的主导资...翻译 2020-01-03 17:47:35 · 830 阅读 · 0 评论 -
CDH HDFS High Availability(CDH启用HDFS高可用)5.11.x
Table of ContentsHDFS高可用性介绍背景HA实现Quorum-based存储自动故障转移关于HDFS HA的一般问题“Operation category READ/WRITE is not supported in state standby”是什么意思?为HDFS HA配置硬件开启HDFS HA使用 Cloudera 管理器启用 HDF...翻译 2019-10-25 20:56:57 · 1989 阅读 · 0 评论 -
Map Reduce执行流程以及Hive执行insert overwrite 底层是怎么跑数据的
目录MR简述MR执行流程Input阶段Mapper阶段Reducer阶段例子insert overwrite table翻译日志MR简述MapReduce 作业通常将输入数据集分割成独立的块,这些块由 map 任务以完全并行的方式进行处理。MR框架对映射的输出进行排序,然后将其输入到 reduce 任务中。通常,作业的输入和输出都存储在文件系统中。该框...原创 2019-10-11 15:39:26 · 4354 阅读 · 0 评论 -
Call From localhost/127.0.0.1 to localhost:9000 failed on connection exception: java.net.ConnectExce
连接拒绝当有指定地址的机器报出了Connection Refused 异常,而且端口没有被占用,网络也没有丢包的前提下。除非在两端都有配置错误,否则通常的原因是Hadoop服务没有运行。异常文本声明连接失败的主机名和端口。端口可用于标识服务。例如,端口9000是HDFS端口。其他更多的端口查阅:Hadoop常用端口号汇总检查主机IP配置是否正确。包括 Hadoop 配置文件。 ...原创 2019-10-14 18:09:52 · 31696 阅读 · 4 评论 -
Incompatible clusterIDs in dfs/dn: namenode clusterID=cluster19; datanode clusterID=hacl-pepstack
cdh中hdfs的namenode的datenode的cluster Id不一致导致hdfs启动失败2019-02-26 17:46:40,663 WARN org.apache.hadoop.hdfs.server.namenode.FSNamesystem: Encountered exception loading fsimageorg.apache.hadoop.hdfs.ser...原创 2019-02-27 10:55:25 · 1539 阅读 · 0 评论 -
util.NativeCodeLoader: Unable to load native-hadoop library foryour platform... using builtin-java c
警告的处理:17/11/1620:43:41 WARN util.NativeCodeLoader: Unable to load native-hadoop library foryour platform... using builtin-java classes where applicable解决版本参考:http://blog.csdn.net/young_kim1/arti原创 2018-02-06 09:14:57 · 269 阅读 · 0 评论