大数据-HDFS（一）

最新推荐文章于 2024-05-17 19:36:24 发布
最新推荐文章于 2024-05-17 19:36:24 发布
阅读量656 收藏 1
点赞数
分类专栏： 大数据 文章标签： hadoop hdfs
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zy12306/article/details/104278991
版权

                                        大数据-HDFS（一）

目录

从本章节开始我们将进入对hadoop一个重要组件的学习，hdfs在hadoop集群中主要作用是负责数据的存取。本章节会从hdfs的基本概念、优缺点以及架构方面进行初步了解和学习。

每天进步一小点，加油鸭~

HDFS基本概念

Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），其中一个重要的组件就是HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超大规模数据集（large data set）的应用程序。HDFS放宽了（relax）POSIX的要求，可以以流的形式访问（streaming access）文件系统中的数据。Hadoop框架最核心的设计就是：HDFS和MapReduce。HDFS为海量数据提供存储，而MapReduce则为海量数据提供计算   。

HDFS的优缺点

优点

高容错性

  • 数据自动保存多个副本，它通过增加副本的形式，提高容错性。
  • 某一个副本丢失以后，可以自动恢复，由HDFS内部机制实现。

适合批处理

  • 把数据位置暴露给计算框架。
  • 通过移动计算而不是移动数据。

适合大数据处理

  • 数据规模：能够处理数据规模达到GB、TB甚至PB级别。
  • 文件规模：能够处理百万规模以上的文件数量。
  • 节点规模：能够处理10K节点的规模。

流式数据访问

  • 一次写入，多次读取，不能修改，只能追加。
  • 它能够保证数据的一致性。

可构建在廉价机器上

  • 它通过多副本机制，提高可靠性。
  • 它提供了容错和恢复机制。比如某一副本丢失，可以通过其他副本来恢复。

缺点

不适合低延时数据访问

  • 比如毫秒级以内的数据存储和读取是不行的。
  • 它适合高吞吐率的场景，就是在某一时间内写入大量的数据。

无法高效的对大量小文件进行存储

  • 存储大量小文件的话，会占用NameNode大量的内存来存储文件、目录和块信息。这样是不可取的，因为NameNode的内存是有限的。
  • 小文件存储的寻址时间会超过读取时间，违反了HDFS的设计原则。

并发写入、文件随机修改

  • 一个文件只能有一个写操作，不允许多个线程同时写入。
  • 仅支持数据append(追加)，不支持文件的随机修改。

HDFS架构分析

HDFS由四部分组成，HDFS Client、NameNode、DataNode和Secondary NameNode。

HDFS是一个主/从（Mater/Slave）体系结构，HDFS集群拥有一个NameNode和一些DataNode。NameNode管理文件系统的元数据，DataNode存储实际的数据。

HDFS客户端：就是客户端。

  • 提供一些命令来管理、访问 HDFS，比如启动或者关闭HDFS。
  • 与 DataNode 交互，读取或者写入数据；读取时，要与 NameNode 交互，获取文件的位置信息；写入 HDFS 的时候，Client 将文件切分成 一个一个的Block，然后进行存储。

NameNode：即Master。

  • 管理 HDFS 的名称空间
  • 管理数据块（Block）映射信息
  • 配置副本策略
  • 处理客户端读写请求

DataNode：就是Slave。NameNode 下达命令，DataNode 执行实际的操作。

  • 存储实际的数据块
  • 执行数据块的读/写操作

Secondary NameNode：用来监控HDFS状态的辅助后台程序，每隔一段时间获取HDFS元数据的快照。最主要作用是辅助NameNode管理元数据信息。

  • 辅助 NameNode，分担其工作量
  • 定期合并 fsimage和fsedits，并推送给NameNode
  • 在紧急情况下，可辅助恢复 NameNode

HDFS命令操作

HDFS 命令有两种风格：

  • hadoop fs 开头
  • hdfs dfs 开头

两种命令均可使用，效果相同。

命令说明
hdfs dfs -help ls
hadoop fs -help ls		查看 hdfs 或 hadoop 子命令的帮助信息
hdfs dfs -ls /
hadoop fs -ls /
hdfs dfs -ls -R /		查看 hdfs 文件系统中指定目录的文件列表。对比 Linux 命令 ls 
hdfs dfs -touchz /edits.txt在hdfs文件系统中创建文件
hadoop fs -appendToFile edit1.xml /edits.txt向hdfs文件中追加内容
hdfs dfs -cat /edits.txt查看 hdfs 文件内容

hdfs dfs -put /linux本地文件 /hdfs文件
#跟-put命令的作用一样
hdfs dfs -copyFromLocal /linux本地文件 /hdfs文件
#拷贝完成删除源文件，相当于对文件“剪贴”
hdfs dfs -moveFromLocal /linux本地文件 /hdfs文件

从本地路径上传文件至 hdfs
hdfs dfs -get /hdfs路径 /本地路径
#和get命令的效果相同
hdfs dfs -copyToLocal /hdfs路劲 /本地路径		在hdfs文件系统中下载文件
hdfs dfs -mkdir /shell在hdfs文件系统中创建目录
hdfs dfs -rm /edits.txt
hdfs dfs -rm -r /shell		在hdfs文件系统中删除文件
hdfs dfs -mv /xcall.sh /call.sh
hdfs dfs -mv /call.sh /shell		在hdfs文件系统中修改文件名称（也可以用来移动文件到目录） 
hdfs dfs -cp /xrsync.sh /shell在 hdfs中拷贝文件到目录
hdfs dfs -rmr /shell递归删除目录
hdfs dfs -ls file:///home/hadoop/列出本地文件的内容（默认是 hdfs 文件系统）
#Linux find 命令
find . -name 'edit*'
#hdfs find 命令
#在HDFS根目录中，查找part-r-00000文件
hadoop fs -find / -name part-r-00000		查找文件

hdfs 与 getconf 结合使用

命令说明
hdfs getconf -namenodes获取NameNode的节点名称（可能有多个）
#用相同命令可获取其他的属性值
hdfs getconf -confKey dfs.namenode.fs-limits.min-block-size		获取hdfs最小块信息
hdfs getconf -nnRpcAddresses查找 hdfs 的 NameNode 的 RPC 地址

hdfs 与 dfsadmin结合使用

命令说明
hdfs dfsadmin -help safemode助帮助信息
hdfs dfsadmin查看hdfs dfsadmin的子命令
hdfs dfsadmin -safemode get查看当前模式
#进入安全模式
hdfs dfsadmin -safemode enter
#退出安全模式
hdfs dfsadmin -safemode leave		进入/退出安全模式

hdfs 与 fsck 结合使用

命令说明
hadoop checknative检查压缩库本地安装情况
hadoop namenode -format格式化名称节点
hadoop jar /hlbdx/install/hadoop-2.6.0-cdh5.14.2/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0-cdh5.14.2.jar pi 10 10执行自定义jar包

HDFS安全模式

安全模式是 HDFS 所处的一种特俗状态，在这种状态下，文件系统只接受读数据请求，不接受删除、修改等变更请求。

在NameNode主节点启动时，HDFS首先进入安全模式，DataNode在启动的时候会向NameNode汇报可用的block状态，当整个系统达到安全标准时，HDFS 自动离开安全模式。如果HDFS处于安全模式下，则文件block不能进行任何的副本复制操作，因此达到最小的副本数的要求是基于DataNode启动时的状态来判定的，启动时不会再做任何复制（从而达到最小副本数量要求）。

HDFS集群刚启动的时候，默认30s的时间是处于安全期的，只有过了30s后，集群脱离了安全期，才可以对集群进行操作。

 [hadoop@node01 hadoop]$ hdfs dfsadmin -safemode  
 Usage: hdfs dfsadmin [-safemode enter | leave | get | wait]

此博文仅供学习参考，如有错误欢迎指正。

上一篇《大数据-基础环境搭建》

下一篇《大数据-HDFS（二）》

希望对大数据相关技术感兴趣的友友们关注一下，大家可以一起交流学习哦~

海恋北斗星
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
大数据系列——什么是hdfs？hdfs用来干什么的？
我的E家
12-27 7420
大数据系列——什么是hdfs？hdfs用来干什么的？
2.HDFS介绍、HDFS完全分布式搭建
m0_63953077的博客
03-04 765
HDFS介绍、HDFS完全分布式搭建
HDFS分布文件系统（Hadoop Distributed File System）
最新发布
2301_79641790的博客
05-17 1428
HDFS作为Hadoop生态中的核心组件之一，提供了可靠、高效、可扩展的数据存储服务。通过深入了解HDFS的原理、架构、特性和实战应用，我们可以更好地利用HDFS来处理和分析大数据，为企业创造更大的价值。同时，随着大数据技术的不断发展，HDFS也在不断地演进和完善，相信未来HDFS将在大数据领域发挥更加重要的作用。
HDFS简介
兰旭的专栏
11-30 1605
HDFS
大数据_HDFS原理
日积月累，水滴石穿
10-01 1257
Block 保存在那些 DataNode 节点上（数据并非保存在 NameNode 磁 盘上的，它是在 DataNode 启动时上报给 NameNode 的，NameNode 接收到之后 将这些信息保存在内存中）NameNode 的 metadata 信息在 NameNode 启动后加载到内存中，Metadata 存储到磁盘上的文件名称为 fsimage，Block 的位置信息不会保存在 fsimage 中，Edits 文件记录了客户端操作 fsimage 的日志，对文件的增删改等。③ 适合大数据的处理。
大数据技术之Hadoop（HDFS）
绿色水杯
07-16 1177
HDFS简介 HDFS的Shell操作 HDFS的写数据流程 网络拓扑- 节点距离计算 机架感知 HDFS的读数据流程 NN 和 和 2NN 工作机制 DataNode工作机制
大数据-HDFS用户指南中文版
04-22
大数据-HDFS用户指南中文版，详细介绍了Hadoop应用使用的主要分布式存储文件系统，分布式文件系统的管理命令等，适合大数据爱好者学习
大数据-HDFS（七）
01-07
大数据-HDFS（七） DataNode工作机制以及数据存储 DataNode工作机制 1）一个数据块在datanode上以文件形式存储在磁盘上，包括两个文件，一个是数据本身，一个是元数据包括数据块的长度，块数据的校验和，以及时间戳...
大数据--Hadoop HDFS
08-09
大数据 Hadoop HDFS 详解
大数据实验二-HDFS编程实践
04-03
一．实验内容 HDFS编程实践： 1）使用HDFS文件操作的常用Shell命令； 2）利用Hadoop提供的Java API进行基本的文件操作。 二．实验目的 1、理解HDFS在Hadoop体系结构中的角色。 2、熟练使用HDFS操作常用的Shell命令...
大数据教程-HDFS常用Shell命令.md.zip
03-02
HDFS 常用 shell 命令 1. 显示当前目录结构
大数据学习之HDFS
weixin_73844647的博客
01-29 1279
在互联网时代，数据不断增加，随着数据量的增加，在一个操作系统存不下所有的数据，那么久分配到更多的操作系统管理的磁盘中，但将数据分散的存储在不同的操作系统中，不便于管理和维护，迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统。HDFS（Hadoop Distributed File System）是一种分布式文件系统，用于存储和管理大规模数据集的分布式存储解决方案，通过目录树来定位文件。HDFS主要由NameNode、DataNode、SecondaryNameNode、Client组成。
大数据技术入门：hdfs（分布式文件存储系统），2024年最新字节跳动算法工程师总结
2401_84181070的博客
04-13 863
2、为了保证 Standby 的机器中，namespace和文件块与Active宕机之前一致，DataNode在向Active NameNode发送块的位置信息和“心跳”时，也要把这些信息发送给Standby NameNode，这样才能保证Standby中的文件块信息与Active NameNode中的数据一致。所以，HDFS被设计成支持大文件。1、首先，它有两个 NameNode，一个是 Active 的，一个是 Standby (备援状态)的，当 Active 宕机后，可以使用Standby的机器。
大数据之HDFS详解
qq_42588609的博客
04-25 315
HDFS是Hadoop生态系统中的一个重要组件，它是为了解决大规模数据存储和处理问题而设计的。HDFS的架构由NameNode和DataNode组成，它提供了与标准文件系统类似的操作，并且可以与Hadoop MapReduce和其他Hadoop生态系统中的工具一起使用。HDFS（Hadoop Distributed File System）是Hadoop生态系统中的一个分布式文件系统，它是为了解决大规模数据存储和处理问题而设计的。HDFS的使用可以分为两个部分：文件系统操作和数据处理。
hadoop_hdfs 理论、数据读取、写入详解，存放机制 周期
qq_45798620的博客
10-09 4215
HDFS全称 Hadoop Distribute File System ： Hadoop分布式文件系统 主要作用： 即存储海量数据 为什么能存储海量数据？？ 因为其空间大，空间大的原因为服务器多、磁盘多。且支持扩展 HDFS组成部分 管理者-Master NameNode 集群中有1-2个，用于管理集群中的工作者 工作者-Slave DataNode 集群中有 辅助管理者工作 辅助管理 SecondaryNameNode 集群中有0-1 只负责辅助NameNo
ZZ SMAQ：海量数据的存储计算和查询模型(译)
dreaming架构师，充分践行，适当补充理论的一年
02-21 247
  本文翻译自The SMAQ stack for big data     英文原文：http://radar.oreilly.com/2010/09/the-smaq-stack-for-big-data.htm SMAQ代表了存储，MapReduce和查询。 译者：phylips@bmy 出处：http://duanple.blog.163.com/blog/sta...
一、大数据技术基础——分布式文件系统HDFS
FengTingT的博客
06-04 1368
大数据技术基础学习笔记，本篇简要介绍了分布式存储系统HDFS。
大数据学习Hadoop之HDFS详解一
追风邵的博客
06-08 492
一、Hadoop的之HDFS
大数据之HDFS
qq_41378127的博客
04-28 390
一、HDFS概述 HDFS的定义 HDFS的特点： 优点： ①高容错 ②适合处理大数据 ③可运行在廉价的机器上。 缺点： ①不适合低延时的数据处理 ②无法高效的对小文件进行存储 ③不支持并发的写入，文件的随机修改 HDFS的组成 HDFS 的文件块大小： HDFS中文件在物理上是分块存储的，块的大小可以灵活配置。Hadoop3中默认是128M。 二、HDFS的常用Shell命令 基本语法：...
头歌 大数据系统及应用-HDFS实训
06-06
对于HDFS实训，一般包括以下内容： 1. HDFS的安装和部署； 2. HDFS的基本命令和操作； 3. HDFS的数据备份和恢复； 4. HDFS的数据块大小和副本数的设置； 5. HDFS的高可用性和负载均衡； 6. HDFS的性能优化和调优； ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值