HDFS
中琦2513
天道酬勤
展开
-
HDFS的快照管理
前言新版本的HDFS集群出现了一些比较重大的特性,比如异构存储等, 今天介绍一个HDFS的重大特性-Snapshot。Snapshot就是快照的意思,Snapshot是一个非常好的东西,一个形象的比喻,快照就好像拍风景照时的那一个瞬间的投影,过了那个时间点之后,又会有新的一个瞬间投影。所以其实Snapshot快照用一个更好的词来形容就是”瞬间映像“。Snapshot快照概念原创 2017-10-19 08:38:34 · 45692 阅读 · 0 评论 -
HDFS架构设计
介绍HDFS是个分布式文件系统,包含几个特点(区别于普通分布式文件系统):高容错、高吞吐。高容错可以使得系统部署在廉价硬件上,而高吞吐则非常适合做大规模数据集的应用。假设和目标硬件失效硬件失效是常态而不是特例。一个HDFS集群可能包含了成百上千的服务器,每个都会存储文件系统的部分数据。而大量的组件就会导致组件出错的概率非常高,而这也意味着HDFS的部分组件会经常不工原创 2016-12-02 21:33:58 · 45983 阅读 · 0 评论 -
HDFS SnapShot原理
【简介】HDFS中可以对目录创建Snapshot,创建之后不管后续目录发生什么变化,都可以通过snapshot找回原来的文件和目录结构。为了启用这种功能,首先需要启用目标目录的snapshot功能,可以通过下面的命令来执行:hdfs dfsadmin -allowSnapshot 启用snapshot功能后,并不会自动进行snapshot保存,还需要先创建snapshot, 通过下面的原创 2017-03-26 20:42:36 · 49183 阅读 · 0 评论 -
HDFS--机架感知
一、背景介绍Hadoop的设计目的:解决海量大文件的处理问题,主要指大数据的存储和计算问题,其中,HDFS解决数据的存储问题;MapReduce解决数据的计算问题 Hadoop的设计考虑:设计分布式的存储和计算解决方案架构在廉价的集群之上,所以,服务器节点出现宕机的情况是常态。数据的安全是重要考虑点。HDFS的核心设计思路就是对用户存进HDFS里的所有数据都做冗余备份,以此保证原创 2017-06-24 22:20:24 · 51375 阅读 · 8 评论 -
Google File System学习笔记
本文是学习《大规模分布式存储系统》中Google File System部分整理的笔记,其中也参考了Google File System原理这篇博客中的内容。1. Design MotivationGoogle对现有的系统运行状态以及应用系统进行总结,抽象出对文件系统的需求,主要有以下几个方面: 1. 普通商用的机器硬件发生故障是常态; 2. 存储的问题普遍比较大,几个G的原创 2017-11-27 23:39:02 · 45251 阅读 · 0 评论 -
HDFS的垃圾回收站
HDFS的垃圾回收站首先需要明白一点,现在linux系统好像没有回收站的说法了,所以在删除别人的文件或文件夹之前一定要慎重,毕竟rm命令是高危命令,删除了就没有了,所以对于高危命令,我们要保持敬畏之心.hdfs在部署的时候默认垃圾回收站是禁用的,因此hdfs是可以开启垃圾回收站的。先看看官网对回收站的解释:第一个参数:fs.trash.interval=0 表示禁用Number of...原创 2018-10-14 18:39:07 · 29712 阅读 · 0 评论