HDFS分布式文件系统

适合的应用场景:
   存储非常大的文件: 
                  这里非常大指的是几百M、G、或者TB级别,需要高吞吐量,对延时没有要求。
   采用流式的数据访问方式: 
                 即一次写入,多次读取,数据集经常从数据源生成或者拷贝一次,
                 然后在其上做很多分析工作。
   运行于商业硬件上:
                 Hadoop不需要特别贵的机器,可运行于普通廉价机器,可处节约成本。
    需要高容错性
    为数据存储提供所需要的扩展能力
不适合的应用场景:
     低延时的数据访问对延时要求在毫秒级别的应用,不适合采用HDFS。
     HDFS是为高吞吐数据传输设计的,因此可能牺牲延时。
     大量小文件 : 
                文件的元数据保存在NameNode的内存中,整个文件系统的文件数量会受限于
                NameNode的内存的大小。经验而言,一个文件/目录/文件快一般占有150字节的元数据内存空间。如果有100万个文件,每个文件占用1个文件快,则需要大约300M的内存。因此十亿级别的文件数量在现有商用机器上难以支撑。
                多方读写,需要任意的文件修改HDFS采用追加 的方式写入数据。不支持文件任意offset的修改。不支持多个写入器。
  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值