大数据 分布式文件系统 HDFS概念

HDFS Hadoop Distributed File System

关键词

高度容错 高吞吐量 流式数据访问

前提与目标

前提	目标
大规模分布式系统硬件错误是常态	错误检测和快速、自动恢复实现高容错
应用更关注数据批量处理，而非用户交互处理	提高批量读取吞吐量，而非降低随机读取延迟
应用具有很大的数据集，文件大小在G-T字节	通过横向扩展集群节点，提高整体数据传输带宽
假定应用满足“一次写入多次读取”的文件访问模型	数据一致性
移动计算比移动数据更划算	将计算移动到数据附近，降低拷贝数据产生的网络阻塞
异构软硬件平台	可移植性

缺点

• 不适合低延迟数据访问
• 不适合大量小文件存储
• 不支持并发写入
• 不支持文件随机修改

架构

• Namenode 中心服务器，负责管理文件系统命名空间，客户端访问，管理数据块到Datanode的映射。
• Datanode 一般一个机器上运行一个数据节点实例，负责处理客户端读写请求，接受Namenode调度进行数据块操作。
• Metadata 元数据，保存文件系统中所有目录和文件信息
• Block 数据块，最小存储单元，大小固定(默认128m)，默认3个副本