Hadoop 之 HDFS操作

HDFS的设计

HDFS 以流式数据访问模式来存储超大文件，运行于商用硬件集群上。HDFS是分布式文件系统

HDFS的数据块

HDFS的数据块一般的大小是128MB
PS： 寻址速度10ms 硬盘读取速度100MB/s 一般寻址速度是数据IO的百分之一
我们以拷贝一个大于128M的文件为例子
步骤一： 首先找到大于128MB的文件，将文件拷贝到hdfs下，hdfs只是一个逻辑上的文件系统
hdfs dfs -copyFromLocal /Users/zzjmay/Downloads/pycharm-professional-2016.3.1.dmg /zzjmay/hadoop/
本地文件拷贝 copyFromLocal，可以通过WebUI看到，一个268MB的文件被切割成了三个数据块，其中需要说明的是BlockId是其在数据节点中存储的ID

HDFS的Namenode和datanode

NameNode: 名称节点，维护文件系统树和以及树中的文件和目录。说白了，就是一个目录。 但是这个目录有非常的重要，里面存放了命名空间的镜像文件和编辑日志文件，用户拼接数据节点的信息（存放目录 /Users/zzjmay/hadoopwork/hadoop_tmp/dfs/name/）
datanode：数据节点，用于存放数据块的节点(存放目录/Users/zzjmay/hadoopwork/hadoop_tmp/dfs/data/ )
注意：
1. 正常开发中，名称节点和数据节点是要分开部署的
2. 名称节点要做好容灾措施，两种方式：第一种，配置远程的文件系统，以保证一致性 第二种，创建辅助的名称节点

回到之前说的pycharm的分割的数据块存放的路径
/Users/zzjmay/hadoopwork/hadoop_tmp/dfs/data/current/BP-1423851909-127.0.0.1-1522918427220/current/finalized/subdir0/subdir0

Hadoop的采用的是java的切割技术，只需要将这三个数据块拼接在一起就可以回到原来的文件，亲测有效

namenode只存放元数据信息，不会存储块信息。当datanode启动后，会主动请求namenode，去报备对应的快列表

Java 操作HDFS文件系统步骤（Maven模式下）

步骤1 创建maven项目（不说）

步骤2 引入hadoop的依赖

 <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-client</artifactId>
            <version>2.7.3</version>
  </dependency>

步骤3 写代码了

先介绍几个重要的类

FileSystem

定义了Hadoop的文件系统的API接口，提供了多种构造函数

Configuration

这个类的作用