HDFS 基本操作笔记

最新推荐文章于 2023-02-02 11:03:23 发布

丝丝呀

最新推荐文章于 2023-02-02 11:03:23 发布

阅读量307

点赞数

文章标签： hdfs 大数据 java

本文链接：https://blog.csdn.net/zhangzhagn_/article/details/125767609

版权

1 HDFS相关基本概念

随着数据量越来越大，在一个操作系统存不下所有的数据，那么就分配到更多的操作系统

管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，这就

是分布式文件管理系统。HDFS 只是分布式文件管理系统中的一种。

HDFS（Hadoop Distributed File System），它是一个文件系统，用于存储文件，通过目录

树来定位文件；其次，它是分布式的，由很多服务器联合起来实现其功能，集群中的服务器

有各自的角色。

HDFS 的使用场景：适合一次写入，多次读出的场景。一个文件经过创建、写入和关闭之

后就不需要改变。

2 HDFS的Shell操作（重点）

hadoop fs 具体命令 / hdfs dfs 具体命令两个是完全相同的。

[zhang@hadoop102 hadoop-3.1.3]$ bin/hadoop fs

常用命令实操

[zhang@hadoop102 bin]$ myhadoop.sh start

如果对哪一个命令的用法不是特别清楚，用以下指令查看该命令如何使用的：

[zhang@hadoop102 hadoop-3.1.3]$ hadoop fs -help rm

创建sanguo文件夹

[zhang@hadoop102 ~]$ hadoop fs -mkdir /sanguo

一共分三大类命令：上传、下载、HDFS直接操作

2.1 上传

-moveFromLocal：从本地剪切粘贴到 HDFS

创建一个txt文件
[zhang@hadoop102 hadoop-3.1.3]$ vim shuhuo.txt
输入：
zhugeliang

-copyFromLocal：从本地文件系统中拷贝文件到 HDFS 路径去

[zhang@hadoop102 hadoop-3.1.3]$ vim weiguo.txt

输入：weiguo

-put：等同于 copyFromLocal，生产环境更习惯用 put

[zhang@hadoop102 hadoop-3.1.3]$ vim wuguo.txt

输入：wuguo

-appendToFile：追加一个文件到已经存在的文件末尾

[zhang@hadoop102 hadoop-3.1.3]$ vim liubei.txt
[zhang@hadoop102 hadoop-3.1.3]$ hadoop fs -appendToFile liubei.txt /sanguo/shuhuo.txt

-copyToLocal：从 HDFS 拷贝到本地

-get：等同于 copyToLocal，生产环境更习惯用 get

2.2 HDFS 直接操作

1）-ls: 显示目录信息

查询根目录
[zhang@hadoop102 hadoop-3.1.3]$ hadoop fs -ls /

-cat：显示文件内容

[zhang@hadoop102 hadoop-3.1.3]$ hadoop fs -cat /sanguo/shuhuo.txt

-chgrp、-chmod、-chown：Linux 文件系统中的用法一样，修改文件所属权限

[zhang@hadoop102 hadoop-3.1.3]$ hadoop fs -chown zhang:zhang /sanguo/shuhuo.txt

-mkdir：创建路径

[zhang@hadoop102 hadoop-3.1.3]$ hadoop fs -mkdir /jinguo

-cp：从 HDFS 的一个路径拷贝到 HDFS 的另一个路径

[zhang@hadoop102 hadoop-3.1.3]$ hadoop fs -cp /sanguo/shuhuo.txt /jinguo

-mv：在 HDFS 目录中移动文件

[zhang@hadoop102 hadoop-3.1.3]$ hadoop fs -mv /sanguo/weiguo.txt /jinguo
[zhang@hadoop102 hadoop-3.1.3]$ hadoop fs -mv /sanguo/wuguo.txt /jinguo

-tail：显示一个文件的末尾 1kb 的数据

[zhang@hadoop102 hadoop-3.1.3]$ hadoop fs -tail /jinguo/shuhuo.txt

-rm：删除文件或文件夹

[zhang@hadoop102 hadoop-3.1.3]$ hadoop fs -rm /sanguo/shuhuo.txt

-rm -r：递归删除目录及目录里面内容(慎用！！！！)

[zhang@hadoop102 hadoop-3.1.3]$ hadoop fs -rm -r /sanguo

-du 统计文件夹的大小信息

[zhang@hadoop102 hadoop-3.1.3]$ hadoop fs -du -s -h /jinguo

[zhang@hadoop102 hadoop-3.1.3]$ hadoop fs -du -h /jinguo

-setrep：设置 HDFS 中文件的副本数量

[zhang@hadoop102 hadoop-3.1.3]$ hadoop fs -setrep 10 /jinguo/shuhuo.txt

3 HDFS的API操作

准备好 hadoop-3.1.0 压缩包

下载 hadoop-3.1.0 （windows版）到非中文路径

3.1配置 HADOOP_HOME 环境变量

系统变量中新建

配置path环境变量

编辑环境变量

在 IDEA 中创建一个 Maven 工程 HdfsClientDemo ，并导入相应的依赖坐标+ 日志添加

然后再在原配置文件中添加相关依赖

<dependencies> 
    <dependency> 
        <groupId>org.apache.hadoop</groupId> 
        <artifactId>hadoop-client</artifactId> 
        <version>3.1.3</version> 
    </dependency> 
    <dependency> 
        <groupId>junit</groupId> 
        <artifactId>junit</artifactId> 
        <version>4.12</version> 
    </dependency> 
    <dependency> 
        <groupId>org.slf4j</groupId> 
        <artifactId>slf4j-log4j12</artifactId> 
        <version>1.7.30</version> 
    </dependency> 
</dependencies>

在项目的 src/main/resources 目录下，新建一个文件，命名为“log4j.properties”，为了打印日志

在新建的文件中填入以下内容

log4j.rootLogger=INFO, stdout   
log4j.appender.stdout=org.apache.log4j.ConsoleAppender   
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout   
log4j.appender.stdout.layout.ConversionPattern=%d %p [%c] - %m%n   
log4j.appender.logfile=org.apache.log4j.FileAppender   
log4j.appender.logfile.File=target/spring.log   
log4j.appender.logfile.layout=org.apache.log4j.PatternLayout   
log4j.appender.logfile.layout.ConversionPattern=%d %p [%c] - %m%n

创建包名：com.zhang.hdfs

创建 HdfsClient 类

3.2 HDFS 的 API 案例实操

用客户端远程创建目录

package com.zhang.hdfs;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.conf.Configuration;
import org.junit.After;
import org.junit.Before;
import org.junit.Test;
import java.io.IOException;
import java.net.URI;
import java.net.URISyntaxException;
import org.apache.hadoop.fs.RemoteIterator;
import org.apache.hadoop.fs.LocatedFileStatus;
import org.apache.hadoop.fs.BlockLocation;
import java.util.Arrays;
import org.apache.hadoop.fs.FileStatus;

/**
 * @author sa
 * @create 2021-05-04 16:37
 *
 *
 * 客户端代码常用套路
 * 1、获取一个客户端对象
 * 2、执行相关的操作命令
 * 3、关闭资源
 * HDFS zookeeper
 */
public class HdfsClient {

    private FileSystem fs;

    @Before
    public void init() throws IOException, URISyntaxException, InterruptedException {

        //连接集群的nn地址
        URI uri = new URI("hdfs://hadoop102:8020");

        //创建一个配置文件
        Configuration configuration = new Configuration();

        //用户
        String user = "zhang";

        // 1 获取客户端对象
        fs = FileSystem.get(uri, configuration, user);
    }

    @After
    public void close() throws IOException {
        // 3 关闭资源
        fs.close();
    }

    @Test
    public void testmkdir() throws URISyntaxException,IOException,InterruptedException {
        // 2 创建一个文件夹
        fs.mkdirs(new Path("/xiyou/huaguoshan"));

    }

}

在刚刚的代码中加入如下代码

 // 上传
    @Test
    public void testPut() throws IOException {
        //参数解读：参数一：表示删除原数据；参数二：是否允许覆盖；参数三：原数据路径；参数四：目的地路径
         fs.copyFromLocalFile(false,false,new Path("E:\\sunwukong.txt"),new Path("/xiyou/huaguoshan"));
    }

把false改为true，再试一下

在resources下新建一个file——hdfs-site.xml

将下面代码粘贴到里面：（修改副本数为1）

<?xml version="1.0" encoding="UTF-8"?> 
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?> 
 
<configuration> 
  <property> 
   <name>dfs.replication</name>       
    <value>1</value> 
  </property> 
</configuration>

参数优先级

hdfs-default.xml（优先级最低）---->hafs-site.xml---->在项目资源目录下的配置文件---->代码里面的配置（优先级最高）

再测试客户端代码中配置副本的值的优先级：
在源代码中加上：

configuration.set("dfs.replication","2");

3.3 HDFS 文件下载

@Test 
// 文件下载
    @Test
    public void testGet() throws IOException {
        //参数解读：参数一： boolean delSrc 指是否将原文件删除；参数二：Path src 指要下载的原文件路径
        // 参数三：Path dst 指将文件下载到的目标地址路径；参数四：boolean useRawLocalFileSystem 是否开启文件校验
        fs.copyToLocalFile(false, new Path("/xiyou/huaguoshan"), new Path("E:\\sunwukong.txt"), false);
    }

注意：是不是突然发现多了一个crc文件，用于检测传输数据有无发生变化，刚刚参数4设置为false进行了传输文件的校验
如果将最后一个参数改为true

再次运行：（注意把上次运行的文件删掉）

3.4 HDFS 删除文件和目录（运行时注意注释掉其余的）

 // 删除
    @Test
    public void testRm() throws IOException {

        // 参数解读：参数1：要删除的路径； 参数2 ： 是否递归删除
        // 删除文件(不再演示了)
        fs.delete(new Path("/jdk-8u212-linux-x64.tar.gz"),false);

        // 删除空目录
        fs.delete(new Path("/xiyou"), false);

        // 删除非空目录
        fs.delete(new Path("/jinguo"), true);
    }

3.5 文件的更名和移动

新建一个测试文件夹和相应的测试文件

// 文件的更名和移动
    @Test
    public void testmv() throws IOException {
        // 参数解读：参数1 ：原文件路径； 参数2 ：目标文件路径
        // 对文件名称的修改
        fs.rename(new Path("/input/word.txt"), new Path("/input/zzz.txt"));

        // 文件的移动和更名
        fs.rename(new Path("/input/zzz.txt"),new Path("/to.txt"));

        // 目录更名
        fs.rename(new Path("/input"), new Path("/output"));

    }

3.6 通过客户端的方式获取 HDFS 文件详情信息

// 获取文件详细信息
    @Test
    public void fileDetail() throws IOException {

        // 获取所有文件信息
        RemoteIterator<LocatedFileStatus> listFiles = fs.listFiles(new Path("/"), true);

        // 遍历文件
        while (listFiles.hasNext()) {
            LocatedFileStatus fileStatus = listFiles.next();

            System.out.println("==========" + fileStatus.getPath() + "=========");
            System.out.println(fileStatus.getPermission());
            System.out.println(fileStatus.getOwner());
            System.out.println(fileStatus.getGroup());
            System.out.println(fileStatus.getLen());
            System.out.println(fileStatus.getModificationTime());
            System.out.println(fileStatus.getReplication());
            System.out.println(fileStatus.getBlockSize());
            System.out.println(fileStatus.getPath().getName());

            // 获取块信息
            BlockLocation[] blockLocations = fileStatus.getBlockLocations();

            System.out.println(Arrays.toString(blockLocations));

        }
    }

3.7 HDFS 文件和文件夹判断

// 判断是文件夹还是文件
    @Test
    public void testFile() throws IOException {

        FileStatus[] listStatus = fs.listStatus(new Path("/"));

        for (FileStatus status : listStatus) {

            if (status.isFile()) {
                System.out.println("文件：" + status.getPath().getName());
            } else {
                System.out.println("目录：" + status.getPath().getName());
            }
        }
    }