JAVA NIO（六）

最新推荐文章于 2023-03-02 17:14:47 发布
最新推荐文章于 2023-03-02 17:14:47 发布
阅读量136 收藏
点赞数
分类专栏： 日常
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhaoxiaoba/article/details/107093427
版权
这篇教程详细介绍了Java NIO的缓冲区操作，包括分配、读写数据，以及分散读取和聚集写入。还探讨了通道间的数据传输，如FileChannel的transferTo和transferFrom方法。进一步讲解了Java NIO的选择器，允许单线程处理多个通道。最后，文章提到了内存映射文件（mmap）的概念和优势，展示了如何使用MappedByteBuffer进行文件操作。
摘要由CSDN通过智能技术生成

教程笔记

目录

示例代码： 从一个文件拷贝到另一个文件

import java.io.FileInputStream;
import java.io.FileOutputStream;
import java.io.IOException;
import java.nio.ByteBuffer;
import java.nio.channels.ReadableByteChannel;
import java.nio.channels.WritableByteChannel;

public class ChannelDemo {
    public static void main(String args[]) throws IOException {
        String relativelyPath = System.getProperty("user.dir");
        FileInputStream input = new FileInputStream(relativelyPath + "/testin.txt");
        ReadableByteChannel source = input.getChannel();
        FileOutputStream output = new FileOutputStream(relativelyPath + "/testout.txt");
        WritableByteChannel destination = output.getChannel();
        copyData(source, destination);
        source.close();
        destination.close();
        System.out.println("Copy Data finished.");
    }

    private static void copyData(ReadableByteChannel src, WritableByteChannel dest) throws IOException {
        ByteBuffer buffer = ByteBuffer.allocateDirect(20 * 1024);
        while (src.read(buffer) != -1) {
            // The buffer is used to drained
            buffer.flip();
            // keep sure that buffer was fully drained
            while (buffer.hasRemaining()) {
                dest.write(buffer);
            }
            buffer.clear(); // Now the buffer is empty, ready for the filling
        }
    }
}

缓冲区

在这里插入图片描述
大多数使用的缓冲区类型是ByteBuffer。上图的各个缓冲区代表了各个缓冲区的对应的IO类型。

分配缓冲区

在每个Buffer类中，allocate()方法用于分配缓冲区。
示例

//ByteBuffer分配容量为28字节的例子：
ByteBuffer buf = ByteBuffer.allocate(28);
//CharBuffer分配空间大小为2048个字符
CharBuffer buf = CharBuffer.allocate(2048);

从缓冲区读数据

  • 方法一， 使用get方法
  • 方法二，将buffer中数据读到通道
//方法一，使用get()方法
byte temp = buf.get();
//方法二，将buffer中数据读入通道
int temp = inchannel.write(buffer);

从缓冲区写数据

  • 方法一：使用put()方法将数据写入缓冲区。
  • 方法二：将数据从Channel写入缓冲区。
    示例使用BufferedReader
public class Test{
	public static void main(String[] args){
		string PATH = "D:\\a.txt";
		BufferedReader bd = null;
		try{
			InputStream  in = Files.newInputStream(PATH);
			bd = new BufferedReader(new InputStreamReader(in));
			System.out.println("%s", bd.readline());
		}catch(Exception e){
		
		}finally{
			try{
				bd.close();
			}catch(Exception e ){
			}
		}
	}
}

分散读取/聚集写入

分散读取：一个通道可以从多个缓冲区读取数据
聚集写入：多个缓冲区可以写入一个通道

通道之间的数据传输

通道之间的数据传输在FileChannel类中的两种方法是：

  • FileChannel.transferTo()方法
  • FileChannel.transferFrom()方法
  • transferTo()方法用来从FileChannel到其他通道的数据传输。
  • transferFrom()方法允许从源通道到FileChannel的数据传输。

Java NIO选择器

选择器(Selector)用于使用单个线程处理多个通道。 因此，它需要较少的线程来处理这些通道。

PPS： java 读取文件几种方法

mmap

github一个作者实现的大文件MMAP按行读取：

MappedByteBuffer buffer = fc.map(MapMode.READ_WRITE, 0, 1000);

force()方法，是将内存的更新的内容刷到磁盘中。

作为NIO的一个重要的功能，Mmap方法为我们提供了将文件的部分或全部映射到内存地址空间的能力，同当这块内存区域被写入数据之后会变成脏页，操作系统会用一定的算法把这些数据写入到文件中，而我们的java程序不需要去关心这些。这就是内存映射文件的一个关键优势，即使你的程序在刚刚写入内存后就挂了，操作系统仍然会将内存中的数据写入文件系统。
另外一个更突出的优势是共享内存，内存映射文件可以被多个进程同时访问，起到一种低时延共享内存的作用。

java浅析mmap和Direct Buffer
示例:Java MMAP 与 FileChannel操作文件对比

package com.github.hashZhang.scanfold.jdk.file;
import java.io.RandomAccessFile;
import java.nio.ByteBuffer;
import java.nio.MappedByteBuffer;
import java.nio.channels.FileChannel;
import java.util.Random;

public class FileMmapTest {
    public static void main(String[] args) throws Exception {
        //记录开始时间
        long start = System.currentTimeMillis();
        //通过RandomAccessFile的方式获取文件的Channel，这种方式针对随机读写的文件较为常用，我们用文件一般是随机读写
        RandomAccessFile randomAccessFile = new RandomAccessFile("./FileMmapTest.txt", "rw");
        FileChannel channel = randomAccessFile.getChannel();
        System.out.println("FileChannel初始化时间：" + (System.currentTimeMillis() - start) + "ms");

        //内存映射文件，模式是READ_WRITE，如果文件不存在，就会被创建
        MappedByteBuffer mappedByteBuffer1 = channel.map(FileChannel.MapMode.READ_WRITE, 0, 128 * 1024 * 1024);
        MappedByteBuffer mappedByteBuffer2 = channel.map(FileChannel.MapMode.READ_WRITE, 0, 128 * 1024 * 1024);

        System.out.println("MMAPFile初始化时间：" + (System.currentTimeMillis() - start) + "ms");

        start = System.currentTimeMillis();
        testFileChannelSequentialRW(channel);
        System.out.println("FileChannel顺序读写时间：" + (System.currentTimeMillis() - start) + "ms");

        start = System.currentTimeMillis();
        testFileMMapSequentialRW(mappedByteBuffer1, mappedByteBuffer2);
        System.out.println("MMAPFile顺序读写时间：" + (System.currentTimeMillis() - start) + "ms");

        start = System.currentTimeMillis();
        try {
            testFileChannelRandomRW(channel);
            System.out.println("FileChannel随机读写时间：" + (System.currentTimeMillis() - start) + "ms");
        } finally {
            randomAccessFile.close();
        }

        //文件关闭不影响MMAP写入和读取
        start = System.currentTimeMillis();
        testFileMMapRandomRW(mappedByteBuffer1, mappedByteBuffer2);
        System.out.println("MMAPFile随机读写时间：" + (System.currentTimeMillis() - start) + "ms");
    }


    public static void testFileChannelSequentialRW(FileChannel fileChannel) throws Exception {
            byte[] bytes = "测试字符串1测试字符串1测试字符串1测试字符串1测试字符串1测试字符串1测试字符串1测试字符串1测试字符串1测试字符串1测试字符串1".getBytes();
            byte[] to = new byte[bytes.length];
            //分配直接内存，减少复制
            ByteBuffer byteBuffer = ByteBuffer.allocateDirect(bytes.length);
            //顺序写入
            for (int i = 0; i < 100000; i++) {
                byteBuffer.put(bytes);
                byteBuffer.flip();
                fileChannel.write(byteBuffer);
                byteBuffer.flip();
            }

            fileChannel.position(0);
            //顺序读取
            for (int i = 0; i < 100000; i++) {
                fileChannel.read(byteBuffer);
                byteBuffer.flip();
                byteBuffer.get(to);
                byteBuffer.flip();
            }
    }

    public static void testFileMMapSequentialRW(MappedByteBuffer mappedByteBuffer1, MappedByteBuffer mappedByteBuffer2) throws Exception {
        byte[] bytes = "测试字符串2测试字符串2测试字符串2测试字符串2测试字符串2测试字符串2测试字符串2测试字符串2测试字符串2测试字符串2测试字符串2".getBytes();
        byte[] to = new byte[bytes.length];

        //顺序写入
        for (int i = 0; i < 100000; i++) {
            mappedByteBuffer1.put(bytes);
        }
        //顺序读取
        for (int i = 0; i < 100000; i++) {
            mappedByteBuffer2.get(to);
        }
    }

    public static void testFileChannelRandomRW(FileChannel fileChannel) throws Exception {
        try {
            byte[] bytes = "测试字符串1测试字符串1测试字符串1测试字符串1测试字符串1测试字符串1测试字符串1测试字符串1测试字符串1测试字符串1测试字符串1".getBytes();
            byte[] to = new byte[bytes.length];
            //分配直接内存，减少复制
            ByteBuffer byteBuffer = ByteBuffer.allocateDirect(bytes.length);
            //随机写入
            for (int i = 0; i < 100000; i++) {
                byteBuffer.put(bytes);
                byteBuffer.flip();
                fileChannel.position(new Random(i).nextInt(bytes.length*100000));
                fileChannel.write(byteBuffer);
                byteBuffer.flip();
            }
            //随机读取
            for (int i = 0; i < 100000; i++) {
                fileChannel.position(new Random(i).nextInt(bytes.length*100000));
                fileChannel.read(byteBuffer);
                byteBuffer.flip();
                byteBuffer.get(to);
                byteBuffer.flip();
            }
        } finally {
            fileChannel.close();
        }
    }

    public static void testFileMMapRandomRW(MappedByteBuffer mappedByteBuffer1, MappedByteBuffer mappedByteBuffer2) throws Exception {
        byte[] bytes = "测试字符串2测试字符串2测试字符串2测试字符串2测试字符串2测试字符串2测试字符串2测试字符串2测试字符串2测试字符串2测试字符串2".getBytes();
        byte[] to = new byte[bytes.length];

        //随机写入
        for (int i = 0; i < 100000; i++) {
            mappedByteBuffer1.position(new Random(i).nextInt(bytes.length*100000));
            mappedByteBuffer1.put(bytes);
        }
        //随机读取
        for (int i = 0; i < 100000; i++) {
            mappedByteBuffer2.position(new Random(i).nextInt(bytes.length*100000));
            mappedByteBuffer2.get(to);
        }
    }
}
zhaoxiaoba
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Java中文件NIO操作-读文件
CN_Dian的博客
06-04 287
Java NIO要点 1.通道 (Channel) 2.缓冲区(Buffer) 参考 nio的实现原理 实现 Java用NIO读文件 String path = "G:\\MyDesktop\\Example\\test.txt"; File file = new File(path); FileInputStream fis = new FileInputStream(file); // 创建一个通道 Fil
java NIO.zip
最新发布
06-16
Java NIO，全称为Non-Blocking Input/Output（非阻塞输入/输出），是Java标准库提供的一种替代传统的I/O模型的新技术。自Java 1.4版本引入NIO后，它为Java开发者提供了更高效的数据传输方式，尤其是在处理大量并发...
Java.nio-随机读写汉字
weixin_30538029的博客
05-05 120
笔者最近在用多线程来计算中文文本的标点符号数目，遇到了以下问题： 在Windows下，文本中汉字通常采用Unicode编码，这就导致需要随机(RandomAccessFile)读取文本时，产生乱码现象。 多线程计算前（假设有2个线程），需要将文本内容尽量等分成2份，并输出到新的文件中，再进行计算。 总体思路： 规定一次读取的字节数，再在存储和输出时转化成GBK编码 由于RandomAcce...
Java文件的简单读写、随机读写、NIO读写与使用MappedByteBuffer读写
吴就业
02-26 901
文件与目录的创建和删除较为简单，因此忽略这部分内容的介绍，我们重点学习文件的读写。本篇内容包括：简单文件读写随机访问文件读写NIO文件读写-FileChannel使用MappedByteB...
NIO 文件随机存取问题
「理」尚往来
03-07 187
NIO 的内存映射文件机制虽然在操作大文件上有速度的优势，但我觉得它不能真正实现文件随机。 FileChannel fc = new RandomAccessFile(new File("temp.tmp"), "rw").getChannel(); IntBuffer ib = fc.map(FileChannel.MapMode.READ_WRITE, 0, fc.size()).asIn...
重新认识 Java 中的内存映射（mmap）
zhexiao
03-02 1903
恰恰和网传的很多言论相反，mmap 由于其不切态的特性，特别适合顺序读写，但由于 sun.nio.ch.FileChannelImpl#map(MapMode mode, long position, long size) 中 size 的限制，只能传递一个 int 值，所以，单次 map 单个文件的长度不能超过 2G，如果将 2G 作为文件大 or 小的阈值，那么小于 2G 的文件使用 mmap 来读写一般来说是有优势的。一个实用的技巧是动态分配的内存映射区域，在读取过后，可以异步回收掉。
Java NIO 中文 Java NIO 中文 Java NIO 中文文档
07-15
Java NIO 深入探讨了 1.4 版的 I/O 新特性，并告诉您如何使用这些特性来极大地提升您所写的 Java 代码的执行效率。这本小册子就程序员所面临的有代表性的 I/O 问题作了详尽阐述，并讲解了 如何才能充分利用新的 I/O ...
详解JavaNIO
02-25
所以，jdk1.4发布了NIO包，NIO的文件读写设计颠覆了传统IO的设计，采用『通道』+『缓存区』使得新式的IO操作直接面向缓存区，并且是非阻塞的，对于效率的提升真不是一点两点，我们一起来看看。我们说过，NIO的核心...
Java NIO英文高清原版
11-15
Java NIO，全称为Non-Blocking Input/Output（非阻塞输入/输出），是Java平台中用于替代标准I/O（BIO）模型的一种新机制。NIO在Java 1.4版本引入，提供了更高效的数据处理和通道通信方式，特别适用于高并发、大数据...
java NIO 详解
09-04
Java NIO，全称为New Input/Output，是Java平台从1.4版本开始引入的一套全新的IO API，它提供了一种不同于传统IO流的输入输出处理方式。传统的Java IO基于字节流和字符流，而NIO则基于通道（Channel）和缓冲区...
Java 中的内存映射（Mmap）
qq_43695848的博客
06-21 4839
将原来普通读取文件的方式改为内存映射文件的方式。mmap 是一种内存映射文件的方法，即将一个文件映射到进程的地址空间
Java的随机读写文件-RandomAccessFile 与内存映射
知行天下
07-26 2396
RandomAccessFile RandomAccessFile是用来访问那些保存数据记录的文件的，你就可以用seek( )方法来访问记录，并进行读写了。这些记录的大小不必相同；但是其大小和位置必须是可知的。但是该类仅限于操作文件。 RandomAccessFile不属于InputStream和OutputStream类系的。实际上，除了实现DataInput和 DataOutput
Java 读取文件
hashcon
12-03 1695
JAVA有多种读取文件的方式，其中比较深层次的原理在我的另外一篇文章分析过：JDK核心JAVA源码解析（5） - JAVA File MMAP原理解析，那么，我们有哪些方式去读取一个文件的内容呢？ 1. 从ClassPath中读取文件 直接从项目的classpath(maven的话src/main/resource编译之后也会存在于classpath下)读取： InputStream inputS...
Java利用内存映射文件实现按行读取文件
weixin_34211761的博客
08-03 688
我们知道内存映射文件读取是各种读取方式中速度最快的，但是内存映射文件读取的ＡＰＩ里没有提供按行读取的方法，需要自己实现。下面就是我利用内存映射文件实现按行读取文件的方法，如有错误之处请指出，或者有更好更快的实现方式麻烦也提供一下代码。 代码如下： public class testMemoryMappedFile { public static void main(String[...
Java NIO详解
热门推荐
代码充实生活的博客
10-24 1万+
JAVA NIO 简介 NIO与IO的对比
java filechannel map_Java Nio 之高级搬砖工(FileChannel)二
weixin_42299427的博客
03-06 464
前言前段时间同事分享了一篇文章给我：为什么Kafka速度这么快？ ，这篇文章相信大家也都看了。这篇文章说Kafka 有个作弊的技能 ：直接从文件某个位置处读取某个长度的字节直接发送给消费者，不需要读到应用程序里然后缓存在ByteBuffer 然后再往 客户端写；当时就对这项技术很着迷，上网搜了很多资料 很纳闷它是怎么实现的；上周在介绍FileChannel 的时候本来想只写一篇文章的，后来看到了它...
java中的mmap实现
tianshilang的专栏
07-17 787
[list] [*][b][size=medium]什么是mmap[/size][/b] mmap对于c程序员很熟悉，对于java程序员有点陌生。简而言之，将文件直接映射到用户态的内存地址，这样对文件的操作不再是write/read,而是直接对内存地址的操作。 在c中提供了三个函数来实现 [list] [*]mmap 进行映射 [*]munmap...
使用mmap()和使用read()write()实现文件拷贝的对比
qq_34888036的博客
08-05 1360
最近上课老师说了这样一句话:mmap()内存映射可以实现文件的拷贝，并且速度明显快于一般的文件拷贝，于是 我试着实现了两种文件拷贝所花费时间的比较，首先看代码： include include include include include include include include include include defin...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值