netty入门（七） NIO与零拷贝

zhufei463738313

已于 2023-02-24 09:01:25 修改

阅读量129

点赞数

分类专栏： netty 文章标签： nio Powered by 金山文档

于 2023-02-17 17:28:00 首次发布

本文链接：https://blog.csdn.net/zhufei463738313/article/details/129088211

版权

netty 专栏收录该内容

27 篇文章 5 订阅

订阅专栏

零拷贝介绍

零拷贝是网络编程的关键，很多性能优化都离不开。

在Java程序中，常用的零拷贝有mmap（内存映射）和sendFile。那么，他们在OS里，到底是怎么样的一个的设计？我们分析mmap和sendFile这两个零拷贝

NIO中如何使用零拷贝

传统IO

（1）Java传统IO和网络编程的一段代码

File file = new File("test.txt");
RandomAccessFile raf = new RandomAccessFile(file, "rw");
byte[] arr = new byte[(int)file.length()];
raf.read(arr);

Socket socket = new ServerSocket(8080).accept();
socket.getOutputStream().write(arr);

传统IO示意图

DMA：direct memory access（直接内存拷贝，不使用CPU）

mmap优化

mmap通过内存映射，将文件映射到内核缓冲区，同时，用户空间可以共享内核空间的数据。这样，在进行网络传输时，就可以减少内核空间到用户空间的拷贝次数

mmap示意图。

sendFile优化

Linux 2.1版本提供了sendFile函数，其基本原理如下：数据根本不经过用户态，直接从内存缓冲区进入到SocketBuffer，同时，由于和用户态完全无关，就减少了一次上下文切换。

sendFile示意图。

提示：零拷贝是从操作系统角度，是没有CPU拷贝。

Linux在2.4版本中，做了一些修改，避免了从内核缓冲区拷贝到Socket buffer的操作，直接拷贝到协议栈，从而再一次减少了数据拷贝，具体如下图所示。

这里其实有一次CPU拷贝，kernel buffer -> socket buffer 但是，拷贝的信息很少，比如length,offset,消耗低，可以忽略。

零拷贝的再次理解

（1）我们说零拷贝，是从操作系统的角度来说的。因为内核缓冲区之间，没有数据是重复的（只有kernel buffer有一份数据）.

（2）零拷贝不仅仅带来更少的数据复制，还能带来其他的性能优势，例如更少的上下文切换，更少的CPU缓存伪共享以及无CPU校验和计算。

mmap和sendFile的区别

mmap适合小数据量读写，sendFile适合大文件传输。

mmap需要4次上下文切换，3次数据拷贝；sendFile需要3次上下文切换，最少2次数据拷贝。

snedFile可以利用DMA方式，减少CPU拷贝，mmap则不能（必须从内核拷贝到Socket缓冲区）。

NIO零拷贝案例

需求：

（1）使用传统的IO方法传递一个大文件。

（2）使用NIO零拷贝方式传递（transferTo）一个大文件。

（3）看看两种传递方式耗时时间分别是多少。

传统IO代码块

/**
 * 传统IO服务端
 */
public class OldIOServer {
    public static void main(String[] args) throws IOException {
        ServerSocket serverSocket = new ServerSocket(7001);
        while (true){
            Socket socket = serverSocket.accept();
            DataInputStream dataInputStream = new DataInputStream(socket.getInputStream());
            byte[] byteArray = new byte[4096];
            while (true) {
                int readCount = dataInputStream.read(byteArray, 0, byteArray.length);
                if(-1 == readCount){
                    break;
                }
            }
        }
    }
}

/**
 * 传统IO客户端
 */
public class OldIOClient {
    public static void main(String[] args) throws IOException {
        Socket socket = new Socket("localhost", 7001);
        String fileName = "chromedriver_win32.zip";
        FileInputStream inputStream = new FileInputStream(fileName);
        DataOutputStream dataOutputStream = new DataOutputStream(socket.getOutputStream());
        byte[] buffer = new byte[4096];
        long readCount;
        long total = 0;
        long startTime = System.currentTimeMillis();
        while ((readCount = inputStream.read(buffer)) >= 0){
            total += readCount;
            dataOutputStream.write(buffer);
        }
        System.out.println("发送总字节数：" + total + "，耗时：" + (System.currentTimeMillis() - startTime));
        dataOutputStream.close();
        socket.close();
        inputStream.close();
    }
}

测试结果

NIO代码块

/**
 * 服务器端
 */
public class NewIOServer {
    public static void main(String[] args) throws IOException {
        InetSocketAddress address = new InetSocketAddress(7001);
        ServerSocketChannel serverSocketChannel = ServerSocketChannel.open();
        ServerSocket serverSocket = serverSocketChannel.socket();
        serverSocket.bind(address);
        // 创建buffer
        ByteBuffer byteBuffer = ByteBuffer.allocate(4096);
        while (true) {
            SocketChannel socketChannel = serverSocketChannel.accept();
            int readCount = 0;
            while (-1 != readCount) {
                try {
                    readCount = socketChannel.read(byteBuffer);
                }catch (Exception e){
                    e.printStackTrace();
                }
                // 倒带 position=0 mark作废
                byteBuffer.rewind();
            }
        }
    }
}

/**
 * 客户端
 */
public class NewIOClient {
    public static void main(String[] args) throws IOException {
        SocketChannel socketChannel = SocketChannel.open();
        socketChannel.connect(new InetSocketAddress("localhost", 7001));
        String fileName = "chromedriver_win32.zip";
        // 得到一个文件的channnel
        FileChannel fileChannel = new FileInputStream(fileName).getChannel();
        // 准备发送
        long startTime = System.currentTimeMillis();
        // 在linux下一个transferTo 方法就可以完成传输
        // 在 windows下一个调用transferTo 只能发送8M，就需要分段传输文件，而且要注意传输位置
        long transferCount = fileChannel.transferTo(0, fileChannel.size(), socketChannel);
        System.out.println("发送的总的字节数 = " + transferCount + " 耗时：" + (System.currentTimeMillis() - startTime));
        // 关闭
        fileChannel.close();
    }
}

测试结果