IO、netty面试

一：IO基础知识

什么叫IO：

io操作，就是将数据写入到内存，或者从内存读出得过程。主要包括有应用程序和外部设备的数据传递过程，比如常用的外部设备有文件、管道、网络连接等。常见的有应用程序写入数据到磁盘中或者从磁盘读出等。

一次IO操作(read或write系统调用)一般会分为两个步骤：

1.发起IO请求

2.实际的IO读写(内核态和用户态的数据拷贝)

什么是同步IO和异步IO：

实际的IO读写(内核态与用户态的数据拷贝)是否需要进程参与，如果需要进程参与则是同步IO，如果不需要进程参与就是异步IO。

什么叫阻塞和非阻塞：

阻塞IO和非阻塞IO的区别在于第一步，发起IO请求的进程是否会被阻塞，如果阻塞直到IO操作完成才返回那么就是传统的阻塞IO，如果不阻塞，那么就是非阻塞IO。

二：java IO模型

1.BIO(同步阻塞IO)

服务端会对客户端每个请求都建立一个线程去进行连接通信，在通信过程中，连接未关闭则线程会一直阻塞直到通信完成连接关闭或者超时异常。

编程模型：

1.服务器端启动一个serverSocket

2.客户端启动Socket对服务器进行通信，默认情况下服务器端需要对每个客户建立一个线程与之通信

3.客户端发出请求后，先咨询服务器舒服有线程响应，如果没有则会等待，或者被拒绝

4.如果有响应，客户端线程会等待请求结束后，再继续执行

2.NIO 同步非阻塞

服务端通过1一个线程可以处理多个连接请求，通过轮询该线程上发生的IO事件来进行处理，从而实现非阻塞过程。

NIO三大核心组件：

Channel(通道)：

管道用于连接文件、网络Socket等。它可同时执行读取和写入这两个I/O 操作，固称双向管道，它有连接和关闭两个状态，在创建管道时处于打开状态，一但关闭 在调用I/O操作就会ClosedChannelException 。通过管道的isOpen 方法可判断其是否处于打开状态。

在客户端和服务端都有对应的buffer和channel
Buffer(缓冲区)：

缓冲区底层是一个数据容器，内部维护了一个数组来存储。Buffer缓冲区并不支持存储任何数据，只能存储一些基本类型，就连字符串也是不能直接存储的。平常用到的最多的就是byte数组。缓冲区可以看做是一个读写数据的内存块，可以理解成是一个 容器对象，该对象提供了一组方法，可以更轻松地使用内存块，缓冲区对象内置了一些机制，能够跟踪和记录缓冲区的状态变化情况。Channel 提供从文件、网络读取数据的渠道，但是读取或写入的数据都必须经由 Buffer。

在客户端和服务端都有对应的buffer和channel

Selector(选择器)：

Selector（选择器）是一个特殊的组件，用于采集各个通道的状态（或者说事件）。我们先将通道注册到选择器，并设置好关心的事件，然后就可以通过调用select()方法，静静地等待事件发生。

通道有如下4个事件可供我们监听：

• Accept：有可以接受的连接
• Connect：连接成功
• Read：有数据可读
• Write：可以写入数据了

3.AIO 异步非阻塞

与NIO不同，当进行读写操作时，只须直接调用API的read或write方法即可。这两种方法均为异步的，对于读操作而言，当有流可读取时，操作系统会将可读的流传入read方法的缓冲区，并通知应用程序；对于写操作而言，当操作系统将write方法传递的流写入完毕时，操作系统主动通知应用程序。 即可以理解为，read/write方法都是异步的，完成后会主动调用回调函数。

三：Netty

netty是什么？

Netty 是一个高性能、异步事件驱动的 NIO 框架，基于 JAVA NIO 提供的 API 实现。它提供了对TCP、UDP 和文件传输的支持，作为一个异步 NIO 框架，Netty 的所有 IO 操作都是异步非阻塞的，通过 Future-Listener 机制，用户可以方便的主动获取或者通过通知机制获得 IO 操作结果。

netty核心组件：

Channel

Channel 是 Netty 网络操作抽象类，它除了包括基本的 I/O 操作，如 bind、connect、read、write 之外，还包括了 Netty 框架相关的一些功能，如获取该 Channe l的 EventLoop。

在传统的网络编程中，作为核心类的 Socket ，它对程序员来说并不是那么友好，直接使用其成本还是稍微高了点。而Netty 的 Channel 则提供的一系列的 API ，它大大降低了直接与 Socket 进行操作的复杂性。而相对于原生 NIO 的 Channel，Netty 的 Channel 具有如下优势：

• 在 Channel 接口层，采用 Facade 模式进行统一封装，将网络 I/O 操作、网络 I/O 相关联的其他操作封装起来，统一对外提供。
• Channel 接口的定义尽量大而全，为 SocketChannel 和 ServerSocketChannel 提供统一的视图，由不同子类实现不同的功能，公共功能在抽象父类中实现，最大程度地实现功能和接口的重用。
• 具体实现采用聚合而非包含的方式，将相关的功能类聚合在 Channel 中，有 Channel 统一负责和调度，功能实现更加灵活。

EventLoop

Netty 基于事件驱动模型，使用不同的事件来通知我们状态的改变或者操作状态的改变。它定义了在整个连接的生命周期里当有事件发生的时候处理的核心抽象。

Channel 为Netty 网络操作抽象类，EventLoop 主要是为Channel 处理 I/O 操作，两者配合参与 I/O 操作。

下图是Channel、EventLoop、Thread、EventLoopGroup之间的关系:

• 一个 EventLoopGroup 包含一个或多个 EventLoop。
• 一个 EventLoop 在它的生命周期内只能与一个Thread绑定。
• 所有有 EnventLoop 处理的 I/O 事件都将在它专有的 Thread 上被处理。
• 一个 Channel 在它的生命周期内只能注册与一个 EventLoop。
• 一个 EventLoop 可被分配至一个或多个 Channel 。

当一个连接到达时，Netty 就会注册一个 Channel，然后从 EventLoopGroup 中分配一个 EventLoop 绑定到这个Channel上，在该Channel的整个生命周期中都是有这个绑定的 EventLoop 来服务的。

ChannelFuture

Netty 为异步非阻塞，即所有的 I/O 操作都为异步的，因此，我们不能立刻得知消息是否已经被处理了。Netty 提供了 ChannelFuture 接口，通过该接口的 addListener() 方法注册一个 ChannelFutureListener，当操作执行成功或者失败时，监听就会自动触发返回结果。

ChannelHandler

ChannelHandler 为 Netty 中最核心的组件，它充当了所有处理入站和出站数据的应用程序逻辑的容器。ChannelHandler 主要用来处理各种事件，这里的事件很广泛，比如可以是连接、数据接收、异常、数据转换等。

ChannelHandler 有两个核心子类 ChannelInboundHandler 和 ChannelOutboundHandler，其中 ChannelInboundHandler 用于接收、处理入站数据和事件，而 ChannelOutboundHandler 则相反。

ChannelPipeline

ChannelPipeline 为 ChannelHandler 链提供了一个容器并定义了用于沿着链传播入站和出站事件流的 API。一个数据或者事件可能会被多个 Handler 处理，在这个过程中，数据或者事件经流 ChannelPipeline，由 ChannelHandler 处理。在这个处理过程中，一个 ChannelHandler 接收数据后处理完成后交给下一个 ChannelHandler，或者什么都不做直接交给下一个 ChannelHandler。

当一个数据流进入 ChannlePipeline 时，它会从 ChannelPipeline 头部开始传给第一个 ChannelInboundHandler ，当第一个处理完后再传给下一个，一直传递到管道的尾部。与之相对应的是，当数据被写出时，它会从管道的尾部开始，先经过管道尾部的 “最后” 一个ChannelOutboundHandler，当它处理完成后会传递给前一个 ChannelOutboundHandler 。

当 ChannelHandler 被添加到 ChannelPipeline 时，它将会被分配一个 ChannelHandlerContext，它代表了 ChannelHandler 和 ChannelPipeline 之间的绑定。其中 ChannelHandler 添加到 ChannelPipeline 过程如下：
1. 一个 ChannelInitializer 的实现被注册到了 ServerBootStrap中
2. 当 ChannelInitializer.initChannel() 方法被调用时，ChannelInitializer 将在 ChannelPipeline 中安装一组自定义的 ChannelHandler
3. ChannelInitializer 将它自己从 ChannelPipeline 中移除。

四：Reactor模型

为了更好的划分职责和维护扩展对应的nio编程体系，产生了Reactor模式，该模式抽象处了两个组件，Reactor线程和Handler线程。

Reactor线程：负责响应IO事件，并分发到Handler处理器，新的事件包含连接建立就绪，读就绪，写就绪。

Handler处理器：执行非阻塞的操作。

Reactor模式主要有以下三种：

单线程Reactor模式：

一个线程完成socket连接及IO处理

 

缺点：当其中某个 handler 阻塞时， 会导致其他所有的 client 的 handler 都得不到执行， 并且更严重的是， handler 的阻塞也会导致整个服务不能接收新的 client 请求(因为 acceptor 也被阻塞了)。不能充分利用多核资源。

一个线程负载过重后，处理速度将变慢，这会导致大量客户端连接超时，超时之后往往会进行重发，这更加重了 NIO 线程的负载，最终会导致大量消息积压和处理超时，成为系统的性能瓶颈。
一旦 NIO 线程意外跑飞，或者进入死循环，会导致整个系统通信模块不可用，不能接收和处理外部消息，造成节点故障。

多线程Reactor模式

有一个专门的Acceptor线程用于监听服务端，接收客户端的TCP连接请求。一方面根据实际情况用于匹配调节CPU处理与IO读写的效率，提高系统资源的利用率，另一方面在静态或动态构造中每个反应器线程都包含对应的Selector,Thread,dispatchloop。
有一个专门处理读写的线程池。包含一个任务队列和N个可用的线程。由这些线程处理消息的读取、编解码、写出、业务处理。1个线程可以同时处理N个链路，但1个链路只对应1个NIO线程，防止发生并发操作问题。
 

 主从Reactor多线程模型

服务端用于接收客户端连接的不再是个 1 个单独的 NIO 线程，而是一个的 NIO 线程池。解决一个Acceptor线程无法处理高并发客户端连接的性能问题。

它的工作流程如下：

从Acceptor线程池中随机选择一个线程作为acceptor线程，用于绑定监听端口，接收客户端连接。
Acceptor 线程接收客户端连接请求之后创建新的 SocketChannel，将其注册到主线程池的其它 Reactor 线程上，由其负责接入认证、IP 黑白名单过滤、握手等操作；
步骤 2 完成之后，业务层的链路正式建立，将 SocketChannel 从主线程池的 Reactor 线程的多路复用器上摘除，重新注册到 Sub 线程池的线程上，用于处理 I/O 的读写操作。