Linux IO压力测试工具FIO

FIO是一个命令行IO设备压力测试工具，具有较多的参数，命令有点长，但是也是优点之一，能控制的内容就很多。

FIO托管在github项目主页：https://github.com/axboe/fio

安装

ubuntu系统

sudo apt install fio -y

centos系统

yum install fio

参数说明

举例命令

sudo fio -filename=/dev/sdb1 -direct=1 -iodepth 1 -thread -rw=randwrite -ioengine=psync -bs=1K -size=10M -numjobs=300 -runtime=1000 -group_reporting -name=mytest

说明：

filename=/dev/sdb1                     测试文件名称，通常选择需要测试的盘的data目录。
direct=1                              测试过程绕过机器自带的buffer。使测试结果更真实。
rw=randwrite                          测试模式
  =read                                  顺序读
  =write                                 顺序写
  =randwrite                             随机写
  =randread                              随机读
  =rw,readwrite                          顺序混合读写
  =randrw                                随机混合读写

bs=4k                                 单次io的块文件大小为4k
bsrange=512-2048                      同上，提定数据块的大小范围
size=5G                               本次的测试文件大小为5g，以每次4k的io进行测试。
numjobs=30                            本次的测试线程为30个
runtime=1000                          测试时间为1000秒，如果不写则一直将5g文件分4k每次写完为止
iodepth                               队列深度，只有使用libaio时才有意义。这是一个可以影响IOPS的参数。
ioengine=psync                        io引擎使用psync方式
        =libaio                            Linux专有的异步IO

rwmixwrite=30                         在混合读写的模式下，写占30%
group_reporting                       关于显示结果的，汇总每个进程的信息。
lockmem=1G                            只使用1g内存进行测试。
zero_buffers                          用0初始化系统buffer。
nrfiles=8                             每个进程生成文件的数量。

注意：指定设备文件的时候不要写错了，否则会导致数据丢失，比如/dev/sdb1写成/dev/sdb。就会丢失数据。

结果分析

BS 4KB randread test: (g=0): rw=randread, bs=4K-4K/4K-4K/4K-4K, ioengine=libaio, iodepth=1
fio-2.1.10
Starting 1 thread

BS 4KB randread test: (groupid=0, jobs=1): err= 0: pid=26408: Mon Feb 27 16:43:07 2017
  read : io=19908KB, bw=339689B/s, iops=82, runt= 60013msec
  # fio做了19908KB的IO，bandwidth速率为339689B/s，总IOPS为82，运行时间为60013毫秒

    slat (usec): min=18, max=97, avg=23.60, stdev= 2.79
    # slat (submission latency)：代表 盘需要多久将IO提交到kernel做处理
    # usec 微秒

    clat (msec): min=1, max=23, avg=12.03, stdev= 3.79
    # clat (completion latency)：命令提交到kernel到IO做完之间的时间，不包括submission latency

     lat (msec): min=1, max=23, avg=12.05, stdev= 3.79
    # 从IO结构体创建时刻开始，直到紧接着clat完成的时间

    clat percentiles (usec):
     |  1.00th=[ 4080],  5.00th=[ 5984], 10.00th=[ 7136], 20.00th=[ 8640],
     | 30.00th=[ 9920], 40.00th=[10944], 50.00th=[11840], 60.00th=[12992],
     | 70.00th=[14016], 80.00th=[15296], 90.00th=[17024], 95.00th=[18560],
     | 99.00th=[20864], 99.50th=[21632], 99.90th=[22400], 99.95th=[22912],
     | 99.99th=[23168]
    # Completion latency百分数

    bw (KB  /s): min=  276, max=  373, per=100.00%, avg=331.54, stdev=18.83
    # 带宽(bandwidth)

    lat (msec) : 2=0.02%, 4=0.82%, 10=30.32%, 20=66.75%, 50=2.09%
    # 30.32%的request延迟在4~10毫秒，66.75%的request延迟在10~20毫秒，以此类推

  cpu          : usr=0.10%, sys=0.25%, ctx=5057, majf=0, minf=8
  # 用户/系统CPU占用率，进程上下文切换(context switch)次数，主要和次要(major and minor)页面错误数量(page faults)。由于测试是配置成使用直接IO，page faults数量应该极少。

  IO depths    : 1=100.0%, 2=0.0%, 4=0.0%, 8=0.0%, 16=0.0%, 32=0.0%, >=64=0.0%
  # iodepth设置，用来控制同一时刻发送给OS多少个IO。这完全是纯应用层面的行为，和盘的IO queue不是一回事

     submit    : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
     complete  : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
     #submit和complete代表同一时间段内fio发送上去和已完成的IO数量

     issued    : total=r=4977/w=0/d=0, short=r=0/w=0/d=0
     # 发送的IO数量

     latency   : target=0, window=0, percentile=100.00%, depth=1
     # Fio可以配置一个延迟目标值，这个值可以调节吞吐量直到达到预设的延迟目标

Run status group 0 (all jobs):
# Fio支持把不同的测试聚合
   READ: io=19908KB, aggrb=331KB/s, minb=331KB/s, maxb=331KB/s, mint=60013msec, maxt=60013msec
   # 汇总输出吞吐量和时间。
   #    io=表示总共完成的IO数量。在基于时间的测试中这是一个变量，在基于容量的测试中，这个值能匹配size参数。
   #    aggrb是所有进程/设备的汇总带宽。
   #    minb/maxb表示测量到的最小/最大带宽。
   #    mint/maxt表示测试的最短和最长耗时。和io=参数类似，时间值对于基于时间的测试应该能匹配runtime参数，对于基于容量的测试是一个变量。

Disk stats (read/write):
  sdd: ios=4969/0, merge=0/0, ticks=59703/0, in_queue=59702, util=99.51%

io=执行了多少M的IO

bw=平均IO带宽
iops=IOPS
runt=线程运行时间
slat=提交延迟
clat=完成延迟
lat=响应时间
bw=带宽
cpu=利用率
IO depths=io队列
IO submit=单个IO提交要提交的IO数
IO complete=Like the above submit number, but for completions instead.
IO issued=The number of read/write requests issued, and how many of them were short.
IO latencies=IO完延迟的分布

io=总共执行了多少size的IO
aggrb=group总带宽
minb=最小.平均带宽.
maxb=最大平均带宽.
mint=group中线程的最短运行时间.
maxt=group中线程的最长运行时间.

ios=所有group总共执行的IO数.
merge=总共发生的IO合并数.
ticks=Number of ticks we kept the disk busy.
io_queue=花费在队列上的总共时间.
util=磁盘利用率

以上文章大部分参考
https://blog.csdn.net/jiecxy/article/details/58197387
，感谢博主的好文