LINUX IO 测试总结

LINUX IO 总结

  磁盘通常是计算机最慢的子系统，也是最容易出现性能瓶颈的地方，因为磁盘离 CPU 距离最远而且 CPU 访问磁盘要涉及到机械操作，比如转轴、寻轨等。访问硬盘和访问内存之间的速度差别是以数量级来计算的，就像1天和1分钟的差别一样。要监测 IO 性能，有必要了解一下基本原理和 Linux 是如何处理硬盘和内存之间的 IO 的。

一.linux IO 中断

1.缺页中断

  内存和硬盘之间的 IO 是以页为单位来进行的，在 Linux 系统上1页的大小为 4K。
  Linux “内存” 包括物理内存和虚拟内存，虚拟内存（Virtual Memory）把计算机的内存空间扩展到硬盘，物理内存（RAM）和硬盘的一部分空间（SWAP）组合在一起作为虚拟内存为计算机提供了一个连贯的虚拟内存空间.
  Linux利用虚拟内存极大的扩展了程序地址空间，使得原来物理内存不能容下的程序也可以通过内存和硬盘之间的不断交换（把暂时不用的内存页交换到硬盘，把需要的内存页从硬盘读到内存）来赢得更多的内存，看起来就像物理内存被扩大了一样。当程序启动的时候，Linux 内核首先检查 CPU 的缓存和物理内存，如果数据已经在内存里就忽略，如果数据不在内存里就引起一个缺页中断（Page Fault），然后从硬盘读取缺页，并把缺页缓存到物理内存里。缺页中断可分为主缺页中断（Major Page Fault）和次缺页中断（Minor Page Fault），要从磁盘读取数据而产生的中断是主缺页中断；数据已经被读入内存并被缓存起来，从内存缓存区中而不是直接从硬盘中读取数据而产生的中断是次缺页中断。

  上面的内存缓存区起到了预读硬盘的作用，内核先在物理内存里寻找缺页，没有的话产生次缺页中断从内存缓存里找，如果还没有发现的话就从硬盘读取。很显然，把多余的内存拿出来做成内存缓存区提高了访问速度，缓存区越大预存的页面就越多，程序运行效率越高。
查看进程产生的缺页中断次数：cat /proc/$pid/stat

zhengfeilong@zfl-HP:~$ cat /proc/2016/stat
2016 (fcitx) S 2 0 0 0 -1 69238880 0 0 0 0 0 0 0 0 0 -20 1 0 1656 0 0 18446744073709551615 0 0 0 0 0 0 0 2147483647 0 0 0 0 17 2 0 0 0 0 0 0 0 0 0 0 0 0 0

其中第１０－１３位分别对应：

min_flt=0 该任务不需要从硬盘拷数据而发生的缺页（次缺页）的次数
cmin_flt=0 累计的该任务的所有的waited-for进程曾经发生的次缺页的次数目
maj_flt=0 该任务需要从硬盘拷数据而发生的缺页（主缺页）的次数
cmaj_flt=0 累计的该任务的所有的waited-for进程曾经发生的主缺页的次数目

2.File Buffer Cache

  Linux系统把多余的内存拿出来做成内存缓存区来提高程序访问速度。从上面的内存缓存区（也叫文件缓存区 File Buffer Cache）读取页比从硬盘读取页要快得多，所以 Linux 内核希望能尽可能产生次缺页中断（从文件缓存区读），并且能尽可能避免主缺页中断（从硬盘读），这样随着次缺页中断的增多，文件缓存区也逐步增大，直到系统只有少量可用物理内存的时候 Linux 才开始释放一些不用的页。例如要获取物理内存和文件缓存区的情况：

$cat /proc/meminfo:
MemTotal: 8119348 kB
MemFree: 1333676 kB
MemAvailable: 6009304 kB
Buffers: 2059668 kB
Cached: 1653252 kB

这台服务器总共有 8GB 物理内存（MemTotal），1.3GB 左右可用内存（MemFree），2GB 左右用来做磁盘缓存（Buffers），1.6GB 左右用来做文件缓存区（Cached），可见 Linux 真的用了很多物理内存做 Cache，而且这个缓存区还可以不断增长。

３.SWAP

　　当系统没有足够物理内存来应付所有请求的时候就会用到 swap 设备，swap 设备可以是一个文件，也可以是一个磁盘分区。（ SWAP 交换分区是把物理磁盘当成内存的载体，也就是说：虽然使用 SWAP 可以让我们运行更多或更大的应用程序了，但物理磁盘的数据交换速度远比不上物理内存，因此也就可能造成运行性能的下降）。如果系统没有物理内存可用，就会频繁 swapping，如果 swap 设备和程序正要访问的数据在同一个文件系统上，那会碰到严重的 IO 问题，最终导致整个系统迟缓，甚至崩溃。swap 设备和内存之间的 swapping 状况是判断 Linux 系统性能的重要参考.
查看swap的使用情况：

$cat /proc/meminfo:
……
SwapTotal: 4096564 kB
SwapFree: 4096424 kB
……

二.Linux测试IO性能

1.测试IO读速度

  hdparm:用于显示与设定硬盘的参数
执行命令：hdparm -t –direct /dev/sda1
输出结果：

/dev/sda1:
Timing O_DIRECT disk reads: 550 MB in 3.00 seconds = 183.31 MB/sec

注释：

-t :Perform device read timings
–direct :Use O_DIRECT to bypass page cache for timings
O_DIRECT :不使用缓存直接写入.

2.测试IO写速度

  dd:用于指定大小/home/zhengfeilong/Desktop/linux_io.html的块拷贝一个文件，并在拷贝的同时进行指定的转换。
执行命令：sync;/usr/bin/time -p bash -c “(dd if=/dev/zero of=test.dd bs=1000K count=20000;sync)”
输出结果：

20000+0 records in
20000+0 records out
20480000000 bytes (20 GB) copied, 143.009 s, 143 MB/s

注释：

1.sync 命令用来刷新文件系统的缓冲区，执行sync命令实际的作用是把内存中的数据缓冲写入到磁盘中。
先执行下sync命令，是为了减少对后面测试的影响。也可以使用 echo 3 > /proc/sys/vm/drop_caches 来清除缓存。
2.time 命令用来测试命令的执行时间，shell内建还有一个time命令，我们这里使用全路径来指定使用的是非内建命令。
-p 选项设置时间的输出格式为POSIX缺省时间格式，单位是秒，在后面的测试小节可以看到time -p 的输出形式。
3.bash 命令 -c 选项的作用是将后面的字符串参数当作bash脚本来执行.
4.小括号的意思是另起一个子进程来执行括号中的脚本.
5./dev/zero该设备无穷尽地提供0，可/home/zhengfeilong/Desktop/linux_io.html以用于向设备或文件写入字符串0。

3.iozone

  iozone（www.iozone.org)是一个文件系统的benchmark工具，可以测试不同的操作系统中文件系统的读写性能。可以测试 Read, write, re-read,re-write, read backwards, read strided, fread, fwrite, random read, pread, mmap, aio_read, aio_write 等等不同的模式下的硬盘的性能。
  测试的时候请注意，设置的测试文件的大小一定要大过你的内存(最佳为内存的两倍大小)，不然linux会给你的读写的内容进行缓存。会使数值非常不真实.
1.参数说明：

-i N 用来指定测试内容.
  0=write/rewrite
 1=read/re-read
 2=random-read/write
 3=Read-backwards
 4=Re-write-record
 5=stride-read
 6=fwrite/re-fwrite
 7=fread/Re-fread,
 8=random mix
 9=pwrite/Re-pwrite
 10=pread/Re-pread
 11=pwritev/Re-pwritev,
 12=preadv/Re-preadv
-R 产生execl格式的输出日志。
-b 将产生二进制的execl的日志文件名。
-s 测试的文件大小。
-r 文件块大小。
-a 在希望的文件系统上测试，不过只有-a的话会进行全面测试，要花费很长时间，最好用-i指定测试范围。
-g 设置自动模式下,指定最大测试文件大小。
-n 设置自动模式下,指定最小测试文件大小。
-f 指定测试文件，完成后会自动删除(这个文件必须指定你要测试的那个硬盘中)。
-F 指定临时文件组
-C 显示每个节点的吞吐量。
-t 并发数
-c 测试包括文件的关闭时间
-q 指定最大记录大小 例如 -q 512K
-y 指定最小记录大小 例如 -y 512K

2.测试实例
zhengfeilong@zfl-HP:~/iozone3_471/src/current$ ./iozone -a -i 1 -i 0 -i 2 -i 8 -c -g 16000m -n 1000M -Rab /tmp/iozone_test/tmpfs-iozone22.xls -f /tmp/iozone_test/iozone

输出结果：

WriterReport
	4	8	16	32	64	128	256	512	1024	2048	4096	8192	16384
1024000	0	0	0	0	223280	207111	207412	219260	218093	222175	214415	219346	212156
2048000	0	0	0	0	171898	166677	164971	163712	165758	164018	165964	166860	165883
4096000	0	0	0	0	139747	151165	144033	145425	147765	149293	146913	146618	145710
8192000	0	0	0	0	133178	126834	152399	139238	131176	126845	136892	127782	140321
16384000	0	0	0	0	136729	134767	133852	139394	134735	125574	140512	137600	134339
Re-writerReport
	4	8	16	32	64	128	256	512	1024	2048	4096	8192	16384
1024000	0	0	0	0	224938	213546	219517	216830	211730	185434	201497	162367	152384
2048000	0	0	0	0	163224	159739	167802	161970	158611	164316	159892	159591	160438
4096000	0	0	0	0	146974	151063	154612	149036	149420	139754	148469	148764	144612
8192000	0	0	0	0	132696	142852	158252	145361	142172	136946	139618	137814	145501
16384000	0	0	0	0	138767	136766	135149	141452	132109	132523	141165	139358	135391
ReaderReport
	4	8	16	32	64	128	256	512	1024	2048	4096	8192	16384
1024000	0	0	0	0	7342718	7937183	7290531	7435591	7701051	7102185	6913452	6035208	5752549
2048000	0	0	0	0	7789290	7598297	7783792	6684358	7401148	6888845	6497583	5695329	5599879
4096000	0	0	0	0	862053	7968311	7873498	7766429	7828910	7547948	6920496	5929108	6059737
8192000	0	0	0	0	126679	143474	155767	142874	140990	135189	137295	135771	135460
16384000	0	0	0	0	137765	135236	136341	141884	136765	133308	142118	139285	135556
Re-readerReport
	4	8	16	32	64	128	256	512	1024	2048	4096	8192	16384
1024000	0	0	0	0	8536244	8493553	8085971	7489426	8154999	8129299	7320141	6144869	5946932
2048000	0	0	0	0	8416414	8320767	7734228	7627870	7770765	8025929	7316923	6078052	6119957
4096000	0	0	0	0	8631973	8708943	8444649	8270404	8406258	8286464	7416785	6226020	6049855
8192000	0	0	0	0	129311	144253	156842	142559	138581	137788	137576	141982	141799
16384000	0	0	0	0	138180	136916	134872	140386	136058	133760	141880	139552	135400
RandomReadReport
	4	8	16	32	64	128	256	512	1024	2048	4096	8192	16384
1024000	0	0	0	0	8282108	8224506	7966510	8202438	8277495	8051909	7221748	6056519	5877463
2048000	0	0	0	0	8056809	8048007	8203321	6561345	8168343	7845091	7287301	6177232	5910430
4096000	0	0	0	0	7948999	8270069	8190868	8289923	8407118	8266516	7407140	6106233	6169483
8192000	0	0	0	0	9526	18594	23618	54279	85990	111458	135329	159510	156702
16384000	0	0	0	0	7043	13311	22382	39803	61738	84983	111603	123806	129393
RandomWriteReport
	4	8	16	32	64	128	256	512	1024	2048	4096	8192	16384
1024000	0	0	0	0	70674	71902	125892	145218	131121	149879	128880	206135	212983
2048000	0	0	0	0	31921	44124	74739	110187	116678	141066	147803	156084	160325
4096000	0	0	0	0	24993	36408	61918	90201	110463	119513	124539	138235	139422
8192000	0	0	0	0	17554	34154	55870	78730	101227	109139	109508	121577	130894
16384000	0	0	0	0	16221	32037	52270	75777	92394	98503	113466	118914	121461

解释测试报告：
“Writer report”
左侧一列是测试文件大小（Kbytes),最上边一行是记录大小，中间数据是测试的传输速度，拿第一行测试数据为例,测试文件为1024000k，以记录大小为64k传输，传输速度是223280Kbytes/s
关于各种测试的定义:
Write:
测试向一个新文件写入的性能。当一个新文件被写入时，不仅仅是那些文件中的数据需要被存储，还包括那些用于定位数据存储在存储介质的具体位置的额外信息。这些额外信息被称作“元数据”。它包括目录信息，所分配的空间和一些与该文件有关但又并非该文件所含数据的其他数据。拜这些额外信息所赐，Write的性能通常会比Re-write的性能低。
Re-write:
测试向一个已存在的文件写入的性能。当一个已存在的文件被写入时，所需工作量较少，因为此时元数据已经存在。Re-write的性能通常比Write的性能高。
Read:
测试读一个已存在的文件的性能。
Re-Read:
测试读一个最近读过的文件的性能。Re-Read性能会高些，因为操作系统通常会缓存最近读过的文件数据。这个缓存可以被用于读以提高性能。
Random Read:
测试读一个文件中的随机偏移量的性能。许多因素可能影响这种情况下的系统性能，例如：操作系统缓存的大小，磁盘数量，寻道延迟和其他。
Random Write:
测试写一个文件中的随机偏移量的性能。同样，许多因素可能影响这种情况下的系统性能，例如：操作系统缓存的大小，磁盘数量，寻道延迟和其他。
Random Mix:
测试读写一个文件中的随机偏移量的性能。同样，许多因素可能影响这种情况下的系统性能，例如：操作系统缓存的大小，磁盘数量，寻道延迟和其他。这个测试只有在吞吐量测试模式下才能进行。每个线程/进程运行读或写测试。这种分布式读/写测试是基于round robin 模式的。最好使用多于一个线程/进程执行此测试。
Backwards Read:
测试使用倒序读一个文件的性能。这种读文件方法可能看起来很可笑，事实上，有些应用确实这么干。MSC Nastran是一个使用倒序读文件的应用程序的一个例子。它所读的文件都十分大（大小从G级别到T级别）。尽管许多操作系统使用一些特殊实现来优化顺序读文件的速度，很少有操作系统注意到并增强倒序读文件的性能。
Record Rewrite:
测试写与覆盖写一个文件中的特定块的性能。这个块可能会发生一些很有趣的事。如果这个块足够小（比CPU数据缓存小），测出来的性能将会非常高。如果比CPU数据缓存大而比TLB小，测出来的是另一个阶段的性能。如果比此二者都大，但比操作系统缓存小，得到的性能又是一个阶段。若大到超过操作系统缓存，又是另一番结果。
Strided Read:
测试跳跃读一个文件的性能。举例如下：在0偏移量处读4Kbytes，然后间隔200Kbytes,读4Kbytes，再间隔200Kbytes，如此反复。此时的模式是读4Kbytes，间隔200Kbytes并重复这个模式。这又是一个典型的应用行为，文件中使用了数据结构并且访问这个数据结构的特定区域的应用程序常常这样做。许多操作系统并没注意到这种行为或者针对这种类型的访问做一些优化。同样，这种访问行为也可能导致一些有趣的性能异常。一个例子是在一个数据片化的文件系统里，应用程序的跳跃导致某一个特定的磁盘成为性能瓶颈。
Fwrite:
测试调用库函数fwrite()来写文件的性能。这是一个执行缓存与阻塞写操作的库例程。缓存在用户空间之内。如果一个应用程序想要写很小的传输块，fwrite()函数中的缓存与阻塞I/O功能能通过减少实际操作系统调用并在操作系统调用时增加传输块的大小来增强应用程序的性能。这个测试是写一个新文件，所以元数据的写入也是要的。
Frewrite:
测试调用库函数fwrite()来写文件的性能。这是一个执行缓存与阻塞写操作的库例程。缓存在用户空间之内。如果一个应用程序想要写很小的传输块，fwrite()函数中的缓存与阻塞I/O功能能通过减少实际操作系统调用并在操作系统调用时增加传输块的大小来增强应用程序的性能。这个测试是写入一个已存在的文件，由于无元数据操作，测试的性能会高些。
Fread:
测试调用库函数fread()来读文件的性能。这是一个执行缓存与阻塞读操作的库例程。缓存在用户空间之内。如果一个应用程序想要读很小的传输块，fwrite()函数中的缓存与阻塞I/O功能能通过减少实际操作系统调用并在操作系统调用时增加传输块的大小来增强应用程序的性能。
Freread:
这个测试与上面的fread类似，除了在这个测试中被读文件是最近才刚被读过。这将导致更高的性能，因为操作系统缓存了文件数据。几个特殊测试:
Mmap:
许多操作系统支持mmap()的使用来映射一个文件到用户地址空间。映射之后,对内存的读写将同步到文件中去。这对一些希望将文件当作内存块来使用的应用程序来说很方便。一个例子是内存中的一块将同时作为一个文件保存在于文件系统中。mmap文件的语义和普通文件略有不同。如果发生了对内存的存储，并不是立即发生相应的文件I/O操作。使用MS_SYNC 和MS_ASYNC标志位的msyc()函数调用将控制内存和文件的一致性。调用msync()时将MS_SYNC置位将强制把内存里的内容写到文件中去并等待直到此操作完成才返回。而MS_ASYNC置位则告诉操作系统使用异步机制将内存刷新到磁盘，这样应用程序可以直接返回而不用等待此操作的完成。这个测试就是测量使用mmap()机制完成I/O的性能。
Async I/O:
许多操作系统支持的另外一种I/O机制是POSIX 标准的异步I/O。本程序使用POSIX标准异步I/O接口来完成此测试功能。例如： aio_write(), aio_read(), aio_error()。这个测试测量POSIX异步I/O机制的性能。

三.Linux IO监控工具inotify-tools介绍

  inotify-tools是为linux下inotify文件监控工具提供的一套c的开发接口库函数，同时还提供了一系列命令行工具，用来监控文件系统的事件。inotify-tools是用c语言编写的，除了需要内核支持inotify之外，不依赖其他。initify-tools提供了两种工具，一是inotifywait,用来监控文件或目录的变化。二是inotifywatch，用来统计文件系统访问的次数。

1.inotifywait

  语法：inotifywait -mrq –timefmt ‘%d/%m/%y/%H:%M’ –format ‘%T %w %f’ -e modify,delete,create,attrib $path
输出结果：

2017-11-13 17:34 text.txt CREATE
2017-11-13 17:34 text.txt CLOSE_WRITE,CLOSE
2017-11-13 17:34 ttt.t MOVED_TO
2017-11-13 17:35 bb DELETE

参数说明：

-m是要持续监视变化。
-r使用递归形式监视目录。
-q减少冗余信息，只打印出需要的信息。
-e指定要监视的事件列表。
–timefmt是指定时间的输出格式。
–format指定文件变化的详细信息。

Events: 事件

access file or directory contents were read 文件或目录被(访问)读取r
modify file or directory contents were written 文件或目录被写入w
attrib file or directory attributes changed 文件或目录属性变更【理由：chmod更改属性】
close_write file or directory closed, after being opened in writeable mode 文件或目录被写关闭【理由：文件内容被更改】
close_nowrite file or directory closed, after being opened in read-only mode 文件或目录以只读方式打开后关闭
close file or directory closed, regardless of read/write mode 文件或目录被用编辑器(不管是读或写)关闭
open file or directory opened 文件或目录被用编辑器打开
moved_to file or directory moved to watched directory 文件或目录被移动进来【理由：mv目录内重命名】
moved_from file or directory moved from watched directory 文件或目录被移动出去
move file or directory moved to or from watched directory 文件或目录不管是移出或移进
create file or directory created within watched directory 文件或目录被创建【理由：mkdir创建目录】
delete file or directory deleted within watched directory 文件或目录被删除【理由：rm删除】
delete_self file or directory was deleted 文件或目录自删除
unmount file system containing file or directory unmounted 文件系统取消挂载

2.inotifywatch

  语法：inotifywatch [-hvr] [-e] [-t] [-a] [-d] file1 [file2] [file3] […]
参数说明：

－h:输出帮助信息
－v:输出详细信息
－r:监视一个目录下的所有子目录
－t:设置超时时间
-e:只监听指定的事件
-a:以指定事件升序排列。
-d:以指定事件降序排列

示例：
创建一个目录，并监听该目录：

zhengfeilong@zfl-HP:~$ mkdir tmpdir

zhengfeilong@zfl-HP:~$ inotifywatch -v -e access -e modify -t 60 -r tmpdir/
Establishing watches…
Setting up watch(es) on tmpdir/
OK, tmpdir/ is now being watched.
Total of 1 watches.
Finished establishing watches, now collecting statistics.
Will listen for events for 60 seconds.

在另一终端，执行一下操作：

zhengfeilong@zfl-HP:~$ date > tmpdir/foo.txt

zhengfeilong@zfl-HP:~$ cat tmpdir/foo.txt

输出结果：

total   access   modify  filename
5     3     2     tmpdir/