FIO是测试IOPS的非常好的工具&＃xff0c;用来对硬件进行压力测试和验证&＃xff0c;支持13种不同的I/O引擎&＃xff0c;包括:sync,mmap, libaio, posixaio, SG v3, splice, null, network, syslet,guasi, solarisaio 等等。
fio 官网地址&＃xff1a;http://freecode.com/projects/fio

FIO用法&＃xff1a;

随机读&＃xff1a;

fio -filename&＃61;/dev/sdb1 -direct&＃61;1 -iodepth1 -thread -rw&＃61;randread -ioengine&＃61;psync -bs&＃61;16k -size&＃61;200G -numjobs&＃61;10-runtime&＃61;1000 -group_reporting -name&＃61;mytest

说明&＃xff1a;

filename&＃61;/dev/sdb1       测试文件名称&＃xff0c;通常选择需要测试的盘的data目录。

direct&＃61;1                 测试过程绕过机器自带的buffer。使测试结果更真实。

rw&＃61;randwrite             测试随机写的I/O

rw&＃61;randrw                测试随机写和读的I/O

bs&＃61;16k                   单次io的块文件大小为16k

bsrange&＃61;512-2048         同上&＃xff0c;提定数据块的大小范围

size&＃61;5g   本次的测试文件大小为5g&＃xff0c;以每次4k的io进行测试。

numjobs&＃61;30               本次的测试线程为30.

runtime&＃61;1000             测试时间为1000秒&＃xff0c;如果不写则一直将5g文件分4k每次写完为止。

ioengine&＃61;psync           io引擎使用pync方式

rwmixwrite&＃61;30            在混合读写的模式下&＃xff0c;写占30%

group_reporting          关于显示结果的&＃xff0c;汇总每个进程的信息。

这个工具最大的特点是使用简单&＃xff0c;支持的文件操作非常多, 可以覆盖到我们能见到的文件使用方式:
sync&＃xff1a;Basic read(2) or write(2) I/O. fseek(2) is used to position the I/O location.
psync&＃xff1a;Basic pread(2) or pwrite(2) I/O.
vsync: Basic readv(2) or writev(2) I/O. Will emulate queuing by coalescing adjacents IOs into a single submission.
libaio: Linux native asynchronous I/O.
posixaio: glibc POSIX asynchronous I/O using aio_read(3) and aio_write(3).
mmap: File is memory mapped with mmap(2) and data copied using memcpy(3).
splice&＃xff1a; splice(2) is used to transfer the data and vmsplice(2) to transfer data from user-space to the kernel.
syslet-rw&＃xff1a; Use the syslet system calls to make regular read/write asynchronous.
sg&＃xff1a;SCSI generic sg v3 I/O.
net &＃xff1a; Transfer over the network. filename must be set appropriately to &＃96;host/port’ regardless of data direction. If receiving,
only the port argument is used.
netsplice&＃xff1a; Like net, but uses splice(2) and vmsplice(2) to map data and send/receive.
guasi The GUASI I/O engine is the Generic Userspace Asynchronous Syscall Interface approach to asycnronous I/O.

此外

lockmem&＃61;1g               只使用1g内存进行测试。

zero_buffers             用0初始化系统buffer。

nrfiles&＃61;8                每个进程生成文件的数量。

顺序读&＃xff1a;

fio -filename&＃61;/dev/sdb1 -direct&＃61;1 -iodepth1 -thread -rw&＃61;read -ioengine&＃61;psync -bs&＃61;16k -size&＃61;200G -numjobs&＃61;30 -runtime&＃61;1000-group_reporting -name&＃61;mytest

随机写&＃xff1a;

fio -filename&＃61;/dev/sdb1 -direct&＃61;1 -iodepth1 -thread -rw&＃61;randwrite -ioengine&＃61;psync -bs&＃61;16k -size&＃61;200G -numjobs&＃61;30-runtime&＃61;1000 -group_reporting -name&＃61;mytest

顺序写&＃xff1a;

fio -filename&＃61;/dev/sdb1 -direct&＃61;1 -iodepth1 -thread -rw&＃61;write -ioengine&＃61;psync -bs&＃61;16k -size&＃61;200G -numjobs&＃61;30-runtime&＃61;1000 -group_reporting -name&＃61;mytest

混合随机读写&＃xff1a;

fio -filename&＃61;/dev/sdb1 -direct&＃61;1 -iodepth1 -thread -rw&＃61;randrw -rwmixread&＃61;70 -ioengine&＃61;psync -bs&＃61;16k -size&＃61;200G-numjobs&＃61;30 -runtime&＃61;100 -group_reporting -name&＃61;mytest -ioscheduler&＃61;noop

Fio 输出内容的解释

翻译原文来源

https://tobert.github.io/post/2014-04-17-fio-output-explained.html

fio&＃xff0c;又称为Flexible IO Tester&＃xff0c;是Jens Axboe编写的应用程序。Jens是Linux Kernel中block IO subsystem的维护者。fio从多个方面来看类似于更古老的ffsb工具&＃xff0c;但他们之间似乎没有任何关系。作为一个强大的工具&＃xff0c;fio可以产生足够多的任意类型的负载 (arbitrary load)。作为权衡&＃xff0c;fio不容易学习&＃xff0c;这就是这篇文章的目的。

• config
• raw output

config

以下是一个50/50读写的垃圾处理IO (Trashing IO)负载&＃xff0c;对于多个盘进行的读写。

5分钟&＃xff0c;磁盘垃圾处理测试&＃xff0c;50/50读写在每个盘上产生相同数量的随机读和写IO&＃xff0c;为每个盘产生测试数据。

[plain] view plain copy

1. # a 5 minute disk thrashing benchmark  
2. # generates equal amounts of random read and write IO on every drive  
3. # will generate metrics for each drive  
4. [global]  
5. ioengine&＃61;libaio  
6. direct&＃61;1  
7. unified_rw_reporting&＃61;1  
8. rw&＃61;randrw  
9. time_based&＃61;1  
10. runtime&＃61;300s  
11.   
12. # Seagate 7200RPM SAS 512G ST9500430SS (sdb)  
13. [/dev/disk/by-path/pci-0000:03:00.0-sas-0x5000c5000d7f96d9-lun-0]  
14. write_lat_log&＃61;7200RPMSAS-0x5000c5000d7f96d9  
15.   
16. # Seagate 7200RPM Enterprise SATA 1TB ST31000340NS (sdg)  
17. [/dev/disk/by-id/wwn-0x5000c500151229dd]  
18. write_lat_log&＃61;7200RPMEnterpriseSATA-0x5000c500151229dd  
19.   
20. # Samsung 840 Pro 128GB (on a 3G SATA port) (sdd)  
21. [/dev/disk/by-id/ata-Samsung_SSD_840_PRO_Series_S1ANNSADB05219A]  
22. write_lat_log&＃61;SSDSATA-S1ANNSADB05219A  
23.   
24. # 2x SAS drives with GPT partition & MDRAID0 (sdi1 &＃43; sdc1)  
25. # Seagate 7200RPM SAS 512G ST9500430SS  
26. [/dev/disk/by-id/md-uuid-6bb71ed6:e4410fc9:b27af0b7:0afe758d]  
27. write_lat_log&＃61;7200RPMSAS-MDRAID0  

raw output

以上链接可打开上述fio配置的原始输出。

接下来按照每个部分分析输出内容。这里显示的数据是Samsung 840 Pro SSD&＃xff0c;其他盘的数据稍后再深入研究。

对于每一个部分的描述在输出文字下面。

[plain] view plain copy

1. read : io&＃61;10240MB, bw&＃61;63317KB/s, iops&＃61;15829, runt&＃61;165607msec  

第一行很容易读懂。fio做了10GB的IO&＃xff0c;速率63.317MB/s&＃xff0c;总IOPS 15829 (默认4k block size)&＃xff0c;运行了2分钟45秒。

你看到的第一个延迟(Latency)数据是slat&＃xff0c;或称为submission latency。这个值和他的名字很相像&＃xff0c;代表“盘需要多久将IO提交到kernel做处理?”。

[html] view plain copy

1. slat (usec): min&＃61;3, max&＃61;335, avg&＃61; 9.73, stdev&＃61; 5.76  

我起初认为submission latency对于性能调试没有用&＃xff0c;但是下面的数据让我改变了观点。269usec或1/4 ms看起来是噪音(noise)&＃xff0c;需要关注一下。我还没有做任何调试&＃xff0c;所以我猜测改变scheduler以告诉kernel这不是机械硬盘会有效果。

以下是从其他盘上得到的更多例子。

[plain] view plain copy

1. slat (usec): min&＃61;3, max&＃61;335, avg&＃61; 9.73, stdev&＃61; 5.76 (SATA SSD)  
2. slat (usec): min&＃61;5, max&＃61;68,  avg&＃61;26.21, stdev&＃61; 5.97 (SAS 7200)  
3. slat (usec): min&＃61;5, max&＃61;63,  avg&＃61;25.86, stdev&＃61; 6.12 (SATA 7200)  
4. slat (usec): min&＃61;3, max&＃61;269, avg&＃61; 9.78, stdev&＃61; 2.85 (SATA SSD)  
5. slat (usec): min&＃61;6, max&＃61;66,  avg&＃61;27.74, stdev&＃61; 6.12 (MDRAID0/SAS)  
6.   
7. clat (usec): min&＃61;1, max&＃61;18600, avg&＃61;51.29, stdev&＃61;16.79  

接下来是completion latency。这是命令提交到kernel到IO做完之间的时间&＃xff0c;不包括submission latency。在老版本的fio中&＃xff0c;这是估计应用级延迟的最好指标。

lat (usec): min&＃61;44, max&＃61;18627, avg&＃61;61.33, stdev&＃61;17.91

在我看来&＃xff0c;&＃39;lat&＃39;是一个新的指标&＃xff0c;在man或者文档中都没有描述。分析C代码&＃xff0c;似乎这个值是从IO结构体创建时刻开始&＃xff0c;直到紧接着clat完成&＃xff0c;这个算法最好地表现出了应用程序的行为。

[html] view plain copy

1. clat percentiles (usec):  
2.      |  1.00th&＃61;[   42],  5.00th&＃61;[   45], 10.00th&＃61;[   45], 20.00th&＃61;[   46],  
3.      | 30.00th&＃61;[   47], 40.00th&＃61;[   47], 50.00th&＃61;[   49], 60.00th&＃61;[   51],  
4.      | 70.00th&＃61;[   53], 80.00th&＃61;[   56], 90.00th&＃61;[   60], 95.00th&＃61;[   67],  
5.      | 99.00th&＃61;[   78], 99.50th&＃61;[   81], 99.90th&＃61;[   94], 99.95th&＃61;[  101],  
6.      | 99.99th&＃61;[  112]  

Completion latency百分数的解释一目了然&＃xff0c;可能是输出信息中最有用的部分。我看了代码&＃xff0c;这不是slat&＃43;clat&＃xff0c;而是用了单独的结构体记录。

这个列表可以在config文件中配置。在精简输出模式下有20个这样的格式&＃xff0c;%f&＃61;%d; %f&＃61;%d;... 解析这样的输出格式会很有趣。

作为比较&＃xff0c;这里列出一个7200RPM SAS硬盘运行完全相同的负载的统一部分数据。

Seagate 7200RPM SAS 512G ST9500430SS

[plain] view plain copy

1. clat percentiles (usec):  
2.      |  1.00th&＃61;[ 3952],  5.00th&＃61;[ 5792], 10.00th&＃61;[ 7200], 20.00th&＃61;[ 8896],  
3.      | 30.00th&＃61;[10304], 40.00th&＃61;[11456], 50.00th&＃61;[12608], 60.00th&＃61;[13760],  
4.      | 70.00th&＃61;[15168], 80.00th&＃61;[16768], 90.00th&＃61;[18816], 95.00th&＃61;[20608],  
5.      | 99.00th&＃61;[23424], 99.50th&＃61;[24192], 99.90th&＃61;[26752], 99.95th&＃61;[28032],  
6.      | 99.99th&＃61;[30080]  
7.   
8.     bw (KB  /s): min&＃61;52536, max&＃61;75504, per&＃61;67.14%, avg&＃61;63316.81, stdev&＃61;4057.09  

带宽(bandwidth)的意思显而易见&＃xff0c;而per&＃61;part就不是很好理解。文档上说这个值是指在单个盘上跑多个负载&＃xff0c;可以用来看每个进程消耗了多少IO。对于我这样把fio跑在多个盘的情况&＃xff0c;这个值意义不大。但由于SSD和机械硬盘混合使用&＃xff0c;这个值挺有趣。

下面是另一个SAS硬盘&＃xff0c;占测试的所有4个盘总IO的0.36%。

[plain] view plain copy

1. bw (KB  /s): min&＃61;   71, max&＃61;  251, per&＃61;0.36%, avg&＃61;154.84, stdev&＃61;18.29  
2.   
3. lat (usec) :   2&＃61; 0.01%,   4&＃61;0.01%,  10&＃61;0.01%,   20&＃61;0.01%, 50&＃61;51.41%  
4. lat (usec) : 100&＃61;48.53%, 250&＃61;0.06%, 500&＃61;0.01%, 1000&＃61;0.01%  
5. lat (msec) :   2&＃61; 0.01%,   4&＃61;0.01%,  10&＃61;0.01%,   20&＃61;0.01%  

latency分布部分我看了几遍才理解。这是一组数据。与三行使用一样的单位不同&＃xff0c;第三行使用了毫秒(ms)&＃xff0c;使得文本宽度可控。把第三行读成2000, 4000, 10000, 20000微秒(us)就更清晰了。

这组数据表示latency的分布&＃xff0c;说明了51.41%的request延迟小于50微秒&＃xff0c;48.53%的延迟小于100微秒(但是大于50微秒)&＃xff0c;以此类推。

[plain] view plain copy

1. lat (msec) : 4&＃61;1.07%, 10&＃61;27.04%, 20&＃61;65.43%, 50&＃61;6.46%, 100&＃61;0.01%  

如果想用快速脚本解析这些繁琐的数据&＃xff0c;你可能需要知道&＃xff0c;最后一部分会省略那些没有数据的项。例如&＃xff0c;我使用的SAS盘没有IO可以在1毫秒中完成&＃xff0c;所以只有一行。

[plain] view plain copy

1. cpu          : usr&＃61;5.32%, sys&＃61;21.95%, ctx&＃61;2829095, majf&＃61;0, minf&＃61;21  

这是用户/系统CPU占用率&＃xff0c;进程上下文切换(context switch)次数&＃xff0c;主要和次要(major and minor)页面错误数量(page faults)。由于测试是配置成使用直接IO&＃xff0c;page faults数量应该极少。

[plain] view plain copy

1. IO depths    : 1&＃61;100.0%, 2&＃61;0.0%, 4&＃61;0.0%, 8&＃61;0.0%, 16&＃61;0.0%, 32&＃61;0.0%, >&＃61;64&＃61;0.0%  

Fio有一个iodepth设置&＃xff0c;用来控制同一时刻发送给OS多少个IO。这完全是纯应用层面的行为&＃xff0c;和盘的IO queue不是一回事。这里iodepth设成1&＃xff0c;所以IO depth在全部时间都是1。

[plain] view plain copy

1. submit    : 0&＃61;0.0%, 4&＃61;100.0%, 8&＃61;0.0%, 16&＃61;0.0%, 32&＃61;0.0%, 64&＃61;0.0%, >&＃61;64&＃61;0.0%  
2. complete  : 0&＃61;0.0%, 4&＃61;100.0%, 8&＃61;0.0%, 16&＃61;0.0%, 32&＃61;0.0%, 64&＃61;0.0%, >&＃61;64&＃61;0.0%  

submit和complete代表同一时间段内fio发送上去和已完成的IO数量。对于产生这个输出的垃圾回收测试用例来说&＃xff0c;iodepth是默认值1&＃xff0c;所以100%的IO在同一时刻发送1次&＃xff0c;放在1-4栏位里。通常来说&＃xff0c;只有iodepth大于1才需要关注这一部分数据。

我会找时间测试多种调度策略&＃xff0c;这些数据会变得更有趣。

[plain] view plain copy

1. issued    : total&＃61;r&＃61;2621440/w&＃61;0/d&＃61;0, short&＃61;r&＃61;0/w&＃61;0/d&＃61;0  

发送的IO数量。这里出现了奇怪的现象&＃xff0c;因为这是50/50的读写负载&＃xff0c;照道理应该有相同数量的write。我猜测把unified_rw_reporting打开是的fio把所有的IO都认为是read。

如果你在直接IO测试是看到了IO值很低&＃xff0c;那么可能是出问题了。我在Linux kernel中找到参考说这种现象发生在文件末尾EOL或可能是设备的尾端。

[plain] view plain copy

1. latency   : target&＃61;0, window&＃61;0, percentile&＃61;100.00%, depth&＃61;1  

Fio可以配置一个延迟目标值&＃xff0c;这个值可以调节吞吐量直到达到预设的延迟目标。我还没有太多深入了解这部分。在基于时间或和容量的测试中&＃xff0c;这行通常看起来一样。四个值分别代表预设的latency_target, latency_window, latency_percentile和iodepth。

[plain] view plain copy

1. Run status group 0 (all jobs):  

Fio支持把不同的测试聚合。例如&＃xff0c;我可以用一个配置文件混合包含SSD和HDD&＃xff0c;但是设置分组(group)把IO单独汇总。我现在还没涉及这个功能&＃xff0c;但未来会用到。

[plain] view plain copy

1. MIXED: io&＃61;12497MB, aggrb&＃61;42653KB/s, minb&＃61;277KB/s, maxb&＃61;41711KB/s, mint&＃61;300000msec, maxt&＃61;300012msec  

最后&＃xff0c;汇总输出吞吐量和时间。io&＃61;表示总共完成的IO数量。在基于时间的测试中这是一个变量&＃xff0c;在基于容量的测试中&＃xff0c;这个值能匹配size参数。aggrb是所有进程/设备的汇总带宽。minb/maxb表示测量到的最小/最大带宽。mint/maxt表示测试的最短和最长耗时。和io&＃61;参数类似&＃xff0c;时间值对于基于时间的测试应该能匹配runtime参数&＃xff0c;对于基于容量的测试是一个变量。

由于我设置了unified_rw_reporting参数运行测试&＃xff0c;所以只看到MIXED一行。如果禁用这个参数&＃xff0c;对于读和写会有单独的行。

够简单吧&＃xff1f;我未来的几周会花更多的时间研究fio&＃xff0c;我会发布更多关于配置&＃xff0c;输出和图表代码的例子。