从平均负载角度谈Linux性能优化

1. 平均负载

这里的平均负载&＃xff0c;讲的是Linux的系统负载&＃xff0c;可以通过命令 top 或者 uptime查看到。

Load average: 指的是过去的1分钟、5分钟、20分钟系统中&＃xff0c;单位时间内&＃xff0c;处于可运行状态或者不可中断状态的平均活跃进程数。并不是人们常常理解的&＃xff0c;单位时间内的CPU使用率。

然后&＃xff0c;top命令的其他内容先不说&＃xff0c;上面第二个图中&＃xff0c;uptime命令执行结果中&＃xff0c;前面一些代表什么意思&＃xff1f;

18:14:31 //当前时间
up 41 days, 8:24 //系统运行时间
2 users //正在登陆的用户数

再看看man手册中uptime命令的详细说明&＃xff1a;

DESCRIPTIONuptime gives a one line display of the following information. The current time, how longthe system has been running, how many users are currently logged on, and the system loadaverages for the past 1, 5, and 15 minutes.This is the same information contained in the header line displayed by w(1).System load averages is the average number of processes that are either in a runnable oruninterruptable state. A process in a runnable state is either using the CPU or waiting touse the CPU. A process in uninterruptable state is waiting for some I/O access, eg waitingfor disk. The averages are taken over the three time intervals. Load averages are not nor‐malized for the number of CPUs in a system, so a load average of 1 means a single CPU systemis loaded all the time while on a 4 CPU system it means it was idle 75% of the time.

从文档中可以看到&＃xff0c;可运行状态的进程&＃xff0c;指的是正在使用或者等待CPU的进程&＃xff0c;也就是我们使用ps命令看到的处于 R 状态&＃xff08;Running 或 Runnable&＃xff09;的进程。

不可中断状态的进程&＃xff0c;是正处于内核态关键流程中的进程&＃xff0c;这些个关键流程是不可被打断的&＃xff0c;比如最常见的是等待硬件设备的IO响应&＃xff0c;即ps命令看到的处于 D&＃xff08;Uninterruptable  Sleep 或 Disk Sleep&＃xff09;状态的进程。不可中断状态是对进程和硬件设备的一种保护机制。

既然是平均的活跃进程数&＃xff0c;那么最理想的状态每个CPU都刚好运行一个进程&＃xff0c;这样每个CPU到得到充分利用。比如当平均负载为2时&＃xff0c;意味着什么呢&＃xff1f;

• 在只有两个CPU的系统上&＃xff0c;意味着CPU都刚好被完全占用。
• 在4个CPU的系统上&＃xff0c;意味着CPU有50%是空闲的。
• 在1个CPU的系统上&＃xff0c;意味着一半的进程竞争不到CPU。

在判断平均负载合理不合理的时候&＃xff0c;当然首先要知道系统CPU个数&＃xff0c;可以用命令 grep &＃39;model name&＃39;  /proc/cpuinfo  |  wc -l。当平均负载大于系统CPU个数时&＃xff0c;表明系统已经过载。这里说的平均负载有三个值&＃xff0c;应该去看那个值&＃xff1f;这三个值表示的三个时间段的平均值&＃xff0c;是用来分析系统负载趋势的数据来源。在实际生产环境中&＃xff0c;平均负载多高时需要我们重点关注呢&＃xff1f;在我看来&＃xff0c;当平均负载高于系统CPU数量的70%是&＃xff0c;就需要排查负载高的问题的了。但这也不是绝对的&＃xff0c;更可靠的是&＃xff0c;我们应该把负载监控起来&＃xff0c;根据历史数据&＃xff0c;发现负载明显升高&＃xff0c;比如翻倍&＃xff0c;那么就要去分析问题了。

2. 平均负载 !&＃61; CPU使用率

上面说过&＃xff0c;平均负载&＃xff0c;表示的是单位时间内&＃xff0c;处于可运行状态或者不可中断状态的平均活跃进程数&＃xff0c;包括正在使用CPU的进程&＃xff0c;等待CPU或者等待I/O 的进程。而CPU使用率&＃xff0c;表示的是单位时间内&＃xff0c;CPU的繁忙情况的统计&＃xff0c;跟平均负载不能完全画等号。因为有以下三种可能&＃xff1a;

场景一&＃xff0c;CPU密集型进程&＃xff0c;大量使用CPU就会导致平均负载升高&＃xff0c;这个时候两者一致&＃xff1b;

场景二&＃xff0c;I/O密集型进程&＃xff0c;等待I/O&＃xff0c;也会导致平均负载升高&＃xff0c;但CPU使用率不一定高&＃xff1b;

场景三&＃xff0c;大量等待CPU的进程调度&＃xff0c;也会导致平均负载很高&＃xff0c;此时的CPU使用率也会很高。

3. 模拟案例

先来介绍两个工具&＃xff1a;stress 和 sysstat.

stress: Linux系统的压力测试工具&＃xff0c;用作异常进程模拟平均负载升高的场景。

sysstat: 包含常用的Linux性能工具&＃xff0c;用来监控和分析linux系统性能。这里先介绍两个&＃xff1a;mpstat 和 pidstat。

• mpstat是常用的多核CPU性能分析工具&＃xff0c;实时查看每个CPU的性能指标&＃xff0c; 以及所有CPU的平均指标。 
• pidstat是常用的进程性能分析工具&＃xff0c; 实时查看每个进程的CPU、内存、I/O、及上下文切换等性能指标。         

下面来模拟一下上面的三种场景&＃xff1a;假设系统是2个CPU  8GB内存

场景一&＃xff0c;CPU密集型&＃xff1a;执行命令 stress --cpu 1 --timeout 600

              在第二个终端执行命令  watch -d uptime&＃xff0c;实时查看平均负载的变化情况

              在第三个终端实行命令  mpstat -P ALL 5&＃xff0c;查看CPU使用率额变化情况

              你会发现平均负载升高&＃xff0c;而且是由于某个CPU使用达到100%&＃xff0c;最后可以使用命令 pidstat -u 5 1&＃xff0c;很明显就能发现stress进程的CPU使用率达到100%。

场景二&＃xff0c;IO密集型&＃xff1a;执行命令 stress -i  1  --timeout  600  或者 stress-ng -i 1 --hdd 1 --timeout 600

              紧接着执行好看watch -d uptime 、mpstat -P ALL 5 

              你会发现平均负载升高&＃xff0c;是由于某个CPU 的iowait 的升高。最后可以使用命令 pidstat -d  5 1&＃xff0c;很明显就能发现stress进程导致的。

场景三&＃xff0c;进程切换&＃xff1a;stress -c 8 --timeout 600

                               watch  -d uptime、 pidstat -u 5 1

               可以看到8个进程在争抢2个CPU&＃xff0c;每个进程在等待CPU时间很高。

综合上述三个场景&＃xff0c;平均负载升高有可能是CPU密集型&＃xff0c;还有可能是IO更繁忙。

以上是学习极客时间专栏&＃xff08;倪朋飞&＃xff1a;Linux性能优化实战&＃xff09;的个人总结

https://time.geekbang.org/column/intro/140