一次CPU负载过高的问题排查

问题现象&＃xff1a;

最近几天线上总是间歇性的报警——cpu使用率过高&＃xff0c;而且cpu使用率都是整点飙升的。

排查方法一

步骤一&＃xff1a;查询当前占用cpu最高的进程

top命令

经过几秒钟的观察&＃xff0c;发现java进程耗用cpu过多&＃xff0c;对应的进程id&＃xff1a;64567

步骤二&＃xff1a;查询进程id&＃xff1a;64567内&＃xff0c;耗费cpu最多的线程

top -p 进程id -H

-p &＃xff1a;指定某些个 PID 来进行观察监测而已。

-H &＃xff1a;线程模式

如图&＃xff0c;占用cpu最大的线程对应的线程id是&＃xff1a;92668

步骤三&＃xff1a;将线程id转为十六进制

printf ‘%x \n&＃39;  92668

步骤四&＃xff1a;找到对应线程的堆栈

jstack 进程id &＃xff5c; grep 线程id&＃xff08;十六进制&＃xff09; -C 50

方法一的缺点&＃xff1a;如果一个机器的cpu使用率飙升&＃xff0c;通过上面方式排查比较麻烦&＃xff0c;对于步骤二如果top之后发现有多个线程的cpu占有率比较高&＃xff0c;并且cpu只是短暂的飙升&＃xff0c;那么这个方法耗时比较久。可能找到所有的线程之后打出堆栈&＃xff0c;cpu使用率飙升现场已经没有了。所以才给出了方法二进行排查&＃xff0c;方法比较简单。

排查方法二

安装arthas&＃xff1a;curl -L http://start.alibaba-inc.com/install.sh | sh

通过使用arthas对应的命令thread -n 找到cpu使用率top n的线程&＃xff0c;并且打印出堆栈。通过arthas&＃xff0c;我们可以使用一个命令就完成上面四个步骤的工作&＃xff0c;比较简单方便

结论

通过排查发现导致cpu利用率飙升的原因&＃xff0c;主要有两点处理耗cpu&＃xff1a;1、稽核任务对近一年的合同&＃xff08;抽取的合同&＃xff09;频繁的查询数据库里面的promotion、property、contract_vip_record表做查询&＃xff1b;2、对数据库做操作的异步日志记录&＃xff1b;