排查 java 程序占用 CPU 高的问题

近期java应用，CPU使用率一直很高，经常达到100%，通过以下步骤完美解决:

方法一：

1.jps 获取Java进程的PID。

2.jstack pid >> java.txt 导出CPU占用高进程的线程栈。

3.top -H -p PID 查看对应进程的哪个线程占用CPU过高。

4.echo "obase=16; PID" | bc 将线程的PID转换为16进制,大写转换为小写。

5.在第二步导出的Java.txt中查找转换成为16进制的线程PID。找到对应的线程栈。

6.分析负载高的线程栈都是什么业务操作。优化程序并处理问题。

方法二：
1.使用top 定位到占用CPU高的进程PID

top

通过ps aux | grep PID命令

2.获取线程信息，并找到占用CPU高的线程

ps -mp pid -o THREAD,tid,time | sort -rn

3.将需要的线程ID转换为16进制格式

printf "%x\n" tid

4.打印线程的堆栈信息

jstack pid |grep tid -A 30

一个应用占用CPU很高，除了确实是计算密集型应用之外，通常原因都是出现了死循环。

以我们最近出现的一个实际故障为例，介绍怎么定位和解决这类问题。

根据top命令，发现PID为28555的Java进程占用CPU高达200%，出现故障。

通过ps aux | grep PID命令，可以进一步确定是tomcat进程出现了问题。但是，怎么定位到具体线程或者代码呢？

首先显示线程列表:

ps -mp pid -o THREAD,tid,time

找到了耗时最高的线程28802，占用CPU时间快两个小时了！

其次将需要的线程ID转换为16进制格式：

printf "%x\n" tid

最后打印线程的堆栈信息：

jstack pid |grep tid -A 30

找到出现问题的代码了！

至于具体怎么修改就看业务逻辑应该怎么对待这种特殊情况了。

最后，总结下排查CPU故障的方法和技巧有哪些：

1、top命令：Linux命令。可以查看实时的CPU使用情况。也可以查看最近一段时间的CPU使用情况。

2、ps命令：linux命令。强大的进程状态监控命令。可以查看进程以及进程中线程的当前CPU使用情况。属于当前状态的采样数据。

3、jstack：Java提供的命令。可以查看某个进程的当前线程栈运行情况。根据这个命令的输出可以定位某个进程的所有线程的当前运行状态、运行代码，以及是否死锁等等。

4、pstack：Linux命令。可以查看某个进程的当前线程栈运行情况。

100%指的是占用了CPU一个核心，两个核心是200%，以此类推。
CPU占用率及对应进程ID（pid）可以通过top命令确定，在top界面按 c （显示完整的命令行参数），按 1 （显示每个核心的统计数据）。

这个问题最常见的有以下几种可能：

1、堆内存不足导致频繁Full GC
可以通过两个命令确定

sudo jmap -heap pid 查看堆内存的消耗情况

sudo jstat -gc pid interval count 查看GC情况，示例：sudo jstat -gc 5746 3000 5 代表查看5746进程的GC情况、每隔3000毫秒打印一次、总共打印5次。如果FGC/FGCT增长明显，说明Full GC很频繁。

后续处理：

如果情况紧急，那得马上重启Java应用进程
不紧急的话需要获取相关信息用于分析为什么堆内存被消耗完了，可能有内存泄漏问题，可以用 1）sudo jmap -histo pid | head -n 20 查看Java对象的占用统计信息，2）sudo jmap -dump:live,format=b,file=heap.bin pid 把堆转储导出到本地文件，可以用 Eclipse MAT 工具分析内存泄漏

2、代码实现问题

思路：追查具体是哪个线程占用了CPU，1）先查到本地系统CPU占用率高的线程ID，2）找到对应的Java线程及线程堆栈

top -H -p pid 查看某个进程里面哪些线程占用了CPU，把对应的线程ID拷贝下来，转为十六进制【IDEA》Tools》Groovy Console》println Long.toHexString(1234) 即可完成转换】。

jstack -l -F pid | less 获取Java线程堆栈，用十六进制的本地线程ID搜索，会在某一行的nid处找到对应的线程。查看Java线程堆栈，找到对应的Java类及行号，然后阅读代码查找可能的问题原因。

jstack堆栈信息里tid/nid的说明