纯干货:大对象导致FullGC频繁的起因及实践思路
今天在检查线上环境的时候,发现了在2分钟内出现了2次FullGC。
尽管对线上功能影响不是很大,但还是想一探索竟。
线上监控得到的信息:
CAT监控
可以看到从短时间内有了2次GC,从13次直接飙到15次。
而后看了下老年代的堆情况:
在这里插入图片形容
可以看到这两次分别从620M直接下降到了400M而后又下降到了200M的样子。
脑海中的直觉应该是出现了大对象的感觉,由于老年代的堆是650M。达到620M触发GC,可能是堆空间不足,对象分配不进去,触发了1次GC,清除了200M,这个没什么问题,但是同一时刻又触发了一次GC,又清除了一遍,这个就是有问题了。
但是这个不是什么内存溢出啊啥的,dump不到大对象呀。事故现场已经被清除完了这可咋整喔 。
这个时候我在想,要是Full GC之前能够得到hprof文件就好了。
但其实JVM早就提供了这些参数了。
开启GC参数
# 1. 查看可实时配置的GC参数java -XX:+PrintFlagsFinal -version | grep manageable# 2. 查看服务进程编号jps# 3. 在full gc前开启dump文件 +表示开启 -表示关闭。 18881 代表应用进程编号jinfo -flag +HeapDumpBeforeFullGC 18881jinfo -flag HeapDumpPath=/elab/spring-boot/logs/dump_file 18881# 查看配置能否生效jinfo -flag HeapDumpPath 18881# 查看当前应用的jvm配置jinfo -flags 18881通过第一个命令可以不重启应用实时开启的参数:
java -XX:+PrintFlagsFinal -version | grep manageable intx CMSAbortablePrecleanWaitMillis = 100 {manageable} intx CMSTriggerInterval = -1 {manageable} intx CMSWaitDuration = 2000 {manageable} bool HeapDumpAfterFullGC = false {manageable} bool HeapDumpBeforeFullGC = false {manageable} bool HeapDumpOnOutOfMemoryError = false {manageable} ccstr HeapDumpPath = {manageable} uintx MaxHeapFreeRatio = 100 {manageable} uintx MinHeapFreeRatio = 0 {manageable} bool PrintClassHistogram = false {manageable} bool PrintClassHistogramAfterFullGC = false {manageable} bool PrintClassHistogramBeforeFullGC = false {manageable} bool PrintConcurrentLocks = false {manageable} bool PrintGC = false {manageable} bool PrintGCDateStamps = false {manageable} bool PrintGCDetails = false {manageable} bool PrintGCID = false {manageable} bool PrintGCTimeStamps = false {manageable}这里我们关注其中几个参数:
- PrintClassHistogramBeforeFullGC
- 这个参数是说在full gc前会将内存中的对象以日志的形式输出,但是很多大对象都是些byte啊啥的,你压根不知道是那个对象引用的。
- HeapDumpBeforeFullGC
- 这个参数就是full gc前将hprof文件保存下来
- HeapDumpPath
- dump下来的hprof文件存放位置
通过上述操作,在应用下一次full gc的时候便会保存hprof文件文件
分析hprof文件
通过上述命令保存下来的文件大概有1.3G,有点大。
下载下来会比较麻烦。
这里通过MAT的linux的工具直接在服务器上进行分析。
MAT分析工具
从这个网站上下载Linux (x86_64/GTK+)的
如何使用?
cd mat./ParseHeapDump.sh /elab/spring-boot/dump.hprof org.eclipse.mat.api:suspects org.eclipse.mat.api:overview org.eclipse.mat.api:top_components# 估计五分钟之后出结果,查看结果就到hprof所在的位置/elab/spring-boot/dump.hprof : 位置
-rw-r--r-- 1 root root 8.3M Mar 20 10:15 java_pid18881.a2s.index-rw-r--r-- 1 root root 13M Mar 20 10:15 java_pid18881.domIn.index-rw-r--r-- 1 root root 37M Mar 20 10:15 java_pid18881.domOut.index-rw------- 1 root root 1.3G Mar 20 10:01 java_pid18881.hprof-rw-r--r-- 1 root root 295K Mar 20 10:16 java_pid18881.i2sv2.index-rw-r--r-- 1 root root 33M Mar 20 10:15 java_pid18881.idx.index-rw-r--r-- 1 root root 50M Mar 20 10:15 java_pid18881.inbound.index-rw-r--r-- 1 root root 7.2M Mar 20 10:15 java_pid18881.index-rw-r--r-- 1 root root 100K Mar 20 10:15 java_pid18881_Leak_Suspects.zip-rw-r--r-- 1 root root 12M Mar 20 10:15 java_pid18881.o2c.index-rw-r--r-- 1 root root 33M Mar 20 10:15 java_pid18881.o2hprof.index-rw-r--r-- 1 root root 28M Mar 20 10:15 java_pid18881.o2ret.index-rw-r--r-- 1 root root 49M Mar 20 10:15 java_pid18881.outbound.index-rw-r--r-- 1 root root 82K Mar 20 10:15 java_pid18881_System_Overview.zip-rw-r--r-- 1 root root 356K Mar 20 10:15 java_pid18881.threads-rw-r--r-- 1 root root 256K Mar 20 10:16 java_pid18881_Top_Components.zip一共会有这么些东西,你只需关注3个.zip包*就行了。
把这3个下载到本地,里面是html文件,打开就是结果。
主要关注 : java_pid18881_Leak_Suspects.zip 这个文件
打开结果:
在这里插入图片形容
我们看到有一个216M的大对象出现了。
而后点击链接进去看是那个线程造成的.
在这里插入图片形容
我们这里就找到了具体业务触发的方法了。
我这里就不贴具体的方法了,最根本的起因是一个图片压缩的功能造成的
Thumbnails.of(file.getInputStream()).scale(0.1f).toFile(outputImg);假如用户端上传的图片太大,会通过这个方法进行压缩。因为对象本身会很大的话,很容易触发Full GC。
而后我根据这个时间点去监控系统中查询该URL的方法日志的时候,也发现了一个超过9秒的请求,根据方法执行的时间链路基本上也就确定了就是上述代码造成的。
好了,具体过程就是这样。
总结一下 :
- 通过开启JVM的参数,在full GC前保留一份hprof文件。
- 通过MAT的linux工具直接在服务器上分析,避免文件过大下载下来太慢。
- 而后查看结果页来找到具体的大对象
假如你还有什么更好的排查思路以及工具欢迎交流。
1. 本站所有资源来源于用户上传和网络,如有侵权请邮件联系站长!
2. 分享目的仅供大家学习和交流,您必须在下载后24小时内删除!
3. 不得使用于非法商业用途,不得违反国家法律。否则后果自负!
4. 本站提供的源码、模板、插件等等其他资源,都不包含技术服务请大家谅解!
5. 如有链接无法下载、失效或广告,请联系管理员处理!
6. 本站资源售价只是摆设,本站源码仅提供给会员学习使用!
7. 如遇到加密压缩包,请使用360解压,如遇到无法解压的请联系管理员
开心源码网 » 纯干货:大对象导致FullGC频繁的起因及实践思路