java中三种常见内存溢出错误的处理方法

java虚拟机规范规定jvm的内存分为了好几块,比如堆,栈,程序计数器,方法区等,而hotspot jvm的实现中,将堆内存分为了三部分,新生代,老年代,持久带,其中持久带实现了规范中规定的方法区,而内存模型中不同的部分都会出现相应的oom错误
相信有一定java开发经验的人或多或少都会遇到outofmemoryerror的问题,这个问题曾困扰了我很长时间,随着解决各类问题经验的积累以及对问题根源的探索,终于有了一个比较深入的认识。
在解决java内存溢出问题之前,需要对jvm(java虚拟机)的内存管理有一定的认识。jvm管理的内存大致包括三种不同类型的内存区域:permanent generation space(永久保存区域)、heap space(堆区域)、java stacks(java栈)。其中永久保存区域主要存放class(类)和meta的信息,class第一次被load的时候被放入permgen space区域,class需要存储的内容主要包括方法和静态属性。堆区域用来存放class的实例(即对象),对象需要存储的内容主要是非静态属性。每次用new创建一个对象实例后,对象实例存储在堆区域中,这部分空间也被jvm的垃圾回收机制管理。而java栈跟大多数编程语言包括汇编语言的栈功能相似,主要基本类型变量以及方法的输入输出参数。java程序的每个线程中都有一个独立的堆栈。容易发生内存溢出问题的内存空间包括:permanent generation space和heap space。
第一种outofmemoryerror: permgen space jvm管理两种类型的内存,堆和非堆。堆是给开发人员用的上面说的就是,是在jvm启动时创建;非堆是留给jvm自己用的,用来存放类的信息的。它和堆不同,运行期内gc不会释放空间。如果web app用了大量的第三方jar或者应用有太多的class文件而恰好maxpermsize设置较小,超出了也会导致这块内存的占用过多造成溢出,或者tomcat热部署时侯不会清理前面加载的环境,只会将context更改为新部署的,非堆存的内容就会越来越多。
permgen space的全称是permanent generation space,是指内存的永久保存区域,这块内存主要是被jvm存放class和meta信息的,class在被loader时就会被放到permgen space中,它和存放类实例(instance)的heap区域不同,gc(garbage collection)不会在主程序运行期对permgen space进行清理,所以如果你的应用中有很class的话,就很可能出现permgen space错误,这种错误常见在web服务器对jsp进行pre compile的时候。如果你的web app下都用了大量的第三方jar, 其大小超过了jvm默认的大小(4m)那么就会产生此错误信息了。
一个最佳的配置例子:(经过本人验证,自从用此配置之后,再未出现过tomcat死掉的情况)
set java_opts=-xms800m -xmx800m -xx:permsize=128m -xx:maxnewsize=256m -xx:maxpermsize=256m
发生这种问题的原意是程序中使用了大量的jar或class,使java虚拟机装载类的空间不够,与permanent generation space有关。解决这类问题有以下两种办法:
1.增加java虚拟机中的xx:permsize和xx:maxpermsize参数的大小,其中xx:permsize是初始永久保存区域大小,xx:maxpermsize是最大永久保存区域大小。如针对tomcat6.0,在catalina.sh 或catalina.bat文件中一系列环境变量名说明结束处(大约在70行左右) 增加一行: java_opts=“ -xx:permsize=64m -xx:maxpermsize=128m” 如果是windows服务器还可以在系统环境变量中设置。感觉用tomcat发布sprint+struts+hibernate架构的程序时很容易发生这种内存溢出错误。使用上述方法,我成功解决了部署ssh项目的tomcat服务器经常宕机的问题。
2.清理应用程序中web-inf/lib下的jar,如果tomcat部署了多个应用,很多应用都使用了相同的jar,可以将共同的jar移到tomcat共同的lib下,减少类的重复加载。这种方法是网上部分人推荐的,我没试过,但感觉减少不了太大的空间,最靠谱的还是第一种方法。
第二种outofmemoryerror: java heap space 第一种情况是个补充,主要存在问题就是出现在这个情况中。其默认空间(即-xms)是物理内存的1/64,最大空间(-xmx)是物理内存的1/4。如果内存剩余不到40%,jvm就会增大堆到xmx设置的值,内存剩余超过70%,jvm就会减小堆到xms设置的值。所以服务器的xmx和xms设置一般应该设置相同避免每次gc后都要调整虚拟机堆的大小。假设物理内存无限大,那么jvm内存的最大值跟操作系统有关,一般32位机是1.5g到3g之间,而64位的就不会有限制了。
注意:如果xms超过了xmx值,或者堆最大值和非堆最大值的总和超过了物理内存或者操作系统的最大限制都会引起服务器启动不起来。
发生这种问题的原因是java虚拟机创建的对象太多,在进行垃圾回收之间,虚拟机分配的到堆内存空间已经用满了,与heap space有关。解决这类问题有两种思路:
1.检查程序,看是否有死循环或不必要地重复创建大量对象。找到原因后,修改程序和算法。 我以前写一个使用k-means文本聚类算法对几万条文本记录(每条记录的特征向量大约10来个)进行文本聚类时,由于程序细节上有问题,就导致了java heap space的内存溢出问题,后来通过修改程序得到了解决。
2.增加java虚拟机中xms(初始堆大小)和xmx(最大堆大小)参数的大小。如:set java_opts= -xms256m -xmx1024m
第三种outofmemoryerror:unable to create new native thread 在java应用中,有时候会出现这样的错误:outofmemoryerror: unable to create new native thread.这种怪事是因为jvm已经被系统分配了大量的内存(比如1.5g),并且它至少要占用可用内存的一半。有人发现,在线程个数很多的情况下,你分配给jvm的内存越多,那么,上述错误发生的可能性就越大。
那么是什么原因造成这种问题呢? 每一个32位的进程最多可以使用2g的可用内存,因为另外2g被操作系统保留。这里假设使用1.5g给jvm,那么还余下500m可用内存。这500m内存中的一部分必须用于系统dll的加载,那么真正剩下的也许只有400m,现在关键的地方出现了:当你使用java创建一个线程,在jvm的内存里也会创建一个thread对象,但是同时也会在操作系统里创建一个真正的物理线程(参考jvm规范),操作系统会在余下的400兆内存里创建这个物理线程,而不是在jvm的1500m的内存堆里创建。在jdk1.4里头,默认的栈大小是256kb,但是在jdk1.5里头,默认的栈大小为1m每线程,因此,在余下400m的可用内存里边我们最多也只能创建400个可用线程。
这样结论就出来了,要想创建更多的线程,你必须减少分配给jvm的最大内存。还有一种做法是让jvm宿主在你的jni代码里边。
给出一个有关能够创建线程的最大个数的估算公式:
(maxprocessmemory - jvmmemory - reservedosmemory) / (threadstacksize) = number of threads
对于jdk1.5而言,假设操作系统保留120m内存:
1.5gb jvm: (2gb-1.5gb-120mb)/(1mb) = ~380 threads 1.0gb jvm: (2gb-1.0gb-120mb)/(1mb) = ~880 threads
对于栈大小为256kb的jdk1.4而言,
1.5gb allocated to jvm: ~1520 threads 1.0gb allocated to jvm: ~3520 threads
对于这个异常我们首先需要判断下,发生内存溢出时进程中到底都有什么样的线程,这些线程是否是应该存在的,是否可以通过优化来降低线程数; 另外一方面默认情况下java为每个线程分配的栈内存大小是1m,通常情况下,这1m的栈内存空间是足足够用了,因为在通常在栈上存放的只是基础类型的数据或者对象的引用,这些东西都不会占据太大的内存, 我们可以通过调整jvm参数,降低为每个线程分配的栈内存大小来解决问题,例如在jvm参数中添加-xss128k将线程栈内存大小设置为128k。
垃圾回收gc的角色 jvm调用gc的频度还是很高的,主要两种情况下进行垃圾回收:
当应用程序线程空闲;另一个是java内存堆不足时,会不断调用gc,若连续回收都解决不了内存堆不足的问题时,就会报out of memory错误。因为这个异常根据系统运行环境决定,所以无法预期它何时出现。
根据gc的机制,程序的运行会引起系统运行环境的变化,增加gc的触发机会。
为了避免这些问题,程序的设计和编写就应避免垃圾对象的内存占用和gc的开销。显示调用system.gc()只能建议jvm需要在内存中对垃圾对象进行回收,但不是必须马上回收,
一个是并不能解决内存资源耗空的局面,另外也会增加gc的消耗

沃尔沃远景概念车360c正式发布
车联网安全车端知识术语总结
三星宣布推出四款新设备,从而在2020年拉开序幕
伺服电机减速机突发性故障解决方法说明
新老笔记本差在哪 如何确定是否换新机
java中三种常见内存溢出错误的处理方法
神经网络应用-1
时延和建立时间在ADC电路中的区别
Retry和Fallback该怎么抉择呢?
32人同时接入 随行WiFi 2 Pro自组局域网
IoT市场混战与割裂 华米OV谁主未来?
MOS管在USB PD快充移动电源中的应用
全球导航试验中心利用NI公司的基于FPGA的矢量信号收发器模拟多个复杂的卫星群
JD1A-90调速器工作原理图分析
埃隆.马斯克:再有10个月特斯拉就完蛋了
瑞萨节能的“功能模块”解决方案
BF16是为深度学习而优化的新数字格式 预测精度的降低幅度最小
纯无纺纸壁纸耐磨测定仪的特点是什么
空压机压力怎么调
1374架无人机翱翔西安城墙,刷新“最多无人机同时飞行”吉尼斯称号