weblogic中间件通用应急预案.doc

1、Weblogic 中间件（含业务应用）通用应急预案一、应急处置原则与工作流程国网信息系统中间件主要采用weblogic 集群方式部署，通过中间件控制台对各应用节点进行统一管理和监控，本次中间件应急预案以“先抢通、后抢修”为处理原则，首先恢复业务应用，保存相关日志，后期再根据日志进行详细分析和故障定位。weblogic 中间件是应用程序的发布平台，相对比较稳定。业务应用均通过 weblogic 中间件进行发布， 通过 weblogic 中间件的 JDBC等配置，实现前端应用和后台数据库之间的交互。 因此不管是程序代码问题、硬件问题、数据库问题均有可能体现在 weblogic 中间件节点异常；并且

2、由于程序代码效率低下、参数配置不当，也会导致 weblogic 中间件节点异常。 这种情况下，重启异常 weblogic 节点，释放资源，是最快的恢复业务的应急手段。具体原因可以通过备份日志，事后进行分析排查。本应急预案中涉及到的程序包路径，均是根据信通公司weblogic 中间件安装规范中指定的路径。如果未按照规范安装的中间件，请电话咨询对应系统专责协助处理。二、 weblogic 中间件故障应急场景故障应急处理步骤6 步：1、使用 IE 浏览器访问节点应用确认节点可用性。2、登陆 weblogic 控制台确认节点状态。3、收集故障点日志，备份节点日志。4、查看节点日志，根据报错信息确定故障

3、原因。5、根据故障原因，执行应急操作。6、组织人员进行具体原因分析并整改。三、故障场景Weblogic 中间件日志文件中常见错误如下：序号错误信息原因出现时机执行步骤1 java.lang.OutOfMemoryErrorjava.lang.OutOfMemoryError2 more than the configured time (StuckThreadMaxTime) of "600" seconds3 error occured:weblogic.jdbc.extensions.PoolLi mitSQLException: mon.resourcepool.Re

4、sourc eLimitException: No resources currently available in pool dgNonPool to allocate to applications, please increase the size of the pool and retry.4 BEA-000627 Reachedmaximum capacity of pool “ JDB-HQGL ” make 0 new resource instances<BEA-000628> <Created "1" resources for pool

5、 "JDBC Data Source-0", out of which "0" are available and "1" are unavailable.内存溢出内存溢出线程阻塞JDBC 连接池满JDBC 连接池满节点运行过程中1,2,3,4,5节点启动过程中9,12节点运行过程中1,2,3,4,5节点启动过程中6,12节点运行过程中1,2,3,4,5,65Too many open files打开文件超节点运行过程中1,2,3,4,5,7,11,12过系统限制6<BEA-000386><Serversubsyst

6、emweblogic 密节点启动过程中8,12failed.Reason:码错误weblogic.security.SecurityInitializationException: Authentication foruser weblogicdeniedweblogic.security.SecurityInitializationException: Authentication foruser weblogicdenied7/home/weblogic/Oracle/Middleware/user人为停止节节点运行过程中1,2,3,4,12_projects/domains/test_d

7、omain/bin/start WebLogic.sh: line 180: 64034 Killed$JAVA_HOME/bin/java $JAVA _VM $MEM_ARGS -Dweblogic.Name= $SERVER_NAME -Djava.security.policy =$WL_HOME/server/lib/weblogic.policy $JAVA_OPTIONS $PROXY_SETTING S $SERVER_CLASS8 <Aug 10, 2014 1:41:37 AM CST> <Error > <EmbeddedLDAP> &

8、lt;BEA-000000> < Error opening the Transaction Log: /home/weblogic/Oracle/Middleware/user_proj ects/domains/test_domain/servers/serve r1/data/ldap/ldapfiles/EmbeddedLDAP .tr an (Permission denied)>9 <Aug 10, 2014 3:15:07 AM CST> <Error > <JDBC> <BEA-001112> <Test

9、"SELE CT 1 FROM DUAL" set up for pool "JDBC Data Source-0" failed with exception: "java.sql.SQLRecoverableException: No m ore data to read from socket".><Aug 10, 2014 3:15:07 AM CST> <War ning> <JDBC> <BEA-001129> <Receiv ed exception while

10、 creating connection f or pool "JDBC Data Source-0": IO Error: The Network Adapter could not establish the connection.>10 The JRE was not found in directory /usr/ java/k1.6.0_38. (JAVA_HOME)Please edit your environment and set th e JAVA_HOMEvariable to point to the root directory of you

11、r Java installation.11<BEA-002621> <Connection rejected, the server license allows connections from only 5 unique IP addresses.>12 VM Version 1.5.0_12-b04 from Sun Microsystems Inc.><2014-8-11 下午 04 时 50 分 58 秒 CST><Critical> <WebLogicServer> <BEA-000362> <S

12、erver failed. Reason: There are 1 nested errors: weblogic.management.ManagementExce点权限问题节点启动过程中10,11,12数据库单节节点运行过程中13,11,12点异常， RAC无法全部正常对外提供服务Java 环境变节点启动过程中14,12量配置不正确Weblogic9 版节点运行过程中1,2,3,4,5,15,11,12本 license 未授权节点未正常节点启动过程中5，11，12停止ption:Unabletoobtainlockon/home/weblogic/bea/user_projects/do

13、mains/bzcb_domain/servers/AdminServer/tmp/AdminServer .lok. Server may alreadybe running13因硬件或者系统故障，应用服务器全部无16法启动四、应急处理步骤1. 使用 IE 登陆访问对应故障节点应用地址，验证故障现象，防止误告警出现。2. 登录 weblogic 控制台，确认故障节点名称。使用 IE 浏览器，访问weblogic 控制台 http:/IP :端口，根据异常端口号确认异常节点名称，如下图。3. 使用 weblogic 用户登陆操作系统。4. 备份对应节点日志。$ cd /app/logs/hqg

14、l/server1.log-进入对应日志目录$ cp r server1.log 20140808server1.log -按照日期备份节点日志5. 查看节点进程状态。$ ps ef|grep server1 (server1 为节点名称 )如果返回值为空，如下，则执行步骤12：weblogic5908628030 22:12 pts/100:00:00 grep server1如果返回值不为空，如下，则执行步骤11：6. 增加 JDBC连接池上限1) 登陆 weilogic 控制台，进入 JDBC配置页面，修改增加 JDBC配置。主要调整 initialcapacity及 maximumca

15、pacity两个参数，其中 initialcapacity表示初始建立的连接数， maximumcapacity表示最大的连接数，主要调整增大 MaximumCapacity 参数，再原有基础上增加 20。（具体要根据对应数据库的 process 上限，要求 weblogic 节点数 *Maximum Capacity 值 < 数据库process 数的 80%）如下图所示：2) 如果无法进入 JDBC控制界面，可以按照步骤 11,12 ，通过重启应用节点， 释放数据库连接资源，达到抢通业务的目标。7. 调整操作系统用户打开文件数量上限使用 root 用户登录系统# vi /etc/se

16、curity/limits.Confweblogic- nofile# su weblogic10240 -切换到新增该内容，或者调整该值上限。weblogic 用户$ ulimit Hn-验证配置是否生效，如下表示生效102408. 修改 weblogic 后台启动密码问题使用 weblogic用户登录系统 , 进入节点缓存目录 , 修改后台启动密码文件。$ cd /app/weblogic/Oracle/Middleware/user_projects/domain名称 /servers/节点名称/security/$ vi pertiesUsername=weblogic

17、-登录控制台使用的用户名Password=12345qwert-登录控制台使用的密码，在启动节点后会自动进行加密。9.调整JVM参数设置使用weblogic用户登录系统$ cd /home/weblogic/startsh/-进入启动脚本目录$ vi server1.sh-修改对应节点启动时的JVM内存配置，具体要根据服务器的物理内存确定， 原则上该服务器上运行的java 进程内存总和， 不得超过物理内存的80%。export USER_MEM_ARGS="-Xms2048m-Xmx2048m -XX:PermSize=512m -XX:MaxPermSize=512m"

18、WL_LOG=/app/logs/hqgl/server1.lognohup/home/weblogic/Oracle/Middleware/user_projects/domains/test_domain/bin/startManagedWebLogic.shserver1:7001>$WL_LOG &tailf$WL_LOG10. 修改文件权限使用 root 用户登录操作系统# chown#chownR weblogic:bea /app/source_program/hqgl/- R /app/weblogic/Oracle/ Middl

19、eware/user_projects/domains/修改程序包的权限对应 domain名称#chown-修改 weblogic R /app/logs/hqgl/-相关文件权限修改启动日志文件权限11.停止异常节点进程weblogictest startsh $ kill -9 61658-停止异常节点进程12.启动异常节点weblogictest startsh$ cd /home/weblogic/startsh/-进入启动脚本路径weblogictest startsh$ lsadmin.sh server1.shweblogictest startsh$ ./server1.sh-

20、启动节点13. 修改 JDBC连接串如果在数据库单节点或者VIP 等集群服务异常时，导致数据库RAC节点无法全部正常对外提供服务时，修改JDBC连接串，让应用节点连接到可用的数据库地址上。登陆 weilogic控制台， 进入 JDBC配置页面， 根据数据库专责提供的可用连接串，修改 JDBC连接串地址为jdbc:oracle:thin:(DESCRIPTION=(ADDRESS_LIST=(ADDRESS=(PROTOCOL=TCP)(HOST=41)(PORT=1521)(CONNECT_DATA=(SERVICE_NAME=test)(INSTANCE_NAME=test)14. JAVA环境变量错误Weblogic 用户登录系统$java version-查 询weblogic用户 下jdk信息javaversion"1.6.0_37"Java(TM)SERuntime Environment(build1.6.0_37-b06)JavaHotSpot(TM)64-BitServerVM (build20.12-b01,mixedmode)$whichjava-查询jdk安装路径/usr/java/jd