weblogic中间件通用应急专项预案

Weblogic〔含业务应用〕通用应急预案一、应急处理标准和工作步骤weblogic集群方法布署，经过中间件把握台对各应用节点进展统一治理和监控，此次中间件应急预案以“先抢通、后抢修”为处理标准，首先恢复业务应用，保存相关日志，后期再依据日志进展具体分析和故障定位。weblogic中间件是应用程序公布平台，相比照较稳定。业weblogicweblogic中间件JDBC等配置，实现前端应用和后台数据库之间交互。所以不管是程序代码问题、硬件问题、数据库问题全部有可能表现在weblogic中间件节点特别；而且由于程序代码效率低下、参数weblogic中间件节点特别。这种状况下，weblogic具体缘由能够经过备份日志，事后进展分析排查。本应急预案中包含到程序包路径，均是依据信通企业weblogic中间件安装标准中指定路径。假设未依据标准安装中间件，请询问对应系统专责帮助处理。二、weblogic6步：1IE扫瞄器访问节点应用确定节点可用性。2weblogic把握台确定节点状态。3、搜集故障点日志，备份节点日志。4、查看节点日志，依据报错信息确定故障缘由。5、依据故障缘由，实施应急操作。6、组织人员进展具体缘由分析并整改。三、故障场景Weblogic中间件日志文件中常见错误以下：序号错误信息序号错误信息缘由消灭时机实施步骤1java.lang.OutOfMemoryErrorjava.lang.OutOfMemoryError内存溢出节点运行过程中内存溢出节点开启过程中2more than the configured time 线程堵塞节点运行过程中1,2,3,4,59,121,2,3,4,53(StuckThreadMaxTime)of“600“secondserroroccured:weblogic.jdbc.extensions.PoolLimitSQLException:weblogicmon.resourcepool.ResourceLimitException:NoresourcescurrentlyavailableinpooldgNonPooltoallocatetoapplications,pleaseincreasethesizeofthepoolandretry..BEA-000627Reachedmaximumcapacitypool“JDB-HQGL”make0newresourceinstances<BEA-000628><Created“1“resourcesforpool“JDBCDataSource-0“,outofwhich“0“areavailableand“1“areunavailable.ToomanyopenfilesJDBC连接池满节点开启过程中6,124JDBC连接池满节点运行过程中1,2,3,4,5,65翻开文件超节点运行过程中1,2,3,4,5,7,11,12出系统限制6<BEA-000386> <Server subsystemfailed. Reason:weblogic 密码错误节点开启过程中8,127weblogic.security.SecurityInitializationException:Authenticationforuserweblogicdeniedweblogic.security.SecurityInitializationException:Authenticationforuserweblogicdenied/home/weblogic/Oracle/Middleware/user 人为停顿节 节点运行过程中1,2,3,4,12_projects/domains/test_domain/bin/start 点WebLogic.sh:line180:64034Killed${JAVA_HOME}/bin/java${JAVA_VM}${MEM_ARGS}-Dweblogic.Name=${SERVER_NAME}-Djava.security.policy=${WL_HOME}/server/lib/weblogic.policy${JAVA_OPTIONS}${PROXY_SETTINGS}${SERVER_CLASS}8 <Aug10,1:41:37AMCST><Error><EmbeddedLDAP><BEA-000000><Error权限问题节点开启过程中10,11,12openingtheTransactionLog:/home/weblogic/Oracle/Middleware/user_projects/domains/test_domain/servers/server1/data/ldap/ldapfiles/EmbeddedLDAP.tran(Permissiondenied)>9 <Aug10,3:15:07AMCST><Error><JDBC><BEA-001112><Test“SELECT1数据库单节节点运行过程中13,11,12FROMDUAL“setupforpool“JDBCData无法全部正Source-0“failedwithexception:“java.s常对外供给ql.SQLRecoverableException:Nomored效劳atatoreadfromsocket“.><Aug10,3:15:07AMCST><Warning><JDBC><BEA-001129><Receivedexceptionwhilecreatingconnectionforpool“JDBCDataSource-0“:IOError:TheNetworkAdaptercouldnotestablishtheconnection.>10 TheJREwasnotfoundindirectory/usr/java/k1.6.0_38.(JAVA_HOME)Java环境变量配置不正节点开启过程中14,12Pleaseedityourenvironmentandsetth确eJAVA_HOMEvariabletopointtotherootdirectoryofyourJavainstallation.11 <BEA-002621><Connection rejected,theserverlicenseallowsconnections版license未节点运行过程中1,2,3,4,5,15,11,12fromonly5uniqueIPaddresses.>授权12 VM Version 1.5.0_12-b04 from MicrosystemsInc.><-8-11下午04时50分58秒CST><Critical> <WebLogicServer><BEA-000362><Serverfailed.Reason:Thereare1nestederrors:weblogic.management.ManagementExce

节点未正常停顿

节点开启过程中 5，11，12ption: Unable to obtain lock on13ption: Unable to obtain lock on13/home/weblogic/bea/user_projects/domains/bzcb_domain/servers/AdminServer/tmp/AdminServer.lok.Servermayalreadyberunning因硬件或系统故障，应用效劳器全部无法16开启四、应急处理步骤IE登陆访问对应故障节点应用地址，验证故障现象，预防误告警消灭。weblogic把握台，确定故障节点名称。IEweblogic://IP:端口，依据特别端口号确定特别节点名称，以以以下图。weblogic用户登陆操作系统。备份对应节点日志。$$cd/app/logs/hqgl/server1.log ---进入对应日志名目$cprserver1.log0808server1.log 依据日期备份节点日志查看节点进程状态。$$ps–ef|grepserver1(server1为节点名称)12：weblogic590862803022:12pts/100:00:00grepserver111：JDBC连接池上限JDBCJDBC整initialcapacitymaximumcapacityinitialcapacitymaximumcapacity表示最大连接数，关键调整增大MaximumCapacity参数，再原有根底上增加20〔具体要依据对应数据库processweblogic*MaximumCapacityprocess80%〕以以以下图所表示：JDBC放数据库连接资源，达成抢通业务目标。调整操作系统用户翻开文件数量上限使用使用root#vi/etc/security/limits.Confweblogic- nofile10240 增该内容，或调整该值上限。#suweblogic weblogic$ulimit–Hn 10240修改weblogicweblogic文件。$cd/app/weblogic/Oracle/Middleware/user_projects/domain名称/servers/节点名称/security/$vipertiesUsername=weblogicUsername=weblogic 登录把握台使用用户名Password=12345qwert 登录把握台使用密码，在开启节点后会自动进展加密。调整JVM使用使用weblogic$cd/home/weblogic/startsh/ 进入开启脚本名目$viserver1.sh JVM物理内存确定，标准上该效劳器上运行java80%。exportUSER_MEM_ARGS=“-Xms2048m-Xmx2048m-XX:PermSize=512m-XX:MaxPermSize=512m“WL_LOG=/app/logs/hqgl/server1.lognohup/home/weblogic/Oracle/Middleware/user_projects/domains/test_domain/bin/startManagedWebLogic.shserver1 ://:7001>$WL_LOG&tailf$WL_LOG修改文件权限使用使用root#chown–Rweblogic:bea/app/source_program/hqgl/----修改程序包权限#chown–R/app/weblogic/Oracle/Middleware/user_projects/domains/domain称 修改weblogic相关文件权限#chown–R/app/logs/hqgl/ 修改开启日志文件权限停顿特别节点进程weblogic@testweblogic@teststartsh]$kill-961658----停顿特别节点进程开启特别节点weblogic@testweblogic@teststartsh]$cd/home/weblogic/startsh/[weblogic@teststartsh]$ls--进入开启脚本路径admin.shserver1.sh[weblogic@teststartsh]$./server1.sh ---开启节点修改JDBC假设在数据库单节点或假设在数据库单节点或VIPRAC节点无法全部正常对外供给效劳时，修改JDBC登陆weilogicJDBC配置页面，依据数据库专责供给可用连接串，修改JDBC连接串地址为jdbc:oracle:thin:@(DESCRIPTION=(ADDRESS_LIST=(ADDRESS=(PROTOCOL=TCP)(HOST=10.1.80.141)(PORT=1521)))(CONNECT_DATA=(SERVICE_NAME=test)(INSTANCE_NAME=test)))Weblogic$java –version --------查询 weblogic 用户下 jdk 信息javaversion“1.6.0_37“Java(TM)SERuntimeEnvironment(build1.6.0_37-b06)JavaHotSpot(TM)64-BitServerVM(build20.12-b01,mixedmode)$whichjava --- 查 询 jdk 安 装 路 径/usr/j