黑龙江移动中间件系统健康检查报告2013

内容概 服务记 基本情 评估结果综 故 业务系统 评估结 配置检 主机配置检 中间件产品版本检 TUX域配置检 WLS域配置检 hlj 日志排 5其他支撑业务系统 评估结 配置检 主机配置检 中间件产品版本检 WLS域配置检 日志排 6综合接口 评估结 配置检 主机配置检 中间件产品版本检 WLS域配置检 日志排 7一级 评估结 配置检 主机配置检 中间件产品版本检 TUX域配置检 WLS域配置检 日志排 8 评估结 配置检 主机配置检 中间件产品版本检 WLS域配置检 日志排 9 评估结 配置检 主机配置检 中间件产品版本检 WLS域配置检 日志排 10 评估结 配置检 主机配置检 中间件产品版本检 WLS域配置检 日志排 评估结 配置检 主机配置检 中间件产品版本检 WLS域配置检 日志排 案例分 营业系统wls实例 线程挂起(stuck 附 TUXEDO8.1RP320~375 服务记录现场日期：20130115~1问题分类：HealthChec（中间件）工程师：( dolin.swen.sun@客户联系人：(基本情况2013.01.15~2013.01.17对黑龙江移动基于中间件产品的相关业务系统进行系统健康检查。同时对场期间可能存在的系统运行配置问题和运行故障进行分析诊断。本次检查的主要目标系统为：业务系统(营业)，一级boss，与其他支撑系统总体检查情况：系统近期运行稳定，目前最主要的问题是产品版本问题，大部分系统包括营业系统使用的中间件产品版本已经生命周期结束，且停止了标准产品服务支持。主要建议如下：2012.04巡检中相关的大多数参数配置建议并未有效实施，建议在后续运维中逐步实施启用。产品版本；当前系统使用的中间件产品版本普遍较低，且已结束产品支持服务，建议及时更新至当前版本。建议的产品版本如下：wls:10.3mp5/mp6；对应的JDK版本，建议使用1.6主版本系列下 版本tux:10gR3RP089/11gR1PS1RP039配置改进建议；部分系统配置参数存在改进空间，建议根据各系统配置分的结果酌情调整系统主要使用wls8.1，目前配置符合最佳实践的是esb 1@2.77(除了web应用的更新检查项)，建议参考。tuxedo服务进程问题；建议排查代码实现wls部分实例存在OOM故障；故障主要为内存碎片问题，可参考巡检报告(2012.08)措施处理wls部分实例存程挂起现象；建议参考案例分析相关部分进行后续的排查或调整故障

fixesappliedissue jvmjvm 业务系统(0.121~124,2.155~158)业务系统使用中间件产品TUXEDO，WebLogicServer。分布于55~2.158 101100121~01248台主机。TUX：55~2.158。使用iboss*，i *用户分别运行两个tuxedo运行域。各主机配置基本相同，巡检目标为2.155；其他主机可直接参考。(*iboss1/2/3/4，i 1/2/3/4)。WLS101100121~0124。使用webappkfweb运行多个wls域，各主机配置类似，0122，其他主机可直接参考。评估结果总体运行正常：当前使用的TUXEDO产品版本8.1已经处于产品生命周期状态，已停止后续的产品支持服务(2010.02)(包括扩展支持服务2011.02)也已结束，为获得更好的产品稳定性，性能、功能和支持服务，建议评估升级使用当前的 版本。当前使用RP319，TUXEDO8.1/最终RP版本为RP375当前使用的WebLogicServer产品版本8.1已经处于产品生命周期状态，已停止后续的产品支持服务200909包括扩展支持服务201109，为获得更好的产品稳定性，性能、功能和支持服务，建议评估升当前使用8.1sp4，8.1/最终版本为8.1sp6资源使用基本正常，CPU空闲60%；但是在wls部分，存在内存碎片导致的内存溢出现象，建议根据案例分析部分进行参数调整。无明显的排队现象部分服务存在进程异常现象(有对应的core文件生成)；由于有自动重启机制，在业务端可能无明显的影响；基于系统稳定性要求，建议对此类故障进行排查(dbx*)，确认并进行更正。core文件数量较多，可能造成较高的磁盘占用，建议故障排查后及时进行归档整理。*1filecorecoredump2dbxcore文件进入提示符后where指令列印导致进 的方法调用栈；3.根据调用栈排查应用代码实现。后续建议如下：产品版本较低，建议及时更新升级，以获得更好的性能和稳定性，配置参数存在改进空间。配置检查配置检查主要针对中间件产品基本配置，所在环境的操作系统参数情况进行检查和评估，根据产品配置最佳实践给出改进调整的建议。主机配置检查目标系统均使用IBMAIXTUX53_09WLS53_06，其参数自适应配置基本满足ORACLE中间件产品的常规运行要求。AIX主机的性能优化参数配置通常适用于中间件产品的运行，可参考OS厂商相关说明。建议：基于产品运行的稳定性、性能表现和可性，建议升级/更新至推荐的产品版本(10.3mp5/mp6)；如考虑用的可移植性，至少应使用8.1中 版本8.1sp6对于wls使用的JDK版本，建议使用满足验证平台的主版本中的 版本。产品版本：WLS：当前使用8.1sp4withCR237198，其版本为8.1sp6；当前推荐使用的产品版本wls103mp5mp6JDK(forWLS)：当前使用1.4.2sr8；满足当前WLS产品运行要求。加以使用/最终版本为1.4.2sr1参考：httpwwwibmcomdeveloperworksjavajdkaix142fixeshtmTUX：当前使用8.1PL319，版本为RP375；当前推荐产品版本为TUX10gR3TUX域配置检查配置检查目标：iboss1 1@155满足maxaccessors>maxserver+ s+ s=local s+wsh(max)+1(tmadmin)iboss1:(/iboss1/run/cfg/tuxconfig) servers:services: 1:(/i LDBALY servers:services:*2、 NO_XAxa配置可关闭相关服务减少管理开销。OPTIONS*3、对于多CPU主机系统应适当设置sp ount(>=10000)如： OUNT=80000；具体数值根据业务吞吐量变化酌情设置。当前配置：SP 满足*1、可能使用mssq提高系统处理效率对于mssq单组服务数量应控制在10个左右MSSQ8个左右避免>10；如因并发需要可2mssq模式下尽量使用REPLYQ=Y3、类服务如WSLJSL 应在业务服务启动后再启动避免不必要的服务错误 时动重启服务以减少对业务的影响on_startupWLS域配置检查以域作为配置检查目标，章节命名：(admin_addr:admin_port10wlswebapp5个实例admin4managedkfweb用户配置有213实例域和一个2实例域，201208分别为2实例域admin+1managed和一个单实例域。hlj(0.121/2/3/4:10000) ：/webapp/hl满足admin仅作管理用途内存参数不做具体要求可使用缺省值。admin*server：1024m(svr110001536m)~1536mXk10000IBMJDKmx-ms>=512mkp参数。通常的初始设置可为-Xk22000-Xp64k,16k并根据应用运行情况适当调整。adminserverwls生产环境150=>wls实例线程数>=50HljRptQueueLoginQueueweblogickernel.Defaultsvr11000QueryQueue50005wlscpu使用情况包括cpusysusr的比例关系通常情况下sys相对于usr越小则cpu资源使用越有效率。建议更新*testonreserve避免同时开启多个检测选项可能导致的死锁。当前配置开启了所有3个测试选项statemantcache请根据实际运行状况酌情调整通常10～20wls集群配置中要求同一网段内的不同集群设置唯一的多播地址如应用存在RMI集群地址应为集群中所有server地址的列表满足当前文件更新检查(jsp/servlet*对于量较大的应用5s间隔仍会对系统性能造成一定影响建议适当增加该值如>=60s生产环境下应适当延长文件更新检查(jsp/servlet/resource)120（1s）闭文件更新检查(-1)如使用包部署(war)情况下。满足当前连接策略为缺省on_demand存在负载均衡配置(应用特定实现 svc_*1on_startup确保连接可用性。(tuxon_startup此种情况下本项不做要求建议明确设置地址提高可管理性减少不必要的性能开销。kf(0.121/2/3/4:15020) ：/kfweb s/k满足admin仅作管理用途内存参数不做具体要求可使用缺省值。admin1536m~1536m-Xk10000-IBMJDKmx-ms>=512mkp参数。通常的初始设置可为-Xk22000-Xp64k,16k并根据应用运行情况适当调整。-生产环境150=>wls实例线程数>=50wlscpu使用情况包括cpusysusr的比例关系通常情况下sys相对于usr越小则cpu资源使用越有效率。建议更新*testonreserve避免同时开启多个检测选项可能导致的死锁。当前配置开启了所有3个测试选项size将增加堆内存占用和数据库端的资源开销。wls集群配置中要求同一网段内的不同集群设置唯一的多播地址如应用存在RMI集群地址应为集群中所有server地址的列表当前文件更新检查(jsp/servlet生产环境下应适当延长文件更新检查(jsp/servlet/resource)120（1s）闭文件更新检查(-1)如使用包部署(war)情况下。满足当前连接策略为缺省on_demand存在负载均衡配置(应用特定实现 svc_*1on_startup确保连接可用性。(tuxon_startup此种情况下本项不做要求建议明确设置地址提高可管理性减少不必要的性能开销。kfreport (0.121/2/3/4:16000) ：/kfweb s/kfreporadmin仅作管理用途内存参数不做具体要求可使用缺省值。admin(server)1024m~2048mXk10000IBMJDKmx-ms>=512mkp参数。通常的初始设置可为-Xk22000-Xp64k,16k并根据应用运行情况适当调整。 -生产环境150=>wls实例线程数>=50wlscpu使用情况包括cpusysusr的比例关系通常情况下sys相对于usr越小则cpu资源使用越有效率。满足size将增加堆内存占用和数据库端的资源开销。wls集群配置中要求同一网段内的不同集群设置唯一的多播地址如应用存在RMI集群地址应为集群中所有server地址的列表当前文件更新检查(配置文件无权限查看生产环境下应适当延长文件更新检查(jsp/servlet/resource)120（1s）闭文件更新检查(-1)如使用包部署(war)情况下。建议明确设置地址提高可管理性减少不必要的性能开销。 日志排查tuxedo(iboss/) 的方法调用栈；3.根据调用栈排查应用代码实现。)tpcallerrno=6(wsh)&noentry 日志中存在tpcall失败，errno=6，和gwt cmd_tux764cannotattachtotmadmin-r进入管理界面，避免可能的管理权限占用 如kfwebserver@0.122access.log。 其他支撑业务系统(0.125,0.126)目标主机为：101100125101100126本次巡检期间的实例分布情况：101100125共运行有48wls实例11个被管，其他均为admin；0126运行有43wls实例10个被管，其他均为admin；此两主机上存在较多的单实例wls域。本次巡检的wls配置检查针对KmsDom012557100)进行，其他域配置请酌情参考使用。评估结果系统总体运行正常。 系统存在较多OOM的javacore记录，建议根据案例分析部分适当调整内存参数CPU内存资源占用较高，0801进行了内存扩容，占用情况均有明显改善；运行系统较多，wls实例数中间件产品版本存在多个，8.1sp4，10.3.0；均非版本，其中8.1sp4生命周期已；建议更新级，对于8.1，至少应使用/最终版本8.1sp6；对于10.3建议使用当前较新的版103mp5mp6配置检查主机配置检查使用操作系统为IBMAIX53_11ORACLE中间件产品在该环境下对系统参数无特别要求。建议：基于产品运行的稳定性、性能表现和可性，建议升级/更新至推荐的产品版本(10.3mp5/mp6)；如考虑用的可移植性，至少应使用8.1中 版本8.1sp6对于wls使用的JDK版本，建议使用满足验证平台的主版本中的 版本。产品版本：WLS：当前使用8.1sp4withCR237198和10.3.0，其中8 版本为8.1sp6，10.3推荐103mp5mp6JDK(forWLS)：8.1使用1.4.2sr8和sr13两种版本；满足当前WLS产品运行要求，其/最终发行版本为：1.4.2sr13；10.3使用1.6sr5，非版本。参考：httpwwwibmcomdeveloperworksjavajdkaix142fixeshtmWLS域配置检查KmsDom(0.125:57100) ：/kms s/KmsDo满足admin仅作管理用途内存参数不做具体要求可使用缺省值。IBMJDKmx-ms>=512mkp参数。通常的初始设置可为-Xk22000-Xp64k,16k并根据应用运行情况适当调整。应用上存在OOM故障(2011.11)近期无相关故障分析从略生产环境150=>wls实例线程数>=50100部分为缺省连接测试功能；建议仅开启testonreserve避免同时开启多个检测选项可能导致的死锁。size将增加堆内存占用和数据库端的资源开销。wls集群配置中要求同一网段内的不同集群设置唯一的多播地址如应用存在RMI集群地址应为集群中所有server地址的列表kmsweb(jsp/servlet1800/-1） work(jsp/servlet1/-1)生产环境下应适当延长文件更新检查(jsp/servlet/resource)120（1s）闭文件更新检查(-1)如使用包部署(war)情况下。当前连接策略为缺省on_demand存在负载均衡配置(应用特定实现 svc_*1on_startup确保连接可用性。(tuxon_startup此种情况下本项不做要求建议明确设置地址提高可管理性减少不必要的性能开销。ngmktdom(0.125:47100) ：/ngmkt/mktweb s/ngmktdo满足通常admin仅作管理用途内存参数不做具体要求可使用缺省值。具 OOM故障详见案例分析部分80-150/15~10testonreservesize将增加堆内存占用和数据库端的资源开销。wls集群配置中要求同一网段内的不同集群设置唯一的多播地址如应用存在RMI集群地址应为集群中所有server地址的列表建议更新*jsp/servlet/resource生产环境下应适当延长文件更新检查(jsp/servlet/resource)120（1s）闭文件更新检查(-1)如使用包部署(war)情况下。当前连接策略为缺省on_demand存在负载均衡配置(应用特定实现 svc_*1on_startup确保连接可用性。(tuxon_startup此种情况下本项不做要求建议明确设置地址提高可管理性减少不必要的性能开销。日志排查 综合接口目标主机为：101102222。该主机运行一个单实例wls域。评估结果系统总体运行正常。并发相对较低，系统CPU资源占用较低，80%左右空闲中间件产品版本8.1sp4，非版本，且生命周期已；建议更新升级至10.3mp5/mp6，对于8.1，至少应使用/最终版本8.1sp6。配置检查主机配置检查使用操作系统为IBMAIX53_11ORACLE中间件产品在该环境下对系统参数无特别要求。建议：基于产品运行的稳定性、性能表现和可性，建议升级/更新至推荐的产品版本(10.3mp5/mp6)；如考虑用的可移植性，至少应使用8.1中 版本8.1sp6对于wls使用的JDK版本，建议使用满足验证平台的主版本中的 版本。产品版本：WLS：当前使用8.1sp4withCR237198，其版本为8.1sp6；当前推荐使用的产品版本wls103mp5mp6JDK(forWLS)：8.1使用1.4.2sr13；满足当前WLS产品运行要求，其/最终版本为：1.4.2sr13。参考：httpwwwibmcomdeveloperworksjavajdkaix142fixeshtmWLS域配置检查iag (2.222:8800 ：/interface s/iag满足admin仅作管理用途内存参数不做具体要求可使用缺省值。IBMJDKmx-ms>=512mkp参数。通常的初始设置可为-Xk22000-Xp64k,16k并根据应用运行情况适当调整。生产环境150=>wls实例线程数>=50缺省建议更新*testonreserve避免同时开启多个检测选项可能导致的死锁。当前同时开启了3个测试选项。size将增加堆内存占用和数据库端的资源开销。40wls集群配置中要求同一网段内的不同集群设置唯一的多播地址如应用存在RMI集群地址应为集群中所有server地址的列表建议更新缺省*生产环境下应适当延长文件更新检查(jsp/servlet/resource)120（1s）关闭文件更新检查(-1)如使用包部署(war)情况下。满足当前连接策略为缺省on_demand存在负载均衡配置(应用特定实现 svc_*1on_startup确保连接可用性。(tuxon_startup此种情况下本项不做要求建议明确设置地址提高可管理性减少不必要的性能开销。日志排查atcom.sitech.dsmp.servlet.BossRes.doPost(BossRes.java(CompiledCode))atjavax.servlet.http.HttpServlet.service(HttpServlet.java(CompiledCode))atweblogic.security.service.SecurityManager.runAs(SecurityManager.java(InlinedCompiledCode))aternal.ServletRequestImpl.execute(ServletRequestImpl.java(CompiledCode))atweblogic.kernel.ExecuteThread.run(ExecuteThread.java(CompiledCode))> 目标主机为：101102223101102224各主机独立运行4个单实例WLS1tuxedoSHM域。本次巡检的配置检查针对2223进行，其他域配置请酌情参考使用。评估结果系统总体运行正常。并发相对较低，系统CPU资源占用较低中间件产品版本8.1sp4和10.3mp3；建议更新升级至10.3mp5/mp6，对于8.1，至少应使用/最终版本8.1sp6。配置检查主机配置检查使用操作系统为IBMAIX53_11ORACLE中间件产品在该环境下对系统参数无特别要求。建议：基于产品运行的稳定性、性能表现和可性，建议升级/更新至推荐的产品版本(10.3mp5/mp6)；如考虑用的可移植性，至少应使用8.1中 版本8.1sp6对于wls使用的JDK版本，建议使用满足验证平台的主版本中的 版本。产品版本：WLS：当前使用10.3mp3(onebossDom1)，和8.1sp4withCR237198(bbossDom)，其发JDK(forWLS)：当前使用1.4.2sr13；满足当前WLS产品运行要求。/最终版本为：1.4.2sr13TUX：当前使用8.1PL319，版本为RP375；当前推荐产品版本为TUX10gR3TUX域配置检查/tbm/boss/run/cf满足maxaccessors>maxserver+ s+ s=local s+wsh(max)+1(tmadmin) *2、 NO_XAxa配置可关闭相关服务减少管理开销。OPTIONS*3、对于多CPU主机系统应适当设置sp ount(>=10000)如： OUNT=80000；具体数值根据业务吞吐量变化酌情设置。当前配置：SP 满足*1、可能使用mssq提高系统处理效率对于mssq单组服务数量应控制在10个左右MSSQ8个左右避免>10；如因并发需要可2mssq模式下尽量使用REPLYQ=Y3、类服务如WSLJSL 应在业务服务启动后再启动避免不必要的服务错误 时动重启服务以减少对业务的影响满足on_startupWLS域配置检查主机上独立运行4wls域（bbossnboss12实例weblogic）onebossSvr1onebossDom1(2.223:7001 ：/bea/weblogic81 s/onebossDom满足admin仅作管理用途内存参数不做具体要求可使用缺省值。512m~2048m-Xk15000-IBMJDKmx-ms>=512mkp参数。通常的初始设置可为-Xk22000-Xp64k,16k并根据应用运行情况适当调整。生产环境150=>wls实例线程数>=50当前配置160~3005~101提高效率。testonreservesize将增加堆内存占用和数据库端的资源开销。wls集群配置中要求同一网段内的不同集群设置唯一的多播地址如应用存在RMI集群地址应为集群中所有server地址的列表jsp/servlet-1/-生产环境下应适当延长文件更新检查(jsp/servlet/resource)120（1s）闭文件更新检查(-1)如使用包部署(war)情况下。满足*1on_startup确保连接可用性。(tuxon_startup此种情况下本项不做要求建议明确设置地址提高可管理性减少不必要的性能开销。日志排查 。2012.12.12onebossDom1@223 nbus(2.229)目标主机为：101102229。8wls实例：smspus 用户运 个实例( 个独立的 wl 实例域，均 wl 10.3)custseluipechnsms1chnjsp各运行一个单实例wlsechnsms1wls103wls81sp4。本次配置检查针对shortMsgNe (wls10.3)，uip(wls8.1)评估结果系统总体运行正常。并发相对较低，系统CPU资源占用较低中间件产品存在多个版本，8.1sp4和10.3.0，均非版本，且8.1sp4生命周期已；建议更新升至10.3mp5/mp6；对于8.1，至少应使用/最终版本8.1sp6配置检查主机配置检查使用操作系统为IBMAIX53_11ORACLE中间件产品在该环境下对系统参数无特别要求。建议：基于产品运行的稳定性、性能表现和可性，建议升级/更新至推荐的产品版本(10.3mp5/mp6)；如考虑用的可移植性，至少应使用8.1中 版本8.1sp6对于wls使用的JDK版本，建议使用满足验证平台的主版本中的 版本。产品版本：WLS81sp4withCR2371981030；当前推荐使用的产品版本为wls103mp5mp6。JDKforWLS81142sr1310316sr5WLS产品运行要求，其中14新/最终版本为：1.4.2sr13；1.6非当前版本参考：httpwwwibmcomdeveloperworksjavajdkaix142fixeshtmWLS域配置检查 ：/nbus1/uip

uip(2.229:6655)满足admin仅作管理用途内存参数不做具体要求可使用缺省值。*IBMJDKmx-ms>=512mkp参数。通常的初始设置可为-Xk22000-Xp64k,16k并根据应用运行情况适当调整。建议更新100~200testonreserve1s*对于最小值与最大值不同的场景建议适当提高增加连接的步进值(5～10)size将增加堆内存占用和数据库端的资源开销。wls集群配置中要求同一网段内的不同集群设置唯一的多播地址如应用存在RMI集群地址应为集群中所有server地址的列表建议更新缺省*生产环境下应适当延长文件更新检查(jsp/servlet/resource)120（1s）关闭文件更新检查(-1)如使用包部署(war)情况下。满足*on_demand*1on_startup确保连接可用性。(tuxon_startup此种情况下本项不做要求*2、根据需要配置域连接的高可用性。(容错建议明确设置地址提高可管理性减少不必要的性能开销。日志文件较多建议根据实际情况归档或限制日志文件数量shortMsgNew(2.229:9005) ：/smspush s/shortMsgNe满足admin仅作管理用途内存参数不做具体要求可使用缺省值。*IBMJDKmx-ms>=512mkp参数。通常的初始设置可为-Xk22000-Xp64k,16k并根据应用运行情况适当调整。如存在突发的高并发应适当增加初始线程数.启动中添加参-；具体数值请参考并发数和资源酌情调整单实例不宜>200当前2~155~15size将增加堆内存占用和数据库端的资源开销。wls集群配置中要求同一网段内的不同集群设置唯一的多播地址如应用存在RMI集群地址应为集群中所有server地址的列表建议更新缺省*生产环境下应适当延长文件更新检查(jsp/servlet/resource)120（1s）关闭文件更新检查(-1)如使用包部署(war)情况下。当前连接策略为缺省on_demand存在负载均衡配置(应用特定实现 svc_*1on_startup确保连接可用性。(tuxon_startup此种情况下本项不做要求建议明确设置地址提高可管理性减少不必要的性能开销。日志排查:: dsmp(2.24)目标主机为：10110224。1wls实例。评估结果系统总体运行正常。并发相对较低，中间件应用系统对CPU资源的占用较低(当前的CPU负载主要由其他应用造成)中间件产品使用8.1sp4版本，非版本，且生命周期已；建议更新升级至10.3mp5/mp6；对8.1，至少应使用/最终版本8.1sp6配置检查主机配置检查使用操作系统为IBMAIX53_09ORACLE中间件产品在该环境下对系统参数无特别要求。建议：基于产品运行的稳定性、性能表现和可性，建议升级/更新至推荐的产品版本(10.3mp5/mp6)；如考虑用的可移植性，至少应使用8.1中 版本8.1sp6对于wls使用的JDK版本，建议使用满足验证平台的主版本中的 版本。产品版本：WLS81sp4withCR237198；当前推荐使用的产品版本为wls103mp5mp6JDK(forWLS)：使用1.4.2sr11，满足当前WLS产品运行要求，其中1.4/最终版本为142sr13参考：httpwwwibmcomdeveloperworksjavajdkaix142fixeshtmWLS域配置检查dsm (2.24:21000 ：/dsmp s/dsm满足admin仅作管理用途内存参数不做具体要求可使用缺省值。*IBMJDKmx-ms>=512mkp参数。通常的初始设置可为-Xk22000-Xp64k,16k并根据应用运行情况适当调整。生产环境150=>wls实例线程数>=50当前配置建议更新100~150*testonreserve避免同时开启多个检测选项可能导致的死锁。当前同时开启了3个测试选项。size将增加堆内存占用和数据库端的资源开销。wls集群配置中要求同一网段内的不同集群设置唯一的多播地址如应用存在RMI集群地址应为集群中所有server地址的列表建议更新缺省*生产环境下应适当延长文件更新检查(jsp/servlet/resource)120（1s）关闭文件更新检查(-1)如使用包部署(war)情况下。满足on_demand*1on_startup确保连接可用性。(tuxon_startup此种情况下本项不做要求建议明确设置地址提高可管理性减少不必要的性能开销。日志排查当前系统运行日志中无重大故障信息。存在与故障记录类似的线程挂起和连接池容量不足问题，业务端暂时未有明显影响，建议适当关注。 chnesb(2.77,2.78)目标主机为：10110277278；两台主机应用配置类似，各自运行四个独立的单wls实例域上次巡检为3个独立域)。巡检目标主机为2.77；wls域配置检查目标为es 1@2.77(*巡检时主机地址使用0.77，0.78评估结果系统总体运行正常。并发相对较低，中间件应用系统对CPU资源的占用较低中间件产品使用8.1sp6版本，为8.1的/最终版本，该产品版本生命周期已；建议更新升级103mp5mp6配置检查主机配置检查使用操作系统为IBMAIX53_11ORACLE中间件产品在该环境下对系统参数无特别要求。中间件产品版本检查建议：基于产品运行的稳定性、性能表现和可性，建议升级/更新至推荐的产品版本(10.3mp5/mp6)。产品版本：WLS81sp6；当前推荐使用的产品版本为wls103mp5mp6JDK(forWLS)：使用1.4.2sr13，满足当前WLS产品运行要求，其中1.4/最终版本为142sr13参考：httpwwwibmcomdeveloperworksjavajdkaix142fixeshtmWLS域配置检查es 1(2.77:57300 ：/chnesb s/es admin仅作管理用途内存参数不做具体要求可使用缺省值。IBMJDKmx-ms>=512mkp参数。通常的初始设置可为-Xk22000-Xp64k,16k并根据应用运行情况适当调整。生产环境150=>wls实例线程数>=50当前配置20~50testonreservesize将增加堆内存占用和数据库端的资源开销。wls集群配置中要求同一网段内的不同集群设置唯一的多播地址如应用存在RMI集群地址应为集群中所有server地址的列表建议更新缺省*生产环境下应适当延长文件更新检查(jsp/servlet/resource)120（1s）关闭文件更新检查(-1)如使用包部署(war)情况下。on_startup存在负载均衡和容错配置(高可用性1on_startup确保连接可用性。(tuxon_startup此种情况下本项不做要求建议明确设置地址提高可管理性减少不必要的性能开销日志排查当前系统运行日志中无重大故障信息。 umcapacityofpool"chnesblogDS",making"0"newresourceinstancesinsteadof HLJPortal (67.4,67.5)目标主机为：101116746757wls域admin+6managedadmin6757000。评估结果系统总体运行正常。并发相对较低，CPU资源空闲在60%左右。中间件产品使用10.3.3版本，非版本，建议更新升级至10.3mp5/mp6配置检查主机配置检查使用操作系统为HP1131iTCPIP参数：中间件产品版本检查建议：基于产品运行的稳定性、性能表现和可性，建议升级/更新至推荐的产品版本(10.3mp5/mp6)。对于wls使用的JDK版本，建议使用满足验证平台的主版本中的 版本。产品版本：WLS103mp3；当前推荐使用的产品版本为wls103mp5mp6JDK(forWLS)：使用HP1.6_05(2009.10)，满足当前WLS产品运行要求，非版本，建议升级WLS域配置检查HLJPorta (67.5:7000 ：/home/HLJPortal/HLJPortaadmin仅作管理用途内存参数不做具体要求可使用缺省值。14096m~4096mmaxpermsize如存在突发的高并发应适当增加初始线程数.启动中添加参-；具体数值请参考并发数和资源酌情调整单实例不宜>200150~150*testonreservesize将增加堆内存占用和数据库端的资源开销。wls集群配置中要求同一网段内的不同集群设置唯一的多播地址如应用存在RMI集群地址应为集群中所有server地址的列表建议更新*jsp/servlet/resource0/-1/-*生产环境下应适当延长文件更新检查(jsp/servlet/resource)120（1s）关闭文件更新检查(-1)如使用包部署(war)情况下。on_startup存在负载均衡和容错配置(高可用性1on_startup确保连接可用性。(tuxon_startup此种情况下本项不做要求建议明确设置地址提高可管理性减少不必要的性能开销日志排查当前系统运行日志中无重大故障信息。营业系统wls实例Crash本次巡检中，仍然存在jvmcrash故障记录20121104@121core文件不完整，如需后续排查，需要增加corefilesize以生成完整core文件；2012.11.19@122)。基于crash记录，建议及时更新JDK。08.2113:25wls实例(122:12000)，生成了core文件和javacore文件。javacore显示进程收到信号4(Signal4,SIGILL)，当前线程203nostack。dbxcoredbxusrjava14binjavacore):Illegalinstruction(illegalopcode)in.at0x4f80098c(dbx)where.(internalerror:assertionfailedatline3650infileframe....+++reflink/support/docview.wss?uid=swg21181068#2.1.1SIGILLThisistheequivalentofakill-4command.Thismeansanillegalinstructionwasexecuted.Thiscanmeanacorruptionofthecodesegmentoranbranchthatisnotvalidwithinthenativecode.ThissignaloftenindicatesaproblemcausedbyJIT-compiledcode.建议：在对应的wls启动中添加JVM运行参数-Dpiler=NONE关闭JIT优化编译同时在IBMJDK1.4.2的故障解决列表中存在多个crash的记录，建议更新JDK至1.4.2的 本（*JDK版本升级通常会要求特定OS补丁，升级JDK时务必按其要求安装可能的OS补丁）线程挂起(stuckthreads)线程执行特定业务请求过长的现象称为线程挂起，此种情况下线程无法接受执行新的业务请求。通常为资源或特定耗时业务操作导致；某些情况下，当资源得到满足或耗时操作完成后，线程能够恢复正常并响应新的请求；而如果资源和耗时操作（包括错误的代码实现）无法得到满足或完成时，线程将持续维持在挂起stuckwl实例重启。多个系统中存程挂起警告信息，部分线程能够在后续运行中恢复正常(unstuck)，此种挂起主要为耗时的业务操作，需要开发人员对相关的业务场景进行必要的排查，确认是否为正常的业务所需。对于特定耗时较长的业务场景，建议对此种操作分配单独的执行队列81或工作管理器90，以避免相关操作对业务系统整体的影响。*仅支持jspservletejb，即相关场景必须在此三种具体实现中是可区分的。(…后续措施：出现server线程挂起或响应慢时获取threaddump以供更进一步的排查分析；确认是否为正常的业务场景耗时。(kill-3wls_java_pid，ibmjvm会在运行 产生类似javacore<pid>.(…TUXEDO8.1RP320~375relnotesCR326196[Mentoring]Tuxedo8.1RP135 memoryCR328503Tx8.1RP278tpchkauthby failswithTMTRACE=onand321.CR330272TUXEDO8.1RP317Solaris10-ISHdumpscorewhenhandlingserviceCR313125TUX8.1-Inter-operationwithJDK1.5failedifthemethodhasnoCR332234Jolt8.1-CR015768shouldbeoptionaltosupportload-CR333616TUX8.1:TMQUEUECRASHinheavyCR334618Tx8.1[propagation] mayfailtopropagateABORTCR339271TUXEDO8.1-[idltojava]cannotre-opennon-innermostCR303073Reached100%ofTUXEDOSystemBinaryLicensedUserCountCR342392TUX8.1-TuxedocrashesasULOGhitssystemfilesizeCR342473TUX8.1- statusiswrongandWkQueuedcannotbeCR341498AIX5.232bitExcessiveCPU(System)UsageinCR340988TUX8.1:JSHwillbehighCPUwhenFMLdataislargethanCR343914Tuxedo8.1Application sisdownitcauseshangsforallother sinsteadofthroughingTPESYSTEMCR338786Jolt8.1:JoebugpatchneededforDESkeygeneratedCR349734TUX8.1tmshutdownfailswith"CMDTUX_CAT:766:ERROR:mustrunonmasternode"onHPUXCR351564TUX8.1:PleasepropagateCR347646fromCR345960TUX8.1:LIBWSC_CAT:1032occurswhenusingtpchkunsol()underchildCR347783SupportingTSAM1.1inTuxedoCR352735Tuxedo8.1"LIBTUX_CAT:579:ERROR:Unabletoobtaintheregistryslotownedbyprocess"Restart/CleanupserverCR355549TUX8.1:TMIBcannotgetserviceexecutionstatisticsonMPwithLDBAL=NbuttmadmCR355558tuxedo8.1:jolt8.1callfailedwhenfmlfieldnumberexceedCR356695TUXEDO8.1-servercoreswithSEGV_ACCERRintpadvertise()whenservicename>=16CR357076TUX8.1:JSHrefusesomerequestwhenuseCR358511TUXEDO8.1-LinuxItaniumtest-and-setimplementationnotCR359976Tuxedo8.1-backportreq ludedinTux9.1CR362611TUXEDO8.1-[TMFFNAME]CORBAInteroperabilityissuewithIBMJDK5.0(WebSphereCR362787TUX8.1-patchinstalleroverwritefailsafterCR352735Tuxedo8.1"LIBTUX_CAT:579:ERROR:Unabletoobtaintheregistryslotownedbyprocess"Restart/CleanupserverCR363382JoltSessionPooldoesnotseemtothrowany342.CR360257TUX8.1/HPUX(64bit):MHSCACHE=0closewrongfile342.CR363030TUX8.1[PatchRequest]-LoadBalancingonJoltConnection342.CR361519TUX8.1-TuxedoCORBAinfrastructurewithCORBADIIhandlestheoutput orrectlywiththeuserdefined343.CR363760TUX9.0:CMDTUX_CAT:4846/LIBTUX_CAT:669outputswhen sdisconenctand343.CR367321TUXEDO8.1-[ISH]memoryleakwheninvokingtransactionsusing343.CR366342TUX8.1:PleasepropagateCR355736fromTuxedo9.1(Bug8148516:TUX9.1:LIBWSC_CAT:1512WHENCALLINGTPINIT()/TPTERM()INMULTIPLETHREADS)CR359921TX8.1Tpenqueueon6.5/WSto failstosenduseridtoTMACR369510Tuxedo8.1:pleasebackport crashonslavenodeifitcannotCR369931TUX8.1:multipleLIBTUX_CAT:216outputswhenWSHCR369920TUXEDO8.1[/]EvenwithTM_GW_TRAN_ROUTE/Joltor/WScallsdon'tusethesame/CR373324TUX8.1:propagateCR040831:qmadminloopswhenparentprocessisCR368875Tux8.1/Tux9.1SMCTfeatureisnotCR373179TUX8.1:transactionerrorwhenthecustomerconfigureMAXDISPATCHTHREADSforsinglethreadCR379408Tux8.1:TheselConnectionmethodwillhangwhenusingJoltSessionPoolwithmulti-CR379735ICUCR374626TUX8.1-tpbegin()withinfinitetimeoutdoesnotworkwhenTM__KEEPTRissetonremote advertisedservicecalledCR378954TUX9.1-Multicontext unsolicitedmessagefailureatCR381548TUX8.1:mkfldhdr32willfailedonHPCR381997TUX8.1:CORBA.INTERNALExcpetionraisedwhentmshutdown-kKILLtheCR379524TUX8.1:xa_start(