版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
1、包头社保系统问题全面诊断报告工程师:赵欣报告生成日期 : 2010-4-8系统整体架构描述:存储阵列B1DB2SAN光纤交换机包头社保数据中心包头社保系统 Oracle RAC应用服务器应用服务器_S1S2包头社保中间件应 用服务器系统包头社保数据中心主要有3个主要的逻辑子系统组成,分别是:中间件应用集群服务器子系 统,数据库集群子系统,存储子系统。这3个子系统的功能及实施配置情况如下:(1) 中间件应用集群服务器子系统:由两台IEM P 5 7 0组成应用集群,应用服务器为Weblogic9,其中在 应用服务器S1和S2上分别同时部署运行医保结算系统和中心端业务系统,该子系统的 主要功能是提
2、供应用业务系统的运行环境,支撑客户端使用业务系统。(2) 数据库集群子系统:由两台IBM P570组成Oracle数据库RAC集群,数据库版本为“ OracleDatabase 10g En terprise Editio n Release 10.2.0.1.0 - 64bi”该子系统的主要功能是提供业务数据的7*24的操作与管理以及保证业务数据安全。(3) 存储子系统:由IBM DS-8000存储设备组成,主要功能是提供数据的存储以及高效的数据读写。二 中间件应用集群服务器子系统问题排查:(1)问题分析:影响中间件服务器性能参数:参数名称原先设置分析结果JVM heap Size1G满足应
3、用需要,没有问题数据库连接池初始连接数1太低,不满足应用需要数据库连接池最大连接数15太低,不满足应用需要数据库连接池连接增长数1太低,不满足应用需要根据以上对影响中间件服务器性能参数的分析,可以看出JAVA虚拟机内存参数配置(JVM heapSize )没有问题,并且可以满足应用需要;数据库连接池相关参数的配置太小,不满实际应用需要,建议要根 据实际情况进行调整。(2)问题解决方案:通过分析实际应用情况以及业务高峰期的并发用户数,对数据库连接池参数作出了如下调整:数据库连接池初始连接数调整为:50数据库连接池最大连接数调整为:100数据库连接池连接增长数调整为:5三数据库集群子系统问题排查:
4、(1)内存使用问题分析与排查:基本内存使用参数配置:参数名称参数作用参数值分析结果sga_target决定系统全局区 SGA的大小,由于大部分操作 都要在SGA中完成,所以该参数对数据库的 性能起到决定性的作用。5G略显小sga_max_size决定SGA最大可以设置为多少5G略显小pga_aggregate_target决定用户全局区 PGA的大小,该参数决定是否 用户的大量计算可在内存中完成,因此该参数 对数据库性能也起到非常关键的作用。1G可以满足需要,建议再调大一些基本内存使用情况指标:指标项检查该指标所依据的脚本命 令检查结果分析结果建议操作Data Buffer Cache命中se
5、lect1 - (phy.VALUE -lob . VALUE - dir.VALUE) /ses. VALUE Buffer CacheHit Ratio98%以上基本满足要求,理想状 态应该达到99%以上。由系统集成人员适 当调整SGA大小。率fromv$sysstat ses, v$sysstatlob , v$sysstatdir, v$sysstat phywhere ses. NAME = session logical reads and dir. NAME = physical reads direct and lob . NAME = physical reads direc
6、t (lob)and phy. NAME = physical reads;主要的原因可能是由于SGA大小略显小的缘 故。调整时要参考最大 可用内存数,建议 该参数值应该在8G 以上。SharePool 中 liberary cache 命中率SELECT SUM(PINHITS - RELOADS) / SUM(PINS) HIT RADIO,SUM(RELOADS) /SUM(PINS) RELOAD PERCENTFROM V$LIBRARYCACHE;98%以上满足要求,不过重载率 为0.26%略显高,可能会 影响系统SQL语句软解 析度系统SQL语句软解析度select (t1.va
7、lue - t2.value) / t1.value) * 100from (select valuefrom v$sysstat where name like parse% and name in (parse count (total) t1,(select value from v$sysstat where name like parse% and name in (parse count (hard) t2;93%过低,作为一个具有咼 并发访问量的联机在线 事务系统来说,SQL语 句的软解析度应该在 98%以上,最低不能低 于 97%。建议排查频繁被使 用功能的程序代 码,看一下是
8、否合 理使用了绑定变 量。查询PGA工作状态信息selectname profile ,cnt,decode(total,0,0,round(cnt *100 / total)percentagefrom ( select name, value cnt, (sum( value )over() totalfrom v$sysstatwhere name like workarea exec%);100%工作 于optimal 状 态满足要求查看内存与硬 盘的排序比例select d. VALUE Disk , m. VALUE Mem, (d. VALUE / m. VALUE) Ratio
9、from v$sysstatm, v$sysstat dwhere m. NAME=sorts (memory)and d. name=sorts (disk);基本全部 属于内存 排序满足要求(2) I/O问题分析与排查:基本I/O参数配置:参数名称参数作用参数 值分析结果db_控制数据库多块读取时一次最 多读多少数据块16建议调整到32log_archive_max_processes控制归档进程最大数3满足要求db_writer_processes控制数据库写操作进程数量2根据当前数据库数据文件数量,该值 显得略低,建议调咼disk_as yn ch_io控制数据库是否使用异步I/Otr
10、ue满足要求数据库I/O使用指标:指标 项检查该指标所依据的脚本命令检查结果分析结果建议操作检查 数否 存在 磁盘I/O瓶颈select event, total_waits,time_waited ,total_timeouts,average_waitfrom v$system_event t where eventin(log completion,log (checkpoint incomplete),log (archiving needed),control write,log write);系统中存在比 较频繁的引发 增量检查点的 操作,致使CKPT进程过 于繁忙,引发 了一定I
11、/O压 力基本满 足要 求,但 增量检 查点引 发过于 频繁检查频繁使用的程 序,是否存在频繁执 行Commit的情况。Commit操作要 尽量使用批量提交, 本着以事务单元为提 交的准则。(3)资源竞争问题分析与排查:资源竞争相关基本参数设置参数名称参数作用参数 值分析 结果log_checkpo in t_timeout指定距下一个检查点出现的最大时间间隔(秒数)。1800满足 要求Un do_rete ntio n用来指定要在数据库中保留的已提交的撤消信息的时间900满足 要求Processes指定可同时连接到一个Oracle Server上的操作系统用户进程的最大数量1000满足 要求
12、Open _cursors指定一个会话一次可以打开的游标(环境区域)的最大数量,并且限制PL/SQL使用的PL/SQL游标高速缓存的大小,以避免用户再次执行语句时重新进行语法分 析。3000满足 要求Dml_locks所有用户获取的表锁的最大数量4860满足 要求数据库事务锁问题:指检查该指标所依据检查结果标的脚本命令项事 务 锁 情 况T2.SQL_TEXT,T2.SQL_FULLTEXTFROM( SELECT B.SQL_ID,BSD,B.MACHINE,C.OBJECT_NAME,A.ORACLE_USERNAME,A. LOCKED_MODE,B.OSUSER,alter syste
13、m kill session|B.SID |,|B.SERIAL# |FROM V$LOCKED_OBJECT A, v$sessioNb, ALL_OBJECTS C WHEREA. SESSIO ND =B. SIDAND A.OBJECT_ID =C. OBJECT_ID) T1,v$sqLareaT2WHERET1.SQL_ID = T2.SQL_ID;在数据库中长时间存在事务锁,在等待事件中长时间存在enq: TX - row lock contentio事件。长时间存在事务锁定的表为:KC04、KC21、KC22、KC23、KC24、KC29操作上述表并引起锁的 SQL语句如下:U
14、PDATE KC04 SET AKC317 = :B3 , OAE300 = PKG_A_COMM.FUN_GETOAE300, OAE301 = OAE300 WHERE AAC001 = :B2 AND AAE001 = :B1UPDATE KC04 SET AKC317 = :B3 , OAE300 = PKG_A_COMM.FUN_GETOAE300, OAE301 = OAE300 WHERE AAC001 = :B2 AND AAE001 = :B1UPDATE KC21 SET AAE100 = O, AAE011 = :B6 , AAE036 SYSDATE, AKC384 =
15、 :B5 , AKC380 = :B4 , AKC381 = :B3 , AKC319 = 0, OAE300 = PKG_A_COMM.FUN_GETOAE3 OAE301 = OAE300 WHERE AKB020 = :B2 AND AKC190 =:B1 AND AKA135 = 1 AND AAE100 = 1BEGIN PKG_K_SIINTERFACE.PRC_K_SIINTERFACE(:1,:2,:3,:4,:5 END;BEGIN PKG_K_SIINTERFACE.PRC_K_SIINTERFACE(:1,:2,:3,:4,:5 END;BEGIN PKG_K_SIINT
16、ERFACE.PRC_K_SIINTERFACE(:1,:2,:3,:4,:5 END;BEGIN PKG_K_SIINTERFACE.PRC_K_SIINTERFACE(:1,:2,:3,:4,:5 END;BEGIN PKG_K_SIINTERFACE.PRC_K_SIINTERFACE(:1,:2,:3,:4,:5 END;BEGIN PKG_K_SIINTERFACE.PRC_K_SIINTERFACE(:1,:2,:3,:4,:5 END;UPDATE KC04 SET AKC317 = :B3 , OAE300 = PKG_A_COMM.FUN_GETOAE300, OAE301
17、= OAE300 WHERE AAC001 = :B2 AND AAE001 = :B1UPDATE KC04 SET AKC317 = :B3 , OAE300 = PKG_A_COMM.FUN_GETOAE300, OAE301 = OAE300 WHERE AAC001 = :B2 AND AAE001 = :B1UPDATE KC04 SET AKC317 = :B3 , OAE300 =PKG_A_COMM.FUN_GETOAE300, OAE301 = OAE300WHERE AAC001 = :B2 AND AAE001 = :B1UPDATE KC04 SET AKC317 =
18、 :B3 , OAE300 = PKG_A_COMM.FUN_GETOAE300, OAE301 = OAE300 WHERE AAC001 = :B2 AND AAE001 = :B1(4) Oracle RAC 节点间通讯及竞争监控:指标项检查该指标所依据的脚本命令检查结果分析 结果建议 操作Clobal Cache Service 等待事件SELECT INST_ID, EVENT,P1 ,P2 BLOCK_NUMBER,WAIT_TIMEFROM GV$SESSION_WAITWHERE EVENT IN (gc buffer busy, global cache busy);没有发生
19、满足 要求节点间一致性读(CR)效率,Oracle 建议如果avg receive time 小于10ms,说明CR效率正常SELECT B1.INST ID,B2.VALUE received,B1.VALUE receivedtime,(B1.VALUE / B2. VALUE) *10) avg receive time(ms)FROMGV$SYSSTAT B1,avg receive time 为 0.6ms满足 要求GV$SYSSTAT B2 WHEREB1. N receive time ANDB2. N receivedAME= gc cr blockAME= gc cr blo
20、cksANDB1N ST ID = B2N ST ID;节点间Current读效率,Oracle建议 avg receive time 小于 15ms,贝V Current Read效率正常SELECT B1NST ID,B2.VALUE received,B1.VALUE received time,(B1.VALUE / B2. VALUE) *10) avg receive time(ms)FROMGV$SYSSTAT B1, GV$SYSSTAT B2WHEREB1. NAME= gc current block receive timeAND B2. NAME= gc current
21、 blocks receivedAND B1N ST ID = B2N ST ID;11avg receive time 为 1ms满足 要求(5)其他一些影响数据库性能参数的设置:参数名称参数作用参数值分析结果optimizerndex_cost_adj在成本优化情况下的 SQL执 行时转化成使用索引访问的 百分比100值过咼可能会引发索引被 弃用,建议设为25optimizerndex_cachi ng在缓冲区高速缓存中期望用于 嵌套循环联接的索引块的百分 比0对于联机事务系统值过 低,应该调高,建议调整到90query_rewrite_e nabled启用或禁用对实体化视图的查 询重写t
22、rue满足要求optimizer_mode成本优化器模式ALL_ROWS满足要求四、存储子系统问题排查:个数据表空间使用情况检查:检查依据的命令脚本:select b.文件 ID 号,b.tablespace_name表空间名,b.bytes /1024 /1024 |M 字节数,(b.bytes -sum(nvl(a.bytes,0)/1024 /1024 |M 已使用,sum(nvl(a.bytes,0) /1024 /1024 |M剩余空间,100 - sum(nvl(a.bytes,0) / (b.bytes) *100 已使用空间 百分比from dba_free_space a,
23、dba_data_files bwhere a. = b.group by b.tablespace_name, b., b.bytesorder by b.;表空间名字节数已使用剩余空间已使用百分比SYSTEM1020M1001.875M18.125M98.22303922UNDOTBS110235M191.0625M10043.9375M1.866756229SYSAUX1020M956.0625M63.9375M93.73161765USERS4095M4078M17M99.58485958EXAMPLE150M77.6875M72.3125M51.79166667UNDOTBS2680
24、9.0625M42.9375M6766.125M0.630593419USER_PUB2000M.0625M1999.9375M0.003125USER_A10100M9363.625M736.375M92.70915842USER_I10100M10024M76M99.24752475USER_I10100M9444M656M93.5049505USER_I10100M9852M248M97.54455446USER_K10100M9742.0625M357.9375M96.45606436USER_K10100M10049.0625M50.9375M99.49566832USER_R101
25、00M8167.0625M1932.9375M80.86200495USER_KC2110100M1538.1875M8561.8125M15.22957921USER_KC2210100M10041.4375M58.5625M99.42017327USER_KC2210100M8963.8125M1136.1875M88.75061881USER_KC2210100M10040.5M59.5M99.41089109USER_KC2310100M600.25M9499.75M5.943069307USER_KC2410100M2604.5625M7495.4375M25.78774752USE
26、R_DRM10100M13.6875M10086.3125M0.135519802HNLMDATA10100M1.0625M10098.9375M0.010519802HNLMDATA10100M1.0625M10098.9375M0.010519802HNLMDATA10100M2.0625M10097.9375M0.020420792INDX PUB2000M.0625M1999.9375M0.003125INDX_SIMIS4040M.3125M4039.6875M0.007735149INDX_A4040M419.4375M3620.5625M10.38211634INDX_F1010
27、0M10051M49M99.51485149INDX_I10100M9557M543M94.62376238INDX_I10100M9586.0625M513.9375M94.9115099INDX_K4050M1297.5625M2752.4375M32.03858025INDX_R950M.5625M949.4375M0.059210526INDX_AC1310100M10042.875M57.125M99.43440594INDX_KC2110100M680.3125M9419.6875M6.735767327INDX_KC2210100M2178.25M7921.75M21.56683
28、168INDX_KC2210100M6657.4375M3442.5625M65.91522277INDX_KC2210100M6673.9375M3426.0625M66.07858911INDX_KC2310100M576.125M9523.875M5.704207921INDX_KC2410100M640.375M9459.625M6.340346535HNLMINDEX10100M.0625M10099.9375M0.000618812HNLMINDEX10100M.0625M10099.9375M0.000618812HNLMINDEX10100M.0625M10099.9375M0
29、.000618812INDX_DRM2000M8.6875M1991.3125M0.434375UNDOTBS110100M138.5M9961.5M1.371287129UNDOTBS210100M27.4375M10072.5625M0.271658416UNDOTBS210100M27.0625M10072.9375M0.267945545INDX_AC2010100M7350.5M2749.5M72.77722772INDX_AC2010100M7413.0625M2686.9375M73.39665842INDX_AC2010100M7415.1875M2684.8125M73.41
30、769802USER_AC1310100M10086M14M99.86138614INDX_AC1310100M9770.0625M329.9375M96.73329208USER_SIMIS10100M10097.5M2.5M99.97524752USER_F9800M9795.0625M4.9375M99.94961735USER_F9800M5253.875M4546.125M53.61096939INDX_AC209800M8397.0625M1402.9375M85.68431122INDX_AC209800M8340.0625M1459.9375M85.10267857SYSTEM
31、2800M76.0625M2723.9375M2.716517857INDX_AC139800M9662.9375M137.0625M98.60140306PERFSTAT900M145.8125M754.1875M16.20138889USER_SIMIS10100M10057M43M99.57425743USER_SIMIS10100M10099.5M.5M99.9950495USER_AC139800M9799.9375M.0625M99.99936224USER_AC139800M9651.9375M148.0625M98.48915816INDX_AC1310100M8750.375
32、M1349.625M86.63737624INDX_AC1310100M8527.25M1572.75M84.42821782USER_I10100M8386M1714M83.02970297USER_I10100M10059.9375M40.0625M99.60334158USER_K10100M3002.0625M7097.9375M29.72339109USER_K10100M2940.125M7159.875M29.11014851USER_SIMIS10100M9547.5M552.5M94.52970297USER_SIMIS10100M9808M292M97.10891089US
33、ER_AC1310100M7972.875M2127.125M78.93935644USER_AC1310100M6001.8125M4098.1875M59.42388614SYSAUX1023M518.0625M504.9375M50.6414956INDX_AC1310238M.0625M10237.9375M0.000610471USER_AC1310238M6904.875M3333.125M67.4435925USER10238M3420.25M6817.75M33.40740379USER_KC2210238M2265.0625M7972.9375M22.12407208INDX
34、_I10100M3102.0625M6997.9375M30.7134901USER_SIMIS10100M2586.0625M7513.9375M25.60457921INDX_F10100M321.0625M9778.9375M3.178836634USERS4000M229.75M3770.25M5.74375USER I10100M1081.0625M9018.9375M10.70358911从查询结果来看,每个表空间都存在多个数据文件,有很多的数据文件已使用空间百分比已经占到了 99%,通过与现场人员沟通了解到由于进行数据转换因此生成了大量的垃圾数据,这些垃圾数据大量占 用存储空间,
35、而且有时还会影响到数据库性能。通过与现场人员沟通,并经过认真排查,最终确定要删 除800张存放垃圾数据的表来释放存储空间,由于要删除的表过多这里就不列出这些表了,但是建议要尽快做数据清理的相关工作。五、之前出现的应用中断问题原因分析及解决办法:通过上述对中间件集群服务器子系统、数据库集群子系统、存储子系统的综合分析可以得出,数据库在 相关性能问题的参数配置上存在一些问题,但是这些问题属于不会造成重大影响的问题,更不会引发应用系 统中断。同时通过分析终端发生时的应用服务器日志,可以发现中断的发生是由于数据库连接池中的连接被 耗尽造成的。而且用户反映在应用终端时还出现了应用系统对应的数据库用被锁定的情况,这个情况在应用 服务器日志当中也有记录,即发生了ORA-28000错误,经过与 Oracle发布的错号对比,发现 ORA-28000错误是当从客户端连接数据库失败次数超“FAILED_LOGIN_ATTEMPTS”参数所限定的次数时,Oracle认为这个连接可能是一个潜在的攻击行为,为了保护相关的数据库用户,Oracle就会采取将该用户账户锁定的做法来保护这个用户。FAI
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 二零二五版带封闭式储藏室二手房买卖合同样本2篇
- 二零二五年度储油罐安全监控与报警系统采购合同3篇
- 2025年度木材厂租地合同与林业资源保护补偿协议4篇
- 专利合作合同书
- 二零二五年度煤炭居间代理及市场拓展服务合同4篇
- 2025年度个人网络平台服务合同书标准范本4篇
- 2024版施工电梯使用租赁协议3篇
- 2025年度房屋拆除工程消防验收及安全措施合同4篇
- 二零二五版生态旅游区植被恢复与生态旅游服务合同4篇
- 2025年度大学生实习就业实习单位评价标准合同4篇
- 2024年云南省中考数学试题含答案解析
- 国家中医药管理局发布的406种中医优势病种诊疗方案和临床路径目录
- 2024年全国甲卷高考化学试卷(真题+答案)
- 汽车修理厂管理方案
- 人教版小学数学一年级上册小学生口算天天练
- (正式版)JBT 5300-2024 工业用阀门材料 选用指南
- 三年级数学添括号去括号加减简便计算练习400道及答案
- 苏教版五年级上册数学简便计算300题及答案
- 澳洲牛肉行业分析
- 计算机江苏对口单招文化综合理论试卷
- 成人学士学位英语单词(史上全面)
评论
0/150
提交评论