主机及存储设备性能监控方案

1、主机及存储设备性能监控方案一背景和目标目前，为各省配备的小型机和存储设备都已进入稳定运行阶段，总局信息中心决定在各省开展小型机和存储设备的性能监控工作，对小型 机和存储设备的主要性能数据进行定期采集，了解和掌握当前设备的性 能和压力状况，为基础设施的运行维护、资源优化和建设规划工作积累 经验和提供依据。二监控范围主机及存储设备性能监控的范围主要包括总局统一为各省配备的HP小型机(superdome、IBM小型机(P595, P570)和EMC磁盘阵列 设备。三监控时间主机及存储设备性能监控工作将对连续 3个月内的关键时间点对HP 小型机、旧M小型机和EMC磁盘阵列设备的关键性能指标进行数据采

2、集，建议在系统忙时和闲时分别进行检测。 一般建议每月至少监控4天， 其中征期至少两天，非征期至少两天；每天监控至少4次，其中忙时至少两次，闲时至少两次。具体监控时间和详细的监控次数，各省可根据 本省的业务特点进行确定和调整。四监控方式主机及存储设备性能监控通过运行小型机及存储设备自带的命令对关键性能指标进行查看，并进行数据采集。技术方案第五部分详细介绍 了 HP小型机、旧M小型机和EMC磁盘阵列性能监控命令的操作指南。 数据采集工作可直接按照操作指南运行命令进行，也可以通过运行命令 脚本（详见附件三）进行。五操作指南5.1 IBM小型机性能监控方案5.1.1 系统性能检查方式及说明：（一）IB

3、M小型机性能监控均通过 旧M AIX系统自带命令，非第三方 软件。IBM AIX系统安装后，无需额外安装任何软件包即可使用。（二）IBM小型机性能监控的命令，均不额外增加系统负荷。即是说当系统繁忙度较高时，仍可执行下列命令，且不对系统造成影响。（三）采样数据的保存。通过执行 旧M小型机性能监控命令，输出结 果的保存办法，一般常用以下几种：1、使用专业的telnet工具登录到主机上。专业telnet工具均会含有 “捕获输出文字”的功能，只要打开捕获输出文字功能，所有的输出均会记录到文件中。（推荐，不影响系统）2、使用AIX系统的输出重定向功能。命令格式：#命令 > 文件名上面的方式是将命令

4、的输出结果直接输出到一个文件中。例如： # vmstat 2 10 > /tmp/vm_output这个命令会将 命令vmstat 2 10的输出结果放在 /tmp目录下的 vm_output 文件中。5.1.2 IBM小型机性能监控方案IBM小型机性能监控方案主要对旧M小型机的CPU状况、磁盘I/O吞吐状况、内存及虚拟内存使用率和硬盘空间状况等关键指标进行性能 监控，具体操作如下：CPU状况监控方式：通过vmstat命令检查系统CPU使用情况操作示例：#vmstat 2 10参数说明：2表示每隔2秒取样一次，10表示共取样10次。这2个参 数的具体值可以根据需要自由定义。输出示例：#

5、vmstat 2 10System configuration: lcpu=2 mem=3920MBkthr memorypage faults cpu r b avm fre re pi po fr sr cy in sy cs us sy id wa 0 0229367 3327450000003198 690 0 99 00 0229367 332745000000333 660 0 99 00 0229367 332745000000233 680 0 99 00 0 229367 332745 0 0 0 0 0 0 80 306 100 0 1 97 1 0 0229367 332

6、745000000120 680 0 99 00 0229367 332745000000236 640 0 99 00 0 229367 332745 0 0 0 0 0 0 2 33 66 0 0 99 00 0 229367 332745000000221 660 0 99 00 0 229367 3327450000001237 640 0 99 00 0 229367 332745000000219 660 0 99 00 0 229367 332745000000637 760 0 99 0输出说明：(1) 'page部分'pi'列表示 page in；&#

7、39;po'歹！J表示 page outpi'和'po'的数值一般为0。如果长期不为0,说明系统需要频繁的进 行从硬盘上的虚拟内存部分进行页的交换，物理内存不足。(2) 'cpu部分：'us列表示用户进程占用的CPU的百分比；'sy'列表示系统进程占用的CPU的百分比；'id'列表示空闲的CPU的百分比；'wa'表示CPU处于等待IO状态的百分比.；一般如果id项的值长期低于20%说明系统CPU不足，须考虑增加 CPU或优化程序；如果 wa的值长期高于us和sy,说明系统IO存在瓶 颈.须用topa

8、s,iostat等命令确定瓶颈所在并增加IO吞吐量。磁盘IO吞吐监控方式：通过iostat命令检查磁盘IO状况操作示例：#iostat 2 10参数说明：2表示每隔2秒取样一次，10表示共取样10次。这2个参 数的数值可以根据需要自由定义。输出本例：# iostat 2 10System configuration: lcpu=16 drives=108 ent=8.00 paths=3 vdisks=0tty: tintoutavg-cpu: % user % sys % idle % iowait physc % entc0.00.00.00.0 100.00.0 0.0 0.1Disks

9、:% tm_act Kbpstps Kb_read Kb_wrtnhdisk00.00.00.000hdisk10.00.00.000hdisk20.00.00.000hdisk40.00.00.000hdisk30.00.00.000cd00.00.00.000输出说明：输出结果输出结果会按照每个磁盘进行排列，主要观察的参数如下：(1) % tm_act说明该磁盘处于活动状态的时间比率。(2) Kbps说明该磁盘每秒的读写数据量。如果tm_act长期处于90%以上的状态，且Kbps数据量很大，则说 明该磁盘繁忙程度过高，需要通过增加磁盘或者更改应用来将数据量平 均分配到其他磁盘。内存及虚拟内

10、存使用率监控方式：通过lsps -a命令查看交换分区状况来了解系统内存及虚拟内 存使用情况。操作示例：#lsps -a输出示例：#lsps -aPage Space Physical Volume Volume Group Size %Used Active Auto Type hd6 hdisk0 rootvg 6144MB1 yes yes lv输出说明：(1) Page Space列出该交换分区的逻辑卷名称。(2) Physical Volume：列出该交换分区位于那个物理卷，在有条件的 情况下建议交换分区分散分布在不同的物理卷上以提高性能。(3) Size：该交换分区的大小。一般交换分

11、区的大小不应小于物理内 存的大小，对于硬盘空间紧张的系统，至少也要保证物理内存的一半大 小。(4) %Used :交换空间的使用率。如果使用率长期高于80%,需要增加交换分区的大小(该操作可在线完成)。(5) Active :表示该分区是否已经激活。(6) Auto：表示该分区是否在每次重启后自动激活.。硬盘空间监控方式：通过#lsvg rootvg命令查看卷组信息来了解硬盘空间分配情 况。操作示例：#lsvg rootvg输出示例：VOLUME GROUP:rootvgVG IDENTIFIER:000bc6fd00004c00000000fda469279dVG STATE:activeP

12、P SIZE: 16 megabyte(s)VG PERMISSION:read/writeTOTAL PPs: 542 (8672 megabytes)MAX Lvs:256FREE PPs: 431 (6896 Megabytes)LVs:9USED PPs: 111 (1776 megabytes)OPEN LVs:8QUORUM: 2TOTAL PVs:1VG DESCRIPTORS: 2STALE PVs:0STALE PPs: 0ACTIVE PVs:1AUTO ON: yesMAX PPs per VG:32512MAX PPs per PV: 1016MAX PVs: 32LT

13、G size (Dynamic): 256 kilobyte(s) AUTO SYNC: noHOT SPARE:no BB POLICY: relocatable输出说明：(1)主要指标为 PP size和Free PPs。(2)通过查看Free PP颉可以了解该VG还有多少空间可以使用。Free PPsX PP size就是VG剩余空间的大小。如果Free的PP个数与Total PP个数相比已经非常小，说明空间已经 不足，如果该VG内容会不断增长，请及时增加 VG的大小综合监视命令topas监控方式：通过topas命令报告选定的本地系统活动的统计信息。该命 令使用curses库以合适的格式

14、来显示其输出，该格式适合于在一个 80x25基于字符的显示器上或至少同样大小的图形显示器的窗口中进行 查看。操作示例：#topas输出示例：_ IQ » 3 Ifavr |Li kLJ BH J 35 % W le« If 4 ,r W-'I g事 4 Mon1 07133:35 2007Interval：: 2Csuitch SySCAll5001299Readch487vt Xtecb9Q30+S1#1Reads2Ravin0UserO.S1#1Writes1Ttyout4S9Uait。.口11For0工qet等0Idlei制#楣糕#"*#蒯触刑融#

15、fExecsPunqueue00.0Nuoei25Dirblk0enl0,6IPack OPackKB-In1,01,0D.s.lKBOuc 0,5VaicqueueQ.。LdO0,11.01,00-00.0PAGIHG Faults1MEMOPY Real,KB%095DiskKBPSTPS KB'ReadKB-UTltSt£A130* Comp13 ahdiskO0.00.。0.0。.0a 口Pgspln0与 Monconip 87. 1hdlskl0.00.0OrO0.00.0PgspOut0* 1lent0.50.0Q,CQ.Q0.00,0P程井0cdO0,00,00

16、.00,0口.口PageOut0PAGING SPICEri上七Xtopa m syncdprngd rpc.lock nfsdccl14 imddt wmmitdtfilecronrshellnttmD.O0*0PID CP, 15Z5&0.8223200.213Q1占0,09000.01032G0,0124340.0191S40.0Z68730.02823B0/0179050.02S3S20,0227S20.096040.0207000.010.03723a0,Q20*1440.027200.033340.0100620.00.00.0PqSp Otfner 2rS root 1*

17、5 coat 口 " root 0+0 coot 0.1 toot 1+1 root 0*2 toot 口+口 root 口*口 root 0.日 coot 1 + 3 troac 1.9 rds « 0 root 1.8 fdm 0.7 root Q.2 root 1.7 rds ,4 root .日 u?«r 0*口 root0.0Si 口j0NFS (calls/jec) 3erverV20ClientVZ05erverV30ClientV30SlEerK6096* UsedQ,5+ Free99.4Press: ,rh" tor help “qH

18、 co quit输出说明：使用topas命令可以对CPU,网络，IO,进程等很多方面进行监控， 并输出到屏幕上。输出结果只能通过显示屏实时显示，无法导出。(1) CPU。最左上显示CPU的使用情况，User：显示以用户方式执行的程序所使用的CPU的百分比,(缺省按用户百分比排序)Kernel:显示以内核方式执行的程序所使用的 CPU的百分比Wait:显示用于等待IO的时间的百分比。Idle：显示CPU空闲时间的百分比。(2)网络。CPU下方是网络部分的使用情况，显示目前最繁忙的网络 接口的信息KBPS :每秒的网络接口流量，KByte为单位。(3)磁盘。网络下方是磁盘，显示目前最繁忙的磁盘的信

19、息busy% :磁盘的繁忙程度，100为最高。KBPS :每秒的磁盘读写流量，KByte为单位。(4)进程安装占用系统资源多少排列，列出占用系统资源最多的进程。Name :进程名PID:进程的系统ID号CPU%:进程占用的CPU的百分比PgSp：进程占用的交换空间的比率。(5)其它可用#man topas命令得到该命令的全部指标说明，在此不做详述。5.2 HP小型机性能监控方案5.2.1 HP小型机性能监控方案CPU平均使用率监控方式：通过sar -u命令检查系统CPU平均使用率。操作示例：#sar -u 3 30 (每隔3秒采样一次，共采样30次)输出本例:rx3600-1tt/sar -u

20、 3 10HP-UX FX360G-1 B.11.23 UiaG412/2S/0721：20：22%usrXsys海ioZidle21:26：2500O1 0021：20：281119721：20：3101009621：26：340001 0021：2日：370001 0021：26：460GQ10621：20：H3000100rx36O0-1tt/sar -uM 3 10HP-UX rx3GQ0-1 B.11.23 UiaGH12/28/0721:20:52cpuZusrys%uioZidle21:20:5500i29710g199200199300199system00199输出说明：(1

21、)在业务高峰期使用sar -u命令%usr ：用户模式占用的时间百分比%sys：系统模式占用的时间百分比%wio：用于块、字符和虚拟内存管理的I/O管理时间%idle： CPU的空闲时间sar -uM:显示主机上每个cpu的使用情况.结果分析：首先应看idle是否接近于0.如果是，那么看wio是否大于7%.如果亚2大于7%,可能需要考虑是否有IO瓶颈。如果WiO很小，但CPU依然很忙，要看一下 口5与%5丫5的比率。 如果usr很高，则可能说明用户的应用程序造成 CPU瓶颈。如果大部分时间被%sys占用，需要进一步分析为什么系统会占用 这么多时间。比如说内存的瓶颈，造成操作系统频繁的做swap

22、ping操作, 就是一个可能的原因。参考标准：对于一个典型的系统，通常的建议值是：%usr %sys %wio %idle6025015IO所占用CPU使用率监控方式：记录wio值（数据采样方式见上述 CPU平均使用率的数据 采样方式）。如果wio较高，可使用sar -d命令观察各个设备的状态，作进一步分析/sar d3 10HP-UX rx36O0-1 B, 1 1,23 U i日6412/28/0721:40:19device*busyauque r+w/s blks/s auua1t auseru21:40:22c3ted01,99EL 5。3530.0012,3821:40:25c3t

23、®d。i.oo 0,50i24 o.ee 11,sb21 :皿 28c3t0d。3,670,50691乩。18.5621:40:31c3t0d03,000,505940.0016,5921:40:34c3ted03,000,505820,0020,5421:40:37c3ted01,330,502270,0011,22rx3600_1tt/sar -w3 1 0HP-UX rx3600-1 BJ 1,23 U iaS1 Z/28/0721 ：皿 5日supin/s bswin/s snpot/s bsuot/s pswch/s21：40：530,00。.日0.。16221 ：皿 56

24、0.00。.日邛口邛20921：HO：590,00EL。EL。19721:41：620,0ELEI。ELEI2M21:41:05e, eee.e e, eee.e212结果分析:通常一个设备的busy>50%则说明可能存在IO瓶颈。另外一个标 志是其 avwat>avserv。另外，系统中各个设备的使用应该比较均衡。 检查哪些设备使用率 明显高于其他设备。如果该设备是存放用户数据库数据，那么可以考虑 建议用户将这部分数据尽量分散到多个设备上。如果是操作系统盘，需 要关注是不是在做大量的swapping操作（内存瓶颈，sar-w）。内存占用率 监控方式：通过top命令检查系统内存的使

25、用情况。操作示例：#top 输出本例：ten ：rx3G66-1FriDec 2S 21：M5l3C 2G0TLoad muormgom； 0.01.9.G1 ,G . 911 as： 142sleeping ? 42 running , 11zombieCpus tat«s ：CPULOAD USERNICESVS IDLE BLOCKSldITINTR SSVSD0.ozo.g芯G . 0Z1.OX 99 QZ o exQ . 3Z0 .0Z O.GZ1eOQ Q.ez。一鼓6 OX 1QQ.0% Qg exeox a.exz0,000.Q%0.0Xe.ex 100,q o,ex

26、e.aze.ox 9.ex3Q.co o.ex0.S5L。白乂 100.GZ Ge ez0 .。戈 a.exmug0.01 e.ezO.OZ1 QX 99.OX Q.ex0 920 .o% o.exMemory 二14白君39白K (1inai76C) real, 3S9Q056K(3n56C&8K)uirtual 9G3912K fres Page"1/21CPUTT7PID USERNAME PRINI SIZERE$STATETIMEXMCPU NCPU COMMAND2?226g root1522e 1G33N331 Mrun121se2.17 2.16 mxdcma

27、inngr3754 root1S226 21GCJ冰1 92MKrun26S421.72 1,72 uxf*d2?2267 root15220364HST884Krun37090.56 56 mxdtf1?1 477 root15226 1G2H3G928Krun63SS9.53 G.53 cimserutr3?233 root15220457N237Mrun42380.43 ,43 mxinvtntory1?19523 root1522 日 454N112MrunS150.40 G . micinuentory1?1485 root1522G 33372K2552Krun593160.36

28、®.36 cimprouagt结果分析:在memory:一行有xxxxxk free一项，为系统当前的剩余内存数。按照当前的空闲内存为 0.9G,如系统当前的物理内存总量为8G,则当前的内存占用率可通过如下方法计算得出:(8-0.9)/8=0.89,即系统当前的内存占用率为 89%交换区使用情况监控方式：通过swapinfo -atm命令检查交换去使用情况操作示例：#swapinfo百tm输出示例：MbMbMbPCT START/MbTYPEAVAILUSEDFREEUSEDLIMIT RESERVEPRI NAMEdev2560025600%0-1/dev/vg00/kol2res

29、erve-559-559total2560559200122%-0-结果分析：swap区正常情况下应当使用率没有大的变化，应注意监控该 参数的变化。参考经验值：一般情况下，判定参考经验值如下：CPU禾I用率90%硬盘I/O 60%-70% 等待队列3内存使用率85%且 没有交换网络PING延时小且没有包冲突满足上述指标的可以视为设备性能是正常的，但是性能问题是非常复杂的，往往需要非常专业的技术人员或者团队进行分析以查找产生的 原因，同时单一的数据指标仅仅可以作为参考使用.5.3 EMC存储性能监控方案对国家税务局省局的系统平台进行性能监控时，可利用EMC专业的性能分析工具，从FA端口、内存、D

30、A卡及物理磁盘等几个层次进行性 能监控，并记录相关检查点数据。5.3.1 EMC存储性能分析工具EMC性能分析可通过ECC软件和命令行方式来进行。ECC软件方式。（一）监控方式描述：ECC软件可后台收集磁盘阵列性能数据，收 集间隔为15分钟一次，将每天的性能信息生成 BTP和TTP文件，做成 历史文档。用户可以通过 start->programs->ECC->WLA performance view 启动性能监控界面，选择打开本地硬盘的 c:eccWLA.目录下某一天的 性能文件*btp来分析以前的历史数据。检查频率：每天一次，自动生成*btp性能文件。处置方案：*btp文件

31、是以日期为头来命名，自动保存在 ECC服务 器中，可随时抽样检查。管理员需每天在ECC服务器的相应目录下确认 是否成功生成该文件。（二）命令行方式。监控方式描述：在主机上通过 EMC Solution Enabler的symstat命令。 用来监控每个Lun的使用率，读写IOPS,读写IO Throughput Write Pending Count,监控整个盘阵的性能指标。检查频率：每天收集4次性能数据，分别为10:00,12:00,14:00,16:00处置方案：定时运行脚本，将脚本输出内容导出到文件中，定期填 写表格并保存该原始文件。5.3.2 EMC存储设备性能监控方案ECC软件主要用

32、于故障告警，在正常运行状态下的数据采集多采 用命令行方式进行。命令行只能收集实时的数据，最好在业务繁忙期进 行收集最有代表性。（一）设备性能监控命令如下：1、/usr/symcli/bin/symstat -i * -c * >> /usr/emc/symstat.071228用来收集整个存储的磁盘性能数据，导入到/usr/emc目录下的 “symstaB期”的文件中，-i后面跟的参数是指 收集数据的间隔时间”，-c后面跟的参数是指收集多少次”。2、 /usr/symcli/bin/symstat -dir all -i * -c * >> /usr/emc/symst

33、at_dir.071228用来收集整个存储的通道流量，导入到/usr/emc目录下的“symstat_dir. 日期”的文件中，-i后面跟的参数是指 收集数据的间隔时间”，-c后面跟 的参数是指收集多少次”。3、同时，可以使用/usr/symcli/bin/symevent -error list >>/usr/emc/symevent.error来收集存储的错误报警信息，导入到/usr/emc目录下的“symevent.error ” 的文件中，定期传给EMC工程师来监控，看是否存在存储故障。（二）导出文件实例：命令行方式导出文件的命名方式（推荐使用）：/usr/symcli/b

34、in/symstat >> /usr/emc/< 省名 >.symstat.< 日 期 >/usr/symcli/bin/symstat例如，执行命令-dir all >> /usr/emc/< 省名 >.symstat-dir.< 日期 >/usr/symcli/bin/symstat/usr/symcli/bin/symstat>> /usr/emc/< Beijing >.symstat.<070313>和-dir all >> /usr/emc/< Beijin

35、g >.symstat-dir.< 070313导出文件如下:Beijing.symstat.070313ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff TTkTTTTkkTTTTkkTTTTkkTTTTkkTTTTkk&

36、#39; J J “ kk “ “ kk “ “ kk “ “ kk “ “ kk “ “ kk “ “ kk " " kkTTTTkkTnrk ii ii ii ii ii ii ii ii ii ii ii ii ii ii ii ii ii ii ii ii ii ii ii ii ii ii ii ii ii ii ii ii ii ii ii ii ii ii ii ii ii ii ii ii ii ii ii ii ii ii ii ii ii ii ii ii ii ii ii ii ii ii ii ii ii ii ii ii iiDEVICEIO/se

37、cKB/sec% Hits %Seq Num WP15:21:26READ WRITEREADWRITE RD WRT READTracks15:23:270001 (rhdiskpower*)606700 50N/A 6700002 (Not Visible )706390 43 N/A 7100003 (Not Visible )706500 43 N/A 7100004 (Not Visible )706760 43 N/A 710Total21282391473663274 62 9656732II II IIII II II IIII II II IIII II II IIII II

38、 II IIII II II IIII II II IIII II II IIII II II IIII II II IIII II II IIII II II IIII II II IIII II II IIII II II IIII II II IIII II II IIII II TTkTTTTkkTTTTkkTTTTkkTTTTkkTTTTkk' J J “ kk “ “ kk “ “ kk “ “ kk “ “ kk “ “ kk “ “ kk " " kkTTTTkkTnrk ii ii ii ii ii ii ii ii ii ii ii ii ii

39、ii ii ii ii ii ii ii ii ii ii ii ii ii ii ii ii ii ii ii ii ii ii ii ii ii ii ii ii ii ii ii ii ii ii ii ii ii ii ii ii ii ii ii ii ii ii ii ii ii ii ii ii ii ii ii iiBeijing.symstat-dir.070313ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff

40、 ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff TTkTTTTkkTTTTkkTTTTkkTTTTkkTTTTkk' J J “ kk “ “ kk “ “ kk “ “ kk “ “ kk “ “ kk “ “ kk " " kkTTTTkkTnrk ii ii ii ii ii ii ii ii ii ii ii ii ii ii ii ii ii ii ii ii ii ii ii ii ii ii ii ii

41、 ii ii ii ii ii ii ii ii ii ii ii ii ii ii ii ii ii ii ii ii ii ii ii ii ii ii ii ii ii ii ii ii ii ii ii ii ii ii ii ii iiDIRECTORIO/secCache Requests/sec % RW15:22:29READ WRITERW Hits15:24:29DA-1A288376324080DA-2A351469455150FA-3A1054273820275887FA-14A991261819263787DA-15A365502365380DA-16A356483325160DA-1B314407384450DA-2B285373304030FA-3B38420622042672FA-14B38419922242172DA-15B275358383960DA-16B361491355270Total5408-9220767999053，TTkTTTTkkTTTTkkTTTTkkTTTTkkTTTTkk' J J “ kk “ “ kk “ “ kk “ “ kk “ “ kk “ kk “ “ kk " " kkTTTTkkTnrkii ii ii i