SUN日常预防性维护手册v.doc

SUN预防性维护工作文档Version 1.1目 录巡检过程中注意事项4巡检时遇到故障如何处理?4第一部分：系统硬件运行状况检查41、系统外观检查42、系统硬件配置41) 处理器42) 内置硬盘配置、状态53) 内存配置64、系统硬件运行状况61) 处理器运行状态62) 内存运行状态83) 硬盘空间占用率是否超出90%84) 网络状态94) 钥匙是否妥善保存105) 风扇转动情况105、系统记录信息 System Log and Message101) Errpt Log中是否有必须处理的硬件故障纪录101) 以 SE3310/3510存储为例10第二部分： 系统软件运行状况检查121、系统操作环境121) 操作系统版本122) 内存使用情况122、数据保护和系统备份121)SVM122)VXVM管理133) 备份磁带是否标记清晰和异地保存134) 操作系统ROOT密码是否妥善保管133、cluster模式检查131) 双机状态是否正常13第三部分： 总结与反馈201、 本次预防性维护发现的问题202、问题解决和下一步工作计划203、收集更详细的日志发给专业人员21预防性维护（巡检）是相对于被动式的维修服务，预防性维护提供对客户的计算环境主动的预防性的检查。通过预见及预防系统可能发生的硬件故障或严重的性能瓶颈等，可以很大程度地提高计算环境的可用性。巡检过程中注意事项巡检时遇到故障如何处理?如果是属于硬件或者操作系统方面的故障，请准备好设备PN、SN，联系华胜天成8008100583热线或者当地工程师电话报修。以下对维护中的具体内容逐条进行解释：第一部分：系统硬件运行状况检查1、系统外观检查查看主机、阵列面板上是否有repair指示灯呈黄色，如有需进一步确认或者拨打800热线报修。退出命令方式：ctrl + c 键，可以退出该命令操作。2、系统硬件配置1) 处理器 CPU频率：例，以root 用户登陆主机：#/usr/platform/sun4u/sbin/prtdiag v|more 显示如下：System clock frequency: 84 MHZ显示CPU的时钟速度为84 MHz CPU数量：例，以root 用户登陆主机：#/usr/platform/sun4u/sbin/prtdiag v|more 显示如下：= CPUs = E$ CPU CPU TemperatureCPU Freq Size Impl. Mask Die Ambient- - - - - - - 0 502 MHz 256KB US-IIe 1.4 72 C 44 C 2显示系统中CPU的数量为1颗2) 内置硬盘配置、状态 硬盘容量：以root 用户登陆主机：#iostat E 显示如下：sd8 Soft Errors: 0 Hard Errors: 0 Transport Errors: 0 Vendor: FUJITSU Product: MAN3184M SUN18G Revision: 1804 Serial No: 0230Z58654 RPM: 7200 Heads: 19 Size: 18.11GB 显示硬盘sd8大小为18G，若Hard Errors不为0，则需要观察该盘。 硬盘数量：以root 用户登陆主机：#formatSearching for disks.doneAVAILABLE DISK SELECTIONS: 0. c0t0d0 /pci1f,4000/scsi3/sd0,0 1. c0t1d0 /pci1f,4000/scsi3/sd1,0 2. c1t9d0 /pci1f,4000/pci2/SUNW,isptwo4/sd9,0 3. c1t10d0 /pci1f,4000/pci2/SUNW,isptwo4/sda,0 4. c2t9d0 /pci1f,4000/pci4/SUNW,isptwo4/sd9,0 5. c2t10d0 /pci1f,4000/pci4/SUNW,isptwo4/sda,0共5块硬盘，若出现unknown关键字，则表示硬盘有故障。3) 内存配置 内存容量例，以root 用户登陆主机：#/usr/platform/sun4u/sbin/prtdiag v|more 显示如下：= Memory Configuration =Segment Table:-Base Address Size Interleave Factor Contains-0x0 256MB 1 Label DIMM00x20000000 256MB 1 Label DIMM1显示系统内存大小为2*256M 4、系统硬件运行状况1) 处理器运行状态 以root 用户登陆主机：#psrinfo 显示如下：0 on-line since 10/24/04 11:45:53表示1个cpu，若不显示为on-line，则cpu故障 以root 用户登陆主机：#vmstat 2 5（间隔2秒显示5次统计数据）procs memory page disk faults cpu r b w swap free re mf pi po fr de sr dd f0 s0 - in sy cs us sy id 0 0 0 741272 201352 63 14 0 2 2 0 0 1 0 0 0 4294967241 100 247 5 17 78 0 0 0 733232 242800 0 3 0 0 0 0 0 0 0 0 0 306 26 59 0 0 100 0 0 0 733232 242800 0 0 0 0 0 0 0 0 0 0 0 302 76 54 0 0 100 0 0 0 733232 242800 0 0 0 0 0 0 0 0 0 0 0 304 20 52 0 0 100 0 0 0 733232 242800 0 0 0 0 0 0 0 0 0 0 0 304 16 54 0 0 100显示信息解释如下：r 指每秒钟增加到运行队列中的线程数b 指每秒钟因等待资源或I/O而被添加到等待队列中的线程数us 指CPU处在用户模式销的时间百分比，即用户使用的CPU时间sy 指CPU处在系统模式下的时间百分比，即系统内核使用的CPU时间id 指CPU空闲的时间百分比，即运行队列是空的如果id一直是0，则说明CPU一直处于繁忙状态 运行队列的大小是评估CPU性能的关键因素。当运行队列增大，用户的响应时间就会加大；如果r的值不为零，则说明CPU还有更多的工作要执行 如果ussy小于90%，单用户系统并不关注CPU的限制。如果在多用户系统上ussy超过了80%，进程可能把时间花在运行队列中等待获得CPU资源上，因此响应时间和吞吐量就变得很小 如果在多用户系统上ussy接近100，说明可能是CPU的限制2) 内存运行状态 以root 用户登陆主机 #/usr/platform/sun4u/sbin/prtdiag v|more= Memory Configuration =Segment Table:-Base Address Size Interleave Factor Contains-0x0 256MB 1 Label DIMM00x20000000 256MB 1 Label DIMM1若不能看到size大小，则表示内存故障3) 硬盘空间占用率是否超出90% 所有分区的使用空间容量如果大于90，说明磁盘空间即将不够，需要进行无效文件清理。#df -k 显示如下文件系统 千字节 用了 可用 容量 挂接在/dev/dsk/c0t0d0s0 6191949 5330639 799391 87% /proc 0 0 0 0% /procfd 0 0 0 0% /dev/fdmnttab 0 0 0 0% /etc/mnttabswap 731200 16 731184 1% /var/runswap 731208 24 731184 1% /tmp/dev/dsk/c0t0d0s3 12529779 4611680 7792802 38% /export/home4) 网络状态 网卡状态检查:例，以root 用户登陆主机：#ifconfiga配置或显示 TCP/IP 网络的网络接口参数（各网卡）输出判断： lo0: flags=1000849 mtu 8232 index 1 inet 127.0.0.1 netmask ff000000 eri0: flags=1000843 mtu 1500 index 2 inet 192.168.1.40 netmask ffffff00 broadcast 192.168.1.255 ether 0:3:ba:2b:76:4b网卡的flag为UP属正常。同时检查ip地址和netmask是否正确。 查看路由表以root 用户登陆主机：#netstat -rnRouting Table: IPv4 Destination Gateway Flags Ref Use Interface- - - - - -192.168.3.1 192.168.1.71 UGH 1 144 192.168.1.0 192.168.1.40 U 11819764 eri0224.0.0.0 192.168.1.40 U 1 0 eri0default 192.168.1.40 UG 1 0 127.0.0.1 127.0.0.1 UH 2 601020 lo0 网络的检测 以root 用户登陆主机#pingipaddress 用ping命令对/etc/hosts文件中的IP地址进行操作，检测网络是否联通不通则出现time out指示。4) 钥匙是否妥善保存 机器前面板上有一个钥匙状态，可以设置机器的运行状态，该钥匙需要妥善保存；阵列面板上的钥匙需要妥善保存。5) 风扇转动情况 确认系统各风扇的运行转动情况，一般有电源风扇，系统冷却风扇等5、系统记录信息 System Log and Message1) Errpt Log中是否有必须处理的硬件故障纪录 查看日志文件 #more /var/adm/messages 查看最近的日志中是否有 warning、error、IO error、temperature等关键字错误。6、磁盘阵列检查1) 以 SE3310/3510存储为例以root用户运行：#sccli;然后执行show fru;show disk;show event;查看disk中status否有error报错，若有则需要报修，同时从磁盘阵列的前面板也可以发现黄色指示灯。第二部分： 系统软件运行状况检查1、系统操作环境1) 操作系统版本 OS Version： 以root 用户登陆主机#uname -a 显示如下： SunOS fep1 5.6 Generic_105181-32 sun4u sparc SUNW,Ultra-80 确认系统安装盘是否保存完好2) 内存使用情况 OS Version： 以root 用户登陆主机#swap -s 显示如下： 总数：分配了 144952k 字节 + 保留 20008k = 已使用 164960k，733168k 可用可用数值不小于100000k即可。#swap l 显示当前虚拟空间所在盘符。2、数据保护和系统备份Solaris中一般会使用的卷管理软件检查为SVM和VXVM1)SVM 以root用户登陆主机 #metadb 若出现：metadb: oamserver: there are no existing databases则说明未使用SVM进行卷管理 否则说明有故障，需查看是否有W、unkown 关键字。 #metastat 若出现 ok 则说明卷正常，否则为故障状态2)VXVM管理 以root用户登陆主机 #vxdisk list 若出现：online即正常，有error为卷不在软件管理下，非故障；只有出现fail状态。 #vxprint ht所有卷状态为enable和active为正常，出现其他状态则有故障 # vxdg list卷组状态为online即正常3) 备份磁带是否标记清晰和异地保存以root用户完成系统盘的备份：#ufsdump 0cuf /dev/rmt/0n /dev/rdsk/c0t0d0s0 用户应该将备份磁带打上标签妥善保存，以便需要的时候能迅速使用4) 操作系统ROOT密码是否妥善保管为了安全，用户的root密码应该妥善保管并定期更换3、cluster模式检查 用户关键应用应该使用双机热备份环境，实现系统的高可用群集1) 双机状态是否正常root用户执行 scstat 双机状态 rootSRVDB501 # scstat |more- Cluster Nodes - Node name Status - - Cluster node: SRVDB501 Online Cluster node: SRVDB601 Online- Cluster Transport Paths - Endpoint Endpoint Status - - - Transport path: SRVDB501:ce3 SRVDB601:ce3 Path online Transport path: SRVDB501:ce2 SRVDB601:ce2 Path online- Quorum Summary - Quorum votes possible: 3 Quorum votes needed: 2 Quorum votes present: 3- Quorum Votes by Node - Node Name Present Possible Status - - - - Node votes: SRVDB501 1 1 Online Node votes: SRVDB601 1 1 Online- Quorum Votes by Device - Device Name Present Possible Status - - - - Device votes: /dev/did/rdsk/d6s2 1 1 Online- Device Group Servers - Device Group Primary Secondary - - - Device group servers: rmt/1 - - Device group servers: ora_data SRVDB501 SRVDB601 Device group servers: ora_indx SRVDB501 SRVDB601 Device group servers: ora_ap_arch_backup SRVDB501 SRVDB601- Device Group Status - Device Group Status - - Device group status: rmt/1 Offline Device group status: ora_data Online Device group status: ora_indx Online Device group status: ora_ap_arch_backup Online- Multi-owner Device Groups - Device Group Online Status - - Resource Groups and Resources - Group Name Resources - - Resources: RG-BEASRVDB BEASRVDB oradata_d1 oradata_d2 oradata_d3 oradata_d4 oradata_d5 oradata_d6 oradata_d7 oradata_d8 oradata_d9 oradata_d10 oradata_d11 oradata_d12 oradata_d13 oradata_d14 oradata_d15 oradata_d16 oradata_d17 oradata_d18 oradata_d19 oradata_d20 oradata_d21 oradata_d22 oradata_d23 oraindx_d31 oradata_d0 oraindx_d32 oraindx_d33 oraindx_d34 oraindx_d35 oraindx_d30 orabackup_d41 orabackup_d42 orabackup_d43- Resource Groups - Group Name Node Name State Suspended - - - - Group: RG-BEASRVDB SRVDB501 Online No Group: RG-BEASRVDB SRVDB601 Offline No- Resources - Resource Name Node Name State Status Message - - - - Resource: BEASRVDB SRVDB501 Online Online - LogicalHostname online. Resource: BEASRVDB SRVDB601 Offline Offline - LogicalHostname offline. Resource: oradata_d1 SRVDB501 Online Online Resource: oradata_d1 SRVDB601 Offline Offline Resource: oradata_d2 SRVDB501 Online Online Resource: oradata_d2 SRVDB601 Offline Offline Resource: oradata_d3 SRVDB501 Online Online Resource: oradata_d3 SRVDB601 Offline Offline Resource: oradata_d4 SRVDB501 Online Online Resource: oradata_d4 SRVDB601 Offline Offline Resource: oradata_d5 SRVDB501 Online Online Resource: oradata_d5 SRVDB601 Offline Offline Resource: oradata_d6 SRVDB501 Online Online Resource: oradata_d6 SRVDB601 Offline Offline Resource: oradata_d7 SRVDB501 Online Online Resource: oradata_d7 SRVDB601 Offline Offline Resource: oradata_d8 SRVDB501 Online Online Resource: oradata_d8 SRVDB601 Offline Offline Resource: oradata_d9 SRVDB501 Online Online Resource: oradata_d9 SRVDB601 Offline Offline Resource: oradata_d10 SRVDB501 Online Online Resource: oradata_d10 SRVDB601 Offline Offline Resource: oradata_d11 SRVDB501 Online Online Resource: oradata_d11 SRVDB601 Offline Offline Resource: oradata_d12 SRVDB501 Online Online Resource: oradata_d12 SRVDB601 Offline Offline Resource: oradata_d13 SRVDB501 Online Online Resource: oradata_d13 SRVDB601 Offline Offline Resource: oradata_d14 SRVDB501 Online Online Resource: oradata_d14 SRVDB601 Offline Offline Resource: oradata_d15 SRVDB501 Online Online Resource: oradata_d15 SRVDB601 Offline Offline Resource: oradata_d16 SRVDB501 Online Online Resource: oradata_d16 SRVDB601 Offline Offline Resource: oradata_d17 SRVDB501 Online Online Resource: oradata_d17 SRVDB601 Offline Offline Resource: oradata_d18 SRVDB501 Online Online Resource: oradata_d18 SRVDB601 Offline Offline Resource: oradata_d19 SRVDB501 Online Online Resource: oradata_d19 SRVDB601 Offline Offline Resource: oradata_d20 SRVDB501 Online Online Resource: oradata_d20 SRVDB601 Offline Offline Resource: oradata_d21 SRVDB501 Online Online Resource: oradata_d21 SRVDB601 Offline Offline Resource: oradata_d22 SRVDB501 Online Online Resource: oradata_d22 SRVDB601 Offline Offline Resource: oradata_d23 SRVDB501 Online Online Resource: oradata_d23 SRVDB601 Offline Offline Resource: oraindx_d31 SRVDB501 Online Online Resource: oraindx_d31 SRVDB601 Offline Offline Resource: oradata_d0 SRVDB501 Online Online Resource: oradata_d0 SRVDB601 Offline Offline Resource: oraindx_d32 SRVDB501 Online Online Resource: oraindx_d32 SRVDB601 Offline Offline Resource: oraindx_d33 SRVDB501 Online Online Resource: oraindx_d33 SRVDB601 Offline Offline Resource: oraindx_d34 SRVDB501 Online Online Resource: oraindx_d34 SRVDB601 Offline Offline Resource: oraindx_d35 SRVDB501 Online Online Resource: oraindx_d35 SRVDB601 Offline Offline Resource: oraindx_d30 SRVDB501 Online Online Resource: oraindx_d30 SRVDB601 Offline Offline Resource: orabac