服务器运维管理手册

XXXX有限公司服务器运维管理手册XXXX有限公司

运维服务部

2012/8/30TOC\o"1-5"\h\z\o"CurrentDocument"一、 文档简介 3\o"CurrentDocument"二、 文档目的 3三、 文档范围 3\o"CurrentDocument"四、 事件处理流程 4五、 具体操作说明 4服务器硬件管理 4\o"CurrentDocument"服务器系统管理 10\o"CurrentDocument"Windows系统管理 10\o"CurrentDocument"Linux系统管理 12\o"CurrentDocument"六、 相关文档 15、文档简介本文档根据桑菲消费通信服务器硬件设备与系统应用管理需求，针对日常维护内容进行技术归类于总结，描述具体操作步骤与操作方法，积累服务器事件处理能力，使之服务运维能力更为主动可控。二、文档目的标准服务器故障处理方法指引，服务器管理知识库积累。三、文档范］三、文档范］服务器硬件故障判断与标准处理操作服务器系统日常性能检测与标准检测

四、事件处理流程巡检<员1F设备古M障」向笑阮I-高电i舌」谁保J-匿玉修会J维况厂茴娘中,缪急备件•翎用-…*现场谁修存也J现场箍修日志讪F•吊什返正J维峰记录存档/一J、(E]-线丸时逾照胃房（包括「］美籥'电智、电力'汗境等）沙送：IT王皆'故据中心管理丈及温程柜R审MR箍就I佻花招•选大皿报德悄况进行立案■登记案亏蜒保厂桂根掘一些人员帮修悄死进/1立案「登记案号：艰棒M1P人己进出散括中心作*派悝走入制居中心现场作业抄送:ITT.管-数加中心主理沙送-搏用始】T三管、数季中心管职另五、具体操作说明1）服务器硬件管理检查与故障判断：服务器硬件的主动检查方式主要分三种:设备面板指示灯检查硬件系统日志检查第三方工具检查（一）面板指示灯检查IBM服务器上面有，电源指示灯，硬盘/IDE设备活动指示灯，网卡指示灯,系统过热报警灯.硬盘槽还有硬盘指示灯。HP服务器上面指示灯一般为UID,内部和外部健康灯，其他就是电源网口灯了，DELL的机种有的上面有风扇，内存,CPU，指示灯情况，图标都是很直观的，其它服务器与IBM，HP的差不多。图示说明详细描述:I一^指示图案 I疏色~|塔述外部健康灯•处理器内部健康灯网籍连接指示灯theUID指示灯■>期源开关绿色琥珀色红色，绿色琥珀色红色绿色:空/无翻色'兰色，无颜色绿色琥珀色正常状态•PPM模块系统降缀工作内部部件敌隙正常状态系统降缀工作外部部件故障没有连接UID活动状态UID关闭状态开机待机•内存•风扇-系统温度过高白卜部组件健康指示灯（电源供应］内置网卡连接/活动状态UnitIdentification(UID)序号描述状毒说明1•快速险断机电源■风扇、内存,CPU.pckaiserj及温度过热的状态指示灯2UID^M柚茴LL=混沽闪娠=系统帙远程防问不亮=无人远程访问机器或没仃按UID按钮3内部健康为绿色=1%橙色=系统降级，确认处于降觐状态的各件，参考快速翰断板红色=系统「*虫故障偷认有严■K.W的各件奔考恨速诊断板4外部键康灯M源〕榻色=|：常弟色=冗余电源故障-陇认处「降叛状态的电源。暴照恨速诊断板红色=「”页电源故陷枷认右严巾..极障的电源。参者快速诊断板5网1-116示灯嫁色=阻".迁接,顷「:二1”日蓬援且有数据记1，1不亮二网村没有连抵如果电源关■察看机器后边ffRJ-45灯察看状态6网H2指示竹绿O陋I、.，连接闪好阿R，连接且有数据访卜1杯户帕居顷连援W3E』•..彳财亦i如风W5J...E：：1屯源按钮/指-n1!绿色=系统开机运行橙色=奈统关机但电源正常连接不亮=电源线没有连接或电源故障0VGA"9两个US日接I

编号描述状悉1OnlineSparememory指示们绿=保护模式｝I户琥珀色闪烁=内存配置错误琥珀以=内存失败不亮=没有保护2MirroredmemoryTim灯绿=保护模式｝m琥珀色闪烁=内存配置错误所有其他指示灯琥珀色=失败佶.=正常所有其他指示灯琥珀色=失败佶.=正常（二） 系统日志检查检查内容硬件历史异常报错信息计算机管理->系统工具->事件查看器，查看系统日志重点关注：红色高危事件信息、日常频繁硬件报错信息备注：查看硬件历史异常故障情况，分析硬件性能与使用生命周期（三） 第三方检测工具检查检查内容硬件历史异常报错信息、HP诊断工具：打开开始 程序 HPSystemTools HPInsightDiagnosticsonlineEditionforWindows HPInsightDiagnosticsonlineEditionforWindows。DELL诊断工具：第三方硬件设备诊断工具旧M诊断工具:旧MSystemsDirector、旧MSystemsDirectorActiveEnergyManager、旧MServerGuide相关图解：进入诊断网页，在第一选项卡Survey中，上部有2个下拉项，左侧选择Advanced，右侧选择All，会显示出更多硬件信息，点击右下的Save按钮保存。

3船虹心3船虹心1IPiIFMEK钢即混F&l|J物艮此界面可以看到服务器所有硬件信息。硬件设备变更操作标准:判断并确定最快恢复时间判断是否有做冗余设置判断是否需要关机操作磁盘设备检测并确定阵列信息，确定有做数据备份是否对其它关联应用有影响制定回退方案，保证数据与应用的可用性设备变更操作设备兼容性测试应用系统运行测试设备变更后正式应用

相关巡检记录单：备注：《服务器信息列表》《服务器指示灯巡检表》服务器信息列表.xl服务器指示灯巡检sx 表.xlsx2）服务器系统管理服务器系统管理主要分为:Windows系统管理Linux系统管理1.Windows系统管理磁盘空间使用计算机管理一一磁盘管理磁盘空间使用率是否已经到达80%卷I布局I类型I文件系统I状态 I容量I空闲空间I施空闲I容错I开销IS（CJ磁盘分区基本BTFS状态良好淙统）39,99GB37.16GB熨％否0%进程监控任务管理器一一进程查看进程的CPU使用率和内存使用率是否超阀值映像名称-［用户名CPUf内存使用itazkjiiEi-.ez<eA'Itiitllstrator014,560K,A'miprvse.uweSTSTEH005,192E■ft'uanclt.exeAiItiinistrator005_.D花Kzernlcdntroile..AiItiinLetratr0012,684K|Apachelflun11or...AiItiinisti_ator002,gooK|n#Fe|-|Ti IF|-|AlAm1Ti1L+WLi+i-iVnn-：TTinT；rCPU性能任务管理器一一性能查看CPU最高峰值与一般使用率是否超阀值内存性能任务管理器一一性能查看内存最高峰值与一般使用率是否超阀值I-页面文件使用记录PT使用数数数数柄程程总句婿进用使存数制值

内总限哩4016041038物理内存如总数可用数系统缓存核心内存001925361285124I-页面文件使用记录PT使用数数数数柄程程总句婿进用使存数制值

内总限哩4016041038物理内存如总数可用数系统缓存核心内存001925361285124223B3E总数另页数未分页进程数；38 匚典使用；薛523372308Z96162T6431446|1730014146内存使用；L时M71235N网络查看任务管理器一一联网检查是否能正常访问站点页面日志记录错误报警信息-回兰1-件『岸作山百百5^nhdfi"卒件查看器萍地J%!■自定义相囹£L日忘砌艮真4-母住错误：记录重要的问题，如数据丢失或功能丧失口宣全i1戋装直反ill奏统姑发的事件- 成用我庠和王号口丈.•订阅口I*告息.息桓§目自〕§照且W答信信传位ft.信信像性誓■.1.■-u^7-!—^.1/1—r..4:JflL".—w-.:J'r-B-=l—---・一B_c—I.5/7/2W95：2I：2@Pl5J7/2QQ95;2V26Fi5/7/2CKM5:20:14HI5/7/20095:21:25ffi5/7/2W=i5:21:25n二「"mjg521:251=195W泌i"Pi5/7/20095:20:135/7/20095.20N1ffi5/V?«igs：e”fl5/T/2®Q5:20:1]ffi警告：但是将来有可能导致问题的事件记录那些不一定很队匕d."flhi信息:记录应用程序、驱动程序或服务成功或失败的事件■.'.i.ido./L.Module;instd如 *jn"；ry旋日.点技,「一1Q取助k■件7036,皓,'半住房牲曰舸务脚...-JH谋存迭翩——应用程序日志由应用程序或者系统程序记录的事件 安全性日志查看有效和无效的登录尝试事件，以及资源使用相关的事件 系统日志Windows系统组件记录的事件2. Linux系统管理2.1.平均负载（uptime）描述：uptime命令过去只显示系统运行多久。现在，可以显示系统运行多久、当前有多少的用户登录、在过去的1,5,15分钟里平均负载时多少。[rootslocalhost~]#uptime19：1Z：05upZ：49, 3users,loadaverage:0.33,0.10,0.Q32.2.磁盘空间使用率（df-h）描述：Filesystem文件系统Size文件系统容量Used文件系统已经使用的容量Use%文件系统使用百分比Mountedon挂载的目录LrootPlocaIhostJttdf-11/dev/sda1Ava1114G8ZMUsez16z13z/dev/sda1Ava1114G8ZMUsez16z13zriountedontmpfs 506M 0/boot/deu/shm2.3. 进程监控(ps-ef|grepjava)查看应用程序启动进程数是否正常Ei'uu131ULdIroot 3ZZbEi'uu131ULdIroot 3ZZbroot 3Z27root 3ZZBroot 3233r-uul 3Z34root 3333iiIhr-ZyrlniX：Arootruul 45?7root 4bJ41pw1111II-XmlLh3距S452G4526-efIgreptty»1&:Z4ttyZ9li&:24tty3316:Z4tty4916:24ttyEH伯；引ttyfi916：Z4tty?-no11stemtcpvt7»19:11ttyl913:16ttyl»19:Ifettyl96ae90咽如96/sbin/mingetty11yZ/sbin/mingcttytty3/stin/mingetty11y4/sbin/minqcttLittij5zshLnznn1ngettijttyB/usr/bin/Xorg：U■br•■audit日-a.-bashpx-rfgreptty2.4. 内存监控(free-m)描述：total:总计物理内存的大小used:已使用多大free:可用有多少shared:多个进程共享的内存总额 buffers/cached:磁盘缓存的大小。第三行(-/+buffers/cached):used:已使用多大。free:可用有多少。rrnntfl1nraIhnst"litTee-tnfreesharedbufferscachediota1usedMem： 1B1B522483853320-Z*buffersZcache:HOOGE3uap: Z0470Z6472.5.CPU占用率(top)描述：top提供一个当前运行系统实时动态的视图，也就是正在运行进程。在默认情况下，CPU使用率最高的任务排在第一行，并每5秒钟刷新一次。topTasl<s:CpuiCi：)Mem:如迎:19：49：2fcup3：2?j3usersjloadavcrci(fc:0.04jB.03f0.9G11Gtotalj1ruiniiing,115sleeping> 0stopped,9zonntic:B. .L.Izsy. 0.8zni.37.4<id. 0.9^uct. 8.4zhi. 0.7zki. 0.Bzsl1035140ktotal.Z0U?144ktotal.535816kUR已L(Jkusedj.499324kfree, 5577ZkhuffersZK97144kfree, 3Z81K4kcachedIpmUSERFBNIUIRTRESSHRsMCPUxMEMTIME+CDMMfiND ■河日root150197G700颂30.30.1e；92.?4lidld-eiildcjn-stiDr366Zroot1504446353764536S0.30.E)e91.63Oiwme-pother-man477Ipont15R23Z41flZ4丽4Rn.Fi国.1R:an.05toproot15Uzavzbib528U.Ha.im如一84initrootFT-59660.Q9.6699.09ion^Broot□4199660.09.66：9B.0dksoftirqd/BrootFT-59668.B9.6eaa.eauntdidogzBrootin-5AfiPAH"日一events/3rootin-5P>R9n.RBan:丽一明khelperroot1U-b9u.uauu.uu^thread16root10-5960.Q699.07玄hLockd/011root20S96O.SB：丽.98hacpid177root10-596o.b日明.明iEquLeuc/01朋rootin-5ARAR日；丽-HRhhubdIfIZrootin-5R聃聃n.Ra.«A:丽一明kseriod£4%root23UklmHU.klham:伽如pdflush事6root1509668.B9.66:00.15pdflush2d7root1059660.09.66：9B.O9kswapdB

I/O监控（vmstat210）process:-r:等待runtime的进程数 -b:在不可打断的休眠状态下的进程数memory:-swpd:虚拟内存使用量（KB）-free:闲置内存使用量（KB）-buff:被当做buffer使用的内存量（KB）swap:-si:swap到磁盘的内存量swap:-si:swap到磁盘的内存量（KBps）IO:-bi:每秒读取的块数（blocks/s）系统：in:每秒中断数，包括时钟中断CPU（以百分比表示）:us:用户进程执行时间（usertime）id:空闲时间（包括IO等待时间）-so:从磁盘swap出去的内存量（KBps）-bo:每秒写入的块数（blocks/s）cs:每秒上下文切换数。sy:系统进程执行时间（systemtime）wa:等待IO时间roots!ocaIhostinumstat218xid[idUA-

0Fr”5GB3765Rfl^765G0376朋脂7F>568376iiiirrSd95?g驱S咀FiR519G0i-nrJift3艺BftBR3河明3Zfiafia320003-3W0.p-'sisnTaio systesfli— epu 5ufluflou532281c1_wH-30tH-RuRS0a1001w0d89890■199991yl12102.7.5003765M«J7bxid[idUA-

0Fr”5GB3765Rfl^765G0376朋脂7F>568376iiiirrSd95?g驱S咀FiR519G0i-nrJift3艺BftBR3河明3Zfiafia320003-3W0.p-'sisnTaio systesfli— epu 5ufluflou532281c1_wH-30tH-RuRS0a1001w0d89890■199991yl12102.7.5003765M«J7bMW5G03765Rfl^76“顿RbiytiH5顿R32G0Ga3携幽汪3艺BBBR0H-0H--H0000fleM-Ruflm3^3o95-9B30JQJ-99z11126M-0u15878304--M-531119364430z41cpimCRiH1.日志系统 系统日志(cat/var/log/messages|grep‘Jul23’|greperror)记录报警信息Jul2323：07：19loci)lltosfngduun..TillJulJul1m:nllmxl.JocaJJocaJhostgconfa(rDot-3219):GComfserverisnotinusejshnttgconfd(root-3Zl?):Exitingxinetd[3034J-Exitin((.auheid[ZEI12]:GatdisconmectedfromthesystemmessaejebuwJulpYitinj.JulZ3^3：«?!Zbexiting.JulJulJnl心Jul2323:07:25]uud]]tusIJocaJJias!23E3：0?：2?Z3E3；0?；Z7Z323：fl7：Z?auid=4登4如““siLbj=23]ocalltosf]uudlliusllocaIlin"rim-systrm-5Et.tir]igrs:disccirinirctEdfromtliesystembusjrpcastatilEZ75ZJ"CaughtsignaL15,mi-registerinjga.nd23：0?：23iocalltosfrcstorccond«terminatedanditil[Z6&9]:TJieauditddemunIsexitingakernel:andit(1343056047.817：Z9>:audit_pid=B□ld=Z663systein_upcscd:"system_r:auditd_t:pcscdaemon-c：572:signal_trap()Preparingfforsuicidc.Till23tnppEdJulZ3%;心；23pcscd:hotp]ugr_]Lbusb.c=376^HPRescanllsbEusOHotpLugsJocaJJiostGcleanir(fFunction]uudlltusl1ni：nllmszl.JocaJJocaJhostlouJtlJul.TillJulJulIroctQlncalliostpcscd:readerFactory.c:1379:BFCleanupReaders()enterinjjcscdacnnciri.c：53Zt_rxit()dtailing/varzruripcscd:kernel:Kernellodging(proc)stoppedHkerne1=Kerne1]ogdaemonterminating-exitingonsicfima115 硬件启动日志（dmesg|greperror）记录系统启动错误信息Bluetooth:HCIsocketlayerinitializedBluetooth:L2CAPver2.8Bluetooth:L2CAPsocketlayerinitializedDliLctootli:HFCOMMsocketLayerinitia1izedBluetooth：nFCOMMTTYlayerinitializedBlueLuuLIi；