基础设施维护专项方案

基础设施维护方案概述运行维护，由维护及定检两部分内容组成。维护定检不仅是在问题出现时能快速地定位、处理问题；而更关键是在故障产生前，能够经过例行巡检工作立即发觉故障隐患、消除故障隐患，使设备长久稳定地运行。对设备良好、有效维护，不仅能够降低设备故障率，而且能够延长设备使用寿命。维护定检基础标准就是在例行维护定检工作中立即发觉、处理问题，防患于未然。假如维护人员能在故障发生之前，在例行巡检之中，立即检测到故障先兆，将故障处理在萌芽期，这么不仅能够避免故障发生后，因为抢修慌乱、业务中止所造成经济损失；而且还能够避免故障严重化对整个设备所造成损伤，从而降低板件更换等维护费用，延长设备使用寿命。而这一切，不仅要求维护人员有深厚功底，丰富维护经验，还要有洞察秋毫高度敏感性。总则为基础设施连续性和信息安全性，制订有效运行维护策略来确保服务交付质量，兼顾运行维护过程（立即和规范）和运行维护结果（可用和安全），实现“事前防范，风险前移；事中控制，快速响应；事后改善，连续评定”连续改善标准。2.1可用性采取合适方法，确保按服务协议提供长久、连续满足需求优质服务，保持服务对象符合SLA可用性要求。包含：在服务实施时，建立相关作业步骤和响应机制，必需时按需方要求制订系统冗余和备份规范，以满足需方对可用性要求；进行合理人员岗位设置和职责定义，确保专员专岗并设置人员备份；配置含有对应能力人员和必需工具，并定时进行专业培训，以提升服务可用性。人员能力具体要求；选择适用运行维护技术，以确保服务可用性；依据运行维护服务等级要求，必需时应建立体系架构关键健康检验点，并配置对应运行维护工具，以确保服务水平。运行维护工具等级；依据服务要求配置足够资源，避免因为资源缺失造成对服务可用性带来影响。2.2安全性采取多种安全手段或方法，有效控制数据中心运行维护服务各个步骤，保护数据中心运行维护服务中物理安全、网络安全、系统安全、应用安全和数据安全。包含：建立合适信息安全管理机制，以规范数据中心运行维护服务人员信息安全行为；对运行维护服务人员采取有效信息安全管理方法，如进行人员背景调查、签署安全保密协议等；对运行维护服务人员进行相关安全管理及安全要求培训，并进行合适检验，以确保服务人员了解并遵守数据中心安全、保密相关要求；充足关注数据中心业务安全需求，结合信息安全技术和管理标准，进行合适安全评定，提供对应安全提议，并对服务对象进行合适监控和保护；对数据中心安全进行监控、分析，把安全风险控制在可接收范围内，预防安全事件发生；建立有效安全通报机制，以立即通报安全事件相关情况和对应防范处理方法等。2.3立即性采取合适手段确保提供满足SLA时间指标要求运行维护服务。包含：对事件、问题、变更建立明确分级策略，并和服务窗口时间、响应时间等指标相匹配；建立可确保满足需方要求沟通联络机制，保持沟通渠道通畅，以实现对服务需求立即响应；建立有效服务资源调度机制及和服务相关方协同机制，配置必需备品备件，以提供立即服务保障；特殊时间段（如法定节假日或重大事件等），应提升响应等级，提供必需现场支持；建立有效机制，周期性对事件等级定义进行更新，以确保定义正确有效。2.4规范性建立合适服务管理步骤、服务活动指导文件或实施规则，以确保服务过程规范运作。包含：建立有效服务管理步骤文件，以确保服务过程实施规范性；建立或遵照需方数据中心相关管理制度，如出入场管理制度、安保控制制度等；对于例行操作服务，应制订具体、可操作技术手册，以降低操作风险；对于非例行操作服务（响应支持、优化改善、调研评定），应在实施前，制订具体实施方案，并进行风险评定及分析，采取对应风险规避方法和回退手段；在服务过程中进行任何活动，应建立服务档案，可形成服务汇报，保留完整服务统计。服务对象和交付说明3.1服务对象及内容（1） 定时对硬件设备进行巡检、保养，以保障设备运行正常（具体设备范围因协议而异，基础包含电力系统、空调系统、安防系统、网络系统、监控系统和综合布线系统等）；（2） 定时升级配套软件版本；（3） 帮助采购人制订安全策略，定时检验、排除风险，保障设备及网络环境安全；（4） 针对关键设备，实时监控运行情况，立即发觉故障、排除故障；（5） 针对周期性巡检发觉安全隐患进行防范和处理；（6） 提供配件维修、更换服务（7） 系统重布署及调试：新机上架帮助及系统移位帮助。（8） 帮助采购人，规范硬件管理维护标准化工作。3.2交付内容服务交付内容包含调研评定、例行操作、响应支持和优化改善四类，其中：调研评定服务：依据需方、服务相关方或系统运行需求，对服务对象运行情况、运行环境进行现实状况调研、系统分析和评定并提出对应提议和服务方案；例行操作服务：根据约定条件触发或预先要求常态服务，分为监控、预防性检验和常规作业；监控：指采取各类工具和技术，对服务对象动态指标、静态指标、运行情况和发展趋势等进行统计、分析和告警；预防性检验：确保服务对象连续正常运行，依据服务对象监控统计、运行条件和运行情况进行检验和趋势分析，发觉其脆弱性，方便消除或改善；常规作业：对数据中心服务对象进行日常维护，包含定时保养、配置备份、数据备份、恢复、定时重启等活动，以确保服务对象稳定运行。响应支持服务：依据响应前提不一样，分为事件驱动响应、服务请求响应和应急响应；事件驱动响应：因为不可估计原因造成服务对象整体或部分性能下降、功效丧失，触发将服务对象恢复到正常状态服务活动。事件驱动响应处理过程首先争取在最短时间内恢复服务或启用备份资源，维持服务连续提供，并应对事件做出分析、明确诱发事件原因和影响范围，采取有效防控方法，降低类似事件再次发生。事件驱动响应触发条件包含外部事件、系统事件和安全事件三种；服务请求响应：因为需方提出各类服务请求，引发需要针对服务对象、服务等级做出调整或修改响应型服务。服务请求响应需要依据总体服务策略并参考已经有SLA/SOW做出判定，对服务实施进行影响评定，制订具体实施方案和回退方法，并在条件许可情况下实施实施方案和回退方案测试。变更型响应服务实施完成后，应进行总结，确定已达成预期目标。这类响应可能包含服务等级变更、服务范围变更、技术资源变更、服务提供方法变更等；应急响应：指在出现跨越预定应急响应阈值重大事件、发生重大自然灾难、因为政府部门发出行政指令或需方提出要求时，应该开启应急处理程序。优化改善服务：包含适应性改善、增强性改善和预防性改善三种类型；适应性改善：为保持服务对象在已改变或正在改变环境中可连续运行而实施改造；增强性改善：依据运行需求或因为服务对象缺点，采取对应改善方法增强数据中心安全性、可用性和可靠性；预防性改善：检测和纠正服务对象运行过程中潜在问题或缺点，以降低系统风险，满足未来可靠运行需求。运行维护交付内容4.1服务对象服务对象包含空调系统（精密空调系统、新风系统）、电力系统（供配电系统、UPS系统、发电机系统）、安防系统（防雷接地系统、消防系统、视频监控系统和门禁系统）、网络系统及设备、PC服务器、小型机等服务器和综合布线系统。4.2调研评定基础设施调研评定服务内容包含但不限于：a) 空调系统（精密空调系统、新风系统）：机房环境指标分析及改善提议、机房热点分析及部署改善提议、机房送风、回风方法改善提议，新风风量、风压指标分析及改善提议；辅助制冷单元配置提议等；b) 电力系统（供配电系统、UPS系统、发电机系统）：机柜供电分析及改善提议、机房回路调整分析调整提议、机房扩容提议等；发电机负荷分析及调整提议等；UPS运行分析及扩容提议，超出设计使用寿命电池更换提议、整流直流电容、逆变交流电容等；c) 安防系统（防雷接地系统、消防系统、视频监控系统和门禁系统）：防雷接地系统分析及改善提议、消防系统现实状况分析和改善提议（根据当地消防管理部门管理要求）、视频监控系统分析和改善提议、门禁系统分析和改善提议等；d) 综合布线系统等：光纤、铜缆容量、使用效率分析；应用环境及性能分析；数量、路由改善或扩容提议；等级提升提议等。e) 机房电源使用效率：经过对机房PUE连续监测分析，提供机房能效改善提议，包含但不限于：空调系统优化（消除机房热点、冷热通道遏制、改善送回风、使用节能型设备等）、电力系统优化（回路优化、使用节能型设备等）、实施容量管理（对机柜电力容量、制冷容量及空间容量进行统筹管理，以充足利用资源）等。f)网络及网络设备调研评定：（整体或局部）网络实际负荷和承载能力分析；（整体或局部）网络预期负荷和承载能力分析和提议；（整体或局部）网络架构分析和提议；（整体或局部）网络路由策略分析和提议；（整体或局部）网络安全策略分析和提议；（整体或局部）网络配置调优分析和提议等。g) 服务器调研评定：服务器负载情况分析；服务器安全策略分析；服务器高可用性分析；服务器性能分析及调整提议。4.3例行操作基础设施例行操作服务包含：监控、预防性检验、常规作业。4.3.1监控对基础设施监控内容参见表1，包含但不限于：表1基础设施监控内容表服务对象监控内容空调系统（精密空调系统、新风系统）环境温度、环境湿度、出风温度、回风温度，告警情况等电力系统（供配电系统、UPS系统、发电机系统）供配电系统：电流、电压、功率因数、有功功率、无功功率、谐波等发电机：启停情况、电流、电压、负载率、控制系统供电情况等UPS:输入电流电压、输出电流电压、频率、负载率、温度、报警情况、电池充电/放电电压等电源使用效率：PUE值（经过监控软件监测或计算得出）安防系统（防雷接地系统、消防系统、视频监控系统和门禁系统）防雷接地系统：浪涌保护器、避雷器状态等消防系统：消防控制系统状态、气体灭火钢瓶压力、灭火器使用期检验视频监控系统:告警情况、监控录像等门禁系统：门禁状态、告警情况网络及网络设备网络设备健康情况、整体运行状态、各项硬件资源开销情况链路健康情况如端到端时延改变、链路端口工作稳定性、链路负载百分比、布署路由策略情况下端到端选路改变、路由条目改变管理权限用户行为审计设备软件配置变动审计设备日志审计安全事件审计服务器服务器整体运行状态服务器电源工作状态服务器CPU工作状态服务器内存工作状态服务器硬盘工作状态服务器网络端口工作状态4.3.2预防性检验在监控服务基础上对基础设施进行预防性检验。包含：性能检验和脆弱性检验。基础设施预防性检验内容参见表2，包含但不限于：表2基础设施预防性检验内容表服务对象性能检验内容脆弱性检验内容空调系统精密空调高压压力、低压压力（风冷系统），冷冻水压力、温度，冷却水压力、温度（水冷系统），风机运行情况，灰尘情况等机房热点情况、室内机漏水检验、室外风机运转情况、加湿罐阳极棒检验、过滤网检验等新风系统风机运行情况、风速，预处理系统工作状态，上下水情况等过滤网检验、风压差检验电力系统配电系统接地电阻、零序电流、器件发烧情况等导线、器件发烧情况，防浪涌器件情况等发电机转速、发烧情况等油位，吸气、排烟通道等UPS系统器件发烧情况、电池情况（外观、非免维护电池检验液位、接线柱）、检验通风情况（风扇、入气口、出气口）等器件、导线发烧情况，电池放电时间、通风情况等安防系统防雷接地系统接地电阻测试引下线检验、接地汇接排检验消防系统钢瓶压力、使用期、探头污染等开启瓶、管道开关、气体压力等视频监控系统画面清楚度（不一样照度情况下）、录像硬盘（磁带）容量、云台运行等监控系统运行状态、监控死角问题等门禁系统服务器、控制器、读卡器、门磁等工作状态门禁系统和消防系统和视频监控系统联动检验（假如有此功效），异常情况报警检验综合布线系统光纤、铜缆链路测试，性能测试等线缆两端应贴有识别标签，标志要和实际拓扑图完全一致网络及网络设备设备机身、板卡或模块工作情况CPU使用峰值情况内存使用峰值情况关键端口利用率链路健康状态，包含IP包传输时延、IP包丢失率、IP包误差率、无效IP包（包含攻击性IP包、欺骗性IP包、垃圾IP包等）检验其它关键指标项，比如各类关键表项、会话连接数等是否需要升级系统微码设备链路冗余度要求安全事件周期性整理分析设备生命周期评定备件可用性周期性检验服务器服务器资源分配情况和策略CPU使用峰值情况内存使用峰值情况文件系统空间使用情况IO读写情况网络流量情况等和存放链路性能测试服务器资源分配是否超出预定阀值服务器关键部件是否满足运行冗余度要求服务器关键部件微码版本是否需要升级服务器关键部件链路冗余度要求服务器硬盘是否RAID保护服务器文件空间使用是否达成预定阀值4.3.3常规作业基础设施常规作业包含基础类操作、测试类操作和数据类操作，其中：a) 基础类操作：按服务管理手册相关要求，实施设备日常运行、维护和保养；b) 测试类操作：按服务管理手册相关要求，对基础设施各系统功效、性能进行测试；c) 数据类操作：按事先要求程序，对基础设施运行日志、统计等数据进行操作。基础设施常规作业内容参见表3，包含但不限于：表3基础设施常规作业内容表服务对象基础类操作测试类操作数据类操作空调系统精密空调启停机、清洗更换滤网、清洗更换加湿系统、清洁冷凝器等漏水报警测试、周期性主备切换/应急演练等运行日志备份，报警统计备份、清除等新风系统启停机、清洗更换滤网等消防联动测试运行统计备份（假如有）电力系统配电系统除尘、合闸、分闸等互投测试等运行统计备份发电机更换三滤、清洁等空载测试、带载测试、切换演练等运行日志备份，报警统计备份、清除等UPS系统旁路、清洁等旁路测试、电池放电测试、周期性主备切换/应急演练等运行日志备份，报警统计备份、清除等安防系统防雷接地系统接地端子、汇流排紧固，浪涌、防雷保护器复原等接地电阻测试运行统计备份（假如有）消防系统探头清洗等开启测试、探头测试等报警统计备份、清除视频监控系统视频监控头清洁，云台保养器件灵敏度、画面清楚度（不一样照度情况下）、云台运行等出入统计导出、备份，监控图像统计备份、清除，报警统计备份、清除等门禁系统门禁授权等门禁系统和消防系统和视频监控系统联动检验测试（假如有此功效），掉电测试运行日志备份，报警统计备份、清除等综合布线系统线路跳接等链路测试、性能测试布线系统拓扑图数据更新网络及网络设备设备操作系统软件备份及存档系统微码升级设备软件配置备份及存档监控系统日志备份及存档监控系统日志数据分析和汇报生成网络配置变更文件审核网络配置变更操作网络配置变更统计服务器系统微码升级配置文件备份过期日志和文件系统空间清理服务器硬盘RAID配置检验（如有RAID控制器）更换控制器电池（如有RAID控制器）4.4响应支持4.4.1事件驱动响应针对设备软、硬件故障引发业务中止或运行效率无法满足正常运行要求，而进行响应服务，包含但不限于：a) 空调系统：故障排查、关闭部分机组以维持机房最低温湿度指标、关闭新风系统等；b) 电力系统：配电系统包含故障排查、投入备用电源回路、关闭非关键回路等；发电机系统包含故障排查、开启发电机、油料补充等；UPS系统包含故障排查、旁路系统、关闭非关键输出等；c) 安防系统：防雷接地系统包含浪涌保护器复原、更换，接地电阻降阻等；消防系统包含故障排查、系统开启、报警联动、疏散警示等；视频监控系统包含故障排查、监控头或硬盘更换、检验告警、数据恢复等；门禁系统包含故障排查、手动开启或关闭门禁系统、检验告警或监控统计等；d) 综合布线系统：线缆更换等。e)网络及网络设备事件驱动响应故障定位；停止、开启进程；中止、连通网络连接；关闭、开启端口；网络备件更换；更改、恢复配置。f) 服务器事件驱动响应服务器重启；更换故障部件，包含主板、电源、CPU、内存、硬盘等；服务器关键部件微码升级；服务器硬盘RAID配置修复。4.4.2服务请求响应依据应用系统运行需要或需方、服务相关方请求，而进行响应服务，包含但不限于：a) 空调系统：调整温度、湿度参数等，调整新风量等；b) 电力系统：配电系统包含增减回路、增减供电类型（如直流、110V）等；分支回路相位调整等；发电机为指定负载供电等；UPS系统包含旁路操作、为指定负载供电等；c) 安防系统：防雷接地系统包含新设备接地等；消防系统包含增减终端设备、检验及提供告警及监控统计、备份或清除统计等；视频监控系统包含调整摄像机位置、增加摄像机，增加录像机容量等；门禁系统包含增加、删减、变更门禁权限等；d) 综合布线系统：链路跳接、跳线更换，布线扩容等。e) 网络及网络设备服务请求响应增加、降低网络接入数量或速度；更改网络设备配置；开启、关闭端口或服务；更换、更新或升级设备硬件或软件。f) 服务器服务请求响应服务器设备搬迁；服务器设备停机演练；服务器设备清洁维护等。4.5优化改善4.5.1适应性改善依据应用系统特点和运行需求，对基础设施进行调整，包含但不限于：a) 空调系统：调整温湿度参数等、调整机组位置、增减新风风量等；b) 电力系统：配电系统包含更换开关、导线以适配负载容量等，发电机包含调整开启方法等；c) 安防系统：调整防雷接地系统、消防系统、视频监控系统和门禁系统，以适应应用系统改变；d) 综合布线系统：调整综合布线系统，以适应应用系统改变。e) 网络及网络设备适应性改善路由策略调整；设备或链路负载调整；安全策略调整；监控对象覆盖范围调整；局部交换优化；局部冗余优化。f) 服务器适应性改善服务器硬盘RAID配置调整；服务器网络、光纤链路冗余调整；服务器电源供电接入冗余调整。4.5.2增强性改善依据应用系统特点和运行需求，经过对基础设施运行统计、趋势分析，对基础设施进行调整、扩容或升级，包含但不限于：a) 空调系统：增减精密空调机组、增减APU单元，增加新风机组、预处理装置等；b) 电力系统：配电系统包含增加回路、增加ATS设备等；UPS系统包含增加主机数量、增加电池数量等；c) 安防系统：防雷接地系统包含增加冗余引下线、接地装置，降低接地电阻阻值等；消防系统包含增加传感器和喷头数量，更换高性能控制主机；视频监控和门禁系统包含增加报警联动、增加终端数量、增加存放容量等；d) 综合布线系统：线路扩容、更换高性能布线等。e) 网络及网络设备增强性改善硬件容量改变，如网络设备硬件、软件升级、带宽升级等；整体网络架构变动；网络架构容量改变，如网络子系统增减等；系统功效改变，如新增功效区、新增安全系统、新增审计系统等；路由协议应用及布署调整；整体安全策略收紧；交换优化；冗余优化。f) 服务器增强性改善为本服务器从存放系统上分配更大空间；服务器CPU个数增加；服务器内存容量增加；服务器磁盘空间扩容；服务器网卡和HBA接口卡增加等。4.5.3预防性改善依据对基础设施运行统计、趋势分析，结合应用系统需求，发觉基础设施脆弱点，有针对性地进行改善性作业，包含但不限于：a) 空调系统：调整机组位置，调整出回风方法等；b) 电力系统：配电系统包含更换开关、更换导线、调整回路等；发电机包含更换或添加高标号油料等；c) 安防系统：防雷接地系统包含焊接点加固、防腐处理等；消防系统包含消防系统预防性改善（根据当地消防管理部门管理要求）；视频监控和门禁系统包含门禁系统支持和消防系统和视频监控系统联动；d) 综合布线系统：弱电线缆和强电线缆物理隔离，鼠患排查等。e) 网络及网络设备增强性改善配置参数优化，比如关闭无须要服务、打开缺省增强功效、加紧三层网络路由收敛速度、加紧二层网络生成树收敛速度等；安全优化，比如密码加密，TELNET控制等；提升软件配置命令可读性。f) 服务器预防性改善检验服务器硬盘RAID配置，立即修复或更换故障硬盘；增加服务器网卡、光纤卡和链路冗余情况；增加服务器电源供电模块冗余。服务管理制度规范5.1服务时间接收服务请求和咨询：在5*8小时工作时间内设置由专员职守热线电话，接听内部服务请求，并统计服务台事件处理结果。在非工作时间设置有专员7*24小时接听移动电话热线，用于处理内部技术问题和接听7*24小时机房监控人员机房突发情况汇报。服务响应时间：故障等级响应时间故障处理时间备注I级：属于紧急问题；其具表现象为：系统瓦解造成业务停止、数据丢失。30分钟，2小时内提交故障处理方案12小时以内具体时间因项目而定II级：属于严重问题；其具表现象为：出现部分部件失效、系统性能下降但能正常运行，不影响正常业务运作。30分钟，2小时内提交故障处理方案二十四小时以内具体时间因项目而定III级：属于较严重问题；其具表现象为：出现系统报错或警告，但业务系统能继续运行且性能不受影响。30分钟，2小时内提交故障处理方案48小时以内具体时间因项目而定IV级：属于一般问题；其具表现象为：系统技术功效、安装或配置咨询，或其它显然不影响业务预约服务。30分钟，2小时内提交故障处理方案5天内具体时间因项目而定技术支持人员在处理故障时，会最大程度保护好数据，做好故障恢复文档，努力争取恢复到故障点前业务状态。对于“系统瘫痪，业务系统不能运转”故障等级，假如不能于12小时内处理故障，将在协议小时内提出应急方案，确保业务系统运行。故障处理后二十四小时内，提交故障处理汇报。说明故障种类、故障原因、故障处理中使用方法及故障损失等情况。5.2行为规范遵守用户各项规章制度，严格根据用户对应规章制度办事。和用户运行维护体系其它部门和步骤协同工作，亲密配合，共同开展技术支持工作。出现疑难技术、业务问题和重大紧急情况时，立即向责任人汇报。现场技术支持时要精神饱满，穿着得体，谈吐文明，举止庄重。接听电话时要文明礼貌，语言清楚明了，语气和善。遵守保密标准。对被支持单位网络、主机、系统软件、应用软件等密码、关键参数、业务数据等负有保密责任，不得随意复制和传输。5.3现场服务支持规范运维服务人员要做到耐心、细心、热心服务。工作要做到事事有统计、事事有反馈、重大问题立即汇报。严格遵守工作作息时间，严格根据服务工作步骤操作。现场支持工程师应着装整齐、言行礼貌大方，技术专业，操作熟练、严谨、规范；现场支持时必需遵守用户单位相关规章制度。现场支持工程师在进行现场支持工作时必需在确保数据和系统安全前提下开展工作。现场支持时出现临时无法处理故障或其它新故障时，应通知用户并立即上报责任人，寻求其它处理路径。故障处理后，现场支持工程师要具体统计问题发生时间、地点、提出人和问题描述，并形成书面文档，必需时应向用户介绍故障出现原因及预防方法和处理技巧。5.4问题统计规范依据使用人员提出问题类别，将问题分为咨询类问题和系统缺点类问题二类：咨询类问题是指经过服务热线或现场解疑等方法能够当场处理用户提出问题，含有问题解答直接、快