IT运维的重要性

1、IT运维建设介绍IT运维的重要性第1页目录运维部门价值与挑战运维部门工作内容运维工作体系建设之流程与制度（Process）运维工作体系建设之人员（People）运维工作体系建设之技术（Technology）运维工作现实状况与展望IT运维的重要性第2页运维部门定位运维部门在企业位置图例： 产 供 销 售后对热线服务提供疑难技术支持，提升品牌形象，对产品优化研究，提升产品质量服务中心热线RMA技术支持中心备件中心Tec中心试验室平台为最终用户提供安全、可靠支付等服务电话服务CMNET计算机网络依据产品方案，定制集成系统方案，并确保按照规范平稳运行系统各业务线前端产品和研发人员设计和生产软件模块IT

2、运维的重要性第3页运维部门价值“以流程为导向，以客户为中心，以技术为支点，提供低成本、高质量IT服务，以满足业务快速发展需要”全方面管控企业范围内基础设施、信息资产等资源，实现前端业务快速上线；售后用户投诉等问题实现第一时间、一次性完善处理，提升内外部客户满意度业务快速响应要求业务连续性要求业务安全性要求成本预测与量化要求对在线业务从系统层到业务层实现全方面监控，从被动处理转变为主动预防，制订SLA考评指标，提升故障快速定位和处理，保障业务到达超出竞争对手稳定运行率运维服务实现标准流程化管理，统一调度单元，对服务进行调度管理，服务价值与业务发展相符。采取先进技术，低成本对应业务转型，技术创造价

3、值横向从人员、流程、制度、技术伎俩等方面，纵向从网络层、主机层、存放层、数据层、业务层等方面，形成网状结构全方面梳理安全问题，保障业务机密、完整和可用性IT运维的重要性第4页运维部门价值运维部门在企业地位和作用大背景：产品前期设计和开发在整个生命周期中只占20%左右，80%时间集中在运维和运行工作，伴随各行各业大规模信息化建设时代靠近尾声，IT运维时代已经降临。不一样企业，企业不一样发展阶段，运维部门地位和作用不一样：“管理要效益”Consumer lead“规范期”Normative中泰化学“蛮荒期”Start up time业务拓展为重，业务量考评，满足接入上量为标准SP为中心缓解管理压力

4、为重，重点处理系统稳定性、产品可用性、投诉处理运行、运维管理为中心效益考评为重，业务品牌建设，个性化服务细节，产品质量提升用户为中心中泰化学发展三个阶段运维部门频繁上线及排障，多采取人海战术，规范性较差，“被动、无序”，产品可用性及安全问题突显。运维部门负担了产品质量评价和部分管理职能，规范流程制度，向技术运维转型，致力于消除人为事故和安全隐患运维部门从系统整体性角度出发，牵头连续优化产品质量和性能。用户满意度成为考评指标IT运维的重要性第5页网络和产品缺乏可用性等指标评价体系，系统优化缺乏依据；运维人员在运维流程中缺乏服务评价指标体系，从而不能作为绩效考评依据；生产环境中单点设备较多，业务中

5、止风险高；破旧设备对新技术支持较差，资源分配不灵活；监控、拨测等自动化运维工具缺乏，工作效率差、人力成本高；CMDB缺乏，生产环境中“僵尸节点”较多，影响业务更新，甚至带来平台重构风险； 运维部门处于生产和销售中间步骤，对前后端各条业务线提供各种服务，规范流程缺失，造成处理问题靠英雄和人情，责任定位不明确；各种特批流程泛滥，运维人员工作处于无序化，紧急且主要业务需求得不到优先支持，影响内外部客户满意度； 运维部门规模较小，人员担心，分工粗泛，要求一人多能，一人管理多条业务线，造成人员专业性不强，人员数量和技能与实际要求差距较大，业务需求得不到快速良好支持；运维人员职业规划和能力培养尚不完善，不

6、规律作息和巨大工作压力，造成了运维人员大量流失，工作分工不明确，经验固化随之微弱。运维部门挑战运维部门困境和挑战指标绩效基础设施流程制度运维人员IT运维的重要性第6页目录运维部门价值与挑战运维部门工作内容运维工作体系建设之流程与制度（Process）运维工作体系建设之人员（People）运维工作体系建设之技术（Technology）运维工作现实状况与展望IT运维的重要性第7页运维部门工作内容工作内容分类计算机管理计算机软件管理日常巡检机房监控电话变更系统变更备份灾备问题排查故障处理故障统计问题分析与汇报安全扫描安全加固网络安全安全策略制订配置管理变更管理事件管理问题管理连续性管理可用性管理安全

7、管理X 网络、主机、存放、数据、业务5层X 企业业务线数量= 运维工作量估算 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17应急演练网络变更外围设备外设管理IT运维的重要性第8页运维部门工作内容运维工作布署演进第一步第二步第三步运维工作多而杂，经过把复杂运维工作从项目、系统分层、业务线进行三个维度切分，使工作内容职责清楚，更易于落地执行；对细分工作内容进行梳理，固化工作经验，形成专业操作手册，对于能够自动化实现部分，做成运维工具，到达降本增效目标，降低人为操作误差；将细分专业化工作模块化，由一线运维团体、二线支撑团体，和暂时虚拟项目组负担，或者考虑成本要求，

8、在安全性要求较低工作上购置外包服务网络系统模块操作系统模块数据库及应用模块售后投诉模块IT运维的重要性第9页目录运维部门价值与挑战运维部门工作内容运维工作体系建设之流程与制度（Process）运维工作体系建设之人员（People）运维工作体系建设之技术（Technology）运维工作现实状况与展望IT运维的重要性第10页运维工作体系建设之流程制度流程制度分类部门内部流程制度部门与外部流程制度部门内各团体间工作流程一线、二线团体之间工作流程；虚拟团体工作流程；服务产品外包工作流程；部门内操作规范、安全制度银联安全规范、制度移动安全规范、制度企业安全基线规范运维相关编码安全规范售前技术支撑流程上线

9、流程投诉处理流程事件管理流程问题管理流程敏感数据提取流程业务推广活动支撑流程商户接入流程服务目录IT运维的重要性第11页运维工作体系建设之流程制度流程制度举例北京移动安全管理实施细则 V5为了预防客户信息泄露等事故再次发生，重铸企业品牌和信誉，北京移动企业网络部牵头，历时1年，各个部门都有参加，参加编写人员近百名，完成了企业内部安全管理实施细则，共35个分类，全方面梳理了企业内部各主要流程中人因原因部分，制订了操作和审计制度。系统安全制度体系方面我们企业比较缺失IT运维的重要性第12页运维工作体系建设之流程制度部门间服务接口-服务目录概念：服务目录是管理内外部客户期望，使服务产品化、提升服务交

10、付质量主要工具服务内容和范围服务运行前提条件服务水平要求服务沟通界面服务评价方法1售前技术支撑2上线服务3投诉处理服务4事件处理通报5问题处理6数据提取服务7业务推广支撑 我们会按照和各业务线梳理和签署服务目录，制订人力资源计划和各团体及各人KPI服务项目服务内容IT运维的重要性第13页运维工作体系建设之流程制度服务目录举例上线服务服务内容和范围服务运行前提条件服务水平要求服务沟通界面服务评价方法1售前技术支撑2上线服务按次分配，内容和范围写在上线工单中：1、网络需求2、应用需求3、主机需求1、上线前提交资料2、大型上线需要有评审会1、不影响已经有业务功效2、新上线功效正常使用3、在业务要求时

11、间内上线1、OA工单流程（两个铁律）2、电话、邮件3、会议已做成上线打分表，对前端上线完备性做评价 服务项目服务内容IT运维的重要性第14页目录运维部门价值与挑战运维部门工作内容运维工作体系建设之流程与制度（Process）运维工作体系建设之人员（People）运维工作体系建设之技术（Technology）运维工作现实状况与展望IT运维的重要性第15页运维工作体系建设之人员研发团体和运维团体关系举例：A组B组项目1A组研发B组运维项目2B组研发A组运维保守期运维人员由研发人员轮岗X产品生命周期例一：NEC强耦合，研发即运维研发组运维组项目1研发组运维组项目2研发组运维组保守期研发组留人运维组留

12、人X产品生命周期例二：华为、联想、腾讯等平衡型，研发和运维协同工作产品部维护部项目产品部门向维护部门交维保守期维护部门X产品生命周期例一：北京移动弱耦合，研发和运维分离运维部门研发组1研发组2产品1产品n例四：联动优势无耦合，单点IT运维的重要性第16页运维工作体系建设之人员运维团体内架构举例产品1一线运维团体产品2产品n二线应用运维团体一线运维团体一线运维团体二线网络运维团体二线主机运维团体二线数据库运维团体安全团体北京移动：一线运维组：购置各产品原厂维保；二线应用运维组：系统责任人A、B角；二线网络、主机、数据库运维组购置神码专业团体支撑全部产品；安全组：移动员工专业团体运行商、银行、证劵

13、企业多采取腾讯企业：一线运维组：按各产品划分二线应用运维组：支撑产品组合；二线网络、主机、数据库组：按照机房物理地点划分安全组：管理全部产品互联网企业多采取研发团体IT运维的重要性第17页运维工作体系建设之人员依据企业运维人员起源，人员架构以下：商户组运行组主机组网络组维护组技术支撑组一线团体二线团体技术支撑团体负责商户接入商户接入前技术支撑；接入中调试；接入后问题处理负责生产系统一线运维全方面监控生产环境；告警、投诉和故障及时响应；一线问题梳理；帮助二线对系统优化负责应用深度运维各业务线一名专员在产品、研发阶段随工；产品设计阶段规划系统方案；做成维护手册前移至一线团体；各业务系统排障；处理复

14、杂投诉；负责系统质量指标制订和系统优化工作负责自动化工具研发与新技术研究研发监控、布署、商户调试等自动化运维工具；业界先进运维技术研究并立项负责网络、主机深度运维制订主机、网络方案，维护及优化生产环境物理设备，响应一线团体告警、排障需求。IT运维的重要性第18页运维工作体系建设之人员运维人员发展路径以成本低、适应面广、服务优为视角，形成规模化综合能力优势，铸造一支准确定位、快速反应一线运维技术服务团体一线运维专才1以技术精、业务通为视角，铸造教授型技术支援团体,形成对各业务线关键把控能力，向IBM 800技术热线或思科CASE团体水平靠拢，彰显企业技术售后服务品牌形象TAC教授2系统技术架构师

15、3以灵活可靠,扩展性强为视角，形成各业务线软件、硬件集成架构体系，具备主机、网络、DB及应用综合技术能力，以及全方位安全保障能力技术体系规划师4以技术前瞻为视角，形成清楚技术体系规划蓝图，确保基础架构以最优方案满足供企业业务需求，技术战略与时俱进，保持行业领先水平，含有关键技术优势和竞争力IT运维的重要性第19页目录运维部门价值与挑战运维部门工作内容运维工作体系建设之流程与制度（Process）运维工作体系建设之人员（People）运维工作体系建设之技术（Technology）运维工作现实状况与展望IT运维的重要性第20页运维工作体系建设之技术业务支撑能力建设IaaS平台架示意构图IaaS：基

16、础设施即服务，主要是将网络、服务器等基础设施和操作系统、数据库等基础软件看作资源，对这些资源进行虚拟化，以CPU、内存、存放容量、操作系统等为单位向用户提供给用软件运行环境服务模式。IAAS平台可提供网络资源、计算资源、存放能力等构建成资源池，随时随需进行分配和调度；底层硬件设施采购不会受制于应用制约；对于业务增减改变频繁情况，不但可灵活弹性分配资源，还可及时对下线业务占用资源进行回收再利用，实现投资保护并降低系统建设成本；经过资源分配量，可计量每个业务所占用系统成本，并使服务可度量，为企业预算管理提供依据；对于企业移动金融云战略，IaaS也是基础。IT运维的重要性第21页运维工作体系建设之技

17、术运行支撑能力建设北京移动企业信息门户内部信息门户：企业内部信息门户是一个基于Web系统，它是企业内部员工与团体之间互动、信息和知识共享门户： 信息门户可为员工提供一个统一入口，只需单点登录，即可处理各类工作和流程，快捷获取所需信息 可为整个企业信息公布和集成提供统一渠道。 实现统一用户认证、授权和安全管理。 企业内部员工之间是有分工，不一样员工因为角色不一样、层级不一样，因而不一样员工含有不一样工作，内部信息门户为每位员工提供独特工作平台。因为企业办公地点分散，不一样部门、项目组，也应该有自己工作场景门户，包含团体工作方法、规范和共享信息等，使大家感觉协同办公。IT运维的重要性第22页运维工

18、作体系建设之技术自动化运维能力建设自动化运维建设：本着“网络质量是第一生命力”宗旨，移动大力建设技术支撑平台，实现对业务全方面、实时监控，不停提升业务连续性和可用性，主要部分包含：运维流程平台：变更、配置、问题、事件等流程工具；业务管理平台：端到端拨测、业务指标展现及分析工具；监控管理平台：系统各层监控工具、诊疗工具、性能管理工具等；资源管理平台：CMDB、知识库、资源展现等安全管理平台：漏洞扫描、日志审计、权限控制等安全类工具举例(北京移动数据业务支撑体系)IT运维的重要性第23页运维工作体系建设之技术现有自动化运维工具系统层监控工具Mocha：网络设备连通性、主机CPUMEMDISKNag

19、ios：进程、端口大部分监控工作依靠人工日志停刷大面积返回码报错！当前只有对主机、网络层设备指标监控，缺乏网络流量、防攻击等安全性方面防护工具；缺乏数据层监控工具，如对内存中堆栈、线程栈等监控；缺乏业务层监控工具，如业务拨测、业务质量指标等监控。！伴随业务增加快速，被监控应用数量成倍递增，日志复杂度加大，人工轮询速度降低，受人因原因影响越加严重，且缺乏对返回码个性化监控规则定制能力，只能发觉大面积错误，应着力发展自动化运维，取代人工监控IT运维的重要性第24页运维工作体系建设之技术Nagios背景及问题经过mocha已监控到底层设备关键指标，不过对于应用层仍无法进行自动化监控，无法第一时间发觉

20、应用异常，而应用层又是出现问题较多区域，所以对应用监控需求非常迫切。处理方案 经过对市场上开源监控软件进行调研，nagios成功案例较多。 基于nagios之上，运行人员深入研究，定制开发，性能调试、配置优化，试运行后，正式上线已经一年多，运行稳定，到达了预期目标项目需求 经过新建一套自动化监控工具，能够监控到应用层面状态，细化到指标级别，期望能够监控到应用进程和端口存活状态两个关键指标。投资估算效益分析 因为开源软件，且利用维护人员下班后时间自行研发，所以为零投资。 当前已经监控了247个进程，457个端口，大约产生了3万个左右报警，为及时发觉应用异常提供了有力支撑IT运维的重要性第25页运

21、维工作体系建设之技术自动化运维工详细系框架 数据存放层HDFS 逻辑层 展示层 数据搜集层数据展示监控信息管理规范化管理监控工具自动化布署数据分析拨测工具Cache工具数据中间层NoSQL（mysql、Hbase）监控信息管理规范化管理IT运维的重要性第26页运维工作体系建设之技术逻辑层-监控工具基础监控服务器监控，如：cpu、memery、I/O、并发量等；操作系统监控，堆栈监控、线程栈监控等网络监控，如：连通性、流量等应用监控对交易状态（返回码、Exception）监控用户端URL监控进程和端口存活状态监控负载均衡监控等业务监控对业务量、成功率进行监控等安全监控外部攻击监控等IT运维的重要

22、性第27页运维工作体系建设之技术逻辑层-自动化布署工具自动化配置快速且一致对集群内全部设备系统参数进行配置，如：管理配置文件、用户、软件包、系统服务等对设备系统参数修改进行统计和跟踪，矫正个别设备异常配置应用配置文件自动化上线统一进行上线、公布及时、准确进行应用回滚和监控工具无缝集成依据上线内容能够进行自动化监控各业务线之间影响关系分析IT运维的重要性第28页运维工作体系建设之技术逻辑层-数据分析工具应用日志分析实时日志分析非实时日志分析用户行为分析产品成功率分析交易量分析安全分析网络异常流量分析外部攻击行为分析内部人员行为审计系统信息分析容量分析、性能分析等IT运维的重要性第29页运维工作体

23、系建设之技术当前研究进度 - 对一些开源软件进行可行性研究 数据存放层HDFS 逻辑层 展示层 数据搜集层数据展示监控信息管理规范化管理监控工具自动化布署数据分析拨测工具Cache工具数据中间层NoSQL（mysql、Hbase）监控信息管理规范化管理cacti、gangliaPuppet、kick、mcollective、funczabbix后羿IT运维的重要性第30页运维工作体系建设之技术技术演进路线图学习搭建私有云策略、标准及相关技术，大量在现有系统中采取虚拟化技术作为实践经验积累完善对IT基础设施和应用监控自动化，建设配置管理自动化工具学习Itil规范相关知识，确定Itil实施范围和步

24、骤完成企业内部信息门户需求整理，产品和处理方案调研需求搜集初步建设整合阶段测试选型资源管理软件，搭建小规模试验云实现安装、布署、变更、交易模拟、健康检验等自动化运维选定ITSM处理方案供给商，梳理事件管理、问题管理、配置管理、变更管理流程建立企业内部信息门户基础运行环境和软件平台，并逐步集成已经有管理信息系统扩大IaaS规模和覆盖范围，完善运行服务和管理办法，打造稳定可靠云计算平台整合各种自动化工具，建立统一运维管理平台，并加入知识管理、公布管理、服务级别管理等功效和对应流程，实现Itil完整落地完成各信息系统集成整合，完善内部信息门户及运行维护支撑体系使用与完善向企业推广各种支撑平台搭建各种

25、支撑平台架构需求业务需求，建设技术体系演进路线图IT运维的重要性第31页目录运维部门价值与挑战运维部门工作内容运维工作体系建设之流程与制度（Process）运维工作体系建设之人员（People）运维工作体系建设之技术（Technology）运维工作现实状况与展望IT运维的重要性第32页运维工作现实状况几组数字 8月份举例网络部生产系统上线次数：应用上线次数：应用上线团体加班数：处理投诉数量：处理报警和故障事件：深夜问题对应数量：接入商户数量：处理商户问题：设备总数：监控应用数量：监控返回码数量：自动化运维率：265次124次232小时/2人1594次/2人125次36次41家530个/2人911台297个1296个不足5%IT运维的重要性第33页运维工作现实状况不良循环：良性循环：业务量和用户商户和用户投诉机械性上线系统优化人员流失业务质量用户满意度告警和排障现实状况两个突出矛盾 矛盾一，业务上线频度和系统稳定性之间矛盾： 为适应市场需求，新业务频繁上线，前后端沟通流程和规范并没有建立，缺乏业务交维，后端部门对上线质量无法掌控，维护难度大，无法可依； 矛盾二，高标准售后服务和落后运