铁搭公司集中IT运维管理平台建设方案交流.V0.2.20160322

中国铁塔股份有限公司

集中IT运维管理平台建设方案交流北京神州泰岳网络技术分公司信息系统事业部神州泰岳北京神州泰岳软件股份有限公司成立于2001年，多年来坚持以专注专业的精神执著于IT运维管理领域，已经成为中国IT运维管理第一品牌。公司注册资本13.2亿，现有员工4000余人（本科以上学历占到90%以上），拥有着一支规模强大、技术领先、经验丰富的IT运维管理软件和服务技术团队。神州泰岳总部位于北京，在上海、广东设有分公司，在全国各地设有多个办事处。公司已经通过ISO9001、CMMI-3、计算机集成一级资质、国家信息安全服务资质证书--安全工程类二级等各类资质。ÜrümqiLhasaGuangdongShanghaiBeijingXining运维管理移动互联网运营服务游戏业务融合通信业务物联网业务餐饮食材电子商务教育信息化聚焦主营

挖掘创新

积极拓展运维管理作为国内领先的运维管理软件及服务提供商，服务于电信、金融、能源等大中型企业和政府部门，具备大规模并行实施全国性复杂项目的建设和交付能力。移动互联网运营服务面向大型组织提供基于互联网的咨询设计、平台与内容开发、系统实施、日常运营等全方位服务，是中国移动“飞信”、“和农信通”、“和求职”等产品的核心运营合作伙伴。游戏业务与奇虎360强强联合打造面向海外市场的游戏平台，并提供包括《小小帝国》在内的多款游戏产品，实现“平台+内容”的一体化服务。融合通信业务服务于大型电信和企业客户，为其提供融合计算机网络和传统通讯网络的创新信息通讯平台，公司开发的TeaTalk、EUT等融合通信产品已在多家海外运营商成功落地。物联网业务专业从事物联网领域相关技术研究与开发，以自主研发的智慧线为核心产品，配合相关组件及管理信息平台，推出下一代精确定位与无线通信系统。餐饮食材电子商务定位于餐饮行业B2B垂直电商，通过构建多渠道交易平台为餐饮企业提供食材销售和信息技术服务。教育信息化从事职业教育实验实训系统研发、销售和相关配套衍生服务和职业教育信息化整体外包业务。立足在线教育,与新媒农信下的职业教育项目形成协同。主要合作单位中国联通集团信息化部

IT服务支撑平台建设情况介绍总部IT服务支撑平台电子商务IT基础设施、网络、应用系统京门、西红门IT承载网网管告警、资源总部EDC网络及DCN骨干网络数据/操作北京IT服务平台黑龙江IT服务平台上海IT服务平台广东IT服务平台总部信息化机房、IT基础设施、应用系统京门、上地、亦庄、集团云门户总部省公司集成集成集成资源、监控、工单数据/操作数据/操作数据/操作数据/操作省分信息化机房、IT基础设施、网络、应用系统图例说明：内部人员外部代维、开发人员信息化IT服务支撑平台系统内部数据/操作系统外部集成IT服务支撑平台—总体结构IT服务支撑平台——面向全国信息化内部员工的运维服务专业工作平台与入口；是联通总部系统基础平台与运维环境，监控与运维操作的专业工具；是集中运维管控与指挥调度的中心。IT服务支撑平台—功能架构总部信息化IT服务支撑平台IT服务门户大屏综合监控资源管理系统权限管理系统服务流程系统综合考评全网分析手机门户IT监控存储监控动环监控业务监控指挥调度运维流程作业计划自动化服务热线总部省公司省分信息化IT服务支撑平台IT服务门户服务流程综合监控配置管理辅助运维Level0Level1IT服务支撑平台—门户子系统现状IT门户子系统将其子系统集成，统一待办和用户、角色管理，公告管理，整合了各子系统的能力，是用户访问其他子系统的统一入口和工作台，它与云门户集成，起到了路由收敛和系统整合的作用。IT服务支撑平台—综合监控子系统现状中间件层主机层网络层主机应用服务层业务服务层业务逻辑Weblogic路由器/交换机链路CRMBilling客服业务查询服务开通服务缴费服务终端用户营业员终端用户动力环境层温湿度空调UPS视频虚拟机机存储设备主机监控：监控生产系统所涉及小机、PCServer、存储等服务器的性能（CPU/内存/存储空间/磁盘IO/网络IO）,开机状态等。数据库+通用软件监控：监控Web容器、交易中间件、消息中间件、数据库等服务连接状态、并发线程状态信息等。应用程序监控：监控应用程序的运行活动状态（进程）、日志异常、接口响应处理成功率及处理效率等。业务服务监控：通过与应用系统做接口，有针对性的对核心业务交易的量、交易处理时长、处理成功率的波动进行监控。用户感知监控：通过主动自动化模拟手段及被动镜像分析手段获取终端用户针对核心业务的用户感知情况进行监控。网络监控：监控生产系统所涉及网络路由器、交换机、防火墙、负载均衡设备性能（CPU/内存），端口状态，链路通断及流量等。动力环境监控：监控机房内的温度、湿度、空调、UPS电源、视频等会影响生产系统运行稳定性的因素。信息化侧：5004台电子商务侧：1895台信息化侧：数据库406套，中间件153套。电子商务侧：数据库107套，中间件2743套。信息化侧：6800个监控点电子商务侧：6425个监控点信息化侧：2344个监控点电子商务侧：1988个监控点信息化侧实现大ERP系统的被动用户感知监控。信息化侧由IT承载网系统负责监控。电子商务侧覆盖京门与电子商务侧机房，共计119台。已监控13个机房300个温湿度采集点，36个配电柜，2个UPS，14台空调，101个视频摄像头。综合监控子系统是核心子系统，监控总部信息化和电商商务部所有IT设备、应用系统、云资源，管理资源与配置，智能巡检、告警督办、指挥调度以及信息化专业机房动环和视频等，采集并分析各省IT服务支撑平台资源、性能、告警、服务等数据，做成若干主题展示，是集团一体化运维管理的重要工具，是总部维护团队重要维护工具和手段，为规划、运维、领导决策提供依据。监控业务系统85个，主机6899台，数据库实例513套，中间件2896套。IT服务支撑平台—全网分析系统现状IT服务支撑平台—服务流程系统现状统一服务受理总部集中系统基础设施维护总部集中系统应用该软件维护业务处理咨询与答疑、系统故障处理数据变更及参数配置总部系统运维支撑组本省业务咨询及故障申告核实及回复问题过滤，升级到总部处理协调省分BSS厂家进行联调、升级、对于省分系统问题，进行有效协调及跟踪省分运维支撑组日常业务操作发现问题并提交到省分运维支撑组最终用户职责范围400热线总部服务流程系统总部运维支撑组省份运维支撑组同步处理与排查服务关闭与反馈投诉/故障/咨询投诉/故障/咨询总部省分营业员营业员业务人员合作伙伴快速协作与沟通省分服务流程系统投诉/故障/咨询400热线服务关闭与反馈IT服务支撑平台—服务流程系统现状服务台流程名称热线支撑流程架构月均工单量总部办公热线信息系统使用咨询及问题申请（M域非大ERP）(二级，与省分有接口10000信息系统故障申告(50投诉建议(20统一办公软件安装(一级，面向总部用户10终端安全加固(20IT办公终端故障(600其它终端服务申请流程(200大ERP服务支撑大ERP系统系统使用咨询及问题申请(二级，与省分有接口10000ERP系统职责变更申请5ERP系统现场服务申请10ERP系统提取数据申请50监控值班室告警事件督办及处理流程一级，面向全国用户1000总部/省分协作流程100服务台流程名称热线支撑流程架构月均工单量总部办公IT服务台OA用户、邮件帐号、域账号、VPN账号与权限等一级，面向总部用户100系统网络变更申请（M06）一级，面向总部用户200机房作业申请（M07）20IT办公终端维修20IT办公终端领用借用20IT办公终端退还报废30IT办公终端外设申请30DSSDSS问题处理流程一级，面向全国用户1000BSS运维支撑BSS问题处理流程(20000BSS参数管理流程50BSS数据修复流程50BSS故障处理流程(20IT服务支撑平台—资源管理现状需求管理、容量规划1设备到货2设备初入3设备转固4设备维护5设备维保6设备利旧7设备报废88，报废流程5，机房作业计划申请单流程4，设备转固流程3，设备初入流程2，到货流程配置管理IT运维核心—一切自动化运维手段中资源配置信息统一来自CMDB。资源全生命周期管理—通过Ultra-CMDB将所有资源资产信息按其生命周期结合流程系统形成标准化管理。容量管理—与监控系统集成获取服务器性能信息，促使监控覆盖率100%，同时根据设备性能数据可以对于设备的负载情况进行统计，进而成为容量管理。供应商管理…IT服务支撑平台—运维自动化1、备份日志状态检查2、表空间使用率检查3、表空间状态检查4、管理进程查询5、数据库进程查询6、数据库日志检查主机巡检项数据库巡检项作业自动化的实施方案制定巡检项标准——目前已实施的32套系统中每套系统的巡检标准并不统一，可以依据操作系统类型制定统一的巡检标准；实现基础平台巡检全覆盖

——需要实现基础设施巡检的全覆盖；应用系统状态巡检——集成公司目前针对某些业务系统每天需要通过人工的方式访问业务系统页面的方式检查应用系统运行状态（例如：ERP系统），可以由系统巡检替代。1、查看OS版本信息2、查看主机解析文件3、查看密码文件4、日志查看5、查看SCSI报错6、查看磁盘光驱信息7、磁带机状态及信息8、光纤网卡状态及信息9、网卡状态及信息10、交换分区11、查看交换区信息12、重点检查%idle是否足够13、查看VG,LV详细信息14、查看网络接口状态15、查看网络信息16、查看路由信息17、查看系统已装软件18、系统运行时间19、心跳状态20、双机状态21、卷管理状态22、卷管理磁盘状态IT服务支撑平台—界面化运维cBSS生产运营支撑平台总部运营支撑总部后台维护省分运营支撑总部业务部门前台集成脚本管理运行管理配置管理SQL脚本管理Shell脚本管理脚本树管理运行结果管理运行管理批量/组合执行管理数据源配置权限配置SSH连接配置角色配置后台分布式任务调度管理SSHServer管理SQL连接池管理cBSS服务器cBSS数据库基于现有cBSS生产运营支撑平台用户群体，方便快捷的为总部与省分运营、运维及业务部分人员提供界面化操作服务。前期有针对的将目前操作比较频繁且比较标准化的操作为案例，再逐步推广覆盖整个BSS。前期建设：2/3G转4G日常运维SQL更改可视化；C2B用户校验更新可视化；出账数据库操作可视化；日常省分数据更新维护工作可视化；cBSS应用程序启停可视化；采用堡垒机技术使服务器脚本操作连接可复用，交互过程全程记录，且连接内容全程加密；采用数据库连接池技术，可动态重复利用数据库连接，同时控制并发数据库操作数量，防止指令重复执行以及多用户并发压力带来的生产数据库压力。注：界面化运维平台仅仅是运维的辅助工具，其执行的SQL与Shell需要运营单位严格审核后方可使用。界面运维分析界面运维实例统计操作日志查询与审计界面运维操作统计IT服务支撑平台—移动运维服务门动运维服务门户具备“移动”特点，满足用户在办公室外获取运维服务需要，将用户从PC前解放出来。IT服务支撑平台—大屏系统现状大屏呈现，旨在以更直观的方式为领导呈现更清晰、准确、实时的电子渠道的业务运营情况，为联通的业务营销策略提供数据支撑。目前上线18个业务模块。铁塔公司

集中IT运维管理平台建设方案建设方案介绍

——总体功能架构图IT服务管理服务门户配置管理资产信息管理配置发现资源模型管理辅助运维值班管理作业计划管理自动化运维综合监控服务流程其他通用报表知识库主机监控采集存储监控采集动力环境监控采集网络监控采集中间件监控采集数据库监控采集采集任务调度自动发现性能管理事件规则引擎（Storm）共享内存（Redis）告警管理拓扑管理资源管理表单引擎流程设计器表单设计器用户界面建模流程引擎时间规则通知调度操作日志服务目录工单搜索待办/待阅通知中心微信门户移动服务门户Portal管理统一待办公告用户/权限管理大屏展示告警通知工单处理告警通知工单处理综合监控产品解决方案中间件层主机层网络层主机应用服务层业务服务层业务逻辑Weblogic路由器/交换机链路CRMBilling客服业务查询服务开通服务缴费服务终端用户营业员终端用户动力环境层温湿度空调UPS视频虚拟机机存储设备用户感知监控：通过主动自动化模拟手段及被动镜像分析手段获取终端用户针对核心业务的用户感知情况进行监控。业务服务监控：通过与应用系统做接口，有针对性的对核心业务交易的量、交易处理时长、处理成功率的波动进行监控。应用程序监控：监控应用程序的运行活动状态（进程）、日志异常、接口响应处理成功率及处理效率等。数据库+通用软件监控：监控Web容器、交易中间件、消息中间件、数据库等服务连接状态、并发线程状态信息等。主机监控：监控生产系统所涉及小机、PCServer、存储等服务器的性能（CPU/内存/存储空间/磁盘IO/网络IO）,开机状态等。网络监控：监控生产系统所涉及网络路由器、交换机、防火墙、负载均衡设备性能（CPU/内存），端口状态，链路通断及流量等。动力环境监控：监控机房内的温度、湿度、空调、UPS电源、视频等会影响生产系统运行稳定性的因素。基础平台监控平台采集网络类：Cisco、华为、H3C、锐捷、中兴、港湾、联想、F5、3COM、Foundry、Extreme等主机类：AIX：4.3、5L、6.1；HP-UX:11i、11iv2、11iv3；SOLARIS：8、9、10；LINUX：RedHat、SUSE、Debian、

CentOS、fedora等；WINDOWS：NT、2000、XP、

2003、vista、2008；数据库类：Oracle：8i、9i、10g、11g；Db2：8.x、9.x；SqlServer：2000、2005、2008；Informix：9.x、10.x、11.x；Sybase：12.x、15.x；Mysql：4.x、5.x；中间件类：通讯中间件：MQ、TongLINK/Q;交易中间件：Tuxedo、TongEASY；应用中间件：Weblogic、WebsphereApplicationServer、Jboss、Tomcat、Resin等；存储类：EMC、CISCO、IBM、HP、SUN、HDS、BROCADE等。支持对主流主机、网络、数据库、中间件的采集监控，借助于原厂存储管理软件实现存储监控硬件监控能力硬件监控：通过标准管理协议接口采集设备风扇、电源、板卡、温度等指标信息进行图形化呈现和管理配置操作。管理接口适配IPMI:通过工业标准服务器基板管理控制器(BMC)提供的IPMI接口实现网元接入。TELNET:支持通过Terminalservice,Telnet/SSH接入网元。TCP/IP:支持在TCP/IP之上的MML方式接入网元。RS232:支持通过RS232串口或者网元的Console口接入网元或串口设备。X.25:支持通过X.25协议接入网元设备。管理功能支持通过仿真图形页面实现对设备正、备面面板各类信息获取；支持设备启停、UID灯控制操作；支持与控制模块集成，实现对设备远程远程终端操作；支持与性能管理、性能告警管理的集成，实现性能门限设定和指标告警。虚拟化监控能力UnionMonCenterUnionMonProbeWindowsAD虚拟桌面数据库MQDB资源及配置数据指标数据（性能、状态数据）采集调度同步及采集请求XenAPI配置及状态数据LDAP用户信息JDBC虚拟桌面信息CitrixXenServerMasterVMWarevCenterServer云平台资源监控NotifyCenter指标数据告警通知告警通知传统资源监控Citrix采集器VMWare采集器传统资源采集器RRDAPI性能数据云应用采集器vSphereAPI配置、状态及性能数据用户短信、邮件等产品目前支持：Citrix、VMWare、Hyper-V、华为云桌面、华为FusionSphere等主流厂商的虚拟化产品监控。监控资源包含：资源池集群物理机（物理磁盘、物理网卡）虚拟机（虚拟磁盘、虚拟网卡）vApp（虚拟机容器）共享存储虚拟网络LiceseManager等监控平台-网络监控支持OSPF、ISIS、BGP等多种网络协议的自动发现与拓扑自动生成。设备外观图片；设备三维坐标尺寸及U数--系统名称（IP地址）可钻取资源关系--厂商型号最大功率设备重量--应用系统用途--地理位置--硬件扩容信息设备当前状态（可钻取当前告警列表）历史告警统计（可钻取历史告警列表）工程状态（可切换设备工程状态）设备性能一览：近一天的CPU利用率、内存利用率、设备最忙接口的流入、流出速率；详细可钻取设备性能趋势报表轮询配置门限一览修改共同体名加入到网元组节点重发现重新发现连接关系拓扑定位资源关系性能跟踪Ping更新状态日常操作配置变更预留接口，供项目二次订制MPLS-VPN拓扑总览MPLS-VPN配置总览，更多可查看详细配置MPLS-VPN流量TOP3，更多显示全部，默认TOP9VPN设备告警流水窗口,可对告警进行操作可切换单VPN信息查看应用与业务监控定义应用监控业务监控应用监控是针对业务系统组成的应用模块运行状态与性能进行的监控手段。应用建模以应用的物理模块为对象建模。例如：应用模块的进程状态；端口状态状态；日志状态灯。业务监控是针对业务系统的业务流程环节交易状态、交易趋势、服务质量、用户感知进行的监控手段。业务建模以业务流程环节为对象建模。例如：一卡充业务的账号验证、卡验证、卡扣款、充值与组合充值。应用监控与业务监控在针对针对交易的量、时、率方面存在重叠，但彼此表示的含义不同。例如：河北一卡充异地交易量、平均处理时长两个指标。在应用监控的角度来讲是反应河北省一卡充系统的应用系统运行是否正常以及处理能力是否存在异常；在业务监控的角度通过两个指标的趋势反应河北一卡充的异地充值业务的服务质量。通用应用监控手段应用监控状态监控进程状态文件状态文件/目录进度文件连续性文件数量比较异常日志内容监控接口状态性能监控日志文件统计数据库统计厂家接口应用监控重点关注业务系统的应用模块是否存在异常，如果存在立即告警。应用监控重点依赖运维人员对于应用模块的了解以及日常运维经验。业务监控建设方案监控对象：产品开户/缴费/查询/办理业务量、时、率监控目标：通过上述业务数据的异常波动发现应用程序异常（波动陡降）或业务异常操作（波动陡升）。4GESS开户销户查询缴费变更量时率实施步骤：一：[监控梳理]运维建设团队介入系统规划设计，同步梳理核心监控点；二：[接口设计]运维建设团队负责提出标准化核心业务指标输出标准；三：[数据采集]实现业务核心数据的集中采集；四：[监控实施]配置业务监控阀值，实现业务波动异常告警；五：[监控呈现]

通过综合运维门户与多媒体大屏等手段实现监控呈现。波动点用户感知监控（被动监控）集团监控中心营业厅数据库防火墙Web服务器应用服务器Internet镜像流量全天候监控所有位置、所有用户的业务使用情况业务可用性（交易平均成功率）业务性能（交易平均响应时间），可区分服务器时间、网络时间业务量（交易办理量）用户及用户群（可按用户名或IP地址区分）各台Web服务器的健康度错误事件监测分析会话（Session）分析、会话回放可捕获性能、可用性等详细数据用于定位故障负载均衡器交换机业务真实流量采集与处理集团核心系统被动监控：真实业务监测系统通过采集核心系统接入交换机的真实流量，获取和分析各类业务的交易处理信息和运营指标，实现业务办理的真实用户感知监测。用户感知监控（主动监控）外网主动模拟探测集团监控中心内网主动模拟探测营业厅Mainframe/DatabaseFirewallWebServersApplicationServersSwitchLoadBalancerInternet主动模拟复杂的业务流程业务可用性（成功率）业务性能（响应时间）各地理位置业务情况错误事件监测分析可捕获性能、可用性等详细数据用于定位故障主动监控：模拟业务监测系统从多个地点，通过主动模拟最终用户对集团核心系统进行访问，获取和分析各类业务交易处理的故障和性能指标，实现在业务层面的监测。集团核心系统业务监控（被动监控）WhoIP地址？哪些用户不满意？浏览器类型和版本？Where用户主要来自哪里？哪些页面体验出现问题？问题出在哪里？When访问发生在什么时间？错误发生在什么时间？回溯到某个历史时间？What用户访问了什么业务？调用了什么服务和页面？什么服务和页面最慢？系统发生了什么错误？错误的原因是什么？实时用户体验数据采集页面加载时间（请求延迟时间、响应时间，网络传输，DOM加载，页面渲染等)页面流量页面性能指数TopN用户体验分析用户异常访问追踪浏览器分析用户体验报告业务质量报告业务趋势报告业务监控（被动监控）用户访问量分析用户页面加载时间趋势用户满意度趋势用户浏览器分析用户来源域分析业务监控（统一业务应用视图）业务流程总览订餐流程详情应用性能监控-代码级应用性能诊断和故障定位代码级、多维度的诊断与定位应用程序诊断浏览器页面诊断SQL语句诊断外部服务诊断低门槛TroubleShooting自动捕获应用性能异常自动标识有问题的应用组件和代码非IT专家也能快速定位问题所在利用关键业务性能剖析进行故障原因深度分析应用性能监控-代码级应用性能诊断和故障定位应用代码深度监控JVM深度监控数据库深度监控用户浏览器深度监控流程系统功能架构展现层业务服务层业务逻辑层数据层接口个人工作台综合报表工单管理服务运营服务转换日常任务服务台知识管理问题管理事件管理变更管理发布管理服务请求配置管理值班管理作业计划待办任务个人关注流程引擎缓存管理组件缓存管理组件流程设计器规则管理组件数据访问组件表单设计器日志管理引擎通知管理组件搜索组件协议传输组件文件管理组件扩展框架异常处理组件通用管理组件运维工单数据监控系统邮件短信身份认证其他系统流程系统生产运营服务目录需求受理需求分析版本管理开发管理需求管理项目创建项目计划管理项目任务执行项目变更管理项目后评估项目管理运维管理事件管理问题管理变更管理发布管理服务请求需求后评估服务目录管理服务水平管理容量管理可用性管理安全管理战略管理运维分析质检管理过程分析绩效考核指标管理日常运维合作伙伴管理配置管理合作伙伴准入合作伙伴后评估配置变更配置审计工时管理知识管理知识管理配置管理系统内置配置管理模型，适当修改可满足业务需求可批量导入、导出资源数据.系统管理员视图——从机房、机柜分布和网络连接角度帮助系统管理人员快速定位配置项。业务管理员视图——从应用管理角度帮助业务管理人员快速定位配置项资源报表,提供按照业务系统、设备厂商、地域等维度产生分组统计与流程融合：故障定位、变更影响分析配置管理资源属性管理、资源关系模型管理。值班管理亮点：值