智慧运维大数据分析平台建设方案

大缉

大数据运维平台建设和运营综合

解决方案

目录

1.方案概述...................................................................8

1.1.项目背景................................................................8

1.2.需求分析................................................................8

1.3.建设目标................................................................9

1.3.1.建立统一运维门户......................................................9

1.3.2.建立IT异构资源的全面集中化管理........................................9

1.3.3,建立空面准确的资产配置管理............................................10

1.3.4,建立符合最佳实践的服务流程管理......................................11

1.3.5.建立IT资源全面直观的可视化管理.......................................11

2建设方案....................................................................12

2.1.系统设计原则............................................................12

2.1.1.实用性和模块化原则...................................................12

2.1.2.一致性和开放性原则...................................................12

2.1.3.安全性与可靠性原则...................................................12

2.2.系统技术路线...........................................................13

2.2.1.采用Java语言开发......................................................13

2.2.2.采用邓ebService进行数据互连互通.......................................15

2.2.3.数据库技术.............................................................18

2.2.4.性能控制................................................................19

2.2.5,开发、运行环境.........................................................19

2.3.应用接口总体设计.......................................................19

2.3.1.系统内部集成接口.......................................................19

2.3.2.与基础运维管理工具的集成接口...........................................20

2.3.3.与相关外部系统的统一身份认证与单点登录接口............................20

2.4.系统安全设计............................................................21

241.用户安全机制............................................................21

2.4.2.SS。统一认证............................................................22

2.4.3.权限分权分域...........................................................22

2.4.4.输入检验................................................................22

2.4.5.GET请求和Cookie中的敏感数据.........................................22

2.4.6,防通过嵌入标记实现的攻击...............................................23

2.4.7.页面和字段级的权限控制.................................................23

2.5.系统建设方法............................................................23

2.5.1.体系架构................................................................23

2.5.2.功能架构................................................................27

2.5.3.技术架构................................................................28

2.5.4.部署架构................................................................29

3功能概述...................................................................30

3.1.基础平台功能............................................................30

3.1.1.统一视图................................................................30

3.1.2.移动运维................................................................32

3.1.3.故障管理................................................................33

3.1.4.配置管理................................................................34

3.1.5.性能管理................................................................34

3.2.全局搜索................................................................35

2/207

3.2.1.实体搜索...............................................................35

3.2.2.可用链接...............................................................36

3.3.仅表盘工作台...............................................................37

3.3.1.全屏监控（补图）......................................................38

3.3.2.指标数据类图表........................................................39

3.3.3.健康状态类图表........................................................40

3.3.4.资源TopN图表.........................................................40

3.4.实时监控一WEB检测管理.......................................................41

3.5.实时监控-网络设备管理.....................................................42

3.5.1.设备自动发现...........................................................42

3.5.2.Web网络拓扑管理.......................................................43

3.5.3.网络拓扑链路流量监控..................................................44

3.5.4.网络设备接口面板管理..................................................44

3.5.5.网络设备树图与单点网元管理...........................................44

3.5.6.网络性能管理...........................................................45

3.5.7.网络故障监控...........................................................45

3.5.8.定时轮询...............................................................45

3.5.9.trap事件接收.........................................................46

3.6.实时监控-服务器监控管理...................................................46

3.6.1.服务器单点综合监控....................................................47

3.6.2.服务器性能管理........................................................48

3.6.3.服务器接口流量管理....................................................48

3.6.4.服务器进程管理........................................................48

3.6.5.服务器监控管理主要指标................................................48

3.7.实时监控-数据库监控管理...................................................50

3.7.1.关系型数据库...........................................................50

3.7.2.非关系型数据库管理....................................................51

3.7.3.监控指标...............................................................51

3.8.实时监控-存储监控管理.....................................................51

3.9.拓扑管理...................................................................52

3.9.1.拓扑发现................................................................52

3.9.2.拓扑绘制................................................................54

3.9.3.拓扑展示................................................................57

3.9.4.网络性能故障............................................................57

3.9.5.远程管理工具...........................................................57

3.9.6.链路一览表.............................................................58

3.9.7.地图拓扑展示............................................................61

3.10.报警媒介管理.............................................................62

3.11.服务器模版配置...........................................................62

3.12.触发器管理...............................................................63

3.13.告警事件管理.............................................................65

3.13.1.灵活的告警综合查询..................................................65

3.13.2.多样化报警媒介......................................................66

3.13.3.全面的故障诊断.......................................................66

3.13.4.故障快照和自动恢复..................................................66

3.13.5.SYSLOG/TRAP..........................................................................................................67

3.13.6.告警知识库管理.......................................................67

3.13.7.自动派发工单管理.....................................................67

3.14.图形报表管理.............................................................67

3/207

3.14.1.按需定制报表.........................................................68

3.14.2.报表类型.............................................................68

3.14.3.报表任务管理.........................................................70

3.14.4.统计查询视图.........................................................70

3.15.聚合图形管理.............................................................71

3.15.1.聚合图形类型.........................................................71

3.15.2.按需定制聚合图形.....................................................72

3.16.动作运维.................................................................72

3.17.自动查找..................................................................73

3.17.1.自动发现管理.........................................................74

3.17.2.自动注册..............................................................74

3.18.认证运维.................................................................74

3.18.1.访问策略控制..........................................................74

3.18.2.敏感指令拦截与阻断...................................................75

3.19.脚本管理.................................................................75

3.19.1.脚本库...............................................................76

3.19.2.脚本控制台...........................................................76

3.19.3.命令控制台...........................................................77

3.20.用户管理.................................................................77

3.21.知识库....................................................................78

3.21.1.知识分类.............................................................79

3.21.2.知识创建.............................................................80

3.21.3.知识检索.............................................................80

3.21.4.知识审核发布.........................................................81

3.21.5.知识评价.............................................................81

3.22.公告管理.................................................................81

3.23.IT运维报告...............................................................82

3.24.平台安全及自身管理.......................................................82

3.24.1.系统安全管理.........................................................83

3.24.2.自身日志管理.........................................................83

3.24.3.系统自身运行管理.....................................................83

4.项目实施管理方案...............................................................85

4.1项目组织管理................................................................85

4.1.1建立项目组织管理机构...................................................85

4.1.2确定项目分工角色职责...................................................86

4.1.3建立项目组织相关管理制度...............................................89

4.2项目管理计划..................................................................90

4.2.1综合管理计划.............................................................90

4.2.2综合变更控制.............................................................92

4.3范围控制计划.................................................................92

4.3.1范围定义及跟踪..........................................................92

4.3.2变更管理................................................................93

4.3.3变更控制工具............................................................93

4.4进度控制计划.................................................................94

4.4.1项目进度跟踪.............................................................94

4.4.2项目进度分析.............................................................95

4.4.3项目进度控制............................................................96

4.5组织机构和人员管理计划.......................................................97

4.5.1人力资源规划.............................................................97

4/207

4.5.2项目团队建设.............................................................97

4.5.3项目团队管理.............................................................97

4.6质量保障计划.................................................................97

4.6.1质量保证目标............................................................97

4.6.2质量保证角色与职责......................................................98

4.6.3质量保证流程............................................................99

4.6.4质量保证活动...........................................................100

4.7沟通管理计划................................................................101

4.7.1沟通计划...............................................................101

4.7.2报告形式...............................................................102

4.7.3相关工具文档...........................................................102

4.8配置管理计划................................................................103

4.8.1配置管理目标............................................................103

4.8.2配置管理角色与职责......................................................103

4.8.3配置管理流程............................................................103

4.8.4配置项定义..............................................................105

4.8.5配置管理活动............................................................106

4.8.6配置管理工具...........................................................113

4.9风险控制计划.................................................................113

4.9.1风险识别...............................................................113

4.9.2风险分析...............................................................113

4.9.3风险控制...............................................................114

4.10变革管理计划...............................................................116

4.10.1变革管理方法...........................................................116

4.10.2变革管理成功的关键策略................................................117

4.11项目进度计划...............................................................117

4.11.1影响项目进度的因素.....................................................117

4.11.2项目进度制定的原则.....................................................118

4.11.3项目实施进度计划.......................................................118

4.11.4项目里程碑.............................................................119

4.12安全保密计划...............................................................120

4.13文档编制计划...............................................................121

4.13.1项目管理类.............................................................121

4.13.2软件工程类.............................................................122

4.13.3项目支持类.............................................................122

4.14质量保障计划...............................................................128

4.14.1确定质量保证目标.......................................................128

4.14.2质量保证角色与职责.....................................................128

4.14.3质量保证流程...........................................................130

4.14.4质量保证活动............................................................131

4.15产品交付计划...............................................................131

4.15.1背景介绍................................................................131

4.15.2客户管理...............................................................132

4.15.3服务人员管理............................................................134

4.15.4服务流程管理...........................................................138

4.15.5服务实体设施............................................................144

4.15.6产品详细交付计划.......................................................145

4.16项目培训计划...............................................................152

4.16.1培训组织管理............................................................152

5/207

4.16.2培训队伍要求...........................................................153

4.16.3培训对象...............................................................153

4.16.4培训内容及要求.........................................................153

4.17实施风险管理..........................................................156

4.17.1风险计划...............................................................156

4.17.2风险监视..............................................................158

4.17.3风险管理..............................................................159

5售后服务及培训.............................................................160

5.1售后服务说明...........................................................160

5.1.1售后服务及响应级别.....................................................160

5.1.2定期现场巡检服务........................................................163

5.1.3专人值守服务............................................................163

5.1.4本地化服务.............................................................163

5.2运维服务保障措施.........................................................164

5.2.1项目运维组织机构及职责.................................................164

5.2.2运维风险预防措施......................................................166

5.2.3运维突发事情应急措施..................................................166

5.3服务质量保障措施........................................................166

5.3.1完善的售后服务体系.....................................................167

5.3.2运行维护制度建立.......................................................167

5.3.3运维知识库系统.........................................................167

5.3.4运行维护队伍建设......................................................168

5.3.5诩环式服务.............................................................168

5.3.6服务监督机制...........................................................169

5.3.7试运行期间的运维保障..................................................170

5.3.8免费质保期间的运维保障.................................................171

5.3.9免费质保期后的运维保障.................................................171

5.4质量保证范围............................................................172

5.5售后服务承诺书..........................................................172

5.6售后服务机构网点清单、服务电话..........................................173

5.6.1售后服务人员配置........................................................173

5.6.2人员培训计划............................................................173

6施工组织设计方案...........................................................176

6.1施工组织设计.............................................................176

6.1.1综合说明,质量、服务、安全文明施工目标................................176

6.1.2主要施工方法;新技术、新材料、新工艺、新设备的应用....................178

6.1.3工程投入的主要物资和施工机械设备情况、主要施工机械进场计划...........180

6.1.4施工设备进场计划........................................................180

6.1.5工程所用产品进场计划....................................................180

6.1.6确保工程质量的技术组织措施.............................................180

6.1.7确保安全生产的技术组织措施.............................................181

6.1.8确保文明施工的技术组织措施.............................................182

6.1.9施工顺序、总进度安排及总形象进度示意图................................183

6.2项目管理机构配备........................................................183

6.3质量及保修服务..........................................................183

6.3.1保修期与保修范围........................................................183

6.3.2保修责任................................................................183

6.3.3售后培训................................................................183

6/207

6.3.4售后维护服务............................................................183

6.3.5接口对接服务............................................................183

6.4组织管理.....................................................................184

6.4.1项目管理方法............................................................184

6.4.2项目质量管理............................................................186

6.4.3系统测试计划............................................................188

6.4.4测试方案................................................................189

6.4.5测试管理...............................................................194

6.5项目风险管理...............................................................198

6.5.1主要风险列表...........................................................200

6.5.2风险影响分析...........................................................201

6.5.3关键风险分析...........................................................202

6.5.4风险控制计划...........................................................202

6.5.5风险应对措施...........................................................203

6.5.6项目沟通管理...........................................................205

6.5.7项目决策制度...........................................................205

6.5.8问题与争议管理办法.....................................................206

6.6上线后支持期...............................................................207

7/207

1.方案概述

1.1.项目背景

众所周知，科技是现代化建设的第一生产力，当今社会正

在逐步向信息化、网络化、数字化发展。由于多系统、多业

务、多厂商设备等原因导致IT网络管理环境复杂多变，IT维

护难度成几何倍数增长，IT信息科技方面的风险及隐患也在

不断的加大，如何保证整个IT系统稳定安全的运行也是本次项

目建设的重点关注部分。如果没有一套先进的IT运维监控管理

系统，会使得客户对业务系统的运维管理比较被动且滞后。当

系统出现严重故障时才能发现该异常，导致故障处理速度较

慢，有时甚至会影响业务系统的正常运行。所以，及时准确的

了解设备性能、资源利用率、业务系统运行瓶颈等指标对于客

户的信息化建设有不可或缺的参考价值。本次将建设一套功能

先进、安全可靠的大数据运维平台势在必行。

1.2.需求分析

将运维模块变被动式为主动式运维，切实达到7*24小时

不间断运维，进而保障客户的业务系统正常运转。因此具体要

求如下：

■能够全面详细地监视系统中所有IT资源的运行情况，提供

一致的系统管理风格

■能够实时监视网络和业务的性能状况，能够通过客观数据分

析当前系统性能状况和长期系统性能变化规律和趋势，为系

8/207

统升级和扩容提供科学的依据。

■具有全面而深入的主机/服务器管理功能，保证主机/服务器

的可靠和高性能运作。

■提供运营商级IT系统中所需要的各种功能，及集成化的管

理模式，可降低系统管理的成本。

■实现业务可视化管理，分析深层次原因等问题。

■提供全面的WEB应用可用性进行全方位检测功能，提高业务

可用性。

1.3.建设目标

1.3.1.建立统一运维门户

通过建设统一的运维门户Portal,作为整个大数据运维平

台的统一入口，具备统一认证、单点登录、自定义首页工作界

面、分权分域管理等功能，统一建立用户账号，实现简单化用

户管理。大数据运维平台提供运维管理门户网站、移动APP、

个人工作台、自助服务台等多种形式的服务窗口。

1.3.2.建立IT异构资源的全面集中化管理

XXX本次信息化建设已达到相当规模，设备种类多且规模

大（网络设备、服务器、存储等）；涵盖不同厂家，各种型号的

IT设备，涉及传统的物理设备和云计算平台。

通过大数据运维平台，以统一监控管理为中心，实现对数

据中心信息化IT基础设施的集中监控管理，提供数据中心基础

9/207

软硬件资源及各类应用的监控管理，包括对网络设备、安全设

备、服务器、存储、数据库、中间件、WEB业务应用系统、虚

拟化资源、网络服务等性能采集和事件处理，同时支持与第三

方系统（如动环系统、安防系统、应急指挥系统等）对接，构

建统一集成的系统资源监控平台，主动、及时地发现问题，解

决被动服务的局面，提供集中的监控告警管理及监控性能数据

展示。

此外，通过大数据运维平台的自动化运维功能，管理平台

能够在故障发生时自动获取故障设备相关的各项指标数据及指

标状态，确保相应告警和事件发生时的状态能够详细记录并关

联，在必要时能够实现自动恢复、自动化巡检、批量操作作业

等运维自动化场景。

1.3.3.建立全面准确的资产配置管理

要做好XXXXXX大数据综合管理平台运维管理，首先必须

对种类繁多、规模庞大的IT资源进行有效管理，以免信息的更

新不及时，造成信息难以统计、查询、分析和利用。理清IT资

产配置台账，梳理配置项之间的关联关系，做好资产生命周期

管理，这是实现XXXXXX大数据综合管理平台智能运维管理的基

础。

通过统一的配置管理库（CMDB）,实现对XXXXXX大数据综

合管理平台所有IT资源的配置信息管理，保证配置项的完整性

和精准性，构建运维管理元数据，帮助用户建立统一的IT基础

设施台帐。通过一系列配置建模、自动采集、调和、变更控制

10/207

等手段，保证IT生产环境中配置项的完整性和精准性，为资源

监控和服务流程提供数据支撑。

1.3.4.建立符合最佳实践的服务流程管理

大数据运维平台的流程管理提供了面向于最终用户的服务

目录及服务级别管理，并提供规范的LHL服务支撑流程及资产

管理流程。通过流程管理系统进行IT运维服务的流程化、规范

化管理；通过与底层统一监控系统的集成，实现了IT运维的自

动化；通过完善知识库建设，实现知识库共享；从而提高信息

服务效率，提高用户的满意度，帮助用户有效管理人员、信

息、资产和知识库，为IT服务管理的规范化建立基础。

1.3.5.建立IT资源全面直观的可视化管理

通过大数据运维平台，用户可以实时查看管理对象的日常

运行情况，操作简单，界面直观明了。在信息集成的基础上，

通过提供的各种运行分析和性能报告，形成全网统一管理数据

视图，提供关键绩效指标体系所需数据基础，管理人员能根据

这些数据准确评估整个IT环境运行情况，及时发现故障隐患和

评估威胁。平台预留了符合国家信息技术服务标准(ITSS)的

多种对外标准接口，能够实现和第三方系统的功能或数据集成

对接，包括短信系统、邮件系统等，有效整合信息展示。

11/207

2.建设方案

2.1.系统设计原则

2.1.1.实用性和模块化原则

大数据运维平台应满足实用性和模块化原则，其提供的功

能将保证满足九寨沟智慧游泳大数据平台的实际需求，具备良

好的实用性，从根本上减轻系统管理人员的工作负担，提高工

作效率。

同时采用灵活的模块化设计，可以方便系统管理人员对平

台进行管理，实现灵活的管理权限分配，具备良好的系统访问

权限控制策略。

2.1.2.一致性和开放性原则

大数据运维平台应满足一致性和开放性原则，支持目前业

界开放标准协议，如CORBA、J2EE、DCOM等，支持标准网络传

输、加密和网管协议，如TCP/IP、SNMP(VI,V2,V3)、RMON

(1、2)、RPC、CMIP/CMIS等。采用开放式API接口和高度模

块化设计，方便用户进行二次开发以及与轨道集团数据中心其

他系统进行无缝集成，从而实现管理资源整合，构建完善的一

体化智能运维服务管理平台。

2.1.3.安全性与可靠性原则

大数据运维平台应满足安全性与可靠性原则，保证系统的

运行速度和数据可靠性，对现有的各类应用业务的正常运行不

12/207

产生影响。

大数据运维平台安全体系架构主要包括以下内容：

■用户登陆过程中通过用户名、密码进行身份认证，可配

置只允许固定IP地址访问；

■对于用户所作的任何配置信息应能够采用加密方法进行

本地存储；

■采用加密的登录过程（即SSH）,保障远程登录的安全

性；

■能通过在主机安装防火墙和防病毒软件的方式来保证大

数据运维平台的安全；

■系统具备分权分域功能。

2.2.系统技术路线

2.2.1.采用Java语言开发

系统采用JAVA和XML相结合的技术进行网站设计开发，

由于Java的平台无关等特性，而在数据表示和传输方面，XML

有着得天独厚的优势。Java与XML的组合提供了建立三层应用

程序的最佳手段，开发的系统具有跨平台运行的能力，无论在

windows环境下还是在其他主流操作系统环境下都能运行。主

要特点：

■平台独立性

这是Java最吸引人的地方。由于它采用先编译成中间码

13/207

（字节码），然后装载与校验，再解释成不同的机器码来执

行，即“Java虚拟机”的思想，“屏蔽”了具体的“平台环

境”特性要求，使得只要能支持Java虚拟机，就可运行各种

Java程序。

■面向对象的技术

面向对象的技术是近年来软件开发中用得最为普遍的程序

设计方法，它通过把客观事物进行分类组合、参数封装、用成

员变量来描述对象的性质、状态，而用方法（成员函数）来实

现其行为和功能。面向对象技术具有继承性、封装性、多态性

等众多特点，Java在保留这些优点的基础上，又具有动态联编

的特性，更能发挥出面向对象的优势。

■多线程

多线程机制使应用程序能并行执行，Java有一套成熟的同

步原语，保证了对共享数据的正确操作。通过使用多线程，程序

设计者可以分别用不同的线程完成特定的行为，而不需要采用

全局的事件循环机制，这样就很容易实现网络上实时的交互行

为。

■动态性

Java的设计使它适合于一个不断发展的环境。在类库中可

以自由地加入新的方法和实例变量而不会影响用户程序的执

行。并且Java通过接口来支持多重继承，使之比严格的类继承

具有更灵活的方式和扩展性。

■安全性

Java有建立在公共密钥技术基础上的确认技术，指示器语

14/207

义的改变将使应用程序不能再去访问以前的数据结构或是私有

数据，大多数病毒也就无法破坏数据。因而用Java可以构造出

无病毒、安全的系统。

■采用J2EE框架

考虑到系统的跨平台性和将来良好的移植性，并且考虑到

系统能够将来很好地与其他业务子系统的集成，本系统采用

J2EE平台，并且根据J2EE的中间件规范进行产品开发，本系

统采用J2EE平台集成的标准中间件，并在数据交换和数据导出

上支持XML标准。

■平台优势

J2EE是一种利用Java2平台来简化诸多与多级企业解决

方案的开发、部署和管理相关的复杂问题的体系结构。J2EE技

术的基础就是核心Java平台或Java2平台的标准版，J2EE不

仅巩固了标准版中的许多优点，例如“编写一次、到处运行”

的特性、方便存取数据库的JDBCAPI、CORBA技术以及能够在

Internet应用中保护数据的安全