IT集中运行监控系统技术解决方案.doc

IT 集中运行监控系统技术解决方案 I IT T 集集中中运运行行监监控控系系统统 技技术术解解决决方方案案 IT 集中运行监控系统解决方案 目录 1.总述.7 1.1.建设背景.7 1.2.需求分析.7 1.3.项目目标.9 1.4.项目范围.10 2.技术方案.11 2.1.设计思想.11 2.1.1.遵从J2EE规范.11 2.1.2.对象化的数据操作.11 2.1.3.组件化的设计.12 2.1.4.基于SOA的架构设计.12 2.2.设计原则.13 2.2.1.保护现有资源原则.13 2.2.2.可靠性原则.13 2.2.3.安全性原则.14 2.2.4.操作性原则.14 2.2.5.易用性原则.14 2.2.6.先进性原则.15 IT 集中运行监控系统解决方案 2.2.7.可扩展性原则.15 2.2.8.可定制性原则.15 2.2.9.规范性与开放性.15 2.3.技术架构.15 2.3.1.总体逻辑架构.15 2.3.2.系统部署架构.17 2.4.功能设计.18 2.4.1.数据采集及处理中心.18 .数据采集器 .18 .统一数据处理引擎.21 2.4.2.集中展现平台.23 .资产管理 .24 .性能分析视图 .27 .业务系统分析视图.33 .告警管理视图 .35 .统计分析报表 .38 .平台配置管理 .43 .日志查看视图 .46 2.4.3.统一管理数据库.47 .统一管理数据库中的数据.47 IT 集中运行监控系统解决方案 .功能描述 .47 .数据集成技术 .49 2.4.4.系统外部接口.50 .与 LDAP 系统接口.50 .与短信、邮件系统的接口.50 3.项目实施.51 3.1.需求分析.51 3.2.概要设计.52 3.3.程序开发.53 3.4.系统测试.54 3.5.系统上线.54 4.项目管理.55 4.1.分工界面.55 4.1.1.分工界面概述.55 4.1.2.分工界面详解.56 .项目准备 .56 .需求调研 .58 .规划设计 .59 .系统配置与开发 .60 IT 集中运行监控系统解决方案 .系统测试 .61 .用户培训 .63 .系统试运行 .64 .系统验收 .66 4.2.里程碑事件及考核标准/交付物.67 5.培训课程和培训方案.69 5.1.培训方式.69 5.2.培训环境.70 5.3.培训内容.70 6.技术服务.71 6.1.服务区域.71 6.2.服务方式.71 6.2.1.电话热线/远程诊断服务.71 6.2.2.现场故障诊断和排除.72 6.3.服务质量保证.72 6.3.1.客户满意度调查.72 6.3.2.服务监督电话.73 IT 集中运行监控系统解决方案 1.总述总述 1.1.建设背景建设背景 某公司已经建设了大量的信息化系统，应用了大量不同厂商、不同品牌、不同 型号的服务器、网络设备，系统软件等。这些系统给业务工作带来便利的同时，在 系统的安全、故障定位、信息监控等方面带来了新的挑战，增加了运维管理工作量， 因此迫切需要一套“主动监控、集中管理、及时告警”的 IT 集中运行监控系统来 提升对 IT 资源的动态可视化能力、运行维护能力以及持续优化能力。最终实现节 省人力管理成本、增强业务系统的稳定性、可用性和安全性的目标。 1.2.需求分析需求分析 某公司随着信息化建设的发展，IT 设备越来越多,本次项目的监控对象，可划 分为若干层次和类别，如下图所示： Comment t1: Comment t2: Comment t3: IT 集中运行监控系统解决方案 主要包括以下内容： PC 服务器：约 XX 台 网络设备：约 XX 台 安全设备：包括防火墙、VPN 等设备，约 XX 台 基础软件：oracle 数据库 业务系统：包括 maximo、EIP、OA 等 面对数量众多的 IT 设备，目前某公司主要通过人工的方式进行巡检，以检查 设备是否发生故障。这种管理方式，存在以下问题：由于没有使用专业监控工具， 只能依靠人工进行监控，导致通常在故障出现并导致应用系统无法正常使用时才能 发现故障信息。 鉴于以上现状分析，某对某公司的 IT 集中运行监控系统的建设提出以下建议： 1) 建立事前管理机制，解决监控方式较为被动的问题建立事前管理机制，解决监控方式较为被动的问题对各种 IT 设备的运行 信息进行监控，将采集到的事件和性能数据进行存储、分析，形成管理服务的 报告报表。对超过阈值的指标，形成预警信息并展示，便于用户据之迅速调整 参数或改造性能瓶颈设备，减少故障发生的频率。 2) 建设集中展现平台，解决监控手段较为落后分散、监控信息不够全面具体、监建设集中展现平台，解决监控手段较为落后分散、监控信息不够全面具体、监 控视图不能统一展示的问题控视图不能统一展示的问题依靠标准化协议数据库、备份、信息安全等各 类 IT 基础设施的状态和变化进行实时监控。通过对采集的信息进行合理的过 IT 集中运行监控系统解决方案 滤、压缩、分析和关联，及时准确地生成告警信息提示，并在统一界面入口提 供直观美观多视角的视图展现。 3) 对设备配置信息进行管理，包括录入、修改及查询。 4) 对监控平台自身各部分的配置进行管理。 5) 通过用户权限和功能的划分，实现不同用户的安全访问管理。 6) 提供标准接口，为其他系统提供数据接口。 1.3.项目目标项目目标 通过建设 IT 集中运行监控系统，实现对 IT 基础设施“主动监控、集中管理、 及时告警”的目标，降低运行维护潜在的风险，切实提高信息支撑服务质效，为应 用系统的良好运行提供可靠的保障，减少业务损失。并且为从“设备级”到“应用 级”的维护管理打下坚实基础。 1.4.项目范围项目范围 本项目的范围是某公司。 主要建设内容包括：建设 IT 集中运行监控系统，对硬件、软件、及应用系统 的资产信息、性能信息、告警信息进行综合管理。 IT 集中运行监控系统解决方案 2.技术方案技术方案 2.1.设计思想设计思想 某建议依据以下设计思想对某公司 IT 集中运行监控系统进行建设： 2.1.1. 遵从遵从 J2EE 规范规范 采用的 J2EE 体系结构提供中间层集成框架用来满足无需太多费用而又需要高 可用性、高可靠性以及可扩展性的应用的需求。通过提供统一的开发平台，J2EE 降低了开发多层应用的费用和复杂性，同时提供对现有应用集成强有力支持开放的 接口方式。采用 Web Service 的方式，支持部署 Web 服务，能够使用主流协议 （SNMP、CORBA、SOAP、Socket 等）中的一种或多种与其它系统及 EAI 平台实现互 操作。 2.1.2. 对象化的数据操作对象化的数据操作 面向对象的开发方法是当今企业级应用开发环境中的主流方法，关系型数据库 是企业级应用永久存放数据环境中的主流数据存储系统。对象和关系数据是业务实 体的两种变现形式，业务实体在内存中变现为对象，在数据库中表现为关系数据。 内存中的对象存在关联和继承关系，而在数据库中关系数据无法直接表达多对多关 联和继承关系。 利用对象持久化组件，实现对数据库数据的对象化访问，屏蔽了关系型数据库 IT 集中运行监控系统解决方案 数据平面化的问题。 .1.3.组件化的设计组件化的设计 利用组件技术，可提高系统的稳定性、可扩展性、可维护性。框架技术通过重 用提高了软件的生产效率，一个软件系统由两大部分组成：针对本应用的新设计和 可重用的软件组件或框架，如果后者部分占据越大，无疑，需要实现的新设计或实 现工作量就越小，生产效率越高，成本越低。 组件的开发和部署可以保持相对的独立性，而且可能是由不同的团队来开发和 部署，能够保证和加快项目的进度。另外在进行应用升级的时候，可能只是针对某 些组件进行处理，而不需要影响其他的程序，降低了系统风险。而且组件可以在不 同的应用程序之间进行共享和复用，减少了开发的工作量，也便于系统的维护。本 系统采用基于组件的开发模式，包括 JavaBean、JSP、Servlet 等，使应用组件具 有预制性、封装性、透明性、互操作性、通用性等特征，便于快速地组装成新的应 用。 2.1.4. 统一的安全认证管理统一的安全认证管理 IT 集中监控管理平台实现统一的安全集成和身份认证，使得应用系统逐步朝 着 4A 的标准来靠近，即“统一管理、统一授权、统一认证、集中审计” ；并且加强 对应用系统中敏感数据的保密性、完整性保护。 IT 集中运行监控系统解决方案 2.1.5. 统一的门户标准统一的门户标准 IT 集中运行监控系统使用 Web Services、XML 和相应的工具软件，灵活实现 与企业信息门户系统的集成，包括界面集成、数据集成、单点登陆等等，从而可以 在 EIP 系统中展现本系统的部分功能以及相关的共享数据和报表等。具体包括如下 及方面： 用户管理：用户管理：提供企业门户用户信息的管理手段，建立企业统一的目录系统，本 系统将遵循 Eip 系统中通过门户访问企业内资源的单一登录机制。 认证管理：认证管理：支持多种认证方式，包括静态密码、动态密码、数字证书等，满足 Eip 系统对用户访问进行身份认证的要求。同时可以直接利用系统中的用户帐户信 息进行身份认证。 系统与安全管理：系统与安全管理：企业门户所承载的应用与内容大多数都是企业的敏感信息， 系统安全是需要首先考虑的问题。通过认证、加密、授权等 3 个方面确保本系统接 入企业门户的安全。 单点登录单点登录(Single(Single SignSign OnOn，简称为，简称为 SSO)SSO)：是企业门户中统一用户安全认证体 系的典型应用。简单地讲，单点登录指的是:登录 1 次，即可访问多个应用系统。 2.1.6. 基于基于 SOA 的架构设计的架构设计 面向服务的体系结构（Service-Oriented Architecture，SOA）来源于早期的 基于构件的分布式计算方式，在 OMG 和 IONA 的推动下，成为了一个大家所广泛认 可的规范。它将应用程序的不同功能单元（称之为服务）通过服务之间定义良好的 IT 集中运行监控系统解决方案 接口和契约联系起来，接口是采用中立的方式进行定义的，独立于实现服务的硬件 平台、操作系统合编程语言。这使得构建在各种这样的系统中的服务可以以一种统 一和通用的方式进行交互。 支持把开放的业务功能封装为 Web 服务的方式，支持部署 Web 服务，对 WS- Security 标准提供支持。并完全实现对 UDDI、WSDL、SOAP 等技术的支持，使用 SOAP 与其它系统及 EAI 平台实现互操作。基于 Web 服务的集成是非常灵活的，体 现松耦合的设计思想。 2.2.设计原则设计原则 2.2.1. 保护现有资源保护现有资源原则原则 在不改变又有 IT 建设的基础上，进行 IT 集中运行监控系统的建设，并将原有 的 IT 应用集成到现有的系统中，保证了信息建设的充分利用。 2.2.2. 可靠性原则可靠性原则 系统必须连续无故障不间断运行，系统应具备在线式的备份和恢复能力，并有 应急处理，故障恢复功能。可通过系统自检模块来实现系统自身的容错、排错、检 错、纠错机制。 2.2.3. 安全性原则安全性原则 系统本身要提供较高的安全性，对被管设备不应产生较大安全性和性能影响， 占用尽可能少的网络带宽资源。系统权限设置，任何一个用户只能在其所定义的权 IT 集中运行监控系统解决方案 限范围内访问相应功能和数据。不能越权访问，未授权的用户不能访问，任何用户 都需要进行身份认证，对所有用户的系统访问活动、关键数据访问以及文件传输都 通过记录来进行安全审计。 2.2.4. 操作性原则操作性原则 良好的人机接口和便利的操作始终是系统设计的目标之一。系统在需求实现时， 首先从用户使用方便的角度出发；其次对输入系统的信息，尽量做到一次输入多次 使用，一次输入多次引用，这样一方面可减少输入的工作量，另一方面，采用自动 化的操作和系统检测机制，避免输入错误导致系统故障。 2.2.5. 易用性原则易用性原则 本系统应简单实用，能够适用各种操作。开发数据维护模块，对数据格式进行 详细说明，减轻系统维护人员的数据维护工作量。避免对现有设备添加模块、软件、 线路等，减少实施复杂性。 2.2.6. 先进性原则先进性原则 系统采用国际流行的开放式框架，主要的软硬件设备符合国际标准，集成国际 水平厂商的先进产品，应用软件采用多层设计。 2.2.7. 可可扩展性扩展性原则原则 可以在不改变整个监控系统架构的情况下，方便扩展新增的监控需求。扩展方扩展方 IT 集中运行监控系统解决方案 法灵活，且用户能自行实施。法灵活，且用户能自行实施。可以方便地扩大或缩小被监控对象的数量、类型和范 围。 2.2.8. 可定制可定制性原则性原则 界面、功能可根据用户需求进行灵活定制。 2.2.9. 规范性与开放性规范性与开放性 系统的接口符合标准化和规范化原则。采用支持标准的、开放性的技术。 2.3.技术架构技术架构 2.3.1. 总体逻辑架构总体逻辑架构 对系统逻辑架构的设计，某建议采用多层设计，依据某公司对 IT 基础设施集 中监控平台的建设需求，将系统分成监控对象层、数据采集及处理中心、集中展现 平台以及统一管理数据库。如下图所示： IT 集中运行监控系统解决方案 数据缓存池 性能数据日志数据状态数据采集策略 订阅原始数据发布采集策略 统一数据处理引擎 订阅实时数据 配置视图 系统权限配置 告警策略配置 数 据 采 集 及 处 理 中 心 集 中 展 现 平 台 采集策略配置 对 象 配置数据 数据转发组件图形化组件业务逻辑分析组件 网络及安全设备 其他设备 服务器/数据库/中间件 业务视图 告警分析视图 统计分析报表 资产管理视图 统一 管理 数据 库 数 据 存 储 策 略 其他 采集器 网络及安全设备 采集器 系统设备 采集器 统一事件处理引擎 性能监控视图 业务监控视图 WebService服务组件 发布采集策略 日志查看视图 （1） 数据采集及处理中心 数据采集及处理中心包含了数据采集器、统一数据处理引擎、统一事件处理引 擎三个逻辑组件。其中，数据采集器根据采集策略对所有 IT 资源对象的资源配置 数据、性能指标数据、日志数据、状态数据等进行采集，并将采集到的数据推送给 统一数据处理引擎进行处理。统一数据处理引擎进行数据分类、资产关联、业务关 联以及阈值比对后转发给统一管理数据库存储或交由统一事件处理引擎做进一步的 处理。统一事件处理引擎对接收到原始告警数据后将根据告警策略对告警信息进行 过滤、去重、关联、归并以及执行相应的处理动作（如：自动确认、短信通知等） 。 IT 资源对象主要包括网络设备、安全设备、主机、数据库、中间件等。 （2） 集中展现平台 集中展现平台作为某公司 IT 监控系统的统一人机交互界面，由业务和配置两 种视图以及为这些视图提供服务的一系列组件构成，该应用支持 LADP 系统安全认 证方式。 （3） 统一管理数据库 统一管理数据库是某公司 IT 监控系统的数据核心，保存某公司 IT 监控系统的 IT 集中运行监控系统解决方案 各类数据信息。统一管理数据库主要保存六大类数据，它们分别是资源数据（操作 相关的配置信息） 、资产数据（设备配置信息） 、 告警数据（异常状况相关的信息） 、 性能数据（表明设备运行状态的信息） 、元数据（对统一管理数据库中存放的系统 相关数据的描述） 、调和规则（系统在进行数据调和时的规则） 。 2.3.2. 系统系统部署架构部署架构 某公司 IT 监控系统的部署架构如下图所示： 数据采集及处理中心 集中展现平台 统一管理数据库 网络及安 全设备 其他设备 服务器/数据库/ 中间件 系统部署架构图 （1） 部署数据采集及处理中心 通常情况下，某公司 IT 监控系统内置一个信息处理中心服务器即可，但在大 数据量的情况下，可线性复制多个信息处理中心样本。应确保部署数据采集及处理 中心的服务器与被监控对象之间的协议通信畅通。 （2） 部署集中展现平台 IT 集中运行监控系统解决方案 应确保部署集中展现平台的服务器与统一管理数据库服务器 JDBC 通讯畅通以 及与数据采集及处理中心服务器的 SOCKET 以及 HTTP 通讯畅通。 （3） 部署统一管理数据库 应确保部署统一管理数据库的服务器与集中展现平台服务器 JDBC 通讯畅通以 及与数据采集及处理中心服务器的 JDBC 通讯畅通。 2.4.功能功能设计设计 2.4.1. 数据数据采集及处理中心采集及处理中心 数据采集及处理中心主要负责采集并处理监控对象的数据，并根据业务需求将 数据分发到集中展现平台和统一管理数据库，它是由多个数据采集器、一个数据缓 存池以及一系列数据处理引擎组合而成。 .数据采集器数据采集器 数据采集器持续地对监控对象相关的配置、运行、性能、告警等数据，为某公 司IT监控系统对设备实施监控和管理提供了基础。 .1. 数据采集内容数据采集内容 管理对象管理对象配置数据配置数据性能数据性能数据日志数据日志数据 网络设备 安全设备 主机 IT 集中运行监控系统解决方案 数据库 中间件 .2. 采集器功能要求采集器功能要求 （1）支持动态采集策略定义 根据使用情况自动或者手动调整数据获取的周期、范围和方式等策略。 （2）采集器支持汇聚采集 具有灵活的分布式部署机制，可以实现汇聚采集也可以进行单独采集。 （3）高效的采集设计 尽可能少的占用被管对象资源进行数据采集。 （4）数据预处理 采集器经过预加工实现数据的过滤加工。 （5）支持自定义采集脚本开发 不修改代码的前提，实现非标数据的自定义采集。 .3. 数据采集器实现数据采集器实现 无代理系统管理解决方案无需安装任何程序，通过标准的接口或者协议方式获 取监测数据。 （1）SNMP 采集器 IT 集中运行监控系统解决方案 支持 SNMPv1、v2、v3 标准，采集器通过查询（Polling）和自陷（Trap）相 结合的方式获取被管设备的性能数据、事件数据、配置数据。 采集的范围： 主机的性能、配置和日志数据。 网络设备的性能、配置、日志。 安全设备的性能、配置、日志。 （2）JDBC 采集器 通过对被监控数据库基表的查询采集数据库的运行状况信息。 采集的范围：数据库的配置、性能、日志信息。 （3）JMX 采集器 通过 JMX 的方式采集中间件的运行状况信息。 采集的范围：中间件的配置、性能、日志信息。 （4）其他采集器 支持 Telnet、SSH 和WMI 等无代理方式的数据采集。通过脚本开发实现可配 置的数据采集。 采集的范围：Windows、各种Unix/Linux操作系统的配置、性能数据。 IT 集中运行监控系统解决方案 .统一数据处理引擎统一数据处理引擎 .1. 性能数据处理性能数据处理 当收集到的性能数据值超越定义的门限时，会向指定人员发出相应的越限告警， 告警参数包括：告警源、告警时间、告警级别、告警原因、阈值信息。 性能数据存储在系统中，系统应能对定期收集到的数据进行统计、分析和处理， 结合资源的构成情况，将收集到的性能数据通过一定的算法进行分析和处理，以此 来反映被监控对象的性能质量。 .2. 配置数据处理配置数据处理 对采集到的配置数据与配置库进行比对，系统能够自动判断其是否出现变更， 并在发现异常时生成配置变更告警。 .3. 事件数据处理事件数据处理 事件处理是集中监控管理中一个重要的组成部分，某公司 IT 监控系统应提供 统一的事件处理机制，实现对 IT 设备事件的集中处理。 统一事件管理要求遵循以下步骤： 1. 事件信息分类 事件信息类别：系统平台事件，包括：主机事件、数据库事件、中间件事件、 应用系统事件等。 IT 集中运行监控系统解决方案 事件信息内容：事件的序列、事件标识、事件初次发生时间、事件最后发生时 间、事件次数、事件类型、事件级别、事件源、事件负责人、事件标题、事件内容、 被管对象联系人等。 事件的结构可进行增加和修改，可以灵活定制事件的显示格式，增加的扩展属 性都可以定义到事件的显示内容中，不同类别的事件支持不同的显示模板。 2. 事件信息的汇总 信息汇总过程中支持信息的过滤，过滤条件可以灵活制定，如按照事件的类型、 对象、级别、描述、位置、发生时间等条件以及多种条件的组合，可以根据用户的 事件管理需要进行过滤规则的定义。 提供信息格式统一化规则，将不同来源的管理信息，如网络、系统、应用的事 件信息标准化，为后期的处理和分析提供方便。 3. 重复事件压缩 4. 事件关联分析 5. 事件自动化处理 6. 事件信息丰富 将事件信息与相关资源信息（如该设备的位置，负责人等）进行关联，使管理 人员在收到报警的同时，直接就可以查看到相关的内容，不用进行额外的手工查询 工作。 7. 事件报警通知及任务分配 提供基础的告警通知流程功能，如哪些事件应该由什么人处理，故障在一定时 IT 集中运行监控系统解决方案 间内没有解决应该如何进行升级和通知等，统一事件管理平台要能够根据策略驱动 不同的报警程序。 告警事件在产生后，可自动分配给负责的支持人员，或者由值班人员手工转发 给相应支持人员。 事件数据处理需支持多种方式报警，包括电子邮件、声音、页面提示、手机短 信等多种方式通知。告警事件的内容包含告警来源、告警标题、告警级别、发生时 间等，信息可以灵活定制。 2.4.2. 集中展现平台集中展现平台 集中展现平台位于某公司 IT 集中运行监控系统的最上层，是系统和用户之间 的接口，提供给用户监控、浏览、操作整个系统的唯一通道。 集中展现平台通过对监控对象的异常情况、事件进行告警通知、处理，最终形 成一个集发现、展示、告警、处理为一体的监控平台。 .资产管理资产管理 资产管理视图满足用户对监控对象的配置信息维护要求，支持网络设备、安全 设备、服务器、数据库、中间件，业务系统等监控对象的配置以及地理位置等信息 维护；可维护对象之间的关联关系，如网络连接的对端设备、应用软件所处宿主服 务器；监控对象资源树视图维护，可按照设备类型、业务系统或自定义分组来组织 监控对象资源树，建立更加合理的管理视图。资产管理视图具体由以下基本视图构 IT 集中运行监控系统解决方案 成： 序号序号视图名视图名功能描述功能描述 1 监控对象统计视图主要按不同的业务系统进行监控对象数量的统计，同一 业务系统下还可按设备类型，资产状态，资产入库方式 及按厂商四种分类方式进行统计。 2 综合查询视图1、通过不同的过滤条件，检索出满足过滤条件的监控 设备列表，点击某一资产，可进入查看资产详细信息。 2、查询结果可导出为 XLS、PDF、TXT 文本等格式进行 保存。 3 单个对象的详细配置信 息管理及展示视图 结合监控对象所属的设备类型，确定该对象的扩展属性 并显示所有配置属性的值。可对单个监控对象进行新增、 修改、删除、停用、启用等维护操作。 4 类型维护视图新增、修改、删除设备类型信息，并实现类型与扩展属 性的映射关系。 5 业务系统管理视图新增、修改、删除业务系统信息。 6 行政分区管理视图新增、修改、删除行政分区信息。 7 厂商及产品型号管理视 图 新增、修改、删除厂商及产品型号的信息。 8 位置信息（机房、机柜） 新增、修改、删除机房以及机柜的信息。 IT 集中运行监控系统解决方案 管理视图 9 资源树维护视图 可按照设备类型、业务系统或自定义分组来组织监控 对象资源树，建立更加合理的管理视图。 监控对象统计视图监控对象统计视图 综合查询视图综合查询视图 IT 集中运行监控系统解决方案 单个对象的详细配置信息管理及展示视图单个对象的详细配置信息管理及展示视图 IT 集中运行监控系统解决方案 .性能分析视图性能分析视图 性能分析视图满足用户查看各种监控设备的性能信息要求，包括网络设备、主 机设备、中间件、数据库等性能信息。性能分析视图由以下基本视图组成： 序号序号视图