中国移动-数据仓库在综合性能分析系统中的应用

网络质量是通信企业生命线 2009年 7月 中国移动通信集团四川公司网络管理中心 网管支撑室 数据仓库在综合性能分析系统中的应用 中国移动通信集团四川公司网络管理中心 - 2 - 目录 四川移动网管系统数据特点 数据仓库技术简介 综合性能分析系统简介 中国移动通信集团四川公司网络管理中心 - 3 - 数据仓库技术简介 数据仓库 （ Data Warehouse）是支持管理决策过程的、面向主题的、集成的、随时间变化的、持久的数据集合。它是一种达成“数据整合、知识管理”的有效手段。其特征有： 2 3 4 面向主题 集成性 相对稳定 反应历史变化 面向主题进行组织（主题即客观分析领域，是指在较高层次上企业信息系统中的数据综合、归类并进行利用的抽象）。 对不同来源的外部信息进行必要的变换和集成，包括格式转换、消除冲突、运算、总结、综合、设置时间属性、设置缺省值，等等。 反映历史信息内容。每个数据项对应一个特定的时间，需要大量的查询操作，很少进行修改和删除，通常需要定期加载、刷新。 数据是从过去某个时间点到目前各个阶段的信息，使用者可利用信息对过去的发展历程和未来趋势做出分析和预测。 1 定义及技术特征 中国移动通信集团四川公司网络管理中心 数据仓库技术简介 - 4 - 抽取、清理 转载、刷新 数据源 数据集市 服务 OLAP服务器 OLAP服务器 数据挖掘工具 分析工具 报表工具 查询工具 前端工具 数据仓库系统体系结构 数据仓库 体系结构（一） 中国移动通信集团四川公司网络管理中心 数据仓库技术简介 - 5 - 体系结构（二） 数据源 是数据仓库系统的基础，是整个系统的数据源泉。通常包含企业的各类内部 信息和外部信息。 数据存储与管理 OLAP服务器 前端工具 是整个数据仓库系统的核心和关键。针对现有各业务系统的数据，进行抽取、清理，并有效集成，按照主题进行组织。数据仓库按照数据的覆盖范围可以分为企业级数据仓库和部门级数据仓库。 对分析需要的数据进行有效集成，按多维模型予以组织，以便进行多角度、多层次的分析，并发现趋势。其具体实现可以分为： ROLAP、 MOLAP和 HOLAP。 主要包括各种报表工具、查询工具、数据分析工具、数据挖掘工具以及各种基于数据仓库或数据集市的应用开发工具。 中国移动通信集团四川公司网络管理中心 数据仓库技术简介 - 6 - 数据仓库擅长处理海量数据，特别是 MOLAP存储方式，能够向数据使用者提供出色的压缩效率和查询速度。 数据存储 ETL 数据仓库提供的 ETL过程以及与其相关的诸多技术和工具，易于 集成来源和结构复杂的数据，使之成为干净、完备、经过整合的数据。 OLAP OLAP是数据仓库系统的主要应用，支持复杂的分析操作，侧重决策支持，向数据使用者提供直观易懂的查询结果。 前台展现技术 将没有感情的、枯燥的结构化数据，用友好的方式、灵活的方式、可定义的方式展现出来，形式包含报表、图表，甚至影像多媒体。便于数据使用者理解其中数据的含义和业务表现。 数据挖掘 运用一种或多种算法，对海量数据进行探索，促使数据使用者发现未知 的模式或关系，最终做出预测或总结规律。 主流支撑技术 中国移动通信集团四川公司网络管理中心 四川移动网管系统数据特点 数据类型均为日志型 数据结构复杂 数据量庞大 使用者观察数据视角丰富 四川移动网管系统 数据来源复杂 设备厂商、设备类型众多，各厂家、各设备类型数据存储方式不同造成数据来源复杂 众多的设备厂商，以及各厂商采用的不同数据存储、编码、计算、表现方式造成了数据结构复杂 各厂商设备记录数据均为日志型，这类数据一旦产生就不再变化，具有稳定性特征 各厂商设备日产生数据约 160G（数据库存储方式），以此估算，年汇总数据达到惊人的 58400G 不同分工人员观察数据的视角各不相同， 概述 中国移动通信集团四川公司网络管理中心 四川移动网管系统数据特点 - 8 - 四川网管系统管理的设备厂商包括 西门子 、 摩托罗拉 、 爱立信 、 诺西 、 华为 、 康为 、 东信北邮 、 中兴 等等；专业涵盖 无线 、 交换 、 GPRS、 短信 、 智能网 、 数据网 等等。 各厂家、各类型设备的数据存储方式并不相同，比如：西门子以 ASCII文件存储数据；爱立信以 SNMP协议和 ASCII编码网管数据文件。其他厂商通常把数据存储在自己的数据库中，这些数据库包括 INFORMIX、 SYSBASE、 ORACLE、 SQL SERVER，且数据库版本各异。 西门子 摩托罗拉 爱立信 诺西 华为 康维 东信北邮 中兴 设备厂家众多 无线 GPRS 交换 短信 智能网 数据网 涉及专业众多 数据来源、结构复杂 数据来源及结构复杂 中国移动通信集团四川公司网络管理中心 四川移动网管系统数据特点 - 9 - 数据量庞大 众多设备厂商的各类设备上产生的数据量非常庞大。如采用数据库存储，日数据将占用 160G左右的磁盘存储空间，年汇总数据量将达 58400G左右。 海量数据 中国移动通信集团四川公司网络管理中心 四川移动网管系统数据特点 - 10 - 使用者观察数据视角丰富 领导层 关心系统 KPI指标的实时情况 及 中、长期走势 网络规划 及 分析人员 需要综合分析相当 长时期 甚至一年、几年的数据，以便进行 预测 、 规划 网络维护 及 优化人员需要确保数据的 及时性 、 准确性 ，以便有效获知 网络现状 、明确 问题隐患 网络监控人员 除了对数据的 及时性 和 准确性 要求很高外，还需要从大量的数据中剔出哪些特异的数据，以便对网络进行 整体评价 、对网络问题进行 故障预警 网管系统 中国移动通信集团四川公司网络管理中心 - 11 - 综合性能分析系统简介 系统概况 综合性能分析系统是数据仓库技术在网管系统中的应用项目之一。 系统通过厂家提供的数据接口实时、完整、稳定地自动采集各厂家能够提供的所有网管性能数据和配置数据。对采集到的数据按照数据仓库模型进行抽取（ Extract）、转换（ Transform）、清洗（ Cleansing）、装载（ Load），并参照集团公司的规范对采集到的数据按业务分类综合入库。 在数据仓库的展现层，使用者可以根据业务和需求的不同，灵活的选择维度和指标，快速生成想要的报表。 中国移动通信集团四川公司网络管理中心 综合性能分析系统简介 - 12 - 系统数据仓库过程 数据源 实时数据采集、补充采集 抽取 转换 清洗 转载 按业务综合、自定义指标 多维分析、多维呈现（ OLAP） 中国移动通信集团四川公司网络管理中心 - 13 - 综合性能分析系统简介 系统结构 EDIS系统 智能网系统 短信系统 数据网系统 交换系统 GPRS系统 无线系统 中继信令目的码 数据钻取 数据预估 差异分析 对比分析 GIS模块 厂家全 COUNTER分析 经营分析 联机分析(OLTP) 在线分析(OLAP) 中国移动通信集团四川公司网络管理中心 综合性能分析系统简介 - 14 - 技术优势（一） 数据集成 运用成熟、稳定的 ETL工具及技术，对不同来源、不同结构数据进行抽取、清洗、转换。有效应对了网管系统中数据来源及数据结构复杂的现状，为多维形式组织数据提供基础 。 数据存储与管理 灵活的 KPI定义 多维分析 采用 MOLAP的多维存储方式，在缩小存储空间的同时保证查询响应速度 。有效解决了网管系统各厂家设备海量数据的长期保留问题 。 提供 KPI指标自定义功能，系统 KPI指标既可来自度量值，也可通过现有度量值根据业务逻辑生成计算成员实现，便于 KPI指标的调整和更新。 支持按照主题进行数据的多维形式组织，以及对多维形式组织的数据采取切片、切块、旋转等各种分析动作。为前端进行数据多维呈现提供基础。使用户能够从多角度、多层次观察数据，深入了解包含在数据中的信息和内涵，为决策提供有效支持。 中国移动通信集团四川公司网络管理中心 - 15 - 综合性能分析系统简介 技术优势（二） 数据挖掘 支持从有效组织的数据中运用数据挖掘工具、算法， 获取有效的、新颖的、潜在有用的、最终可理解的模式。目前，系统已实现网络重要指标走势的较准确预测。 数据表现 设计模式 标准开放 实现丰富的前端统计分析功能，使用户可通过自定义查询、指标等方式自主创建视角观察数据；支持图表、地图等多种形式表现多维数据，确保用户更有效获取数据信息；提供丰富的报表管理功能，全面满足网管部门日常报表需求。 基于 .NET的多层结构设计模式，便于日后灵活快速的升级。 使用 XML，与其它业务系统方便地集成。 中国移动通信集团四川公司网络管理中心 综合性能分析系统简介 - 16 - 查询 报表 自定义指标 系统管理 系统 前端功能包含： 查询； 报表； 自定义指标； 系统管理。 前端首页 系统前端功能 中国移动通信集团四川公司网络管理中心 综合性能分析系统简介 - 17 - 系统前端功能 查询管理 新建查询 已创建的查询，可以修改时间参数后反复使用 通过设置时间范围以及锁定指标，可以构造复杂的性能数据查询 中国移动通信集团四川公司网络管理中心 综合性能分析系统简介 - 18 - 系统前端功能 自定义指标 报表管理 公式和函数列表 性能数据和配置数据列表 已根据用户需要定义的各类报表，可方便进行查看和数据下载 中