信息通信网智能化运营管理架构 数据架构

信息通信网智能化运营管理系统架构数据架构本文件规定了信息通信网智能化运营管理系统功能架构中的数据融合管理层的数据模型与数据管理层功能，相关功能主要包括数据获取、数据预处理、数据存储与数据管理等。本文件适用于信息通信网智能化运营管理系统规划和设计，系统开发与建设也可参照使用。2规范性引用文件本文件没有规范性引用文件3.1术语和定义组织的各类逻辑和物理数据资产以及数据管理资源的结构。一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合，用于支持管理决策。与传统数据库的面向应用相对应的一个抽象概念，是在较高层次上将企业信息系统中的数据综合、归类并进行分析利用的抽象。联系较为紧密的数据主题的集合，即对某个主题进行分析后确定的主题的边界。根据将数据主题划分到不同的主题域。2在数据存储中，以数据仓库通用数据分层为基础，结合0Ss领域的特点，将存储的数据分为源数据标准层、主题联结层和对象洞察层，并对各层数据根据组织方式和业务目的进一步细分领域，实现从数据到信息到领域知识的转化的数据模型源数据标准层originaldatastandandla将预处理后的各个源系统的数据抽取到本地缓存，并对数据进行规范化和标准化。主题联结层subjectdatalinkagelayer实现面向主题的数据组织方式，基于对象关系、业务/事件流、算法建立数据间联结关系，形成数据到信息的转化。对象洞察层objectdatainsightlayer面向业务对象对主题模型数据进行降维，注入业务知识和智能，实现知识资产沉淀。4符号和缩略语下列缩略语适用于本文件。网元管理系统ElementManagementSyst运营支持系统移动性管理实体MobilityManagementE业务体验质量QualityofExperience互联网应用服务分组网络语音回落k超文本传输协议HyperTextTransferProtocol互联网应用业务5信息通信网智能化运营管理系统数据架构综述5.1数据架构定位数据架构对应数据模型和YD/TXXXXxxXX中的“融合数据管理层”对应的数据管理功能，相关功能主要包括数据获取、数据预处理、数据存储与数据管理等。本文件不涉及EMS北向数据接口定义35.2数据模型数据模型是数据特征的抽象，它从抽象层次上描述一组数据的概念和定义。数据建模是对数据根据一定的维度进行全面的组织和存储，使数据更好地发挥作用。运营商对于数据有如下两个方面典型的要求：数据作为核心资产，应具备较好的稳定性和可扩展性；数据作为基础能力，应具备对上层应用支撑的能力。基于上述需求，需要抽象和规范化数据模型。数据模型标准化主要包含分层分域规则和数据模型定义模板本文件定义的数据模型以数据仓库通用数据分层为基础，结合0SS领域的特点，将存储的数据分为源数据标准层、主题联结层和对象洞察层，并对各层数据根据组织方式和业务目的进一步细分领域，实现从数据到信息到领域知识的转化。5.3数据管理层功能如图1,信息通信网智能化管理数据架构功能包含如下部分：数据获取：基于多种方式获取来自通信系统的数据；数据预处理：对获取的数据基于一定的策略和规则进行对应方式的处理，主要包含数据集成、数据清洗和数据变换；数据存储存储预处理后的数据，并对预处理后的数据按照数据模型进行存储，形成数据模型资产目录，体系化地提供运营商信息通信网具备的数据能力：数据管璟包括数据模型管理，数据生命周期管理，数据质量管理，数据安全管理，数据共享管理。数安全管理图1信息通信网智能化管理数据架构功能6.1分层分域数据模型6.1.1分层数据模型0Ss领域分层数据模型从下到上依次分为如下三层：源数据标准层、主题联结层和对象洞察层，如图2所示。源数据标准层将预处理后的各个源系统的数据抽取到本地进行缓存并对数据进行规范化和标准化。主题联结层实现面向主题的数据组织方式，建立数据之间的联系。图3分层分域数据模型6.2.1源数据标准层概念源数据标准层，对应预处理后的数据模型层，在这一层主要是对数据进行规范化、标准于网络数据，屏蔽不同广商、协议的数据的能力。源数据标准层除本地缓存用途外，还标准化和编码化，实现网络数据的统一标准和统一存储。源数据标准层对获取的数据进行规范化、标准化。信息通信网具有复杂的数据来源，这在不同的地理位置、不同的数据库、不同的应用之中。因此，设立源数据标准层用于存放从取出来的数据，这些数据从数据结构、数据之间的逻辑关系上都与业务系统基本保持一6.2.2源数据标准层分域原则源数据标准层的分域按照专业领域>数据分类>分类模型进行管理信息通信网的数据分类典型分类如下：性能数据、告警数据、日志数据、配置数据、工单数据等。针对信息通信网不同专业领域(接入，传输，核心网),对获取的数据进行分类如下表1所示：表1源数据标准层分域模型专业领域和数据分类映射√√√数据分类和分类模型实例的映射关系如表2所示：Management)性网络/业务质量故障分析(故障树)日志数据置单：时告警、智能网关无线洞察、网规网优；知已经有影响或者预测有影响的机会/问划场景。9量、容量与状态的统计分析等相关场景。端口状态分析等。模型有影响或者预测有影响的机会/问题/异常/风险(统称现象),通过分析、收敛为需要最终处质量问题，进行网络优化设计、实施、评估。户6.3.3主题示例本节的主题参考包括网络质量域、业务质量域、客户体验域对应的主题示例。主题联结层网络质量域、业务质量域以及客户体验域的典型参考主题如图6所示：客户体验域客户体验域业务质量域图6主题联结层参考主题网络质量城主题包含CS性能、PS性能：业务质量域包含主题如语音业务(EPSFB场景)体验、语音(VoLTE)体验：客户体验域主题包含如用户投诉模型等。具体的主题域及其对应的主题、主题数据联结模型如下表4所示。主题数据联结模型基于已识别的主题，结合分析场景进行主题模型设计，再根据数据实体之间的相互关系，设计主题联结关系。表4主题域对应主题及主题数据模型示例换PS网络性能Gb&lu-PS等接口网络性能指标模型：EPCMlo-CS呼叫指标模型：主被叫接通、掉话指标VoLTE业务指标模型：呼叫、短消息、业务媒体质量指6.4对象洞察层6.4.1对象洞察层概念对象洞察层，面向不同的需求，选择相关信息进行深度分析，萃取需要的特征、标签等，构建相应模型，例如对于同样的用户，面向用户体验的分析和面向营销支撑的画像模型是不同的。这一层以分析的对象为中心，存储对象属性、标签和相关的统计数据，满足不同部门或不同角色的个性化数据需求，快速响应用户的数据需求。对象洞察层面向对象，对主题联结层进行降维，支撑智能化应用或者智能化实现，实现知识资产沉6.4.2对象划分原则对象洞察层按照‘对象类型>对象域>业务对象’的数据模型进行管理，如表5所示。参考eTOMGB991架构，对象洞察层包含了三大对象类型网络资源、业务、客户，划分原则如下·面向网络资源围绕网络“规建维优”构建数据能力，打造网络价值指标与特征标签，通过数据服务支撑一线敏捷开发；·面向业务：围绕业务使用数据构建业务特征标签，支撑特定对象的重点业务优化与保障：·面向客户通过客户生命周期管理沉淀客户体验与客户营销标签，刻画用户特征，通过数据开放支撑市场营销。表5对象类型及业务对象定义通过移网用户信令等数据分析用户终端特征，业务特征，使用感知家庭宽带相关的用户特征、位置分布特征、订购特征、质量画像VoLTE等语音业务量、流量、质量等特征指标、标签沉淀，形成业数据业务量，流量，质量等特征指标，标签沉淀，主要涉及物联网等新业务特征指标、标签，洞察新HIIP、网页测览、视频等OTT业务体通过移网网络信令、性能日志等数据分析小区、站点等特征固网通过固网网络信令、性能、告警、日志等数据分析网元相关特征6.4.3业务对象及洞察模型示例对应各个对象域，定义对象洞察模型，围绕已识别的对象，结合分析场景，进行对象洞察模型设计。并使用AI/ML等技术进行统计学习、预测，注入业务知识和智能，实现知识资产积累。各个对象域对应的对象模型如表6所示按用户使用流量排名前十的应用及其流量、次数息用户在各类位置(如：工作地、居住地、常驻地)段类型(如：工作时段、居住时段)下的业务量情况量计算各小区的业务体验指标，包括Web、Stre统最多支持配置10个热点APP.6.5数据模型定义模板本章节针对分层分域模型中各层数据模型规定数据模型定义模板。在源数据标准层，针对不同的数据类型定义了数据标准在主题联结层，基于已识别的主题进行主题模型设计时，根据对象实体之间的相互关系，设计主题联结关系：在对象洞察层中作为已识别的业务对象的数据标准。6.5.2源数据标准层数据标准模板源数据标准层数据标准模板包含如下属性-—专业领城：专业领域指源数据所属专业领域.包括接入网，传输网，核心网等：——数据分类数据所属分类，典型分类包含性能数据、告警数据、日志数据、配置数据、工单数据等：-—数据源：数据获取来源，如探针采集数据，网管系统数据，外部数据等：-—中文名称：数据的中文名称：——英文名称：数据的英文名称：——数据定义：表征数据的详细定义和说明：——数据用途：阐述数据的主要用途：——数据类型：表征数据的类型，如整型，浮点数类型，字符类型等：-—数据长度：表征数据的长度，如几个bit,几个字节等。6.5.3主题联结层数据标准模板主题联结层数据标准模板包含如下属性：-—主题域分组：主题域分组表征数据所属的主题域。垂直主题域分组包括规划建设、准备支持、实施交付、保障、计费五个分组水平主题域分组包括网络资源层、业务层、客户层三个分组--主题域：主题域表征对分析对象数据的完整一致的描述。主要包含如下十一个主题域：业务规划域、网络规划域、客户运营域、业务运营域、资源管理域、业务配置域、网络资源配置域、客户体验域、业务质量域、事件域、网络质量域——主题：主题表征在主题域的基础上根据不同的业务和事件归纳的模型：——中文名称：数据的中文名称：-—英文名称：数据的英文名称：-—数据定义：表征数据的详细定义和说明——数据用途：阐述数据的主要用途；——数据类型：表征数据的类型，如整型，浮点数类型，字符类型等；——数据长度：表征数据的长度，如几个bit,几个字节等。6.5.4对象洞察层数据标准模板对象洞察层数据模型参考数据标准模板包含如下属性：——对象类型：对象类型指对象洞察层包含的三类对象类型；网络资源、业务、客户；——对象域：对象类型对应的各类对象，网络资源层对应对象域为移网和固网；业务层对应对象域为语音业务、数据业务、新业务、OTT业务；客户层对应对象域为个人用户、家庭用户、政企用户；-—业务对象：业务对象表征业务所属的实体对象，如用户，小区，基站等——中文名称：数据的中文名称；——英文名称：数据的英文名称；——数据定义：表征数据的详细定义和说明 数据用途：阐述数据的主要用途： 数据类型：表征数据的类型，如整型，浮点数类型，字符类型等：——数据长度：表征数据的长度，如几个bit,几个字节等。7数据管理层功能7.1数据获取数据获取实现从数据源获取设备日志，话统，话单，事件告警，配置文件答数据，并实现数据结构化的转换。数据获取需要提供数据采集，转换，补采。数据质量打点等关键能力。数据源获取的数据可能包含了大量的缺失值，可能包含大量的噪音，也可能因为人工录入错误导致有异常点存在，非常不利于算法模型的训练。因此需要根据一定的策略和规则对数据进行预处理。数据预处理主要包含数据集成、数据清洗和数据变换。数据集成指把数据从数据采集接口迁移到数据仓库，并将多个数据源中的同一类数据结合存放在数据仓库；数据清洗是对各种原始脏数据进行对应方式的处理，如通过填补缺失值、光滑噪声数据、平滑或删除离群点，从而得到标准的、干净的、连续的数据提供给数据统计、数据挖掘等使用数据变换是通过数据格式转换工具对数据进行规范化、离散化处理以达到数据格式的统一7.3数据存储数据源获取的数据经过预处理后需要进行数据存储，即将数据预处理后的数据装载到数据仓库。数据预处理后的数据经过数据建模后生成模型化的数据，也需要存储到数据仓库，供上层模块使用。数据仓库是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合。从定位上看，数据仓库是将各个业务系统的数据集成到一起，然后通过数据建模、加工，支撑业务应用。数据存储包含文件存储 (如分布式文件存储系统(HadoopDistrnbuteFileSystem,HDFS)文件)和数据库(如Hive,Carbon.HBase,GaussDB)等，面向支撑大数据的分析，进行实时和非实时数据开放。数据仓库层构建各种数据模型。本文件的数据模型详细描述见第5章。7.4数据管理7.4.1数据模型管理数据模型管理包含数据模型创建，数据模型变更，数据模型删除：——数据模型创建支持根据需求变化，创建新的数据模型。具体包括概念数据模型设计，逻辑模型设计开发，物理模型设计开发。概念数据模型从宏观角度描述业务的整体结构，对业务模型进行抽象处理，确定归属层级和主题域逻辑模型对概念模型进行细化，根据业务定义、分类和规则，定义其中的实体，描述实体之间的关系并产生实体关系图，然后遵照规范化思想在实体关系的基础上明确各个实体的属性：物理数据模型设计是针对具体的分析需求和物理平台，对逻辑模型做最终物理实现的过程。具体是指按照一定规则和方法，将逻辑数据模型中所定义的逻辑数据实体、属性、属性约束、关系等要素转换为数据库软件所能够识别的一种物理描述：-—数据模型变更支持根据需求的变化，对数据模型进行修改，包含数据模型的名称，属性的名称。模型所属的主题域或对象域等：-数据模型删除支持根据需求变化，对数据模型进行删除。7.4.2数据生命周期管理数据全生命周期管理以数据作为管理对象，以全生命周期为导向，从系统整体目标出发，统筹考虑数据资产的获取、存储、存档和销毁的全过程。数据生命周期管理包括数据获取管理、数据存储管理、数据存档和销毁管理。-—数据获取管理主要包括制定采集环节数据获取范围和策略。数据获取范围指在数据规划文档中明确定义与业务数据需求相对应的数据源，源数据可以是通过网络生产系统产生的，也可以通过购买或其它外部渠道获得。对同一业务管理主题下的数据应有统一的数据获取策略，避免同一数据需求的重复采集数据获取环节是数据进入数据平台的入口，需要保证数据上下游的一致性、完整性：——数据存储管理规定对历史数据的保留时间和存储方式，历史数据的存储保留时间和存储方式取决于外部监管、法律要求及内部经营管理的要求。数据存储规划应该从业务需求出发，针对不同数据采用不同存储和计算资源。数据存储策略的制定需要遵循下列原则减少冗余存储，即同一组数据应一次存储，多次使用当前数据的存储应注重考虑访间效率，控制在线数据规模数据存储策略参考：源数据标准层数据大于等于7天，小于等于14天，主题层数据存储大于等于30天，小于等于90天；对象洞察层数据根据业务需求存储； 数据存档和销毁管理出于数据安全、存储管理成本、数据访问效率等因素的考虎，不同类型的数据集合对数据存档和未来的销毁过程也将提出不同的需求应及时存档，超过数据存储生命周期的数据应及时销毁。7.4.3数据共享管理数据共享管理是指在提供产品与服务、开展经营管理等活动中，对数据消费的管理和管理。——数据消费不应超出数据获取时所声明的目的和范围。数据消费源于业务驱动，以业向的数据分析与应用或者数据驱动，以数据出发，发现数据价值。推广到应用。常见数据消费有：客户洞察、内容洞察、位置能力、客户标签、指标能力：——数据开放是指按照统一的管理策略对数据进行有选择的对外开放，同时按照相关的入外部数据供组织内部应用。数据共享的周期必须是有限的，用户在申请数据开放申明开放周期7.4.4数据质量管理数据质量指在特定业务环境下，数据满足业务运行、管理与决策的程度，主要包括数时性、准确性、一致性、有效性、唯一性等。数据质量管理机制包含数据质量策划、数据质量控制、数据质量度量和数据质量改进：——数据质量策划指识别质量管理需求和目标后，将数据质量目标分解到领域，细化到业务对象-—数据质量控制包括事前预防、事中监控与事后总结，将数据质量管理机制落实并细分到系统各个环节中。在需求开发阶段进行事前预防，建立数据质量协同管理机制和数据标准在系统运维过程中，需进行事中监控，建立数据质量监控预警管理机制事后需要及时进行总结提升，总结数据质量管理工作成果，明确改进方向。对共性的、普遍的问题及其解决方案进行归纳，形成问题处理案例，存入数据质量知识库中，用于后续质量问题的参——数据质量度量从“设计”、“执行”两个方面评估数据质量综合水平，揭示数据质设计质量方面，对领峨所有业务对象的数据架构从资产目录、数据模型、数据等方面进行数据质量评估和度量；在执行方面，针对数据质量“六性”:完整性、及时性、准确性、一致性、有效性、唯一性进行质量评估和度量。发布度量报告，根据度量结本度量期间数据质量状况，牵引数据质量持续改进；——数据质量改进对数据质量控制中发现的数据质量问题进行分层分级剖析，找出数据因，制定相应解决方案。7.4.5数据安全管理数据销毁安全管理。——数据获取安全管理需定义数据获取的目的和用途，明确数据获取源和数据获取范围，严禁执行超出授权范围的任何操作：遵循合规原则，确保数据获取的合法性、正当性数据最小化原则，只采集满足业务所需的最少数据遵循确保安全原则，对采集的数据进行分类分级标识，并对不同类和级别的数据实施相应的安全管理策略和保障措施。在采集数据时，如涉及使用工具的场景，需使用安全合规的工具采集的数据已成功上传后，需及时删除存储介质中保存的原始数据，不得超出授权使用期限。采集数据应始终与授权关联，确保数据使用-—数据存储安全管理是指对存储的数据设置备份与恢复机制，对存储的数据的机密性和完整性的保护，数据的存储必须符合当地法律法规和数据所有者授权要求，在授权的可转移范围内存储。对于重要数据，应使用数据加密、数字签名等密码学机制保证数据机密性和完整性。在向第三方转移数据时，雷获取明确授权，并通过签订协议等方式告知第三方数据使用要求：-—数据共享安全管理原则为“谁使用谁获取授权”、“谁使用谁负责生命周期管理”的数据