CTGMBOSSOSS运营服务分析ODSO系统培训材料

CTG-MBOSSOSS2.5规范

培训材料运行服务分析系统（ODS-O）第1页ODS-O规范关键内容聚焦客户信息化创新战略ODS能够分域建设，能够集中建设未建ODS、只建ODS-B、分建ODS-B/ODS-O围绕一个目标，明确两种模式；结合三种现实状况，验证四大专题数据整合-明晰数据分类整合标准数据共享-规范企业基础数据架构数据质量-提升后端优异运行能力数据应用-支撑运维更加好使用网络一个目标四大专题二种模式三种现实状况从ODS在OSS域实际需求出发，明确ODS能够集中建设也能够分域建设，面向运行生产验证了OSS数据整合、数据共享、数据质量、数据应用四大专题，明晰了OSS数据分类及整合标准，规范了企业基础数据架构，提升后端优异运行能力，支撑运维部门更加好使用网络，表达了ODS-O作为OSS价值和能力窗口基本主题。第2页目录系统综述系统架构重点专题系统演进集成接口第3页目录系统综述ODS-O建设驱动力ODS-O规范体系现实状况及目标ODS-O系统定位ODS-O系统目标第4页ODS-O建设驱动力分析融合业务发展，意味着IT系统之间需要更多接口和协同，沉淀在IT系统之内分散、孤立数据需要建立更多关联，以支撑融合业务运行和监控ODS-O作为一个实现数据共享技术模式，其关键目标之一就是实现OSS系统从网状互联接口现实状况到以星型接口为主，网状接口为辅转变，以支撑系统间互联互通和全程全网运行。服务质量中不论是向客户包含开通、保障、接触服务质量，还是用户产品本身运行质量、网络质量都需要对OSS数据进行整合和分析，以做出服务质量调整相关对策ODS-O整合了OSS域（含网管）数据，所以经过ODS-O实现OSS跨系统网络能力分析及网络运行情况分析，能够使网络运行维护部门更加好使用、维护网络。ODS-O应用驱动特征和数据收敛特征决定ODS-O能够对生产系统内开通、保障，网管数据进行整合和汇总后，形成围绕全业务服务标准指标现实状况统计，从而为运行考评提供数据支撑。聚焦客户全业务运行信息化创新战略对OSS能力提升需求分解业务融合支持全业务运行OSS能力提升对ODS-O要求聚焦客户提升客户体验全程全网实现一体化管理集中高效支撑网络转型准确智能实现运行优异第5页ODS-O建设驱动力（价值）OSS价值企业价值规范OSS域基础数据架构需要

网状互联接口现实状况到以星型接口为主，网状接口为辅转变，优化OSS基础数据架构。6OSS域互联互通数据共享需要

明确运行数据唯一起源，保持OSS各系统数据副本一致性。7OSS域系统数据质量提升需要

面向分析应用，对源系统数据进行质量稽核，提升源系统数据质量，完善ODS-O应用。8满足移动业务生产运行时效性需要移动业务引入，对OSS整体提出更高时效性要求，ODS-O整合OSS（含网管/设备）数据，经过准实时、跨系统分析应用，提升网络运维反应时间和运行生产时效性；1满足业务融合系统互联互通需要

融合业务发展，要求IT系统之间需要更多接口和协同，ODS-O面向业务融合，为OSS系统提供数据共享基础平台，增加系统间互联互通协同。2实施聚焦客户提升服务质量需要

面向开通、保障，网络质量等对OSS数据进行整合分析，做出服务质量调整相关对策。

3面向生产提升网络运行效能需要

经过网络能力分析及网络运行情况分析，使网络运行维护部门更加好使用、维护网络。4支撑准确化运行、推进落实全业务服务标准需要

围绕全业务服务标准进行指标现实状况统计，为企业各种运行考评提供数据支撑。5第6页目录系统综述ODS-O建设驱动力ODS-O规范体系现实状况及目标ODS-O系统定位ODS-O系统目标第7页ODS当前规范体系情况EDAODSEDMEDA-ODS总体规范V1.0EDA-ODS技术规范V1.0CTG-EDMV3.0CTG-EDMV2.0CTG-EDMV1.0EDA规范V1.0EDWEDW实施指南V1.0EDW技术指南V1.0EDW业务需求V1.0ODS-O系统规范2.5EDA规范V1.0：规范了中国电信企业数据架构，系统地提出了数据管控体系，明确了中国电信EDA建设标准，并为数据魔方、经营分析模板、企业数据模型（EDM）、运行数据仓储（ODS）和数据仓库（EDW）提供框架和依据。年2月，除运行数据仓储（ODS）规范集未编写外，其它规范集均编写完成。EDA-ODS规范V1.0：包含总体分册和技术分册，年7月公布。对ODS建设驱动力、业务目标、系统目标、系统架构、系统边界及系统演进等方面内容进行了规范；规范V1.0中没有包括OSS域相关ODS需求；CTG-EDMV1.0：包含参加人、产品、帐务、市场营销、事件、地域6个主题域，年12月公布。CTG-EDMV2.0：增加了资源主题域，并对现有主题域进行了完善，205月公布。CTG-EDMV3.0：围绕CRM与计费系统数据模型一致性、ODS模型统一性等目标，优化和完善参加人、产品、帐务、市场营销、事件和地域六个主题域，204月公布。聚焦客户全业务运行对ODS-O提出了建设需求，OSS域需要自己ODS，规范ODS-O建设势在必行EDW规范V1.0分为技术指南、实施指南和业务需求分册，公布时间年。规范对企业EDW目标、标准进行了界定，对EDW技术体系架构，项目实施方法，数据挖掘方法等给出了实施参考。第8页ODS-O相关规范体系现实状况及规范目标1、ITSP2.0为ODS-O分册编写提供了指导和定位；2、OSS生产系统规范为ODS-O功效、接口定义提供主要输入；3、ODS-O分册继承了ODSV1.0规范中体系架构，参考EDM和OSS域应用，实现OSS域数据整合、数据共享管理、数据质量管理和数据应用；4、结合OSS系统全网建设现实状况，为ODS-O系统建设、实施和演进提供了指导思绪。OSS规范开通规范资源规范……CTG-EDMV1.0CTG-EDMV2.0CTG-EDMV3.0EDM规范ODS规范总体规范技术规范ITSP2.0ODS-O规范系统综述驱动力目标定位系统架构功效架构技术架构数据架构重点专题数据共享数据质量数据应用系统演进演进步骤阶段评定集成接口系统边界接口分类接口技术规范目标1、ODS-O规范为各省ODS建设，提供OSS域建设指导2、ODS-O可依据各省实际，单独建设或建设企业级ODS框架后逐步收敛OSS域；EDA1.0EDW规范业务需求技术指南实施指南数据整合第9页目录系统综述ODS-O建设驱动力ODS-O规范体系现实状况及目标ODS-O系统定位ODS-O系统目标第10页集团数据交换枢纽集团省当地网企业应用集成（EAI）企业应用集成（EAI）外部认证服务平台集团CRM集团计费结算系统综合服务开通综合资源综合网络管理综合服务开通综合网络管理施工调度综合网络管理外部认证服务平台CRM互联网门户融合计费充值平台综合结算采集预处理生产分析域ODS运行型数据应用综合服务保障自动激活综合服务保障专业网络管理生产分析域EDW分析型数据应用专业网络管理生产分析域ODS运行型数据应用生产分析域EDW分析型数据应用专业网络管理BSSOSSEDA企业内部门户管理支撑系统MSS语音门户互联网门户10000/10001语音门户自动激活自动激活财务管理人力资源供给链项目管理管理支撑系统财务管理人力资源供给链项目管理OAKM内部用户认平台证企业内部门户生产分析域数据应用平台数据应用OAKM内部用户认平台证网络运维管理网络运维管理综合资源1.运行数据仓储(ODS)属于企业数据应用,包含按主题分类面向运行准实时数据，提供统一企业数据视图；2.EDA域沿袭“两级系统，三级应用”不变。即系统分省和集团两级建设，集团、省、当地分别按照不一样需求使用系统，其中当地数据应用平台使用ODS和EDW数据或分析结果。3.与EDA1.0相比，ODS不但包含运行数据存放，更强调基于运行数据上分析应用（ITSP2.0）。ODS在ITSP2.0IT应用系统远景目标中位置第11页依靠企业ODS，深化OSS数据管理和数据应用12ODS-O在OSS2.5功效蓝图位置企业管理－O企业数据架构－O运行管理OSS数据架构绩效考评成本管理知识管理供给商管理运维组织与人员管理公文流转工程管理档案管理日常事务管理数据质量公共管理数据共享数据整合数据应用代维管理12门户OSS门户个人门户单点登录移动办公知识搜索运维协同专题论坛综合信息公布服务开发与运行规划运行支撑与就绪开通保障服务规划资源规划服务问题服务质量资源测试管理资源存量资源调整协议与流量服务故障服务性能服务开通资源开通自动激活资源问题资源故障资源性能施工调度网络配置管理生产指挥服务测试管理资源开发与运行备品备件服务问题服务故障服务性能服务质量汇报服务质量评定服务质量分析接收与解析预处理与分析处理与修复验证与评定反馈与消障服务能力规划变更管理事件监视事件申告事件分析性能指标分析性能监视定单接收服务方案设计资源配置服务配置服务激活测试工具测试执行生产任务管理重大事件上报测试工具测试执行网调方案设计变更数据调整资源设计与分配客户方案设计资源配置工单接收与解析预处理与分析处理与修复验证与评定反馈与消障性能指标分析性能监视性能控制备品备件激活过程管理协议/信令管理流量管理激活适配工作资源存量调度应用自动发觉与同时资源规格管理码号管理组网管理设备实体管理地域管理数据采集故障、性能、参数数据适配资源能力规划资源设计事件监视事件申告事件分析配置适配用户数据配置运行就绪产品就绪服务存量运行管控运行管控产品能力规划第12页ODS-O和周围系统关系ODS-O定位ODS-O是ODS（OSS域）缩写；ODS-O是企业级ODS一个域是属于EDA一部分；ODS-O能够单独建设和布署，也能够是ODS系统中OSS域数据、应用；ODS-O不是最终建设目标，ODS-O是企业级ODS一个发展阶段；ODS-O与生产系统关系OSS生产系统为ODS-O提供操作型数据；ODS-O系统将整合后数据共享给OSS生产系统；ODS-O系统与OSS生产系统相互独立、彼此促进；生产系统内小批量，短时间跨度查询、统计，ODS-O内大数据量、长时间跨度计算、统计；ODS-O与EDW关系ODS-O是EDW主要O域数据源，EDW依据需求将分析结果反馈ODS-O;ODS-O应用更多面向生产运行，EDW更多面向管理决议；ODS-O应用以操作型数据和分析型数据结合展现为主，EDW应用以分析型数据为主；ODS-O应用时间维度以小时和天为主，EDW应用时间维度以月、年为主；EDW实现了企业内信息共享，ODS-O实现是OSS系统数据共享；ODS-O与集团ODS关系省级ODS-O向集团ODS提交各类运行生产数据统计结果，，省级ODS-O需按集团统一规划，具备灵活数据上报定制能力，集团ODS汇总各省ODS数据后统一展现全网运行生产现实状况。集团ODS负责从集团级OSS、网元和平台（主要以移动业务平台为主）获取数据，并将数据送达各省ODS-O。各省取得集团数据后，结合本省OSS数据，进行面向运行生产分析应用第13页目录系统综述ODS-O建设驱动力ODS-O规范体系现实状况及目标ODS-O系统定位ODS-O系统目标第14页ODS-O系统目标统一企业运行数据视图企业运行数据质量提升企业运行数据共享和管理跨系统生产运行分析及应用ODS-O刚性落地EDM中OSS域相关数据模型规则、总线型、可管控可扩展数据共享接口提升生产系统运行效能统一数据应用和分析平台两级系统、三级应用省级ODS-O要收敛省级OSS系统、网元/平台和当地OSS系统、网元/平台数据。省对集团OSS系统及网元/平台数据需求，由集团ODS到省ODS-O方式获取。

在实时性满足要求后直接替换数据源系统成为统一共享数据源。ODS-O实现实时数据共享后，标准上ODS-O是EDW在OSS域(网元/平台)唯一数据源，EDW不在直接从生产系统提取数据。业务目标技术目标布署目标发展目标ODS-O作为企业运行数据平台，收敛各生产系统中运行数据，按照集团企业数据模型进行数据整合，提升运行数据质量，提供运行数据共享，支撑跨系统数据应用，同时也为企业前端、EDW提供标准运行数据支撑。总体目标第15页业务目标1：统一企业运行数据视图提供及展现企业统一运行数据视图信息，支撑网运部门更加好使用网络，为客服人员、客户经理和网监人员提供全方位运行数据信息；建立客户、产品、服务和资源关联全视图，为服务保障、集中告警等系统提供影响分析、承载关系分析数据支撑。资源管理管线设备码号基站端局激活/调度激活工单拆单规则施工工单ODS-B参加人产品定价事件营销帐务服务开通步骤工单服务定单定单流程MSS固资工程财务网管系统告警性能配置服务保障障碍信息统一企业运行数据视图(ODS-O)其它系统其它信息企业数据模型第16页业务目标2：企业运行数据质量提升数据质量校验：依据规则对ODS-O所存放数据进行一致性、完整性、正确性校验，形成数据校验结果并交付源业务系统进行修正；数据质量管控：经过建立企业数据质量标准、数据管控组织、数据管控流程，对数据质量进行统一管控。数据清洗数据容错数据稽核反馈处理对单一系统不正确数据进行过清洗过滤对于系统间不一致数据或错误不做清洗，逐步制订对应规则进行转换发挥数据共享价值，定义数据质量目标允许系统建设早期及应用接口中数据不一致、不匹配造成错误，最大程度发挥数据可用性针对重点及接口数据建立数据审计规则形成数据稽查汇报，促进应用系统升级处理形成批量数量修改脚本进行人工或自动反馈对反馈结果经过系统接口向源系统进行反馈对需要人工干预发起相关工作流程流程人工第17页业务目标3：企业运行数据共享和管理ODS-O为各业务系统提供统一共享数据接口，降低系统间相互接口重复性，降低接口复杂度，提升系统间接口效率与质量；ODS-O系统以实时服务调用或准实时数据同时方式将ODS-O系统内整合数据向外提供。ODS-O数据共享层服务调用数据提供接口共享模式服务开通EDW其它系统ODS-B网络资源第18页业务目标4：跨系统生产运行分析及应用ODS-OODS-O基于整合运行数据统一数据源，提供统一指标体系，实现企业运行分析指标统一提供和展示；支撑企业运行全业务开通、全障碍流程KPI考评，提供端到端全业务流程分析和监视服务质量分析数据质量分析专题分析服务时限统计分析成功率及时率分析客户网络质量分析运行考评数据支撑重大保障事件分析重大灾害事件分析割接事件专题分析合作搭档专题分析特定客户专题分析特定服务专题分析其它专题分析网络能力分析利用程度分析实际能力分析客户网络能力分析OSS数据质量核查BSS/OSS数据核查BSS/网元数据核查网络运行分析网络业务量分析网络流量分析网络质量分析第19页布署目标OSSBSS/OSS/MSSBSS/OSS/MSS统一报表企业数据应用门户EDW统一报表企业数据应用门户ODSB/O/MODSB/O/MEDW当地数据应用平台生产系统->ODSODS->EDW省ODS/EDW->当地应用平台省ODS/EDW<->集团ODSEDW分析结果反馈当地网省企业集团111234522334455第20页数据源系统数据目标系统ODS-O参加人资源事件产品服务其它数据源系统数据目标系统ODS-O参加人资源事件产品服务其它ODS-O建设目标ODS-O发展目标实时数据共享准实时数据共享数据整合数据整合数据共享发展目标说明：ODS-O经过提供准实时批量数据和实时查询服务来实现跨系统数据共享，在实时性满足要求后能够直接替换数据源系统成为统一共享数据源。企业基础数据架构网状结构将得到较大程度改进，向星型结构发展。标准上ODS-O是EDW在OSS域(含网元/平台)唯一数据源，EDW不在直接从生产系统提取数据第21页目录系统综述系统架构重点专题系统演进集成接口第22页目录系统架构功效架构数据架构布署架构技术架构第23页ODS-O功效架构（0级视图）数据应用：利用整合层和汇总层数据,经过查询、固定报表、动态报表及计算等基础功效来实现网络能力分析、网络运行分析、服务质量分析、数据质量分析、专题分析等应用。数据共享：基于ODS-O整合后跨系统数据所形成统一数据视图，为外围系统提供准实时数据共享服务。数据整合：ODS-O准实时从源系统抽取并整合、汇总数据，形成整合层数据、汇总层数据。数据质量管理：制订质量管理规范，确定对应工作流程方法，并在系统中实现质量检验、修正、考评功效，形成数据质量管理闭环机制。公共管理：为系统提供通用基础服务，包含系统管理和元数据管理功效。公共管理数据共享数据整合数据应用数据质量管理第24页ODS-O功效架构（1级视图）公共管理数据共享数据整合系统管理元数据管理共享配置管理数据共享管控数据共享过程数据整合过程数据整合配置数据应用基础功效关键应用数据质量管理任务定义配置稽核过程管控质量评定考评数据整合管控专题分析第25页ODS-O功效架构（2级视图）公共管理数据共享数据整合系统管理元数据管理共享配置管理数据共享管控数据共享过程系统用户管理权限管理备份与恢复角色管理系统日志管理元数据获取元数据更新元数据存放元数据展现数据整合过程数据抽取数据清洗数据转换数据加载数据整合配置整合规则配置整合方式配置整合频度配置元数据接口共享服务配置共享权限配置共享配置下发视图数据共享小批量数据同时大批量数据同时实时数据查询共享过程监控过程异常处理共享日志管理查询统计分析数据应用基础数据配置基础功效关键应用基础查询批量计算固定报表动态报表数据质量管理任务定义配置稽核过程管控检验过程监控过程异常处理质量检验日志查询统计分析质量评定与考评数据修正考评数据质量汇报异常数据汇报异常通知稽核任务定义查询统计分析检验策略配置预警策略配置质量预警告警数据阀值监控策略调度数据整合管控整合异常控制整合任务管理整合查询统计专题分析组织管理网络能力分析网络运行分析服务质量分析数据质量分析第26页目录系统架构功效架构数据架构布署架构技术架构第27页目标数据架构远景（ITSP2.0）设计目标:确保信息共享提升数据质量整合数据应用设计关键点:模型定义关联生产与分析分离明确元数据和主数据增强数据管控

28资源系统CRM系统计费系统ODSEDW数据模型数据应用数据管控模型定义和验证计费系统数据CRM系统数据资源系统数据……数据公布中心数据质量管理实时查询数据集市数据挖掘动态分析系统建设管控数据迁移管控数据维护管控布署管控模型管控规划管控分析生产第28页ODS-O数据架构元数据层汇总数据层接口数据层整合数据层参加人产品事件资源地域服务数据共享层ODS-B/BSS综合网管服务质量服务保障服务开通自动激活资源管理网络运维EDW……系统数据架构说明：ODS-O接口数据层存放从源系统抽取数据，数据模型与源系统保持一致；ODS-O整合数据层 对接口层数据进行清洗、转换、整合，形成整合数据层，整合数据层存放ODS-O关键数据；ODS-O汇总数据层对整合层数据进行统计、计算形成汇总层数据。汇总层数据主要是面向应用；ODS-O数据共享层基于ODS-O中收敛整合好数据，对外提供数据共享。数据共享层标准上不存放数据；ODS-O元数据层ODS-O系统建设过程中所产生相关数据源定义，目标定义，转换规则等相关关键数据。源系统数据汇总数据OSS/业务平台服务开通服务保障施工调度网络运维传输网管交换网管C网网管数据网管资源管理综合网管测试管理自动激活服务质量信令监测ISMPODS-B/BSSODS-M/MSS商务领航号百平台EDW…………第29页目录系统架构功效架构数据架构布署架构技术架构第30页技术架构数据层ETL平台应用集成平台报表平台数据服务层集成接口服务公共支撑框架业务逻辑层控制层客户端其它外部系统ODS-O数据整合：1：外部系统－ETL平台－数据层；2：外部系统－应用集成平台－集成接口服务－数据服务层－数据层数据共享：1：数据层－数据服务层－集成接口服务－应用集成平台－外部系统2：数据层－ETL平台－外部系统数据应用：1：数据层－报表平台－界面展现层－客户端；2：数据层－数据服务层－业务逻辑层－控制层－界面展现层－客户端。同功效架构关系报表平台和ETL平台能够作为企业级平台独立于ODS-O系统界面展现层接口层整合层汇总层第31页目录系统架构功效架构数据架构布署架构技术架构第32页布署架构数据层ETL平台报表平台数据服务层集成接口服务业务逻辑层控制层ODS-O界面展现层生产数据库服务器分析数据库服务器ETL服务器报表服务器应用服务器WEB服务器接口服务器数据层数据层数据层数据层ETL平台ETL平台数据服务层业务逻辑层业务逻辑层数据访问层控制层界面展现层界面展现层控制层报表平台报表平台集成接口服务集成接口服务1.各平台均可独立布署，也能够与其它服务器合并布署2.从实际情况出发，能够考虑应用服务器与WEB服务器合并3.报表服务器和ETL服务器能够考虑与其它系统合设，作为企业级平台4.全部服务器都省集中布署第33页目录系统综述系统架构重点专题系统演进集成接口第34页目录重点专题OSS数据共享管理专题OSS数据质量管理专题数据分类及抽取标准数据整合功效设计数据整合概述ODS-O数据应用专题ODS-O数据整合专题第35页ODS-O数据整合概述数据整合管控数据清洗抽取范围抽取标准抽取方式数据转换数据加载数据整合配置数据加工数据抽取整合数据源服务开通服务保障施工调度网络运维资源管理测试管理综合网管自动激活传输网管交换网管C网网管数据网管信令监测服务质量ISMP商务领航号百平台ODS-B/BSSODS-M/MSS数据整合框架ODS-O整合层数据数据整合目标说明：数据整合完成从数据源到ODS-O系统数据整合层数据抽取、清洗、转换、加载等功效。整个数据整合包含数据整合配置，数据整合过程、数据整合管控三个部分。数据整合过程包含了数据抽取和数据加工两大部分，共同完成生产系统数据从源系统到数据整合层过程，为ODS-O系统提供关键数据。……第36页目录重点专题OSS数据共享管理专题OSS数据质量管理专题数据分类及抽取标准数据整合功效设计数据整合概述ODS-O数据应用专题ODS-O数据整合专题第37页ODS-O数据分类元数据主数据资源主数据产品主数据客户主数据运行交易数据网络事件数据开通类运行交易数据调度类运行交易数据保障类运行交易数据告警类网络事件数据性能类网络事件数据信令类网络事件数据测试类网络事件数据业务型元数据技术型元数据关系型元数据操作型元数据运维类运行交易数据其它类主数据其它类运行交易数据其它类网络事件数据 元数据：是关于数据数据，是对数据含义、功效、起源描述，相关数据源定义，目标定义，转换规则，数据共享规则和数据质量检验规则等相关数据

主数据：在多个运行系统中被重复使用，一旦产生，需要经常对其进行维护，是企业关键业务实体数据

运行交易数据：运行生产过程中在某一个时间点上发生业务事件数据，相对稳定，无需维护。

网络事件数据：网络运行过程中在某一个时间点上发生网络事件数据，相对稳定，无需维护。第38页同数据源抽取接口要尽可能降低，防止重复抽取。ODS-O系统已经具备系统接口，其它系统应该同ODS-O实现接口共享数据。一次抽取标准ODS-O数据整合-数据抽取标准为不影响数据源性能，ODS-O系统应该优先从备机（设备、系统）抽取数据。备机抽取标准没有备机数据源，为不影响数据源生产运行，ODS-O系统应该尽可能在空闲时间抽取（设备、系统）数据。空闲抽取标准增量优先标准为到达ODS-O系统准实时要求，假如源系统提供实时/准实时接口，ODS-O系统要实现实时数据抽取接口。实时抽取标准源数据抽取，应遵自顶向下标准。即遵照综合网管/ODS-B，专业网管/BSS/MSS，网元/平台先后次序，上一层采集源无法满足要求，再考虑下一层采集源。自顶向下标准1.数据抽取不影响源系统性能.2.在不影响源系统性能前提下，ODS-O系统抽取数据要尽可能实时.3.控制数据抽取过程中产生流量不会对源系统和网络产生影响.标准设计目标在源系统数据有时间戳情况下，应优先实现增量抽取，并定时进行全量同时。第39页目录重点专题OSS数据共享管理专题OSS数据质量管理专题数据分类及抽取标准数据整合功效设计数据整合概述ODS-O数据应用专题ODS-O数据整合专题第40页ODS-O数据整合功效设计数据整合管理数据整合过程数据整合管控数据抽取数据清洗数据转换整合异常管控整合任务管理0级功效域1级功效域2级功效域数据加载简述：ODS-O经过各种技术准实时从源系统中抽取数据，抽取来数据首先抵达ODS-O接口数据层，然后经过清洗、转换和加载等工作抵达整合数据层，形成ODS-O关键数据。数据整合域功效主要包含数据整合配置和数据整合过程、数据整合管控三大部分。数据整合配置整合方式配置整合规则配置整合频度配置整合查询统计第41页ODS-O数据整合功效-数据整合配置整合规则配置整合规则是在数据整合过程中，各个阶段对数据处理约束和要求，对数据起源和操作明确需要遵照要求。整合方式配置整合方式是为数据整合过程制订实现路径，针对不一样数据特征和不一样整合阶段，选择最优实现路径。整合频度配置整合频度是为选择整合方式确定实现周期，时间点，需要从数据源系统生产压力、系统架构等方面来综合考虑频度。整合规则配置功效 -整合规则配置含有针对性、灵活性、细粒度特点。

–整合规则包含数据抽取起源配置、数据抽取范围配置、数据抽取清洗配置、数据抽取转换配置、数据抽取加载配置等。整合方式配置功效

–整合方式配置包含数据抽取方式配置，如数据抽取方式包含全量，增量方式，数据加工方式配置，如数据加载方式能够分为直接追加，全部覆盖。

整合频度配置功效 –提供不一样级别数据更新频度，如秒级、分钟级、小时级、天或更长时间（包含周和月） –提供特殊情况频度配置功效，如数据抽取时间和源系统输出月报时间重合，则应该顺延到下一个采集周期，防止对源系统造成过大压力第42页ODS-O数据整合功效-数据整合过程数据抽取功效

–具备增量/全量、异步/同时等各种抽取方式。 –具备各种不一样系统平台和数据类型数据抽取。包含各种关系型数据库系统、各种文件格式源数据等。 –具备ETL平台抽取、应用集成平台、数据库同时等数据抽取技术实现方式；数据抽取策略

–源数据含有数据量大、数据分散、业务系统工作负荷重，业务系统性能，实时性要求高等特点。在进行数据抽取时，需要重点考虑数据抽取效率，以及对现有业务系统性能及安全影响。

–需要从抽取方式、抽取时机、抽取周期综合考虑制订抽取策略。 –数据抽取接口包含数据库接口和文件接口等形式，对于不一样数据平台、不一样源数据形式、不一样性能要求和业务量业务系统以及不一样数据量源数据，采取不一样数据抽取接口。数据整合过程－数据抽取数据抽取是指ODS-O从源系统获取数据，在实施时需要综合考虑业务需求、抽取效率、源系统代价等原因确定抽取策略，抽取策略包含抽取方式（增量、全量）、抽取时机、抽取周期等.。第43页ODS-O数据整合功效-数据整合过程数据清洗功效－ 经典数据清洗过程包含以下步骤：元素化、标准化、排错校验、去重匹配、错重消除和归档。数据清洗策略－不完整数据：原因是因为一些应该有信息缺失，如供给商名称、分企业名称等。要求在要求时间内补全。补全后才写入ODS-O数据库－ 错误数据：原因是因为源系统数据检验不够健全，在接收输入后没有进行判断直接写入后台数据库造成。需要在源数据中挑选出来，交由业务主管部门要求限期修正，修正之后再抽取重复数据：原因是因为源系统数据模型存在不足，主键或者约束存在缺点。要求由源系统进行数据模型完善，不然由源系统整理数据后继续抽取数据清洗任务是过滤不符合要求数据，并将过滤结果提交数据主管系统（部门），确认是否由业务单位修正之后再进行抽取。不符合要求数据主要有不完整数据、错误数据和重复数据三大类。数据整合过程－数据清洗第44页ODS-O数据整合功效-数据整合过程数据转换功效－数据转换功效应支持在不一样源系统之间数据转换，支持不一样数据源系统平台，支持数据定义、数据结构和错误数据转换处理。数据转换策略－格式转换：格式转换包含数据类型转换，数据精度转换，空值（NULL）判断处理，字符串处理，日期格式处理，参考转换，数据拆分和组合等。－数据翻译：在映射过程中，有些信息是直接能够从源数据得到，如0代表性别女，1代表性别男等。而有些并不能从源数据直接得到，需要对源数据进行一定计算、合并、拆分等翻译操作，如建立源数据表、字段与目标数据表、字段对应关系等。－数据衍生：ODS-O系统中数据围绕企业生产运行分析应用，所以存在大量上下文信息，源系统数据需要提炼出来才能为ODS-O系统所使用。数据整合过程－数据转换数据转换包含格式转换、数据翻译、数据衍生、简单数据聚合等。多数情况下，数据源到ODS-O之间主要转换是格式转换、数据翻译、数据衍生，而复杂数据聚合以及其它复杂计算主要在数据汇总时出现。第45页ODS-O数据整合功效-数据整合过程数据加载功效

–批量数据数据库直接加载，支持多个数据库连接，能够进行大量数据并行 加载 –自动与手工预加载流程。当日常数据加载犯错，普通能够采取人工干预方式来进行 –各种加载数据方式，如直接追加、全部覆盖、更新追加数据加载策略 –直接追加：是指每次加载时直接将数据追加到目标表中。对于事件数据，普通采取此方法，开通类、调度类等数据能够采取直接追加方式 –全部覆盖：对于抽取数据本身已包含了数据当前和全部历史情况，对目标表采取 全部覆盖方式。如资源服务规格、专业服务规格等数据能够全部覆盖方式； –更新追加：对于需要连续统计业务状态改变，用当前最新状态同历史状态数据 进行对比情况采取更新追加方式。如客户、产品、资源数据加载数据整合过程－数据加载数据加载是指将抽取、清洗和转换后数据加载到ODS-O中，包含数据行加载和数据块加载。在综合考虑效率和业务实现等原因基础上确定数据加载周期和数据加载策略。第46页ODS-O数据整合功效-数据整合管控整合异常管控功效

–校验点。当外部数据统计尤其庞大时，假如因为某种原因发生故障中止后，能够从最近校验点开始处恢复处理。 –外部数据统计错误限制订义，同时将发生错误数据统计输出。整合异常管控经过总数据量和有效数据量、拒绝数据量等方面评定数据整合详细运行情况，以发觉数据整合过程中相关数据问题，并进行必要处理。整合任务管理功效

–任务属性配置，能够对各项任务属性进行配置，确定任务执行应用整合方式和整合规则。 –总任务、分任务调度，使其按照设置条件自动按序执行任务，提供任务监控视图。整合任务管理任务管理主要包含初始化任务、任务监控、任务异常处理，任务中止，任务回退等，同时对并发任务、高负载任务有良好管理和预警机制。整合查询功效

–按照各种条件进行组合查询，能够查询各个阶段运行结果。 –详尽整合过程查询统计，包含每个过程最终止果和反馈结果整合查询统计对整合过程产生各种反馈数据、中间数据、异常数据和任务执行情况等服务提供查询、统计和分析功效第47页目录重点专题OSS数据共享管理专题OSS数据质量管理专题OSS数据共享现实状况与问题OSS数据共享ODS-O支撑共享数据识别与编码要求ODS-O数据应用专题ODS-O数据整合专题第48页某省调研实例问题OSS数据共享现实状况与问题系统间两两互联访问对方数据系统间数据依赖成复杂不规则网状结构数据通道缺乏统一规划部分数据全部者不清楚接口情况：总共1491个，其中：OSS域内系统间：1124个OSS-BSS域系统间：344个OSS-MSS域系统间：17个OSS域省与集团间：2个现实状况数据一致性得不到确保逻辑关系复杂，牵一发动全身接口众多，增加开发和运维成本供给约定制开发系统不可替换第49页目录重点专题OSS数据共享管理专题OSS数据质量管理专题OSS数据共享现实状况与问题OSS数据共享ODS-O支撑共享数据识别与编码要求ODS-O数据应用专题ODS-O数据整合专题第50页ODS-O数据共享总体思绪ODS-O数据实时性不能满足生产系统要求查询接口和数据同时直接由源系统提供EDA域内数据共享由ODS-O直接开放视图ODS-O数据实时性能够满足生产系统要求查询接口和数据同时由ODS-O提供ODS-O负责OSS域内数据共享（同时）配置和管控数据共享总体思绪1234改造不规则网状数据接口为星型接口标准上，系统间需要共享数据查询和批量数据同时都需要经过ODS-O进行清洗、转换、存放和共享公布；因为技术限制，ODS-O数据实时性满足不了生产系统要求，能够直接由生产系统进行提供，伴随技术发展，ODS-O数据实时性能够满足要求，则改由ODS-O提供。描述第51页ODS-O数据共享总体思绪流程图是否重新开始由ODS-O提供数据查询和数据同时结束开始目标系统业务需要数据更新周期>=ODS-O系统数据更新周期由源系统提供数据查询和数据同时目标系统是否是EDA域系统目标系统是否是OSS域系统由ODS-O开放数据视图异常处理是否是是否否是第52页ODS-O数据共享方案设计EDAOSSODS-O数据提供视图服务调用数据共享管控ODS-BODS-MEDW资源管理服务开通服务保障综合网管专业网管其它系统数据整合数据共享数据共享①②③描述：跨MBO主数据、提供给EDW数据，直接开放视图，目标系统经过ETL抽取场景：ODS-B经过ODS-O获取OSS域地址数据数据视图描述：OSS域内系统经过企业应用集成平台调用ODS-O提供准实时数据查询服务。场景：服务保障经过ODS-O查询障碍单关联客户数据。服务调用描述：小批量准实时数据同时，直接经过集成平台控制消息和数据交互。场景：组织员工数据增量更新。小批量数据提供企业应用集成平台描述：大批量准实时数据同时，经过集成平台进行控制消息交互，数据由接口表/文件进行传递。场景：产品实例批量数据同时。大批量数据同时④第53页ODS-O数据共享过程交互数据共享过程数据视图共享实时数据查询小批量数据同时大批量数据同时经过开放视图，目标系统经过ETL直接抽取第54页ODS-O数据共享过程交互数据共享过程数据视图共享实时数据查询小批量数据同时大批量数据同时经过应用集成平台调用实时数据查询服务第55页ODS-O数据共享过程交互数据共享过程数据视图共享实时数据查询小批量数据同时大批量数据同时经过应用集成平台异步消息实现第56页ODS-O数据共享过程交互数据共享过程数据视图共享实时数据查询小批量数据同时大批量数据同时经过应用集成平台异步消息＋接口表/文件实现第57页<?xmlversion="1.0"encoding="GB2312"?><msg> <route> <!--路由信息--> <from>发送系统</from> <to>接收系统</to> <type>共享数据类型</type> <area>区域标识</area> </route> <public> <!--公共信息--> <ds_msg> <time>发送时间</time> <ds_msg_id>消息ID</ds_msg_id> <ds_msg_desc>消息描述</ds_msg_desc> <ds_msg_temp>使用消息模板</ds_msg_temp> <ds_msg_version>消息模板版本</ds_msg_version> <ds_msg_class>消息类别</ds_msg_class> </ds_msg> <ds_data> <bat_id>批次号</bat_id> <increment>增量/全量</increment> <realtime>实时/非实时</realtime> <synch>同时/异步</synch> <bigbat>大批量/小批量</bigbat> <period>更新周期</period> <tab_rec_ins_num>本批次更新统计数</tab_rec_ins_num> <carry_type>承载类型(xml/接口表)</carry_type> </ds_data> </public> <private>

<!—私有信息--> </private></msg>ODS-O数据共享消息格式1、消息采取XML描述；2、基于分层思想设计，表达路由层、公共描述层、私有描述层；3、路由层：决定共享数据被哪些目标系统使用和在应用集成平台上路由；4、公共描述层：任何数据共享必须描述公共信息，如：全量/增量；5、私有描述层：共享详细业务数据，及与业务相关私有信息；6、监控和统计分析需要关键属性要表达出来。总体要求示例第58页ODS-O数据共享全过程数据整合元数据描述数据共享管控分析1234能够对数据共享功效域中使用到元数据进行配置，包含使用共享数据系统配置、共享数据实体数据结构和语义描述、共享方式等。关联络统描述：管理共享数据关联到系统，并对系统进行相关描述共享实体描述：共享数据实体进行标识、名称、起源系统、字段描述等共享方式描述：承载方式、增/全量等以提升数据质量和数据标准化为目标，包含：数据抽取：从数据源系统获取数据，需要考虑抽取策略包含增量/全量、抽取时机、抽取周期等。数据清洗：主要是指去除对系统无用或者不符合数据格式规范“脏数据”,如：数据完整性及一致性检验，噪声数据处理，缺失数据填充，重复统计消除。数据转换：主要是将源系统数据按照企业数据模型进行转换，如数据格式和数据类型转换、数据翻译、数据匹配、数据聚合以及其它复杂计算等。数据加载：指将抽取转换后数据加载到ODS中，包含数据行加载和数据块加载。基于整合后标准数据，共享给外部系统，包含：共享配置：数据服务定义、数据服务目录、数据服务参数配置（如：目标系统、共享方式、数据承载方式、访问频率、访问允许时段）等。数据视图：目标系统是EDA域内系统，直接开放视图访问权限，由目标系统经过ETL进行数据抽取。服务提供：目标系统是OSS内部系统，由目标系统直接经过应用集成平台调用ODS-O提供数据查询服务，完成数据查询。数据同时：目标系统是OSS内部系统，批量数据经过消息/消息＋接口表/文件同时给目标系统。各数据共享过程进行监控、异常处理、日志管理，并对数据共享相关数据提供查询统计和分析功效。共享过程监控：对共享过程提供监控伎俩，发觉异常能够实时告警，同时监控各系统是否正常按照配置规则进行数据共享。过程异常处理：对共享过程中产生异常，提供处理伎俩，或者提供接口派单至保障系统进行处理。共享日志管理：对共享过程中产生各种日志能够进行查询和清理，包含配置日志、共享日志、异常日志等。查询统计分析：对共享过程产生控制消息、共享数据、共享数据服务提供查询、统计和分析功效。第59页ODS-O数据共享功效设计数据共享共享配置管理数据共享过程数据共享管控基础数据配置共享服务配置共享权限配置共享配置下发数据视图共享实时数据查询小批量数据同时大批量数据同时共享过程监控过程异常处理共享日志管理查询统计分析0级功效域1级功效域2级功效域简述：共享配置管理对共享数据内容和共享规则进行配置数据共享过程经过各种方式实现不一样数据共享数据共享管控对数据共享过程进行监控、异常处理、日志管理，并提供查询统计和分析功效。第60页目录重点专题OSS数据共享管理专题OSS数据质量管理专题OSS数据共享现实状况与问题OSS数据共享ODS-O支撑共享数据识别与编码要求ODS-O数据应用专题ODS-O数据整合专题第61页服务开通共享数据分布东部省OSS共享数据实体中部省OSS共享数据实体资源管理共享数据分布……西部省OSS共享数据实体ODS-O共享数据识别ODS-O

共享数据识别东部省OSS共享数据识别问卷中部省OSS共享数据识别问卷西部省OSS共享数据识别问卷CTG-MBOSSOSS服务开通系统规范V2.5_集成接口分册CTG-MBOSSOSS资源管理系统规范V2.5_集成接口分册……ODS-O共享数据集合1、不一样OSS系统内存在相对静态数据副本，副本数据应该经过ODS-O共享，如客户资料；2、同一对象、关系在不一样OSS系统内进行管理，描述不完整，如客户-产品-资源；3、同一数据多个OSS系统使用，分担源系统压力，-如：地址、客户。识别标准第62页ODS-O共享数据集合主题域实体名称BSSOSSMSSCRM运行管理及生产指挥服务开通施工调度服务保障资源管理激活服务质量管理综合告警无线网优专业网管GIS平台固定资产物资管理人力工程参加人主题域客户CRUDRRRRRRRRR员工RRRRRRRRRRRRRRCRUD合作搭档(施工人员）CRUDRR产品主题域产品规格CRUDRRRRRRRR产品实例CRUDRRRRRRRR事件主题域服务定单CRUDRR申告障碍单CRUDRR开通工单CRUDRRRR保障工单CRUDR激活子工单CRUDR施工任务单CRUDR服务开通SLA指标CRUDRRRR异常原因CRUDRRR服务主题域资源服务规格RRRCRUDRR资源服务实例RRRCRUDRR施工调度专业服务规格RCRUDR施工调度专业服务实例RCRUDR激活专业服务规格RCRUDR激活专业服务实例RCRUDR保障专业服务规格CRUDR保障专业服务实例CRUDR地域主题域行政区域RCRUD电信管理区域RRRRRCRUDRRRRRRR标准地址RRRRCRUD资源主题域资源规格RRRRCRUDRRRRRRR资源实例RRRRCRUDRRRRRRR第63页ODS-O共享数据模型事件服务综合告警业务激活资源管理生产指挥。。。。服务开通服务保障网络资源其它市场计划营销活动销售活动市场营销产品规格产品实例产品账户支付定价计划帐务财务行政区域电信管理区域地域资源服务专业服务服务复合资源物理资源逻辑资源资源参加人创建、管理、购置产品参加人客户员工合作搭档参加人发起/接收市场营销营销针对产品参加人指定帐务关系，为产品使用付费参加人触发/经历事件参加人所属地域事件内部工作事件客户交互事件事件销售类事件事件发生地域计费事件指定产品支付关系/计算产品发生费用计费地域以及账单投送地址事件关联服务产品关联服务服务关联资源营销、销售地域资源覆盖地域参考EDM3.0参加人主题域中客户、员工、合作搭档数据模型。参考EDM3.0产品主题域中产品规格、产品实例数据模型。参考OSS2.5规范服务开通、施工调度、激活、服务保障数据模型中事件主题域数据模型。参考OSS2.5规范网络资源管理系统数据模型中地域主题域数据模型。参考OSS2.5规范网络资源、施工调度、激活、服务保障数据模型中服务主题域数据模型。参考OSS2.5规范网路资源数据模型中资源主题域数据模型。第64页数据编码相关规范要求数据架构和数据管控：企业数据模型定义业务实体标识编码规范，如客户采取16位纯数字编码，由客户关键标识码(12位)和客户扩展码（4位）两部分组成。ITSP2.0数据编码：目标是对企业业务流程标准化，数据编码表达在企业业务流程各个步骤。比如，统一产品编码为企业各业务部门提供了一套统一产品销售和经营标准。EDA1.0数据模型概念：描述数据、数据之间关系图形化视图，详细指用实体、属性及其关系对企业运行和管理过程中包括全部业务概念和业务规则，同时规范化对应定义、命名和编码。另外，在附件一主数据中给出了对应编码。EDM3.0统一数据标准：ODS中建立标准数据编码目录，源系统数据依据标准数据编码目录，经过整合后进入ODS中存放，实现企业数据标准化与统一存放。整合数据层：整合数据层中数据标准上是统一编码格式数据，可作为企业数据标准指导外围系统逐步统一数据格式。ODS1.0第65页ODS-O共享数据编码要求1234其它要求共享数据编码表达以下三类编码：实体编码、上级编码、内部编码共享数据编码实现需要管理和各IT系统强制落地，编码制订需要在实施难度和实施成本上进行权衡和综合考虑唯一性源系统负责生成和维护共享数据实体内部数据编码，确保其生成数据内部编码在系统间唯一性ODS-O在数据整合过程中，会负责检验源系统数据编码规范性和唯一性。继承性对集团下发各类共享数据编码规范要有继承性：如客户编码规范、产品编码规范、资源编码规范、主数据编码规范对集团未规范共享数据实体，由省企业参考集团下发编码规范进行制订，如产品实例编码可读性统一编码含有可读性，不使用数据库序列号直接生成，需要进行加工和含义描述统一编码中遵照对应规则约束，具相关键属性标识OSS共享数据编码统一共享数据实体标准编码是系统之间共享数据交互基础。各系统均应以公布标准编码在系统间进行共享数据相关信息查询、关联和同时，以实现系统间数据信息一致性。第66页目录重点专题OSS数据共享管理专题OSS数据质量管理专题ODS-O数据应用专题数据质量管理范围数据质量管理支撑ODS-O数据整合专题第67页产生数据质量问题原因支撑企业运行数据分散存放在多个系统或网元之中，造成数据分散；缺乏贯通，而系统或网元数据模型又存在着差异，之间又缺乏统一和有效数据交互接口和协议，而业务复杂性又会使流程跨多个系统或网元，各系统或网元间交换数据过程中轻易犯错；系统分散、平台复杂没有统一部门协调数据质量管理工作，包含对各系统基础数据未进行统一管控和公布，如存在未经授权任意设计和添加系统基础数据模版，存在未授权未审批数据操作，没有严格指令测试和验证流程，没有建立完善事后稽核机制。数据管控体系不健全指令操作失误或指令版本错误，指令配置错误或指令粒度不够细造成数据犯错，人为原因干扰多，流程不规范造成数据不一致。人为在数据录入或操作上引发数据质量问题，如未严格参考企业数据规范来进行录入或操作，如：命名规范，模版设计。数据操作人工步骤多生产运行流程不合理业务推广期规划和BSS要求不相符。如用户套餐、产品迁移方案时考虑不周，或实施迁移方案出现纰漏。系统在进行规划建设时没有充分考虑数据质量问题，包含怎样和在网数据以及跨系统间数据保持一致。割接前后端衔接欠缺规划对数据考虑不足缺乏统一和完整数据平台来支撑全局和跨域、跨系统数据比对以及数据稽核。整个OSS域缺乏一个长久和连续数据稽核机制。缺乏有效IT伎俩（平台）支撑第68页数据质量范围和目标OSSBSS网元/平台MSS234156⑤OSS内部数据质量问题④MSS/OSS之间数据质量问题③BSS/OSS之间数据质量问题②OSS/网元及业务平台之间数据质量问题①BSS/网元及业务平台之间数据质量问题⑥网元及业务平台内部数据质量问题数据一致性数据完整性数据正确性源系统彼此间信息存在冲突和差异，或者同一源系统内部冗余信息之间存在冲突。

一些信息缺失或未填充，或跨域、跨系统数据间无法完整耦合，造成数据不完整,从而形成不了企业统一运行视图，虽不影响源系统正常运转，但这些信息缺失会影响ODS-O数据整合；数据无效或错误，违反数据约束规则、业务规则等。数据唯一性对数据唯一性约束进行检验，清理出源系统中存在垃圾数据等。数据连续性对有连续性特征数据进行检验，发觉数据不连续现象等。数据时效性对有时效特征数据进行检验，发觉数据不及时和数据延时现象等。稽核处理跨域、跨平台和O域内系统数据质量第69页数据质量稽核示例一级目录二级目录三级目录四级目录BSS/网元平台数据一致性

CRM与移动网元数据一致性

CRM与HLR数据一致性

CRM与HLR用户数据一致性

CRM与HLR用户属性数据一致性

CRM与HLR、IVPN数据一致性

CRM与HLR、PPC数据一致性

CRM与HLR、AAA数据一致性

CRM与HLR、彩铃数据一致性

CRM与HLR/PPC/彩铃/短信平台数据一致性

CRM与数据网元数据一致性

CRM与AAA数据一致性

CRM与固网网元数据一致性

CRM与SHLR数据一致性

CRM与交换机数据一致性

CRM与业务网元数据一致性

CRM与彩铃平台数据一致性

CRM与短信平台数据一致性

示例示例第70页数据质量范围说明BSS/网元及业务平台之间产品信息和业务状态等数据一致性和正确性。OSS/网元及业务平台之间端口（状态）、电路资料等数据一致性和正确性。BSS/OSS之间产品、客户、地址、码号及业务状态等等数据一致性和正确性，以及从客户到产品再到资源等跨域、跨系统数据完整性。MSS/OSS之间组织、员工、工程项目等数据一致性和正确性。OSS内部地域、空间资源、配置和资源之间数据一致性、完整性，以及资源和网管或网元之间数据一致性和正确性。网元及业务平台内部用户属性状态等，如HLR和彩铃平台状态等数据一致性和正确性。第71页目录重点专题OSS数据共享管理专题OSS数据质量管理专题ODS-O数据应用专题数据质量管理范围数据质量管理支撑ODS-O数据整合专题第72页ODS-O质量检验计划任务网络运维管理数据质量管理综述—数据质量管控流程计划完成情况评定质量检验计划任务数据稽核及处理数据质量汇报输出2.对数据质量检验任务进行审核1.ODS-O依据本身数据质量检验规则发起连续、长期有效数据质量检验任务3.任务审核经过后ODS-O进行数据质量稽核和处理73计划审核1.相关部门、人员、系统等路径获取计划任务4.ODS-O输出数据质量汇报5.对数据质量汇报进行评定开始结束数据质量管理组织明确数据质量管理责任单位。如客户和产品数据由前端市场部门负责，后端以前端数据为准。数据质量管理规范明确和制订数据质量管理规范；制订对应数据质量管控流程集成应用平台连续和长期有效数据质量管理和确保机制第73页数据质量管理综述—数据质量管控闭环过程发觉问题分析问题规则完善质量检验数据修正工作考评数据工位数据工位业务人员数据管理组数据决议组经验积累规则积累异常数据归属源系统质量目标1、明确数据质量管理组织机构，经过在设置明确数据质量职责来改进数据质量。2、经过明确数据质量标准及指导标准来推进数据质量意识。3、制订数据质量管控流程以及数据考评标准来连续推进数据质量管理工作。4、数据质量管控需要从管理和技术、系统上进行结合，很多步骤需要人为介入。5、数据质量管控流程需要闭环，ODS-O作为数据质量管控中主要步骤提供技术和数据平台支撑。

数据质量决议小组其人员由主管业务领导牵头，组成跨部门数据质量决议团体，负责制订数据质量目标，考评目标以及明确详细管控流程。

数据质量管理小组其人员能够由与数据打交道关键业务人员，熟悉支撑系统关键技术人员等跨部门人员组成，负责提出详细数据质量管理要求，确定数据检验规则和逻辑以及决定数据冲突时处理方案。数据质量执行小组需设置详细数据工位，负责日常数据质量执行工作，包含依据ODS-O系统提供功效生成数据质量汇报，组织、监督和推进数据修正工作，以及对数据修正指标进行考评等。描述数据质量管理团体第74页数据质量管理总体思绪和标准

数据质量管理是一个循序渐进，往复循环过程，ODS-O作为数据质量管控体系下一个主要步骤提供必要技术支撑数据与管控分离，控流程应该闭环ODS-O不负责修正和变更源系统数据，源系统数据变更标准上仍由源系统负责ODS-O负责跨域以及OSS域内跨系统数据质量稽核和管理数据质量管理总体思绪1234连续和长期有效数据质量管理和保障机制描述对跨域以及OSS域内企业数据进行数据质量稽核和管理，总体上包含数据一致性、完整性和正确性稽核；数据质量管控由生产指挥负责，并经过生产指挥进行计划和任务评定与审核，ODS-O只负责数据抽取、整合和稽核，并生成数据质量汇报，整个管控流程形成闭环；ODS-O标准上不负责修正和变更源系统数据，源系统数据变更标准上仍由源系统负责；数据质量管理是一个循序渐进，往复循环过程，ODS-O作为数据质量管控体系下一个主要步骤提供必要技术支撑，ODS-O负责提供数据质量汇报和质量管控指标来指导管控活动或评定管控结果。。需要形成连续和长期有效数据质量管理和确保机制，ODS-O为形成这种机制提供数据支撑。第75页OSS数据质量稽核功效分布说明：1）MSS和BSS域内数据质量问题，ODS-O不负责进行数据稽核。2）ODS-O负责稽核OSS域内与ODS-O应用相关数据质量问题，即ODS-O只负责对抽取到ODS-O这部分数据质量检验工作。3）ODS-O数据稽核流程管控由网络运维管理系统负责，ODS-O本身也可制订数据稽核任务进行周期性数据稽核，ODS-O负责进行数据稽核和比对，并负责出具数据质量评定汇报。4）异常数据修正工作标准上由源系统负责进行修正，ODS-O经过往复循环闭环过程对数据修正效果进行评定。ODS-O应用集成平台企业GIS平台公共平台OSS系统专业网络管理和适配传输综合网管交换专业网管数据专业网管业务平台网管C网专业网管IT网管动环监控网络适配无线网优资源管理服务及网络管理自动激活测试管理综合网管服务质量管理开通网络资源管理保障服务开通服务保障施工调度网络运维管理数据质量稽核数据抽取数据转换稽核任务管理数据稽核评定审核管理数据整合规则策略管理统计报表/汇报1286574312345678MBOSSBSS系统CRMMSS系统人力资源管理工程项目管理固定资产管理语音门户互联网门户9999999稽核源数据分布9异常数据修正000000001第76页ODS-O中数据质量稽核全过程元数据描述数据稽核及处理输出数据质量汇报14元数据描述是后续数据源稽核规则基准。数据稽核规则包含：数据稽核一致性、完整性、正确性、唯一性、连续性、时效性规则描述；数据稽核范围规则描述，包含全量、增量等；数据稽核频度规则描述，如：定义按月、周、天、小时等时段进行稽核操作。事件触发规则描述，控制次序策略描述，数据稽核门限、预警规则描述，如：对数据稽核差错率、数据量级等门限或预警规则进行描述。

数据稽核和处理是对数据本身执行正当性等方面检验过程，主要经过设置业务逻辑规则来实现对数据属性、数据属性关系、数据承载关系以及数据汇总业务规则和和算法逻辑检验：以整合后标准格式数据为依据，依据稽核规则、稽核范围、稽核频度对跨系统异构数据源间数据、单系统中数据以及汇总指标等数据进行数据质量检验;数据稽核过程是可监视;数据稽核结果在ODS-O中形成数据同时、数据差异列表，并保留结果。稽核质量汇报是数据质量检验最终输出，汇报统计了数据采集情况（范围、数量）、数据稽核、比对情况以及数据同时情况等执行信息。汇报主要包含两部分内容，数据质量汇报和数据异常汇报。对于执行过程中所产生中止、暂停，对比汇报中要详细统计操作时间，操作结果等。3数据整合是进行数据一致性、完整性、正确性、唯一性、连续性和时效性稽核数据源宿主和基础。详细包含：数据抽取：从数据源系统获取数据，需要考虑抽取策略包含增量/全量、抽取时机、抽取周期等。数据清洗：主要是指去除对系统无用或者不符合数据格式规范“脏数据”,如：数据完整性及一致性检验，噪声数据处理，缺失数据填充，重复统计消除。数据转换：主要是将源系统数据按照企业数据模型进行转换。数据加载：指将抽取转换后数据加载到ODS中。数据整合2第77页数据质量管理功效设计数据质量管理任务定义配置质量分析与评定稽核任务定义检验策略配置预警策略配置策略调度数据质量汇报异常数据汇报查询统计分析0级功效域1级功效域2级功效域简述：任务定义配置

对数据质量检验任务进行管理，包含任务规则定义和规则策略调度，如：检验范围内容、检验方式、检验频度、检验规则等。任务能够起源于网络运维管理系统和ODS-O本身。稽核过程管控对数据抽取、整合、加载、汇总以及稽核等各个步骤过程进行监控和处理。质量分析与评定

对数据质量问题以及处理情况进行分析，能以直观（报表查询界面）方式了解经过ODS–O发觉数据质量问题数据修正考评稽核过程管控检验过程监控过程异常处理质量检验日志质量预警告警数据阀值监控查询统计分析异常通知第78页ODS-O数据质量管理流程过程交互经过应用集成平台流程交互实现示例方式1：生产系统发起质量管理流程方式2：ODS-O发起质量管理流程任务定义配置稽核任务定义检验策略配置预警策略配置调度策略配置第79页目录重点专题OSS数据共享管理专题ODS-O数据应用专题OSS数据质量管理专题数据应用功效设计数据应用概述ODS-O数据整合专题第80页ODS-O数据应用特点对企业运行过程中准实时、操作性OSS域数据进行少维度分析应用ODS-O整合、承载企业中跨域、跨系统、跨平台细粒度网络运行数据，形成企业统一网络运行视图基于生产与分析相分离标准，生产系统中无法实现或者实现比较困难，数据量较大统计分析，批量计算等功效，能够交由ODS-O实现。ODS-O准实时从源系统进行抽取数据，准实时程度取决于源系统提供数据及时性，基于此种准实时数据能够实现企业运行数据统计、监控及计算等应用。跨系统大数据量准实时与EDW面向决议不一样，ODS-O分析应用主要是面向生产，对统计结果进行准实时监控，发觉运行生产问题，并支持问题定位、处理和验证等。面向生产分析应用第81页ODS-O数据应用与生产系统应用关系网络能力分析服务质量分析网络运行分析数据质量分析ODS-O数据应用能力指标分析七大应用功效资源系统说明1、ODS-O数据应用是面向生产分析，所以数据来自多个专业网管或生产系统，而生产系统应用以当前生产系统内数据为主；2、ODS-O数据分析结果是在一定时间内（3-6月）连续，是分析型；而生产系统应用是基于某一时间点数据状态，相对静态，是统计型；3、ODS-O经过应用来比对生产系统间及与网管系统内数据一致性，不停提升OSS域面向应用数据质量；4、生产系统内统计结果会依据需要流向ODS-O参加分析，同时ODS-O统计分析结果也会反馈给生产系统，指导实际生产运行；开通保障系统原始数据共享数据原始数据共享数据网管系统原始数据共享数据网优信令网管C网网管其它网管第82页ODS-O数据应用与生产系统应用关系-举例中继实际能力分析：ODS-O需要从资源系统中找出有哪些中继，中继类型，最大支持速率是多少，有多少个用户使用了该条中继，然后从专业网管中计算出该条中平均流量，峰值流量，最终才能算出中继实际使用能力。ODS-O数据应用网络能力分析网络运行分析服务质量分析数据质量分析专题等其它分析与资源应用关系举例ADSL开通时限质量原因分析：ODS-O从服务开通系统中拿到ADSL开通单，统计出某区域、某时间段内符合全业务服务质量标准开通时间百分比，再计算出一次ADSL资源配置成功率，分析不符合全业务服务标准百分比与一次资源配置成功率关系。与服务质量应用关系举例 全网话务量分析：全网话务量分析需