IBM如何利用ODS、EDW提升企业数据质量

如何利用ODS/EDW提升企业数据质量IBM2024年12月9日汤传俊个人介绍MSN:IBM业务咨询服务部的信息技术架构师，专业集中在信息系统架构设计，业务流程分析和设计，应用系统设计和开发，数据架构设计，数据建模和项目管理。十二年电信行业经验，93年进入电信，从96年就开始参与电信九七工程的建设，足迹覆盖大部分省份，参与或领导的项目、产品有九七工程、本地网计费系统、移动计费系统、联通综合营帐系统、宽窄带系统、IP网管系统、radius认证计费系统、大客户系统、邮政BOSS系统等，以及目前正在进行的EDA/ODS项目。所参与的系统涉及的运营商包括中国电信、中国移动、中国联通、中国网通等。主要的项目：云南电信ODS系统武汉电信计费帐务系统长沙电信九七/计费系统乌鲁木齐电信计费帐务系统安徽全省本地网计费系统宁夏全省本地网计费系统上海移动综合计费帐务系统河南网通大客户系统中国联通综合营帐系统（联通BOSS）广东邮政综合服务平台（邮政BOSS）河南电信互联网客户管理与认证计费系统IP网管系统企业级VoIP网关Name:汤传俊(Tommy)Mobile:Office:-2686Email:

2ODS/EDW系统IBM机密|18-Aug-24文档内容数据质量问题产生原因与分类ODS/EDW在数据架构层面对数据质量的支撑ODS/EDW在应用功能层面对数据质量的支撑ODS/EDW在管理层面对数据质量的支撑ODS/EDW数据质量管理案例（穿插）3ODS/EDW系统IBM机密|18-Aug-24数据的重要性不亚于业务功能为什么我的电话这么久没装好？客户投诉我不是我的错！两个系统的报表怎么不一致？目标完成没有？未来趋势怎样？客户客户经理管理者领导实际发生的损失资金的流失客户的流失生产效率的影响提升的障碍客户服务质量提升市场的扩展利润的增长不同的系统数据不一致不知道数据应该以谁为准数据的混乱状况处于发散状态4ODS/EDW系统IBM机密|18-Aug-24问题数据产生的原因—架构上前期建设重功能轻数据前期采用统一规划分步建设思路，对如此庞大的系统这是唯一可行的方法，但谁建设谁管理的做法造成部门/系统割据，系统接口复杂，数据流向不清，缺乏像功能业务系统一样对数据的整体规划我们需要像功能系统规划一样来规划数据，确定数据的整体架构，确定数据的归属划分，确定数据交互与共享规则，制定数据质量评价规则，建立完整的数据管理体系5ODS/EDW系统IBM机密|18-Aug-24问题数据产生的原因—系统功能支撑上虽然每个系统多少有一些数据质量管理的功能但没有一个系统能够完整地、系统地提供数据质量管理的机制与功能同时由于各系统数据是分离的、割据的，他们的数据质量管理功能受到本身机制上的制约我们需要一个能够覆盖完整数据范围的系统提供相关的数据质量管理功能，以便能够在日常运营工作中进行数据质量的管控、操作、量化考核，以及数据的沉淀积累等……计费帐务资源管理业务开通定单受理各业务应用功能系统6ODS/EDW系统IBM机密|18-Aug-24问题数据产生的原因—管理上缺乏专门的数据管理组织与相关的制度经常性的临时突击对数据质量进行清理，但清理过后数据问题暂时缓解，随着时间的推移，数据又出现问题，如此反复数据管理工作就像警察一样，需要长期存在，一直存在我们需要专门的数据管理组织，将数据管理工作作为日常的工作，就像订单受理系统每天受理订单一样每天进行数据管理的日常工作利用系统提供的功能，在工作流程上建立闭环机制：发现、分析、规则、执行、修正、考核7ODS/EDW系统IBM机密|18-Aug-24数据质量多重检查维度数据的完整性数据的一致性数据的唯一性数据的连续性数据的完备性数据的准确性数据的逻辑性数据的可用性数据的清晰性数据的正确性数据质量保证体系数据质量问题中的职业道德和法律问题数据质量8ODS/EDW系统IBM机密|18-Aug-24数据质量问题分类——技术层面单一系统数据质量数据缺失、错误数据非空、唯一数据关联完整性跨系统数据质量数据关联完整性（无主帐单）不同系统数据一致性汇总指标数据质量原始数据质量问题汇总算法问题（非质量问题）……计费帐务资源管理业务开通EDM定单受理ADB参与人产品帐务市场营销事件资源地域财务参与人产品帐务市场营销事件资源地域财务ODSEDWADB单一系统数据质量保证ODS跨系统数据质量保证EDW数据汇总指标关联质量ODS可以作为以上三类数据质量问题的最终管理者9ODS/EDW系统IBM机密|18-Aug-24文档内容数据质量问题产生原因与分类ODS/EDW在数据架构层面对数据质量的支撑ODS/EDW在应用功能层面对数据质量的支撑ODS/EDW在管理层面对数据质量的支撑ODS/EDW数据质量管理案例（穿插）10ODS/EDW系统IBM机密|18-Aug-24企业数据架构(EDA)EDA11ODS/EDW系统IBM机密|18-Aug-24OSSBSSMSSEDAODSEDWEDA/ODS/EDW关系—数据质量管理的基础ODS/EDW可以成为EDA的主要承载系统拥有电信业务运营所需的完整的统一的数据视图数据归属划分清晰数据流向清晰数据更新相对及时，反映数据最新状况满足日常运营所需的数据交互与共享可以扮演数据质量管理的关键角色在此基础上建立所需的数据管理体系组织机构系统功能支撑考核评测机制可以看成数据的消费者，业务运营系统的一部分系统数据交互、共享、沉淀的中心没有单独建设ODS的省公司，可以将其功能纳入到EDW。主要在stagearea开放性、数据交互性加强12ODS/EDW系统IBM机密|18-Aug-24ODS/EDW数据架构工作内容确定数据范围，建立统一数据视图：参与者、产品、帐务、市场营销、地域、资源、事件、财务确定数据所有者以及数据单向流动原则，只有所有者能够修改数据建立源数据到目标模型的数据映射关系根据数据分类建立数据同步机制建立数据关联、稽核机制，建立异常数据检测修正机制，随着时间的积累数据逐步逼近正确确定数据访问机制，建立统一数据平台上的应用所有这些是数据质量管控的基础，只有在这些工作完成后，数据走向混乱的趋势才有可能从根本上得到控制13ODS/EDW系统IBM机密|18-Aug-24ODS/EDW数据库订单受理/业务开通案例：确定了数据所有者以及数据单向流动原则，只有所有者可以修改数据计费帐务系统渠道系统112系统10000系统网管系统产品定单工单静态表卡片客户商品套餐用户帐户帐务资源故障投诉咨询故障客户群客户经理客户区域渠道用户群帐务资费红黑名单销账信用度预存资源(小灵通基站)14ODS/EDW系统IBM机密|18-Aug-24文档内容数据质量问题产生原因与分类ODS/EDW在数据架构层面对数据质量的支撑ODS/EDW在应用功能层面对数据质量的支撑ODS/EDW在管理层面对数据质量的支撑ODS/EDW数据质量管理案例（穿插）15ODS/EDW系统IBM机密|18-Aug-24数据质量处理流程----闭环处理发现问题分析问题规则方案执行异常数据修正工作考核业务人员经验积累规则积累归属系统数据工位数据管理组数据工位控制论，正反馈达到一定的程度，电路会产生自激而崩溃，保证电路的稳定性需要建立负反馈机制目前数据质量在各个环节不断被放大、增加，处于发散的状态，通过闭环管理确保数据质量处于收敛的状态才能控制数据质量问题16ODS/EDW系统IBM机密|18-Aug-24案例：ODS系统数据修正闭环流程参与人产品帐务事件资源指标统一数据视图ETL总控台数据支撑数据查询异常数据处理统计报表外围属主系统EAIVIEW规则检查异常数据17ODS/EDW系统IBM机密|18-Aug-24案例：数据规则检查形成的汇总报告与异常数据详细记录，包括数据库逻辑异常和业务逻辑异常18ODS/EDW系统IBM机密|18-Aug-24案例：建立异常数据检测修正机制（规则可根据业务需要不断扩充），随着时间的积累数据逐步逼近正确三户类用户无所属客户帐户无所属客户用户应有对应帐户用户应定义所有帐目类型的帐户归属用户有效记录唯一性帐户客户有效记录唯一性托收用户稽核产品服务类产品服务收费不一致无主帐单无主投诉无主故障欠费停机缴费复机免停用户停机临时电话(专线)时限、业务要求拆机需冷号一定时间规则管理规则调度规则引擎稽核规则稽核系统数据库EDA数据库收费类下半月新装用户月租减半减免收费信息不一致计费状态信息不一致费用未缴清不能办理业务汇总指标类数据质量需要经业务分析后形成对原始数据的效验规则如果本身平衡公式不存在，则不能作为数据质量问题跨系统数据质量问题单一系统数据质量问题19ODS/EDW系统IBM机密|18-Aug-24案例：考核，建立了修正效果对比机制，可量化评测数据质量修正工作数据检查规则的定义与维护规则的执行与报告提供异常数据对比跟踪20ODS/EDW系统IBM机密|18-Aug-24文档内容数据质量问题产生原因与分类ODS/EDW在数据架构层面对数据质量的支撑ODS/EDW在应用功能层面对数据质量的支撑ODS/EDW在管理层面对数据质量的支撑ODS/EDW数据质量管理案例（穿插）21ODS/EDW系统IBM机密|18-Aug-24数据质量管理的组织机构数据质量决策小组主管业务的领导牵头确定数据质量的目标数据质量管理小组市场部主任企化部主任与数据打交道的关键业务人员熟悉现有系统数据的关键技术人员提出数据质量具体要求确定数据检查规则逻辑决定数据冲突解决方案数据质量执行小组具体的工位根据系统提供的功能生成异常数据报告组织、监督、推动数据修正工作考核数据修正指标决策管理执行反馈需要管理和系统的结合很多环节需要人为介入将数据管理当成日常的工作来做22ODS/EDW系统IBM机密|18-Aug-24案例：异常数据处理流程MBOSS其他系统EAIETLA异常数据ODS规则检查B异常数据C异常数据工位AEAI异常处理工位BETL异常处理工位C规则检查异常处理工位E系统管理工位F系统管理工位DODS数据异常处理A：EAI异常处理B：ODS的ETLC：ODS的规则检查D：ODS异常处理E：MBOSS系统管理F：其他系统管理员23ODS/EDW系统IBM机密|18-Aug-24案例：异常数据处理流程——EAI工位AUpdate无主键（未入库）Create主键重复（未入库）字典找不到（已入库）A提交报告给DD联系E分析原因D在ODS控制台字典维护功能修正字典，然后手工修正ODS数据A提交报告给D和EA、D和E分析原因A的原因D的原因E的原因A修正D修正数据E修正数据A重试A：EAI异常处理B：ODS的ETLC：ODS的规则检查D：ODS异常处理E：MBOSS系统管理F：其他系统管理员24ODS/EDW系统IBM机密|18-Aug-24案例：异常数据处理流程——ETLA：EAI异常处理B：ODS的ETLC：ODS的规则检查D：ODS异常处理E：MBOSS系统管理F：其他系统管理员工位B主键为空（未入库）非空为空（未入库）字典找不到（已入库）B报告给DD联系E/F分析原因D在ODS控制台字典维护功能修正字典，然后手工修正ODS数据B报告给D外键找不到（已入库）D报告给FD报告给EF修正数据增量E修正数据增量B报告给DD联系E/F分析原因D报告给FD报告给EF修正数据增量E修正数据增量D修正ODS数据D联系E/F分析原因25ODS/EDW系统IBM机密|18-Aug-24案例：异常数据处理流程——规则检查A：EAI异常处理B：ODS的ETL