基于数据治理的企业数据质量管理与保障解决方案PPT

基于数据治理的企业数据质量管理与保障解决方案1数据质量问题背景及分类2数据质量体系建设原则3数据质量方案框架及关键技术4数据质量行业实践整理制作：郎丰利1519制作时间：2023年睿利而行整理制作：郎丰利1519制作时间：2023年睿利而行整理制作：郎丰利1519制作时间：2023年睿利而行1数据质量问题产生的背景2数据质量体系建设原则3数据质量方案框架及关键技术4数据质量行业实践整理制作：郎丰利1519制作时间：2023年睿利而行整理制作：郎丰利1519制作时间：2023年睿利而行整理制作：郎丰利1519制作时间：2023年睿利而行数据质量管理体系的构成为建立全方位的数据质量管理体系，应同时关注组织、技术和流程三大核心部分，三部分相辅相成才能形成完整的数据质量管理体系。数据质量体系建设五个原则目标提升数据质量问题解决效率，提升企业数据质量全程监控：从数据的定义、录入、存储、加工、交互、使用全过程进行数据质量监控，明确各部门在全过程中的责任，全方位保证数据质量主动管理：强化对企业发现的各IT系统数据质量问题的主动管理，协同相关部门推动问题的有效解决闭环管理：建立数据质量问题的发现、通报、整改和反馈等环节具体流程，形成数据质量问题的闭环管理自动管理：深入分析业务人员发现的数据质量问题的业务规则和成因，科技部门将其转化为技术规则落地到系统中，实现数据质量问题的自动筛选。全员参与：业务人员、技术人员和运维人员要共同参与数据质量提升工作。12345全程监控—事前、事中、事后三阶段管理事前预防事中监控事后改善数据质量主动保证，侧重面向未来的数据（指业务运营过程中新增的数据），通过业务流程优化、源系统改造和数据标准规范来提升数据质量。未来数据数据质量持续监控与优化，侧重面向当前的数据（当前数据质量检查周期内更新的数据），根据数据质量检核规则，对数据进行持续、周期性监测。当前数据历史数据数据质量清洗提升，侧重面向历史数据(指某个时间点前已经生成的数据)。按业务系统或主题分批对数据质量分析、清洗，提高既有数据的质量。从发现到改进闭环管理建立数据质量闭环管理机制、明确各部门关于数据质量提升工作的分工职责并强化执行；同时基于数据管理工具，固化流程，线上支撑企业级数据质量管理，确保企业级数据质量稳步提升。固化流程、全员参与借助工具、自动管理数据质量管理员技术人员业务人员问题定义问题发现/分析问题跟踪问题处理评估和统计数据质量问题需求提出,选择系统（检核对象业务实体、属性）需求转化检核规则，通过可配置化方式，自动生成检核脚本，批量检核问题数据。输入数据质量问题管理，疑似问题发布数据质量问题整改。采用问题认责方式，保证问题处理及时行。数据质量问题整改效果确认。未及时处理的问题，纳入考核计分数据质量问题评估与分析，图形化展示统计报表。1）检核维度报表2）机构问题统计报表。3）问题整改效果报表。4）问题分布报表。检核目标库输出企业级元数据管理流程自动化sql脚本引擎问题存储库数据质量问题分析。元数据模块提供影响分析，为下游问题预警提升意识、主动管理因子项关联定义数据标准明确数据责任人开展数据质量宣贯提升数据质量意识3数据质量方案框架及关键技术1数据质量问题背景及分类2数据质量体系建设原则4数据质量行业实践功能架构应用功能层接口服务数据质量报告数据质量分析质量监控获层取角色管理日志管理权限管理用户管理参数管理ODS/EDW/hadoop方式一：检核结果文件方式二：直连数据库任务手工调度任务自动调度调度参数管理并发跑批设置度量规则定义度量规则类别度量规则管理检核方法管理检核脚本生成检核方法导入检核方法导出检核结果管理问题显示配置问题发布管理问题处理跟踪问题查询管理问题考核管理问题导入/导出消息管理通知人管理消息模板管理发送任务管理知识库管理知识分类管理知识内容管理知识库查询多维度数据质量报告数据质量报告导出数据质量汇总分析影响/血统/趋势分析重点问题监控问题整改监控检核结果接口检核方法接口关键技术—检核脚本自动生成SQLEngine方式一：参数化配置空值检核01）基础类度量规则02）复杂业务度量规则非法值检核非法代码检核主键重复检核系统间一致性检核数据总数检核表间关系检核业务逻辑Sql存储过程定时调度方式二：模板导入按照度量规则类别，自动生成检核Sql语句。对业务逻辑复杂的检核方法，支持编写存储过程脚本对问题检核。问题跑批处理：1、支持与第三方调度工具的集成。2、产品自身提供跑批调度管理。业务人员通过系统界面进行规则定义或者通过模板导入方式进行，屏蔽技术细节。缩短度量规则转化为检核方法的时间。采用模板配置和页面参数配置方式输入检核规则，通过系统内置SQL引擎，实现检核脚本自动化生成。降低业务规则转化为技术实现的成本，提高业务规则的实现效率。关键技术—数据问题检核架构检核系统2数据库数据质量系统调度平台（或数据质量调度模块）检核规则、方法梳理模板检核脚本生产组件公共检核执行组件调度组件检核脚本存储表检核系统检核结果存储表线程1线程2线程nEDW/Hadoop检核系统1数据库格式化数据文件分发组件关键技术·数据质量问题报告4数据质量行业实践1数据质量问题背景及分类2数据质量体系建设原则3数据质量方案框架及关键技术考核