数据质量中心的设计与实现课件

大数据时代的数据质量保障--数据质量中心的设计与实现yuwen.xm@阿里巴巴-CDO数据平台事业部雨玟大数据时代的数据质量保障yuwen.xm@taobao.co主要内容大数据时代的质量难题数据质量中心架构设计数据质量中心的实践主要内容大数据时代的质量难题

阿里的数据中心CDO 阿里的数据中心CDO数据质量中心的设计与实现课件

大数据时代的质量难题 大数据时代的质量难题质量难题在数据处理流程中在那一部分数据出问题，不知道？不同系统间数据流通，是否有损失？表记录数据波动，与上期同比波动或与固定数据一致性比较是否正常？字段平均值字段最大值字段最小值字段汇总值字段空值个数字段重复值个数离散值带业务过滤条件的数据波动，精确监控难数据校验方法多样性难，平均值？方差？周期性？固定值？字段的唯一值个数质量难题在数据处理流程中在那一部分数据出问题，不知道？不同质量保证历程质量保证历程

数据质量中心架构设计 数据质量中心架构设计数据质量中心--DataQualityCenter（DQC）产品介绍数据质量中心--DataQualityCenter（DQ整体设计—核心内容数据监控数据清洗数据度量整体设计—核心内容数据监控数据清洗数据度量交互产品DQC离线计算平台元数据云调度告警数据通道交互产品DQC离线计算平台元数据云调度告警数据数据质量DBGATEWAYS… 数据传输通道/离线处理

平台

DQCHOOK DQCEXECUTOR 数据质量WEB服务

数据质量服务DQCENGINE DQC规则中心DQC质量校验中心DQC任务POOL DQC报警模块

多级容错机制DQC规则同步工具DQC样本对比工具DQC告警对比工具DQC规则/模板配置DQC项目级管理DQC报告展现任务及质量展现离线处理调度系统

整体设计—架构示图数据质量DBGATEWAYS… 数据传输通道/离线处整体设计—报警分级红色报警Red橙色报警Orange整体设计—报警分级红色报警Red橙色报警Orange整体设计—规则分级blockRulecheckalertweak……整体设计—规则分级blockRulecheckalertwe整体设计—阻塞逻辑Redblock下游任务阻塞整体设计—阻塞逻辑Redblock下游任务阻塞HiveHDFS其他离线处理平台多种数据传输通道多种数据库存储ShellMR应用之前HiveHDFS其他离线处理平台多种数据库存储ShellMRHiveHDFSShellMRDQC应用之后其他离线处理平台多种数据传输通道多种数据库存储HiveHDFSShellMRDQC应用之后其他离线处理平台

DQC在数据生态链中的位置 DQC在数据生态链中的位置整体设计—Y轴DB1DB2DB3S1DWS2OLAPOLAPS3report数据传输实时传输businessbusinessS4数据传输整体设计—Y轴DB1DB2DB3S1DWS2OLAPOLAP整体设计—X轴DW数据传输DB1时间维度DT：数据传输通道整体设计—X轴DW数据传输DB1时间DT：数据传输通道

数据质量中心的实践 数据质量中心的实践示例举例1某应用源数据s*表，发现“当日旺旺在线时长”有>24小时的情况On_line_time>24hRULEDataRunGetODPSDataDataResultsCheck示例举例1某应用源数据s*表，发现“当日旺旺在线时长”有>2示例举例2某应用订单交易明细表的订单总金额相比昨天波动-98.6%Sum(amount)RULEDataRunGetODPSDataDataResultsCheckHistoricalsamples示例举例2某应用订单交易明细表的订单总金额相比昨天波动-98示例举例3某日志统计r*表，发现存在pv=0而uv>0的数据Count(*)>0pv=0uv>0RULEDataRunDataResultsCheck方法1：如举例1图方法2：如举例3图示例举例3某日志统计r*表，发现存在pv=0而uv>0DQC淘宝天猫一淘支付宝ICBU阿里金融阿里云CBUCDO聚划算应用情况DQC淘宝天猫一淘支付宝ICBU阿里阿里云CBUCDO聚划算应用情况应用情况应用优点智能阈值算法体系多级容错、缓存校验规则与生产任务异步模板规则灵活，可扩展校验，预警分级别ODPS紧密结合的数据采集器独立计算，不耗生产slots应用优点智能阈值算法体系多级容错、缓存校验规则与生产任务异步DQC后续发展支付宝ICBU淘宝天猫一淘阿里金融阿里云CBUCDO聚划算DQC后续发展支付宝ICBU淘宝天猫一淘阿里阿里云CBUCDHiveHDFSShellMRDQC后续发展其他离线处理平台多种数据传输通道多种数据库存储HiveHDFSS