陌陌数据治理系统详解

1、陌陌数据治理系统详解技术创新，变革未来业务技术日志源 数据应用方数据资产1 数据生产 与保障2 数据使用赋能3 基础能力开放业务诉求离不开数据TEAM团队介绍陌陌-数据基础架构团队数据仓库/数据系统 |数据平台WHY为什么上层建筑经济基础数据标准体系数据治理系统数据平台规模业务复杂程度数据使用范围业务体系量级决 定反 作 用数据生产力发展StartUpBusinessPlatFormDataSet :100+1000+10000+DataUser:10+100+1000+Solution:WhatEverDataWarehouseDataLakeWHAT是什么高效率 &易使用工具化 & 自动化

2、标准化 & 规范化数据治理方法论什么是数据仓库WHO谁需要业务方算法策略数据仓库技术谁需要用数据+谁管理规整数据DATALAYOUT数据分层技术有什么业务要什么仓库存什么底 体 设 计顶 体 设 计业务应用层中间汇总层基础加工层原始接入层OLAP分析报表 | Dashboard | 用户标签服务 DataChangeLog | EventLog | DataBaseSnapshot字段命名统一 | 度量单位统一 | 异常数据处理 对象维度信息 | 主题汇总信息 | 维度汇总信息 业务指标与维度分析计算密集型数据服务多方复用的中间结果关联紧密的维度 JOIN数据库 Schema字段业务含义事件埋

3、点信息DATAFLOW & DATAMODEL数据流 & 数据模型粒度维度事件明细事件多维汇总对象明细对象维度对象事件汇总汇总多维报表/粒 度 变 化维 度 变 化数据流设计1. 维度越来越少-区分粒度的信息减少数据表设计1. 维度的取舍与命名-哪些信息在哪一粒度下有效度量UNIFORM & STANDARD规范 & 标准表征统一表名规范-分层名 + 业务数据流名 + 维度内容名 + 粒度 名字段名规范- 相同实体对象标志一致 | 相同描述维度名称一 致3. 维度值规范- 异常取值逻辑与结果一致 |度量实体单位一致主题维度汇聚在中间汇总层做- 线上库生产SLA| 线下库业务测试 | 临时库 A

4、d-hoc 使用逻辑统一统一处理逻辑所处层级-事件分流在基础加工层做 |指标处理逻辑统一- 精确度统一| 定义原则统一3. 库作用统一知识沉淀新人学习培养-快速掌握学习迁移提高用户使用- 培训文档 | 需求模板质量易操作易管理+PROJECT FLOW项目流程功能开发时补充设计功能迭代时初始化构建数据设计业务发现遗漏时数据流合并分裂数据模型变更数据流与模型设计PROCESS角色与流程需求方数据产品|分析数据仓库技术开发应用需求数据需求 模型评审仓库测试验收上线 数据交付流程 / 角色负责参与TOOLS & AUTOMATION自动化 & 工具化元数据管理数据血缘数据质量TOOLS & AUTO

5、MATION元数据管理数据洞察-业务,标签搜索|scheme信息 仓库存储信息/质量报告数据集成- 数据源信息|同步配置数据开发- 作业配置|调度配置运维管理运行日志|监控报警信息|资源成本存储管理: | : | : | : | : | : | TOOLS & AUTOMATION数据血缘数仓血缘-表、字段血缘|作业|应用血缘应用-冷热数据分析 |链路分析-质量故障的数据修复(N eo4j)TOOLS & AUTOMATION数据质量支持多规则的数据质量报告-完整性|准确性|及时性数据质量故障的熔断- 阻止下游扩散智能报警-延迟,异常波动|故障报告WHATS MORE更进一步呢?数据成本管理-计算成本数据服务-用户标签及画像.数据产品-用户行为分析.实时应用-实时订单.数仓架构图SKILL MODEL能力模型KV, 关较强的主观能动性, 团队合作意识强-沟通业务需求, 优化数据使用流程掌握社交数据仓库设计模式-了解不同存储数据库设计方法并能够