滴滴数据资产管理实践

1、滴滴数据资产管理实践技术创新，变革未来目录 / Contents01滴滴的数据资产概述02平台建设 之 数据开发平台03平台建设 之 数据应用平台04平台建设 之 资产管理平台滴滴的数据资产概述滴滴的数据资产5.5亿+用户1000+座全球城市日新增106TB数据日均处理处理4875+TB数据人司机乘客路静态信息：全球、全国、城市等各粒度动态信息：行程轨迹车静态信息：归属人/公司、车牌号、车型动态信息：里程数、维保 记录700亿日ETA请求150亿日定位数据滴滴的数据特色010203结构化数据为主，价值密度高实时数据占比高地理位置、轨迹相关的数据占比高数据同 步数据开 发调度监控告 警数据质 量

2、项目管 理权限管 理数据开 发平台离线引擎实时引擎机器学习引擎数 据 内 容 建 设数据服务化决策分析业务分析看板分析数据应用产品平台 BI自助分析工具统一数据门户PCAPP-H5业务应用/DS内部用户/DS大屏用户数据公共层数据接入数据消费技 术 & 业 务 元 数 据 打 通指标管理平台资产管理平台数据大屏滴滴的数据平台业务架构元数据打通，更准确识别公司核心数据资产，辅助资产信息的完善，从而沉淀数据资产平台建设 之 数据开发平台数据梦工场数易BI实时监控监控大屏北极星把脉数据应用产品数据地图监控告警数据质量资产管理离线计算引擎Hive 、SparkOmega标签系统智能地图 流计算引擎Fl

3、ink数据检索ES消息队列Kafka、DDMQHbase Phoenix机器学习TensorFlow 一站式智能数据开发、生产平台数据中台(数据梦工场)数据开发调度同步中心数据安全机器学习算法平台高质量的元数据内置 规范 产出语义明确的元数据衍生更智能化的平台服务极致简单只要会SQL，人人都是数据玩家！完整闭环一站式数据开发生产平台底层封装、模块中心化、平台应用模块智能联 动，提升开发效率安全保障权限控制责任到人，权限到字段开发生产数据隔离多种措施保障数据安全行业领先基于开源引擎基线监控机制，标记最核心计算通路，确保核心数据及时产出经验积累国内领先的大数据体系建设及数据治理经验数据同步数据开发

4、调度系统监控报警数据质量项目管理和权限管理稳定高效异构数据源同步服务。1）集成实时、离线两种方式；2）快速扩展，插件式拓展多种同步类型；3）自主运维，同步相关指标清晰可见；4）为流计算提供实时数据源；产品功能产品功能数据同步数据开发调度系统监控报警数据质量项目管理和权限管理针对数据开发、临时查询场景，为用户提供更加规范、顺滑的数据开发体验：1）智能编辑器，支持各种库表、函数、变量联想输入、动态语法检查等2）提供SQL格式化、错误提示，提供更顺滑的SQL开发体验3）支持各种SQL（Hive、Spark、Presto）、Shell、PySpark等类型任务支持，4）支持文件多版本、任务回滚；5）直

5、通调度，字段检测依赖，方便测试和上 线任务。 6）提供历史查询记录和大规模数据下载能力（经过安全审批）产品功能数据同步数据开发调度系统监控报警数据质量项目管理和权限管理支持百万级的离线例行任务调度，保障业务稳定运行。1）提供开发、生产两套环境，相互隔离2）支持MR/Hive/Spark/Shell等不太任 务类型的任务调度3）支持小时、天、周、月多种调度周期配置 4）数据回溯简单易用：支持重跑、支持 多维度运维产品功能数据同步数据开发调度系统监控报警数据质量项目管理和权限管理智能监控任务运行情况，异常时发出告警。体系化解决“是警”， 杜绝无效报警；抽象“数据基线”保证重要数据的及时产出，并动态

6、规划相关任务优先级。结合算法，预测可能的数据延迟，提前预警， 将影响面降到最低。升级逻辑，避免漏处理。数据量流量异常数据数据接入表规则监控字段规则监 控自定义监控否报警、何时报警、如何报警、给谁报数据任务出错数据任务延迟加工基线延迟质量存储告警计算告警资源告警产品功能数据同步数据开发调度系统监控报警数据质量项目管理和权限管理全链路的数据质量管控，实现数据质量校验、通知、管理能力1）完整配置 VS 快速配置2）强规则 VS 弱规则3）表规则 VS 字段规则4）预设规则 VS SQL规则41%产品功能个人资产我的资产我的应用数据管理资产概览资产明细大盘待办趋势应用概览表任务单应用管理趋势&明细成本

7、管理表管理数据编目全局资产资产管理资产仪表盘资产分析业务全局管理应用血缘数据量数据流趋势表任务quota数据加工者数据管理者统一便捷的进行项目管理和权限管理。1）项目管理提供项目自身的增删改查以及项目内的人员、角色、生产账号、库表、存储和队列等资产管理功能。2）权限管理针对人员、角色的权限申请和主动授权，以及过期权限、闲置权限的回收和权限审计等功能。数据同步数据开发调度系统监控报警数据质量项目管理和权限管理数据 同步数据开发实时数据源离线调度提交实时运维提交监控告警机器学习数据 质量提交质量告警触发触发实时任务告警梦工场-模块关系图ML任务告警项目 管理权限管理梦工场-典型的离线场景数据库导入

8、日志数据导入其他来源数据离线同步实时同步实时同步实时同步导入1导入2导入3导入4导入5导入6日志check计算1计算2计算3计算4计算5计算6计算7计算8导出1导出2导出3导出4导出5数据导入数据加工数据导出梦工场-优先级上推策略355数据库导入日志数据导入其他来源数据离线同步3实时同步1实时同步5实时同步5数据导入导入1 2导入2 3导入3 3导入4 3导入5 5导入6 5日志5check数据加工23135计算1计算2计算3计算4计算5数据导出235计算6计算7计算812345导出1导出2导出3导出4导出5基线(业务)-任务 - 调度机 - yarn 全流程打通梦工场-业务下线数据库导入日志

9、数据导入其他来源数据离线同步实时同步实时同步实时同步导入1导入2导入3导入4导入5导入6日志check计算1计算2计算3计算4计算5计算6计算7计算8导出1导出2导出4导出5数据导入数据加工数据导出业务下线导出3平台建设 之 数据应用平台数易数易敏捷、自助的数据分析、可视化平台。数易解决用户三大痛点问题：Where：去哪儿看数据What：数据分析、可视化可以产出哪些内容？How：业务需求那么多，如何快速响应，更方便、自 助实现数据可视化？分析可视化可视化能力开放的 API 接口BI层的可扩展性查询层查询层的可扩展性数据存储层存储层的可扩展性开放分析功能的查询接口扩展对接多种数据源可对接实时、离

10、线、文件多种 源数据类型无缝对接主 流大数据处 理套件数易技术特点数据APP滴滴数据App，让用户随时随地第一时间触达数据，掌握业务，结合数据知识圈子分享，是滴滴内部的一站式数据移动平台。标签系统是基于海量标签进行用户分群、快速圈出特定人群、对人群进行计算及分析，支持精细化运营和广告投放等活动的运营支持服务系统。分析速度快数据颗粒度足够细数据交叉分析数据分析快速制定策略提供策略服务寻找相似人群产品策略策略收益分析目标人群关键指标趋势分析效果追踪标签系统用户单一维度构成分析交叉维度分析用户核心路径漏斗分析重点用户关键指标趋势追踪标签系统多维度数据分析快速圈定目标用户 制定千人千面的策略人群相似性

11、扩展探索业务增长标签系统 策略制定图表配置简单灵活支持多源数据接入支持多维度分析业务监控大屏监控滴滴核心业务指标，是管理者、产品、运营等观察业务状况的“眼睛”。基于实时计算能力分钟级别发现业务故障业务BI监控订单数据毫秒级更新，适配实时数据彰显酷炫视觉特效实时业务核心数据监控+仪表盘的展示短信/电话预警配置支持实时、离线数据大屏各类展厅、展会数据大屏监控大屏平台建设 之 资产管理平台一站式资源管理平台资产管理平台成本透出资产概览账单明细历史对比治理抓手删除数据生命周期管理下线任务转交管理入口团队视图红黑榜一体化的元数据数据存储和计算治理资产治理（存储、计算）存储治理计算治理个人 团队 部门同源导入数据相似废弃表生命周期过长暴利扫描相似计算无效