滴滴数据资产管理实践

2019

中国数

智能管理峰会滴滴数据资产管理实践2019

中国数据智能管理峰会平台建设之数据开发平台滴滴的数据资产概述平台建设之资产管理平台平台建设之数据应用平台目录/Contents01030402滴滴的数据资产概述2019

中国数据智能管理峰会车•

静态信息：归属人/公司、

车牌号、车型

…•

动态信息：里程数、维保

记录2019

中国数据智能管理峰会路•

静态信息：全球、全国、

城市等各粒度•

动态信息：行程轨迹日均处理处理4875+TB数据日新增106TB＋数据150亿日定位数据700亿日ETA请求1000+座

全球城市人•

司机

•

乘客滴滴的数据资产5.5亿+用户2019

中国数据智能管理峰会020103地理位置、轨迹相关的数据占比高结构化数据为主，价值密度高滴滴的数据特色实时数据占比高

滴滴的数据平台业务架构•元数据打通，更准确识别公司核心数据资产，辅助资产信息的完

善，从而沉淀数据资产2019

中国数据智能管理峰会

统一数据门户

PC

APP-H5

数据应用产品平台

BI自助分析

决策分析

业务分析

看板分析

技

术

&

业

务

元

数

据

打

通离线引擎实时引擎机器学习引擎数据

公共层指标管理平台资产管理平台数据服务化…数据大屏

大屏用户数据内容建设数据开

发平台业务应用/DS内部用户/DS数据同步数据开发监控告

警项目管理数据质量权限管理数据接入数据消费工具调度平台建设之数据开发平台2019

中国数据智能管理峰会极致简单只要会SQL，人人都是数据玩家！完整闭环•

一站式数据开发生产平台•底层封装、模块中心化、平台应用模块智能联动，提升开发效率安全保障•

权限控制责任到人，权限到字段•开发生产数据隔离多种措施保障数据安全行业领先•

基于开源引擎•基线监控机制，标记最核心计算通路，确保核心数据及时产出经验积累国内领先的大数据体系建设及数据治理经验2019

中国数据智能管理峰会一站式智能数据开发、生产平台——数据中台(数据梦工场)数据开发数据质量…

…内置规范产出语义明确的元数据衍生更智能化的平台服务数易BI实时监控监控大屏北极星把脉

Omega数据梦工场高质量的

元数据数据应用产品离线计算引擎Hive

、Spark智能地图消息队列Kafka、DDMQ机器学习TensorFlow流计算引擎Flink数据检索ESHbase

Phoenix数据地图数据安全标签系统算法平台机器学习监控告警资产管理同步中心调度…

…2019

中国数据智能管理峰会稳定高效异构数据源同步服务。1）集成实时、离线两种方式；2）快速扩展，插件式拓展多种同步类型；3）自主运维，同步相关指标清晰可见；4）为流计算提供实时数据源；项目管理和权限管理产品功能调度系统监控报警数据质量数据开发数据同步1）智能编辑器，支持各种库表、函数、变量联想输入、动态语法检查等2）提供SQL格式化、错误提示，提供更顺滑

的SQL开发体验3）支持各种SQL（Hive、Spark、

Presto）、

Shell、

PySpark等类型任务支持，4）支持文件多版本、任务回滚；5）直通调度，字段检测依赖，方便测试和上2019

中国数据智能管理峰会线任务。6）提供历史查询记录和大规模数据下载能力（经过安全审批）针对数据开发、临时查询场景，为用户提供更加规范、顺滑的数据开发体验：项目管理和权限管理产品功能数据质量调度系统监控报警数据同步数据开发1）提供开发、生产两套环境，相互隔离2）支持MR/Hive/Spark/Shell等不太任

务类型的任务调度3）支持小时、天、周、月多种调度周期

配置4）数据回溯简单易用：支持重跑、支持

多维度运维2019

中国数据智能管理峰会支持百万级的离线例行任务调度，保障业务稳定运行。项目管理和权限管理产品功能数据同步数据开发调度系统监控报警数据质量2019

中国数据智能管理峰会智能监控任务运行情况，异常时发出告警。体系化解决“是否报警、何时报警、如何报警、给谁报警”，

杜绝无效报警；•表规则监控•字段规则监

控•自定义监控数据加工•任务出错•任务延迟数据质量•抽象“数据基线”保证重要数据的及时产出，并动态规划相关任务优先级。•结合算法，预测可能的数据延迟，提前预警，

将影响面降到最低。•升级逻辑，避免漏处理。•数据量•流量•异常数据项目管理和权限管理产品功能数据同步调度系统监控报警数据质量数据开发•存储告警•计算告警数据接入资源告警1）完整配置VS快速配置2）强规则

VS弱规则3）表规则

VS字段规则4）预设规则

VS

SQL规则41%2019

中国数据智能管理峰会全链路的数据质量管控，实现数据质量校验、通知、管理能力项目管理和权限管理产品功能数据同步数据开发监控报警数据质量调度系统1）项目管理提供项目自身的增删改查以及项目内的人员、角色、生产账号、库表、存储和队列等资产管理功能。2）权限管理针对人员、角色的权限申请和主动授权，以及过期权

限、闲置权限的回收和权限审计

等功能。2019

中国数据智能管理峰会表任务quota数据量

数据流

趋势统一便捷的进行项目管理和权限管理。项目管理和权限管理产品功能数据质量监控报警数据同步数据开发调度系统应用概览趋势&明细数据编目资产分析资产明细成本管理表管理应用血缘资产管理业务全局管理我的资产数据管理我的应用资产概览全局资产个人资产数据加工者数据管理者趋势待办大盘表任务单应用管理资产仪表盘2019

中国数据智能管理峰会项目

管理权限

管理提交实时任务告警触发监控

告警机器

学习数据

质量数据

开发离线

调度数据

同步实时

运维梦工场-模块关系图ML任务告警实时数据源质量告警触发提交提交2019

中国数据智能管理峰会日志数据导入实时同步离线同步实时同步实时同步其他来源数据数据库导入梦工场-典型的离线场景计算8计算7计算6数据加工数据导入数据导出日志

check导入6导入4计算3导入1计算1导入2导入3计算2导入5计算5计算4导出1

导出2导出4导出5导出3实时同步实时同步导入计算2计算3计算1计算4计算6计算5计算7计算85导出335实时同步2351253其他来源数据51日志数据导入离线同步数据库导入3534

导出41

2导出1

导出235

导出5数据导出数据导入数据加工2019

中国数据智能管理峰会基线(业务)->任务

->调度机

->yarn全流程打通梦工场-优先级上推策略2019

中国数据智能管理峰会实时同步日志数据导入离线同步实时同步实时同步其他来源数据数据库导入计算8计算7计算6数据加工梦工场-业务下线日志

check导入6计算3导入4导入1计算1计算2导入2导入3导出2导入5导出5计算5计算4导出1导出4数据导出数据导入业务下线导出3平台建设之数据应用平台2019

中国数据智能管理峰会数易解决用户三大痛点问题： Where：去哪儿看数据

What：数据分析、可视化可以产出哪些内容？

How：业务需求那么多，如何快速响应，

更方便、自助实现数据可视化？2019

中国数据智能管理峰会数易敏捷、自助的数据分析、可视化平台。数易分析可视化查询层数据存储层2019

中国数据智能管理峰会开放分析功能的查询接口扩展对接多种数据源可对接实时、离线、文件多种

源数据类型无缝对接主

流大数据处

理套件可视化能力开放的API接口数易技术特点存储层的可扩展性查询层的可扩展性BI层的可扩展性滴滴数据App，让用户随时随地第一时间触达数据，掌握业务，结合数据知识圈子分享，是滴滴内部的一站式数据移动平台。2019

中国数据智能管理峰会数据APP2019

中国数据智能管理峰会标签系统是基于海量标签进行用户分群、快速圈出特定人群、对人群进行计算及分析，支持精细化运营和广告投放等活动的运营支持服务系统。数据分析

分析速度快

数据颗粒度足够细

数据交叉分析效果追踪

策略收益分析

目标人群关键指

标趋势分析产品策略

快速制定策略

提供策略服务

寻找相似人群标签系统2019

中国数据智能管理峰会标签系统多维度数据分析重点用户关键指标趋势追踪用户单一维度构成分析用户核心路径漏斗分析交叉维度分析2019

中国数据智能管理峰会快速圈定目标用户制定千人千面的策略人群相似性扩展探索业务增长标签系统策略制定

业务监控大屏监控滴滴核心业务指标，是管理者、产品、运营等观察业务状况的“眼睛”。基于实时计算能力分钟级别发现业务故障2019

中国数据智能管理峰会

图表配置简单灵活

支持多源数据接入

支持多维度分析业务BI监控订单数据毫秒级更新，适配实时数据彰显酷炫视觉特效

实时业务核心数据监控+仪表盘的展示

短信/电话预警配置

支持实时、离线数据大屏

各类展厅、展会数据大屏2019

中国数据智能管理峰会监控大屏平台建设之资产管理平台2019

中国数据智能管理峰会2019

中国数据智能管理峰会一站式资源管理平台一体化的元数据2019