滴滴敏捷数据中台实施方案

滴滴数据体系介绍精益生产与敏捷创新滴滴数据体系介绍精益生产与敏捷创新滴滴概况

|

交通大数据超过4800TB每天处理数据超过150亿日均车辆定位数据超400亿次每日处理路径规划请求数据覆盖了交通路况、用户叫车信息、司机驾驶行为、车辆数据等多个维度滴滴目前对15分钟后供需预测的准确度已经达到了85%业务发展驱动数据进化业务信息化信息数据化数据资产化资产变现化运营营销信息化从记录结果到记录过程打破烟囱，盘活资产数据平民化研发生产信息化从副产品到精密设计安全合规与治理数据服务化企业管理信息化从决策支撑到数据驱动从量化到标准到优化数据智能化业务烟囱

计算存储落后

数据质量混乱

使用门槛高创新乏力

数据文化薄弱

高投入低产出

变现效率低滴滴的同与不同数据资源投入-业务价值产出

微笑曲线

网络效应研发

实验生产

运营

平台类互联网企业营销

滴滴数据智能中台数据体系建设的核心困难数据生产价值线产品困难：多场景，全链路的复杂需求组织困难：多团队，多目标的协作需求业务人员业务分析数据科学数据工程产品研发人工智能数据创新价值线质量、效率、成本数据

生产

价值质量、效率、成本分析

想法高价值、高可靠、高效率、低成本的数据服务交付滴滴精益数据管理体系精益数据生产智能数据目录敏捷数据创新价值链

•

分级

•

监控

•

复盘发现、理解、信任、协作、众包敏捷数据治理数据资产、安全合规创新网

•

用结果

•

自配置

•

模仿做自働化服务驱动、全面量化、重点攻坚自助化数据文化持续改进，尊重人数据系统工具链数据基础设施两年来的建设成果精益数据

生产D0级事故从

10+降为1核心数据产出时

间提前到5点价值交付

NPS从19%到60%智能数据目录

–

DataGraph20%员工高频使用

系统性对外输出敏捷数据治理

–

DataRank资产分从40到70敏捷数据

创新非例行任务从

2k+到20k+数据文化150+次改进复盘，周活1700到5000+

数据基础设施+系统工具链：开始对外输出

数据服务滴滴数据系统组成业务分析•

应用埋点

•

运营分析产品优化•

AB

Test

•

地理围栏营销服务•

用户分层

•

标签画像流程优化•

业务根因财务管控•

多级管控

•

财务根因CXO仪表盘

•

移动App自助式自服务数据资产数据赋能•

高效率全方位

•

全链路能力覆盖DataGraph•

OneSearch

•

数据字典

•

数据图谱DataRank•

资产价值分数据建设•

数据全链路自助查询•

协助模板可视化分析

•

交互分析资产归属资产优化分级保障数据治理查询加速数据API报表、仪表盘Notebook数据研发数据中间件开发工作台

•

数据开发

•

数据测试

•

数据发布数据质量

•

监控

•

告警

•

运维数据通道实时采集批采集Binlog采集DataHub

•

kafka

•

ES数据架构实时计算Hadoop体系Key-Value

&

OLAPFlinkHadoopHBaseWoaterHivePrestoDruidSparkClickhouse智能数据目录

—

让数据越用越好用统一的元数据检索能力，支持Hive、

报表等多种数据实体的统一搜索基于数据价值或热度的综合排序业务驱动的数据图谱众包协作的知识沉淀稳定性建设精益数据生产

—

让数据持续可信赖如何做好数据的基础质量？1234核心数据5点产出（业内普遍7-8点）

开发效率提升35%指导数据优化方向精细化建设数据上下游联动（全链路

SLA）埋点管理数据采集运维/质量监控90%复盘率建立数据委员会，推进业务-运维-数据的

协同机制一键埋点，用户行为轨迹全记录数据采集秒级同步，准确性99.999%

数据链路全监控，自动定位关键节点如何更快更简单的使用数据？分级保障数据图谱与数据中间层成本优化数据价值量化如何找到需要的数据？体系化建设指标口径管理（数据字典）元数据（数据地图+OneSearch）资产价值评估体系（DataRank）数据开放数据安全规范指标口径变动100%管控所有元数据信息一键快速查询精准评估每一张表的数据影响和价值

数据开放率99.04%隐私数据全脱敏，完备的权限管控机制，

数据泄露0事故标准化数据服务

—

让数据持续可依靠交互式查询接口

|

数据图谱

|

数据地图

|

DataRank管理

|

数据API查询加速数据层各业务主题分析数据层小时级延迟近源数据层业务ER关系还原

中间数据层数据开发工作台标准多维立方体监控&告警实时数据集成服务

—

让活数据无处不在采集集群总规模约300+数据源约4500+个，Agent

数量27000个峰值摄入数据条数2900w/s日均查询2千万次平均响应时间<1S稳定性99.996%敏捷运营分析

—

让业务持续可创新基于数据湖解决方案，实现快速找数据、即时分析数据，沉淀并复用分析过程找数据知识推

荐数据价值

识别全类数据一站式搜索关键词检索数据图谱极速分析智能SQL

IDE

标准SQL语法数据科学每日超Book

十万任务比hive/spark快10倍工作复用模板分享定时执行

权限管理专快车运营日报可视化洞察傻瓜式操作十余类可视化方式周期性数据需求，

可以制作成模板分析师/BI收到数据需求：统计专快车分

城市的运营指

标运营/业务人员