滴滴数据体系介绍课件

1、滴滴数据体系介绍精益生产与敏捷创新第1页，共16页。滴滴概况 | 交通大数据超过150亿日均车辆定位数据超400亿次每日处理路径规划请求超过4800TB每天处理数据数据覆盖了交通路况、用户叫车信息、司机驾驶行为、车辆数据等多个维度滴滴目前对15分钟后供需预测的准确度已经达到了85%第2页，共16页。业务发展驱动数据进化资产变现化数据平民化数据服务化数据智能化数据资产化打破烟囱，盘活资产安全合规与治理从量化到标准到优化信息数据化从记录结果到记录过程从副产品到精密设计从决策支撑到数据驱动业务信息化运营营销信息化研发生产信息化企业管理信息化业务烟囱计算存储落后数据质量混乱使用门槛高创新乏力数据文化薄

2、弱高投入低产出变现效率低第3页，共16页。研发实验营销生产运营平台类互联网企业滴滴滴滴的同与不同数据资源投入-业务价值产出微笑曲线网络效应数据智能第4页，共16页。中台数据体系建设的核心困难想 法分 析数据生产价值质量、效率、成本质量、效率、成本产品困难：多场景，全链路的复杂需求组织困难：多团队，多目标的协作需求业务人员业务分析数据科学数据工程产品研发人工智能数据生产价值线数据创新价值线第5页，共16页。滴 滴 精 益 数 据 管 理 体 系高价值、高可靠、高效率、低成本的数据服务交付精益数据生产价值链分级监控复盘自働化敏捷数据创新创新网用结果自配置模仿做自助化智能数据目录发现、理解、信任、协

3、作、众包敏捷数据治理数据资产、安全合规服务驱动、全面量化、重点攻坚数据文化持续改进，尊重人数据基础设施数据系统工具链第6页，共16页。两年来的建设成果价值交付NPS从19%到60%精益数据生产D0级事故从 10+降为1核心数据产出时间提前到5点智能数据目录 DataGraph20%员工高频使用 系统性对外输出敏捷数据创新非例行任务从2k+到20k+敏捷数据治理 DataRank资产分从40到70数据文化150+次改进复盘，周活1700到5000+数据基础设施+系统工具链：开始对外输出第7页，共16页。开发工作台数据开发数据测试数据发布数据质量监控告警运维数据研发数据通道实时采集批采集Binlo

4、g采集数据中间件实时计算FlinkWoaterDruidHadoop体系HadoopHiveSparkKey-Value & OLAPHBasePrestoClickhouse数据架构DataGraphOneSearch数据字典数据图谱数据资产自助查询协助模板查询加速数据API数据赋能资产价值分资产归属资产优化DataRank数据建设数据全链路分级保障数据治理DataHubkafkaES可视化分析交互分析报表、仪表盘Notebook数据服务业务分析应用埋点运营分析AB Test地理围栏产品优化营销服务流程优化用户分层业务根因标签画像财务管控多级管控财务根因CXO仪表盘移动App自助式自服务高效

5、率全方位全链路能力覆盖滴滴数据系统组成第8页，共16页。统一的元数据检索能力，支持Hive、 报表等多种数据实体的统一搜索基于数据价值或热度的综合排序业务驱动的数据图谱众包协作的知识沉淀智能数据目录 让数据越用越好用第9页，共16页。123核心数据5点产出（业内普遍7-8点）开发效率提升35% 指导数据优化方向分级保障数据图谱与数据中间层成本优化数据价值量化数据上下游联动（全链路SLA）埋点管理数据采集运维/质量监控90%复盘率如何做好数据的基础质量？稳定性建设如何更快更简单的使用数据？精细化建设建立数据委员会，推进业务-运维-数据的协同机制一键埋点，用户行为轨迹全记录数据采集秒级同步，准确性

6、99.999%数据链路全监控，自动定位关键节点指标口径变动100%管控所有元数据信息一键快速查询精准评估每一张表的数据影响和价值 数据开放率99.04%隐私数据全脱敏，完备的权限管控机制，数据泄露0事故如何找到需要的数据？体系化建设指标口径管理（数据字典）元数据（数据地图+OneSearch）资产价值评估体系（DataRank）数据开放数据安全规范精益数据生产 让数据持续可信赖第10页，共16页。数据开发工作台监控&告警小时级延迟近源数据层业务ER关系还原中间数据层标准多维立方体交互式查询接口 | 数据图谱 | 数据地图 | DataRank管理 | 数据API查询加速数据层各业务主题分析数据

7、层标准化数据服务 让数据持续可依靠第11页，共16页。实时数据集成服务 让活数据无处不在日均查询2千万次平均响应时间1S稳定性99.996%采集集群总规模约300+数据源约4500+个，Agent数量27000个峰值摄入数据条数2900w/s第12页，共16页。基于数据湖解决方案，实现快速找数据、即时分析数据，沉淀并复用分析过程分析师/BI可视化洞察数据湖找数据极速分析工作复用模板分享定时执行权限管理收到数据需求： 统计专快车分 城市的运营指 标周期性数据需求，可以制作成模板运营/业务人员已有SQL模板， 可以自己分析 数据了专快车运营日报关键词检索数据图谱知识推 荐数据价值识别全类数据一站式搜索BI求 缺数 据， 向提 需傻瓜式操作十余类可视化方式敏捷运营分析 让业务持续可创新智能SQL IDE标准SQL语法 数据科学B每o日ok超十万任务比hive/spark快10倍第13页，共16页。