滴滴数据资产管理实践

滴滴数据资产管理实践目录

/

Contents010302滴滴的数据资产概述平台建设

之

数据开发平台04平台建设

之

数据应用平台平台建设

之

资产管理平台2019中

国

数

据

智

能

管

理

峰

会滴滴的数据资产概述2019中

国

数

据

智

能

管

理

峰

会滴滴的数据资产5.5亿+1000+座全球城市700亿日ETA请求150亿日定位数据用户日新增106TB＋数据日均处理处理4875+TB数据人路车••司机乘客••静态信息：全球、全国、城市等各粒度动态信息：行程轨迹••静态信息：归属人/公司、车牌号、车型…动态信息：里程数、维保记录2019中

国

数

据

智

能

管

理

峰

会滴滴的数据特色030201地理位置、轨迹相关的数据占比高实时数据占比高结构化数据为主，价值密度高2019中

国

数

据

智

能

管

理

峰

会滴滴的数据平台业务架构•

元数据打通，更准确识别公司核心数据资产，辅助资产信息的完善，从而沉淀数据资产业务应用/DS内部用户/DS大屏用户数据消费统一数据门户数据大屏PCAPP-H5数据应用产品平台

BI自助分析工具决策分析…看板分析技术&业务元数据打通数数据服务化据内容建设指标管理平台资产管理平台数据开发平台数据同步数据开监控告警数据质量项目管理权限管调度发理离线引擎实时引擎机器学习引擎数据接入2019中

国

数

据

智

能

管

理

峰

会平台建设之数据开发平台2019中

国

数

据

智

能

管

理

峰

会数据梦工场极致简单数据应用产品只要会SQL，人人都是数据玩家！数易BI实时监控监控大屏北极星把脉Omega标签系统智能地图……一站式智能数据开发、生产平台——数据中台(数据梦工场)完整闭环数据开发调度同步中心数据安全机器学习一站式数据开发生产平台底层封装、模块中心化、平台应用模块智能联动，提升开发效率••数据地图监控告警数据质量资产管理算法平台…安全保障•权限控制责任到人，权限到字段离线计算引擎Hive

、流计算引擎Flink数据检索ES消息队列Kafka、DDMQHbasePhoenix机器学习TensorFlowSpark•

开发生产数据隔离多种措施保障数据安全内置衍生规范产出语义明确的元数据更智能化的行业领先••基于开源引擎基线监控机制，标记最核心计算通路，确保核心数据及时产出平台服务高质量的元数据经验积累国内领先的大数据体系建设及数据治理经验2019中

国

数

据

智

能

管

理

峰

会产品功能数据同步数据开发调度系统监控报警数据质量项目管理和权限管理稳定高效异构数据源同步服务。1）集成实时、离线两种方式；2）快速扩展，插件式拓展多种同步类型；3）自主运维，同步相关指标清晰可见；4）为流计算提供实时数据源；2019中

国

数

据

智

能

管

理

峰

会产品功能数据同步数据开发调度系统监控报警数据质量项目管理和权限管理针对数据开发、临时查询场景，为用户提供更加规范、顺滑的数据开发体验：）智能编辑器，支持各种库表、函数、变量想输入、动态语法检查等）提供SQL格式化、错误提示，提供更顺滑SQL开发体验）支持各种SQL（Hive、Spark、Presto）、hell、PySpark等类型任务支持，）支持文件多版本、任务回滚；）直通调度，字段检测依赖，方便测试和上线任务。6）提供历史查询记录和大规模数据下载能力（经过安全审批）2019中

国

数

据

智

能

管

理

峰

会产品功能数据同步数据开发调度系统监控报警数据质量项目管理和权限管理支持百万级的离线例行任务调度，保障业务稳定运行。1）提供开发、生产两套环境，相互隔离2）支持MR/Hive/Spark/Shell等不太任务类型的任务调度3）支持小时、天、周、月多种调度周期配置4）数据回溯简单易用：支持重跑、支持多维度运维2019中

国

数

据

智

能

管

理

峰

会产品功能数据同步数据开发调度系统监控报警数据质量项目管理和权限管理智能监控任务运行情况，异常时发出告警。体系化解决“是否警”，

杜绝无效报警；•表规则监控•数据量•流量数据接入资源告警•字段规则监控•存储告警•计算告警•异常数据•自定义监控•

抽象“数据基线”保证重要数据的及时产出，并动态规划相关任务优先级。•

结合算法，预测可能的数据延迟，提前预警，将影响面降到最低。•

升级逻辑，避免漏处理。中

国

数

据

智

能

管

理

峰

会产品功能数据同步数据开发调度系统监控报警数据质量项目管理和权限管理全链路的数据质量管控，实现数据质量校验、通知、管理能力1）完整配置

VS

快速配置2）强规则

VS

弱规则3）表规则

VS

字段规则4）预设规则

VS

SQL规则41%2019中

国

数

据

智

能

管

理

峰

会产品功能数据同步数据开发调度系统监控报警数据质量项目管理和权限管理统一便捷的进行项目管理和权限管理。个人资产1）项目管理提供项目自身的增删资产概览大盘表待办任务趋势我的资产我的应用数据管理改查以及项目内的人员、角色、生产账号、库表、存储和队列等资产管理功能。资产明细应用概览单应用管理表管理趋势&明细成本管理数据编目数据加工者数据管理者全局资产2）权限管理针对人员、角色的权限申请和主动授权，以及过期权限、闲置权限的回收和权限审计等功能。资产仪表盘数据量表数据流趋势资产管理资产分析业务任务quota全局管理应用血缘2019中

国

数

据

智

能

管

理

峰

会梦工场-模块关系图同步质量实时数据源质量告警触发触发项目管理提交开发告警权限管理提交实时任务告警ML任务告警2019中

国

数

据

智

能

管

理

峰

会梦工场-典型的离线场景数据库导入日志数据导入实时同步其他来源数据实时同步数据导入离线同步实时同步日志check导入1导入2导入3导入4导入5导入6数据加工数据导出计算1计算2计算3计算4计算5计算6计算7导出3计算8导出1导出2导出4导出52019中

国

数

据

智

能

管

理

峰

会梦工场-优先级上推策略基线(业务)->任务

->

调度机

->

yarn

全流程打通2019中

国

数

据

智

能

管

理

峰

会梦工场-业务下线数据库导入日志数据导入实时同步其他来源数据实时同步数据导入离线同步实时同步日志check导入1导入2导入3导入4导入5导入6数据加工数据导出计算1计算2计算3计算7计算4计算5计算6计算8业务下线导出1导出2导出4导出52019中

国

数

据

智

能

管

理

峰

会平台建设之数据应用平台2019中

国

数

据

智

能

管

理

峰

会数易数易敏捷、自助的数据分析、可视化平台。数易解决用户三大痛点问题：➢

Where：去哪儿看数据➢

What：数据分析、可视化可以产出哪些内容？➢

How：业务需求那么多，如何快速响应，更方便、自助实现数据可视化？2019中

国

数

据

智

能

管

理

峰

会数易技术特点可视化能力开放的

API

接口分析可视化BI层的可扩展性无缝对接主流大数据处理套件查询层查询层的可扩展性开放分析功能的查询接口扩展对接多种数据源数据存储层可对接实时、离线、文件多种源数据类型存储层的可扩展性2019中

国

数

据

智

能

管

理

峰

会数据APP滴滴数据App，让用户随时随地第一时间触达数据，掌握业务，结合数据知识圈子分享，是滴滴内部的一站式数据移动平台。2019中

国

数

据

智

能

管

理

峰

会标签系统标签系统是基于海量标签进行用户分群、快速圈出特定人群、对人群进行计算及分析，支持精细化运营和广告投放等活动的运营支持服务系统。数据分析产品策略效果追踪➢

分析速度快➢

快速制定策略➢

提供策略服务➢

寻找相似人群➢

策略收益分析➢

目标人群关键指标趋势分析➢

数据颗粒度足够细➢

数据交叉分析2019中

国

数

据

智

能

管

理

峰

会标签系统

多维度数据分析用户单一维度构成分析交叉维度分析用户核心路径漏斗分析重点用户关键指标趋势追踪峰

会标签系统

策略制定快速圈定目标用户

制定千人千面的策略人群相似性扩展

探索业务增长2019中

国

数

据

智

能

管

理

峰

会业务BI监控业务监控大屏监控滴滴核心业务指标，是管理者、产品、运营等观察业务状况的“眼睛”。基于实时计算能力分钟级别发现业务故障➢➢➢图表配置简单灵活支持多源数据接入支持多维度分析2019监控大屏订单数据毫秒级更新，适配实时数据彰显酷炫视觉特效➢

实时业务核心数据监控+仪表盘的展示➢

短信/电话预警配置➢

支持实时、离线数据大屏➢

各类展厅、展会数据大屏2019中

国

数

据

智

能

管

理

峰

会平台建设之资产管理平台2019中

国

数

据

智

能

管

理

峰

会一站式资源管理平台2019中

国

数

据

智

能

管

理

峰

会资产管理平台•

删除数据•

生命周期管理•

下线任务•

转交•

团队视图•

红黑榜••

资产概览•

账单明细•

历史对比……一体化的元数据2019中

国

数

据

智

能

管

理

峰

会数据存储和计算治理将治理的控制权交还给每一个使用者，根据业务的发展情况，即时即刻的去管理所属的存储和治理需求。个人资产治理（存储、计算）团队部门存储治理计算治理暴利扫描相似计算无效计算数据倾斜参数不合理……同源导入