苏宁大数据中台技术架构课件

1、苏宁大数据中台技术架构技术创新 变革未来0102030405总览数据建模与指标化 维度管理指标查询服务与OLAP引擎总结数据中台出现之前销 售 域业务系统采集DPA汇总层SOR基础层 SSA缓冲层诸葛PC诸葛APP数 据 仓 库 层数据集市DM物 流 域业务系统采集DPA汇总层SOR基础层 SSA缓冲层天眼数 据 仓 库 层数据集市DM数据平台 vs 数据中台数据平台有完整的数据模型设计，但偏重设计和技术，在执行过程中，很难保证数据的全，数据应 用一般不跨过数据中心初期数据发展快，效率高，快速体现业务价值，但是随着数仓的建设，数据量急速鳌加， 整体成本居高不下，导致数据混乱、灾难。数据中台数据

2、中台的基本理念是：将所有数据汇聚到数据中台，每个数据应用都以数据中台为唯一 数据来源。苏宁数据中台的目标是为苏宁的数据战略提供有力的支撑，从企业全局进行统一规划，统 一建设，强调数据的“全”，从设计、组织、建设、流程角度保障了模式的落地。数据中台的建设减低了数据使用门槛数据中台系统架构计算存储引擎基础服务用户数据服务数仓管理运维监控多租户隔离集群部署数据应用引擎可视化引擎Z数据服务引擎 数据分析引擎数据应用画像引擎BI报表可视化大屏精准营销个性化推荐More数据开发套件数据集成实时任务开发任务运维离M任务开发数据仓库主题域维度 库用户主题域销售题域商品主题域数据治理套件数据质量数据地图数据模型

3、模型指标报表体系系统架构数据仓库指标定义指标层天工数据层：可I-引擎统O维度库模型层事实表维表数据 API解析引擎计划引擎执行引擎OLAPOLAPAL引擎OLAP数据+速引擎OLAP任务调度公共维度表ADSDWSDWD数据仓库指标定义指标层数据层：可视+引擎统I维度库模型层事实表维表数据 API解析引擎计划引擎执A引擎OLAPOLAP查询引擎OLAP数据加速引擎OLAP任务调度公共维度表ADSDWSDWD0102030405总览数据建模与指标化 维度管理指标查询服务与OLAP引擎总结为什么是星型模型反范式3NFOLAPOLTP星型雪花允许数据适当 冗余，缩短操 作数据的时间， 用空间换取时 间

4、避免数据冗余， 减少数据库的 空间建 模 过 程数据建模模型基本属性确认确认/储介质选择事实表选择维表和维度选择字段类型属性设置cube组合建 模 分 析业务过程分析事务型事实宽表周期性快照事实宽表累计快照事实宽表确认粒度数据来凉模型基本属性类型星型宽表定制类时效类型实时离线离线实时时序类型时序非时序构建类别+细汇总明细汇总调度类型任务流调度周期模型存储星型宽表定制类ESPGDRUID时序非时序汇总明细汇总定制化的建模方案会员系统数 仓会员字典表访间流量表会员购买表 O L Ap会员购买信息（根据会员去重）存储过程（生成会员序列ID）存储过程（bitmap全量和增量数据）查询维度月留存bitm

5、ap查询维度半年留存bitmap 查询维度年留存bitmap查询维度新买家 bitmap查询维度纯新买家 bitmap查询维度老买家 bitmap查询维度新老买家 bitmap指标定义指标基础信息多种时间粒度多种时间周期多单位换算度量计 算 函 数 ： max/min/count/countdistinct/sum/avg/abs 累计函数 lastday衍生计算表达式支持逻辑流 支持运算符时间计算函数 异常数据个性化筛选条件统一维度支持 自定/维度支持 自定/参数支持指标属性可比 占比同环比 均值可视化测试小天工多维度数据验证 性能验证模型、指标多版本体系原则状态分成上线历史开发中上线单一/

6、标来源于上线的模型上线衍生/标中的单一/标必定是上线版本历史版本模型有冻结期，冻结期结束此版本模型删 除，关联历史/标下线模型、指标多版本体系模型新版本上线模型版本回滚指标新版本上线指标版本回滚菲容性校验PV3V.l.0流量3Vl.2流量3Vl.3会员-Vl.0会员-Vl.l会员-V.l.3会员-V.l.4会员-Vl.2衍生指标_l-Vl.4衍生指标_2-Vl.2衍生指标_2-Vl.3会员-Vl.2模型单一指标uV - Vl.2uV- Vl.3衍生指标衍生指标_l-Vl.3Druidda1a0.2rcel da1a0.2rce2PG1ablel1able2 1able3上线历史开发中数据仓库指

7、标定义指标层数据层：可视+引擎统I维度库模型层事实表维表数据 API解析引擎计划引擎执A引擎OLAPOLAP查询引擎OLAP数据加速引擎OLAP任务调度公共维度表ADSDWSDWD0102030405总览数据建模与指标化 维度管理指标查询服务与OLAP引擎总结统一维度建设背景标准维度业务口径不统一，缺乏T效 的管理流程来对/进行管理和约 束，维度建设存 在重复和歧义成本对于维度服务的开发，各个产品 中心需要各自实 现，造成开发成 本重复投入。例 如公司的维度。工具ETL开发人员产品人员，存在大 量手工配置表需 要规则维护，缺 乏快速开发工具。平台业务人员想查询维度信L，缺乏 可靠的公共E台 去

8、快速方便的查 询。统一维度管理目标根据业务需求， 提供快速定义维 度的功能，保证 维度的唯一性完善的维度管理 流程，对维度新 增，变更，下线 全生命周期管理建立维度全链路 统一的数据监控 体系，提升平台 数据安全提供高效、稳 定的维度查询 服务，满足高 井发的查询维度开 发管理维度信 息管理维度监 控管理维度数 据服务统一维度系统架构维度管理时效分类实时离线维护分类主数据维度手工维度层次类型层级维度非层级维度维度类型普通维度父子维度角色扮演维度杂项维度日历时间维度维度任务数仓离线HIVEUDMSMYSQLHBASEMYSQLELASTICSEARCHREDIS本地缓存数仓实时TOPICUDMS

9、HBASE天工百川统一权限重点服务支持支撑实施Join编码与名称转换离线计算KAFKARPC服务推R三层缓存架构OLAPRPC服务数据仓库指标定义指标层数据层：可视+引擎统I维度库模型层事实表维表数据 API解析引擎计划引擎执A引擎OLAPOLAP查询引擎OLAP数据加速引擎OLAP任务调度公共维度表ADSDWSDWD0102030405总览数据建模与指标化 维度管理指标查询服务与OLAP引擎总结离线模型加速方案实时模型加速方案kafkaSpark StreamHDFSH ASE统一维度库ZookeeperDRUIDESPGRPC指标数据查询服务基本规则校验后，将指标奎询进行解析，获 得解析器

10、结果按照模型，时间粒度，过滤维度等创建c 剖计划;经过sort优化器，join优化器，cost优化器 等优化器，优化执行计划生成物理计划多线程奎询引擎自动化计算器，包括：join计算器（衍生指 标计算器，同环比计算器），占比计算器解 析 引 擎校 验 器解 析计 划 引 擎逻辑 计划优化 器物理 计划执 1引 擎查 询计 算HTTPRPCSPARK SQLOLAP指标数据查询服务一执行J划NodelNode2Node3Node4Nodel_lNodel_24比 J算Node3_lNode3_2C比 J算衍生 J算4比 J算衍生 J算2比 J算3井 J算3井 J算均值 J算ROOT精度 J算排序 J算计划节点计算属性节点属性逻辑计划优化器查询计算joinjoinjoin排序优1器Cube优1器Join优1器Cost优1器 路由优1器OLAP-数据服务OLAP-SPARKParquetOptimizerDruidOptimizerESOptimizer