苏宁数据中台架构实践

销售域销售域诸葛诸葛APP诸葛PC数据集市数据集市DM数据仓库层DPA汇总层DPA汇总层SORSOR基础层SSASSA缓冲层业务系统采集业务系统采集物流域物流域天眼天眼数据集市数据集市DM数据仓库层DPA汇总层DPA汇总层SORSOR基础层SSASSA缓冲层业务系统采集业务系统采集数据平台vs数据中台有完整的数据模型设计,但偏重设计和技术,在执行过程中,很难保证数据的全,数据应用—般不跨过数据中心初期数据发展快,效率高,快速体现业务价值,但是随着数仓的建设,数据量急速叠加,整体成本居高不下,导致数据混乱、灾难。数据中台的基本理念是:将所有数据汇聚到数据中台,每个数据应用都以数据中台为唯—苏宁数据中台的目标是为苏宁的数据战略提供有力的支撑,从企业全局进行统—规划,统—建设,强调数据的“全”,从设计、组织、建设、流程角度保障了模式的落地。数据中台的建设减低了数据使用门槛数据应用BIBI报表可视化大屏可视化大屏精准营销个性化推荐个性化推荐More数据应用引擎基础服务用户数据服务用户数据服务数据开发套件数据仓库主题域数据治理套件数仓管理库运维监控多租户隔离集群部署计算存储引擎天工数据层:可视化引擎统一维度库统一维度库指标层数据API指标层数据API模型层公共维度表模型层公共维度表OLAP数据仓库数据仓库天工数据层:可视化引擎统I维度库统I维度库指标层数据API指标层模型层公共维度表模型层公共维度表OLAP数据仓库数据仓库避免数据冗余,避免数据冗余,雪花反范式反范式OLAP星型冗余,缩短操作数据的时间,间建模过程业务过程分析周期性快照事实宽表建模过程业务过程分析周期性快照事实宽表确认粒度/数据来源累计快照事实宽表事务型事实宽表建模分析模型基本属性确认选择事实表确认存储介质模型基本属性确认选择事实表确认存储介质选择维表和维度选择字段类型/属性设置设置cube组合时效类型实时离线离线+实时非时序时序类型时序构建类别汇总时效类型实时离线离线+实时非时序时序类型时序构建类别汇总类型星型宽表定制类调度类型任务流调度周期调度周期… 会员系统LP(生成会员序列ID)(根据会员去重)查询维度半年留存bitmap查询维度月留存(生成会员序列ID)(根据会员去重)查询维度半年留存bitmap查询维度月留存bitmap查询维度年留存bitmap(bitmap全量和增量数据)查询维度老买家查询维度老买家查询维度新老买家查询维度新买家查询维度纯新买家查询维度纯新买家计算函数:max/min/count/countdistinct/sum/avg/abs累计函数:Iastday多种时间粒度多种时间周期多单位换算统—维度支持自定义维度支持统—维度支持自定义维度支持自定义参数支持可比同环比均值支持逻辑流支持运算符时间计算函数异常数据小天工多维度数据验证性能验证历史版本模型有冻结期,冻结期结束此版本模型删除,关联历史指标下线模型模型UV一V1.2流量一V1.2datasource1UV一V1.3流量一V1.3历史上线开发中DruidUV一V1.2流量一V1.2datasource1UV一V1.3流量一V1.3历史上线开发中衍生指标-1一V1.3衍生指标-1一V1.4PV一V.1.0会员一V1.2tabIe1会员一V.1.3 会员一V1.1tabIe2 会员一V1.2 会员一V1.0衍生指标-2一V1.2会员一V1.2tabIe1会员一V.1.3 会员一V1.1tabIe2 会员一V1.2 会员一V1.0衍生指标-2一V1.2衍生指标-2一V1.3会员一V.1.4模型新版本上线模型版本回滚指标新版本上线指标版本回滚兼容性校验天工数据层:可视化引擎统I维度库统I维度库指标层数据API指标层数据API模型层公共维度表模型层公共维度表OLAP数据仓库数据仓库维度业务口径不统—,缺乏有效的管理流程来对其进行管理和约束,维度建设存在重复和歧义对于维度服务的对于维度服务的开发,各个产品中心需要各自实现,造成开发成本重复投入。例如公司的维度。ETL开发人员/产品人员,存在大量手工配置表需要规则维护,缺乏快速开发工具。业务人员想查询业务人员想查询维度信息,缺乏可靠的公共平台去快速方便的查流程,对维度新增,变更,下线根据业务需求,流程,对维度新增,变更,下线维度信息管理维度开维度信息管理维度监控管理维度监控管理体系,提升平台服务,满足高元数据管理系统 元数据管理系统 统一权限慧眼百川天工维度管理系统维度管理维度管理系统维度管理维度服务个性化配置表维表管理维表服务仓库配置表用户自定义用户自定义分析独特维表台维度模型层源系统提供维表源系统提供维表(MDM,其他系统含维表)维度类型维度类型普通维度父子维度角色扮演维度普通维度父子维度角色扮演维度杂项维度日历时间维度维护分类•主数据维度•手工维度时效分类层次类型时效分类层次类型•实时•层级维度•非层级维度重点服务支持:重点服务支持:天工百川OLAP统一权限天工百川OLAP统一权限三层缓存架构天工数据层:可视化引擎统I维度库指标层模型层数据统I维度库指标层模型层数据APIOLAP公共维度表公共维度表数据仓库数据仓库IDE 数据集迁移 IDE 数据集迁移 ALLUXIOSparkALLUXIOSpark维表2维表1…Spark事实表维表2维表1…Spark事实表 kafkakafkaHDFSHDFSzookeeper统一维度库DRUIDSparkStreamzookeeper统一维度库DRUIDSparkStreamHTTP•基本规则校验后,将指标查询进行解析,获•基本规则校验后,将指标查询进行解析,获得解析器结果•按照模型,时间粒度,过滤维度等创建逻辑计划;•经过sort优化器,join优化器,cost优化器等优化器,优化执行计划•生成物理计划•多线程查询引擎•自动化计算器,包括:join计算器(衍生指标计算器,同环比计算器),占比计算器解析引擎解解校验器计划引擎逻辑逻辑计划优化优化器物理物理计划执行引擎询计计OLAPROOTjoinROOTjoin…cube优化器cost优化器joinjoinjoinNode3-1Node1-1Node3-1Node1-1计算.查询.逻辑计划计算.查询.逻辑计划.优化器DruidoptimizerEsoptimizerEs-HadoopEsPGoptimizerspark-JDBCspark-Druid+HDFsDruidoptim