精选数据仓库架构培训讲义

（优选）数据仓库架构培训现在是1页\一共有36页\编辑于星期二厂商的数据仓库架构现在是2页\一共有36页\编辑于星期二IBM数据仓库架构现在是3页\一共有36页\编辑于星期二NCR数据仓库架构现在是4页\一共有36页\编辑于星期二SAP的数据仓库现在是5页\一共有36页\编辑于星期二两级数据仓库架构现在是6页\一共有36页\编辑于星期二公司的数据仓库架构现在是7页\一共有36页\编辑于星期二业务系统数据存储平台数据仓库应用平台应用服务层元数据访问服务

BI工具引擎……报表查询决策支持应用层（Portal）…EDWDDS对外接口数据交换平台数据挖掘与分析系统其它应用元数据管理OLAPADSDM系统总体架构图历史数据存储（HDS）操作数据存储（ODS）主数据ETL数据质量管理现在是8页\一共有36页\编辑于星期二业务系统数据存储平台数据仓库应用平台应用服务层元数据访问服务

BI工具引擎……报表查询决策支持应用层（Portal）…EDWDDS对外接口数据交换平台数据挖掘与分析系统其它应用元数据管理OLAPADS公司实施常用架构历史数据存储（HDS）DMETL数据质量管理现在是9页\一共有36页\编辑于星期二数据存储与ETL现在是10页\一共有36页\编辑于星期二11数据存储现在是11页\一共有36页\编辑于星期二主数据存储模型特点ER模型：与业务系统中代码信息存放方式类似数据标准：在企业中采用统一的编码规则和标准保留历史：保留主数据变化的版本现在是12页\一共有36页\编辑于星期二ODS数据存储模型特点ER模型：与业务系统中模型基本一致，尽量减少由于数据处理带来的时间消耗实时性：保存实时变化的数据现在是13页\一共有36页\编辑于星期二EDW数据存储模型特点采用3NF方式建模，采用面向对象的建模方式从业务模型入手，结合实际的业务系统的数据，使用主题域对数据进行抽象建模原则全面性：最终应该能够覆盖到客户经营活动中所有的业务数据抽象性：从业务的角度把客户的所有业务要素抽象成若干对象，采用面向对象的设计方法扩展性：其体系结构应该能够适应客户今后业务的发展高效性：应该注意不要使对象之间的关系过于复杂，导致在实际查询时的速度过慢现在是14页\一共有36页\编辑于星期二DDS数据存储模型特点星型模型：以维度表和事实表的方式对数据进行组织和存放面向需求：从满足应用需求的角度进行设计，从中找出维度，维和分析变量粒度较粗：从明细数据汇总得到现在是15页\一共有36页\编辑于星期二数据抽取数据加载数据映射数据转换数据清洗从HDS或ODS中获取所需数据清除错误的、不符合业务逻辑的数据将业务系统的数据字段对应到主数据的数据字段将数据转换成主数据的模型将转换完毕的数据写入物理数据库数据标准化按照数据的标准，对数据进行统一主数据加载现在是16页\一共有36页\编辑于星期二数据抽取数据加载数据映射数据转换数据清洗从HDS或ODS中获取所需数据清除错误的、不符合业务逻辑的数据将业务系统的数据字段对应到EDW的数据字段将数据转换成EDW的模型将转换完毕的数据写入物理数据库数据标准化按照数据的标准，对数据进行统一EDW数据加载现在是17页\一共有36页\编辑于星期二数据抽取数据加载数据转换数据汇总数据映射从EDW数据存储中获取所需数据将EDW存储模型的字段，对应到DDS存储模型的字段把数据从EDW的ER模型转换为DDS的多维存储模型把EDW中的数据进行一定程度的汇总将转换完毕的数据写入物理数据库DDS数据加载现在是18页\一共有36页\编辑于星期二前端业务应用与管理系统现在是19页\一共有36页\编辑于星期二

应用服务层数据中心存储平台DDSOLAPDMMetaData数据服务层OLAP引擎元数据管理服务管理和审计服务BI引擎统一的安全管理EDS数据访问层代理WebServer浏览器GUI应用程序ODS数据交换服务主数据管理服务现在是20页\一共有36页\编辑于星期二分析人员使用决策层使用管理人员使用业务人员使用分析型应用企业绩效KPI业务报务、业务应用跨部门、跨业务应用应用层次规划现在是21页\一共有36页\编辑于星期二资产分析成本分析业务分类财务

生产销售KPI库存物流……盈利产量原料质检销量市场竞争对手市场生产指标财务指标销售指标库存分析……应用分类现在是22页\一共有36页\编辑于星期二管理系统：元数据管理主数据数据中心

ODS

EDS

DDS

DM应用系统ETL元数据数据源元数据存储平台业务元数据业务指标维度技术元数据维度

ADSETL信息应用系统信息管理元数据ETL日志应用系统日志权限元数据应用平台维护功能业务元数据维护技术元数据维护查询功能分类导航全文检索日志查询权限查询展现功能动态指标解释信息展示血缘关系

OLAP业务指标/需求现在是23页\一共有36页\编辑于星期二主数据管理现在是24页\一共有36页\编辑于星期二商务智能工具SOA技术WEB技术实施技术现在是25页\一共有36页\编辑于星期二实施过程现在是26页\一共有36页\编辑于星期二数据仓库实施方法自下而上从业务数据入手，建立数据模型建立完整的后台数据自上而下完全基于业务需求分析的结果以需求确定后台的数据范围迭代开发整个建设过程分为多个迭代过程从关键的业务入手，即考虑后台数据，又提供前端展现现在是27页\一共有36页\编辑于星期二28项目组架构项目管理组客户方项目组系统架构组ETL组数据建模组应用开发组质量管理组项目管理委员会需求分析组售后与服务组系统测试组现在是28页\一共有36页\编辑于星期二实施流程项目准备项目规划需求定义技术需求业务需求技术架构源数据分析数据建模应用设计开发ETL设计开发集成测试系统上线运行维护系统演进项目管理现在是29页\一共有36页\编辑于星期二实施案例现在是30页\一共有36页\编辑于星期二业务系统数据存储平台数据仓库应用平台应用服务层元数据访问服务

BI工具引擎……报表查询决策支持应用层（Portal）…EDWDDS对外接口数据交换平台数据挖掘与分析系统其它应用元数据管理OLAPADSDM数据中心-案例1历史数据存储（HDS）操作数据存储（ODS）主数据ETL数据质量管理现在是31页\一共有36页\编辑于星期二业务系统数据存储平台数据仓库应用平台应用服务层元数据访问服务

BI工具引擎……报表查询决策支持应用层（Portal）…EDWDDS对外接口数据交换平台数据挖掘与分析系统其它应用元数据管理OLAPADSDM数据仓库-案例2历史数据存储（HDS）操作数据存储（ODS）主数据ETL数据质量管理现在是32页\一共有36页\编辑于星期二业务系统数据存储平台数据仓库应用平台应用服务层元数据访问服务

BI工具引擎……报表查询决策支持应用层（Portal）…EDWDDS对外接口数据交换平台数据挖掘与分析系统其它应用元数据管理OLAPADSDM数据仓库-案例3历史数据存储（HDS）操作数据存储（ODS）主数据ETL数据质量管理现在是33页\一共有36页\编辑于星期二业务系统数据存储平台数据仓库应用平台应用服务层元数据访问服务

BI工具引擎……报表查询决策支持应用层（Portal）…EDWDDS对外接口数据交换平台数据挖掘与分析系统其它应用元数据管理OLAPADSDM数据仓库-案例4历史数据存储（HDS）操作数据存储（ODS）主数据ETL数据质量管理现在是34页\一共有36页\编辑于星期二业务系统数据存储平台数据仓库应用平台应用服务层元数据访问服务

BI工具引擎……报表查询决策支持应用层（Portal）…EDWDDS对外接口数据交换平台数据挖掘与分析系统其它应用元数据管理OLAPADSDM数据仓库-案例5历史数据存储（HDS）操作数据存储（ODS）主数据ETL数据质量管理现在是35页\一共有36页\编辑于星期二业务系统数