![数据仓库架构培训课件_第1页](http://file4.renrendoc.com/view/0fa7d30b19e8aab7fd93007e1e70f0f5/0fa7d30b19e8aab7fd93007e1e70f0f51.gif)
![数据仓库架构培训课件_第2页](http://file4.renrendoc.com/view/0fa7d30b19e8aab7fd93007e1e70f0f5/0fa7d30b19e8aab7fd93007e1e70f0f52.gif)
![数据仓库架构培训课件_第3页](http://file4.renrendoc.com/view/0fa7d30b19e8aab7fd93007e1e70f0f5/0fa7d30b19e8aab7fd93007e1e70f0f53.gif)
![数据仓库架构培训课件_第4页](http://file4.renrendoc.com/view/0fa7d30b19e8aab7fd93007e1e70f0f5/0fa7d30b19e8aab7fd93007e1e70f0f54.gif)
![数据仓库架构培训课件_第5页](http://file4.renrendoc.com/view/0fa7d30b19e8aab7fd93007e1e70f0f5/0fa7d30b19e8aab7fd93007e1e70f0f55.gif)
版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
目录公司的数据仓库架构2数据存储与ETL3厂商的数据仓库架构1前端业务应用与管理系统4实施过程5案例6目录公司的数据仓库架构2数据存储与ETL3厂商的数据仓库架厂商的数据仓库架构厂商的数据仓库架构IBM数据仓库架构IBM数据仓库架构NCR数据仓库架构NCR数据仓库架构SAP的数据仓库SAP的数据仓库两级数据仓库架构两级数据仓库架构公司的数据仓库架构公司的数据仓库架构业务系统数据存储平台数据仓库应用平台应用服务层元数据访问服务
BI工具引擎……报表查询决策支持应用层(Portal)…EDWDDS对外接口数据交换平台数据挖掘与分析系统其它应用元数据管理OLAPADSDM系统总体架构图历史数据存储(HDS)操作数据存储(ODS)主数据ETL数据质量管理业务系统数据存储平台数据仓库应用平台应用服务层元数据访问服务业务系统数据存储平台数据仓库应用平台应用服务层元数据访问服务
BI工具引擎……报表查询决策支持应用层(Portal)…EDWDDS对外接口数据交换平台数据挖掘与分析系统其它应用元数据管理OLAPADS公司实施常用架构历史数据存储(HDS)DMETL数据质量管理业务系统数据存储平台数据仓库应用平台应用服务层元数据访问服务数据存储与ETL数据存储与ETL11数据存储11数据存储主数据存储模型特点ER模型:与业务系统中代码信息存放方式类似数据标准:在企业中采用统一的编码规则和标准保留历史:保留主数据变化的版本主数据存储模型特点ODS数据存储模型特点ER模型:与业务系统中模型基本一致,尽量减少由于数据处理带来的时间消耗实时性:保存实时变化的数据ODS数据存储模型特点EDW数据存储模型特点采用3NF方式建模,采用面向对象的建模方式从业务模型入手,结合实际的业务系统的数据,使用主题域对数据进行抽象建模原则全面性:最终应该能够覆盖到客户经营活动中所有的业务数据抽象性:从业务的角度把客户的所有业务要素抽象成若干对象,采用面向对象的设计方法扩展性:其体系结构应该能够适应客户今后业务的发展高效性:应该注意不要使对象之间的关系过于复杂,导致在实际查询时的速度过慢EDW数据存储模型特点DDS数据存储模型特点星型模型:以维度表和事实表的方式对数据进行组织和存放面向需求:从满足应用需求的角度进行设计,从中找出维度,维和分析变量粒度较粗:从明细数据汇总得到DDS数据存储模型特点数据抽取数据加载数据映射数据转换数据清洗从HDS或ODS中获取所需数据清除错误的、不符合业务逻辑的数据将业务系统的数据字段对应到主数据的数据字段将数据转换成主数据的模型将转换完毕的数据写入物理数据库数据标准化按照数据的标准,对数据进行统一主数据加载数据抽取数据加载数据映射数据转换数据抽取数据加载数据映射数据转换数据清洗从HDS或ODS中获取所需数据清除错误的、不符合业务逻辑的数据将业务系统的数据字段对应到EDW的数据字段将数据转换成EDW的模型将转换完毕的数据写入物理数据库数据标准化按照数据的标准,对数据进行统一EDW数据加载数据抽取数据加载数据映射数据转换数据抽取数据加载数据转换数据汇总数据映射从EDW数据存储中获取所需数据将EDW存储模型的字段,对应到DDS存储模型的字段把数据从EDW的ER模型转换为DDS的多维存储模型把EDW中的数据进行一定程度的汇总将转换完毕的数据写入物理数据库DDS数据加载数据抽取数据加载数据转换数据汇总前端业务应用与管理系统前端业务应用与管理系统
应用服务层数据中心存储平台DDSOLAPDMMetaData数据服务层OLAP引擎元数据管理服务管理和审计服务BI引擎统一的安全管理EDS数据访问层代理WebServer浏览器GUI应用程序ODS数据交换服务主数据管理服务应用服务层数据中心存储平台DDSOLAPDMMetaD分析人员使用决策层使用管理人员使用业务人员使用分析型应用企业绩效KPI业务报务、业务应用跨部门、跨业务应用应用层次规划分析人员使用决策层使用管理人员使用业务人员使用分析型应用企业资产分析成本分析业务分类财务
生产销售KPI库存物流……盈利产量原料质检销量市场竞争对手市场生产指标财务指标销售指标库存分析……应用分类资产分析成本分析业务分类财务生产销售KPI库存物流……盈管理系统:元数据管理主数据数据中心
ODS
EDS
DDS
DM应用系统ETL元数据数据源元数据存储平台业务元数据业务指标维度技术元数据维度
ADSETL信息应用系统信息管理元数据ETL日志应用系统日志权限元数据应用平台维护功能业务元数据维护技术元数据维护查询功能分类导航全文检索日志查询权限查询展现功能动态指标解释信息展示血缘关系
OLAP业务指标/需求管理系统:元数据管理主数据数据中心ODSEDSDDS主数据管理主数据管理商务智能工具SOA技术WEB技术实施技术商务智能工具SOA技术WEB技术实施技术实施过程实施过程数据仓库实施方法自下而上从业务数据入手,建立数据模型建立完整的后台数据自上而下完全基于业务需求分析的结果以需求确定后台的数据范围迭代开发整个建设过程分为多个迭代过程从关键的业务入手,即考虑后台数据,又提供前端展现数据仓库实施方法自下而上28项目组架构项目管理组客户方项目组系统架构组ETL组数据建模组应用开发组质量管理组项目管理委员会需求分析组售后与服务组系统测试组28项目组架构系统架构组ETL组数据建模组应用开发组质量管理实施流程项目准备项目规划需求定义技术需求业务需求技术架构源数据分析数据建模应用设计开发ETL设计开发集成测试系统上线运行维护系统演进项目管理实施流程项目准备项目规划需求定义技术业务技术架构源数据分析应实施案例实施案例业务系统数据存储平台数据仓库应用平台应用服务层元数据访问服务
BI工具引擎……报表查询决策支持应用层(Portal)…EDWDDS对外接口数据交换平台数据挖掘与分析系统其它应用元数据管理OLAPADSDM数据中心-案例1历史数据存储(HDS)操作数据存储(ODS)主数据ETL数据质量管理业务系统数据存储平台数据仓库应用平台应用服务层元数据访问服务业务系统数据存储平台数据仓库应用平台应用服务层元数据访问服务
BI工具引擎……报表查询决策支持应用层(Portal)…EDWDDS对外接口数据交换平台数据挖掘与分析系统其它应用元数据管理OLAPADSDM数据仓库-案例2历史数据存储(HDS)操作数据存储(ODS)主数据ETL数据质量管理业务系统数据存储平台数据仓库应用平台应用服务层元数据访问服务业务系统数据存储平台数据仓库应用平台应用服务层元数据访问服务
BI工具引擎……报表查询决策支持应用层(Portal)…EDWDDS对外接口数据交换平台数据挖掘与分析系统其它应用元数据管理OLAPADSDM数据仓库-案例3历史数据存储(HDS)操作数据存储(ODS)主数据ETL数据质量管理业务系统数据存储平台数据仓库应用平台应用服务层元数据访问服务业务系统数据存储平台数据仓库应用平台应用服务层元数据访问服务
BI工具引擎……报表查询决策支持应用层(Portal)…EDWDDS对外接口数据交换平台数据挖掘与分析系统其它应用元数据管理OLAPADSDM数据仓库-案例4历史数据存储(HDS)操作数据存储(ODS)主数据ETL数据质量管理业务系统数据存储平台数据仓库应用平台应用服务层元数据访问服务业务系统数据存储平台数据仓库应用平台应用服务层元数据访问服务
BI工具引擎……报表查询决策支持应用层(Portal)…EDWDDS对外接口数据交换平台数据挖掘与分析系统其它应用元数据管理OLAPADSDM数据仓库-案例5历史数据存储(HDS)操作数据存储(ODS)主数据ETL数据质量管理业务系统数据存储平台数据仓库应用平台应用服务层元数据访问服务业务系统数据存储平台数据仓库应用平台应用服务层元数据访问服务
BI工具引擎……报表查询决策支持应用层(Portal)…EDWDDS对外接口数据交换平台数据挖掘与分析系统其它应用元数据管理OLAPADSDMBI系统-案例6历史数据存储(HDS)操作数据存储(ODS)主数据ETL数据质量管理业务系统数据存储平台数据仓库应用平台应用服务层元数据访问服务追求卓越不断创新客户至上追求卓越不断创新客户至上目录公司的数据仓库架构2数据存储与ETL3厂商的数据仓库架构1前端业务应用与管理系统4实施过程5案例6目录公司的数据仓库架构2数据存储与ETL3厂商的数据仓库架厂商的数据仓库架构厂商的数据仓库架构IBM数据仓库架构IBM数据仓库架构NCR数据仓库架构NCR数据仓库架构SAP的数据仓库SAP的数据仓库两级数据仓库架构两级数据仓库架构公司的数据仓库架构公司的数据仓库架构业务系统数据存储平台数据仓库应用平台应用服务层元数据访问服务
BI工具引擎……报表查询决策支持应用层(Portal)…EDWDDS对外接口数据交换平台数据挖掘与分析系统其它应用元数据管理OLAPADSDM系统总体架构图历史数据存储(HDS)操作数据存储(ODS)主数据ETL数据质量管理业务系统数据存储平台数据仓库应用平台应用服务层元数据访问服务业务系统数据存储平台数据仓库应用平台应用服务层元数据访问服务
BI工具引擎……报表查询决策支持应用层(Portal)…EDWDDS对外接口数据交换平台数据挖掘与分析系统其它应用元数据管理OLAPADS公司实施常用架构历史数据存储(HDS)DMETL数据质量管理业务系统数据存储平台数据仓库应用平台应用服务层元数据访问服务数据存储与ETL数据存储与ETL48数据存储11数据存储主数据存储模型特点ER模型:与业务系统中代码信息存放方式类似数据标准:在企业中采用统一的编码规则和标准保留历史:保留主数据变化的版本主数据存储模型特点ODS数据存储模型特点ER模型:与业务系统中模型基本一致,尽量减少由于数据处理带来的时间消耗实时性:保存实时变化的数据ODS数据存储模型特点EDW数据存储模型特点采用3NF方式建模,采用面向对象的建模方式从业务模型入手,结合实际的业务系统的数据,使用主题域对数据进行抽象建模原则全面性:最终应该能够覆盖到客户经营活动中所有的业务数据抽象性:从业务的角度把客户的所有业务要素抽象成若干对象,采用面向对象的设计方法扩展性:其体系结构应该能够适应客户今后业务的发展高效性:应该注意不要使对象之间的关系过于复杂,导致在实际查询时的速度过慢EDW数据存储模型特点DDS数据存储模型特点星型模型:以维度表和事实表的方式对数据进行组织和存放面向需求:从满足应用需求的角度进行设计,从中找出维度,维和分析变量粒度较粗:从明细数据汇总得到DDS数据存储模型特点数据抽取数据加载数据映射数据转换数据清洗从HDS或ODS中获取所需数据清除错误的、不符合业务逻辑的数据将业务系统的数据字段对应到主数据的数据字段将数据转换成主数据的模型将转换完毕的数据写入物理数据库数据标准化按照数据的标准,对数据进行统一主数据加载数据抽取数据加载数据映射数据转换数据抽取数据加载数据映射数据转换数据清洗从HDS或ODS中获取所需数据清除错误的、不符合业务逻辑的数据将业务系统的数据字段对应到EDW的数据字段将数据转换成EDW的模型将转换完毕的数据写入物理数据库数据标准化按照数据的标准,对数据进行统一EDW数据加载数据抽取数据加载数据映射数据转换数据抽取数据加载数据转换数据汇总数据映射从EDW数据存储中获取所需数据将EDW存储模型的字段,对应到DDS存储模型的字段把数据从EDW的ER模型转换为DDS的多维存储模型把EDW中的数据进行一定程度的汇总将转换完毕的数据写入物理数据库DDS数据加载数据抽取数据加载数据转换数据汇总前端业务应用与管理系统前端业务应用与管理系统
应用服务层数据中心存储平台DDSOLAPDMMetaData数据服务层OLAP引擎元数据管理服务管理和审计服务BI引擎统一的安全管理EDS数据访问层代理WebServer浏览器GUI应用程序ODS数据交换服务主数据管理服务应用服务层数据中心存储平台DDSOLAPDMMetaD分析人员使用决策层使用管理人员使用业务人员使用分析型应用企业绩效KPI业务报务、业务应用跨部门、跨业务应用应用层次规划分析人员使用决策层使用管理人员使用业务人员使用分析型应用企业资产分析成本分析业务分类财务
生产销售KPI库存物流……盈利产量原料质检销量市场竞争对手市场生产指标财务指标销售指标库存分析……应用分类资产分析成本分析业务分类财务生产销售KPI库存物流……盈管理系统:元数据管理主数据数据中心
ODS
EDS
DDS
DM应用系统ETL元数据数据源元数据存储平台业务元数据业务指标维度技术元数据维度
ADSETL信息应用系统信息管理元数据ETL日志应用系统日志权限元数据应用平台维护功能业务元数据维护技术元数据维护查询功能分类导航全文检索日志查询权限查询展现功能动态指标解释信息展示血缘关系
OLAP业务指标/需求管理系统:元数据管理主数据数据中心ODSEDSDDS主数据管理主数据管理商务智能工具SOA技术WEB技术实施技术商务智能工具SOA技术WEB技术实施技术实施过程实施过程数据仓库实施方法自下而上从业务数据入手,建立数据模型建立完整的后台数据自上而下完全基于业务需求分析的结果以需求确定后台的数据范围迭代开发整个建设过程分为多个迭代过程从关键的业务入手,即考虑后台数据,又提供前端展现数据仓库实施方法自下而上65项目组架构项目管理组客户方项目组系统架构组ETL组数据建模组应用开发组质量管理组项目管理委员会需求分析组售后与服务组系统测试组28项目组架构系统架构组ETL组数据建模组应用开发组质量管理实施流程项目准备项目规划需求定义技术需求业务需求技术架构源数据分析数据建模应用设计开发ETL设计开发集成测试系统上线运行维护系统演进项目管理实施流程项目准备项目规划需求定义技术业务技术架构源数据分析应实施案例实施案例业务系统数据存储平台数据仓库应用平台应用服务层元数据访问服务
BI工具引擎……报表查询决策支持应用层(Portal)…EDWDDS对外接口数据交换平台数据挖掘与分析系统其它应用元数据管理OLAPADSDM数据中心-案例1历史数据存储(HDS)操作数据存储(ODS)主数据ETL数据质量管理业务系统数据存储平台数据仓库应用平台应用服务层元数据访问服务业务系统数据存储平台数据仓库应用平台应用服务层元数据访问服务
BI工具引擎……报表查询决策支持应用层(Portal)…EDWDDS对外接口数据交换平台数据挖掘与分析系统其它应用元数据管理OLAPADSDM数据仓库-案例2历史数据存储(HDS)操作数据存储(ODS)主数据ETL数据质量管理业务系统数据存储平台数据仓库应用平台应用服务层元数据访问服务业务系统数据存储平台数据仓库应用平台应用服务层元数据访问服务
BI工具引擎……报表查询决策支持应用层(Portal)…EDWDDS对外接口数据
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 【正版授权】 IEC 60512-20-3:2010 EN-FR Connectors for electronic equipment - Tests and measurements - Part 20-3: Fire hazard tests - Test 20c: Flammability,glow-wire
- 【正版授权】 IEC 60424-3:1999 EN-FR Ferrite cores - Guide on the limits of surface irregularities - Part 3: ETD-cores and E-cores
- 【正版授权】 IEC 60383-1:2023 EN-FR Insulators for overhead lines with a nominal voltage above 1000 V - Part 1: Ceramic or glass insulator units for a.c. systems - Definitions,test methods and ac
- 【正版授权】 IEC 60371-3-8:1995 EN-FR Insulating materials based on mica - Part 3: Specifications for individual materials - Sheet 8: Mica paper tapes for flame-resistant security cables
- 【正版授权】 IEC 60368-1:2000/AMD1:2004 EN-D Amendment 1 - Piezoelectric filters of assessed quality - Part 1: Generic specification
- 【正版授权】 IEC 60364-1:2005 EN-FR Low-voltage electrical installations - Part 1: Fundamental principles,assessment of general characteristics,definitions
- 【正版授权】 IEC 60357:2002/AMD1:2006 EN-FR Amendment 1 - Tungsten halogen lamps (non-vehicle) - Performance specifications
- 【正版授权】 IEC 60335-2-98:2023 RLV EN Household and similar electrical appliances - Safety - Part 2-98: Particular requirements for humidifiers
- 买房资金赠与合同范本
- 外贸中合同范本
- 科研伦理与学术规范期末考试1题库
- 2024年四川省自贡市中考数学试卷真题(含答案逐题解析)
- 2024年上海市普通高中学业水平等级性考试地理试卷(含答案解析)
- 酿酒工厂设计概论智慧树知到期末考试答案章节答案2024年齐鲁工业大学
- 2024年度保密教育线上培训考试题库及答案
- 中高端酒店销售方案(2篇)
- 物理与文化智慧树知到期末考试答案章节答案2024年山东大学
- 2024年江苏省南通张謇文化旅游景区招聘3人历年公开引进高层次人才和急需紧缺人才笔试参考题库(共500题)答案详解版
- 4.1 走向生态文明(教学设计)高二地理同步备课系列(人教版2019选择性必修3)
- 湖南省长沙市宁乡市2022-2023学年五年级下学期期末素养检测英语试卷
- 【公文基础】公文写作培训公文写作格式以及要点
评论
0/150
提交评论