版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
1、1目目 录录公司的数据仓库架构2数据存储与ETL3厂商的数据仓库架构1前端业务应用与管理系统4实施过程5案例62厂商的数据仓库架构厂商的数据仓库架构3IBMIBM数据仓库架构数据仓库架构4NCRNCR数据仓库架构数据仓库架构5SAPSAP的数据仓库的数据仓库6两级数据仓库架构两级数据仓库架构7公司的数据仓库架构公司的数据仓库架构8业务系统业务系统数据存储平台数据存储平台数据仓库应用平台数据仓库应用平台应用服务层元数据访问服务元数据访问服务 BIBI工具引擎工具引擎报表报表查询查询决策支持决策支持应用层(Portal)EDWDDS对外接口对外接口数据交换平台数据交换平台数据挖掘数据挖掘与分析系统
2、与分析系统其它应用其它应用元元数数据据管管理理OLAPADSDM系统总体架构图系统总体架构图历史数据存储(历史数据存储(HDSHDS)操作数据存储(操作数据存储(ODSODS)主数据ETL数据数据质量质量管理管理9业务系统业务系统数据存储平台数据存储平台数据仓库应用平台数据仓库应用平台应用服务层元数据访问服务元数据访问服务 BIBI工具引擎工具引擎报表报表查询查询决策支持决策支持应用层(Portal)EDWDDS对外接口对外接口数据交换平台数据交换平台数据挖掘数据挖掘与分析系统与分析系统其它应用其它应用元元数数据据管管理理OLAPADS公司实施常用架构公司实施常用架构历史数据存储(历史数据存储
3、(HDSHDS)DMETL数据数据质量质量管理管理10数据存储与数据存储与ETLETL11数据存储数据存储12主数据存储主数据存储模型特点模型特点lERER模型:与业务系统中代码信息存放方式类似模型:与业务系统中代码信息存放方式类似l数据标准:在企业中采用统一的编码规则和标准数据标准:在企业中采用统一的编码规则和标准l保留历史:保留主数据变化的版本保留历史:保留主数据变化的版本13ODSODS数据存储数据存储模型特点模型特点lERER模型:与业务系统中模型基本一致,尽量减少由于数据处理带来模型:与业务系统中模型基本一致,尽量减少由于数据处理带来的时间消耗的时间消耗l实时性:保存实时变化的数据实
4、时性:保存实时变化的数据14EDWEDW数据存储数据存储模型特点模型特点l采用采用3NF3NF方式建模,采用面向对象的建模方式方式建模,采用面向对象的建模方式l从业务模型入手,结合实际的业务系统的数据,使用主题域对数据从业务模型入手,结合实际的业务系统的数据,使用主题域对数据进行抽象进行抽象l建模原则建模原则l全面性:最终应该能够覆盖到客户经营活动中所有的业务数据全面性:最终应该能够覆盖到客户经营活动中所有的业务数据l抽象性:从业务的角度把客户的所有业务要素抽象成若干对象,采用面抽象性:从业务的角度把客户的所有业务要素抽象成若干对象,采用面向对象的设计方法向对象的设计方法l扩展性:其体系结构应
5、该能够适应客户今后业务的发展扩展性:其体系结构应该能够适应客户今后业务的发展l高效性:应该注意不要使对象之间的关系过于复杂,导致在实际查询时高效性:应该注意不要使对象之间的关系过于复杂,导致在实际查询时的速度过慢的速度过慢15DDSDDS数据存储数据存储模型特点模型特点l星型模型:以维度表和事实表的方式对数据进行组织和存放星型模型:以维度表和事实表的方式对数据进行组织和存放l面向需求:从满足应用需求的角度进行设计,从中找出维度,维和面向需求:从满足应用需求的角度进行设计,从中找出维度,维和分析变量分析变量l粒度较粗:从明细数据汇总得到粒度较粗:从明细数据汇总得到16 数据抽取 数据加载 数据映
6、射 数据转换 数据清洗从HDS或ODS中获取所需数据 清除错误的、不符合业务逻辑的数据将业务系统的数据字段对应到主数据的数据字段将数据转换成主数据的模型将转换完毕的数据写入物理数据库 数据标准化按照数据的标准,对数据进行统一主数据加载主数据加载17 数据抽取 数据加载 数据映射 数据转换 数据清洗从HDS或ODS中获取所需数据 清除错误的、不符合业务逻辑的数据将业务系统的数据字段对应到EDW的数据字段将数据转换成EDW的模型将转换完毕的数据写入物理数据库 数据标准化按照数据的标准,对数据进行统一EDWEDW数据加载数据加载18 数据抽取 数据加载 数据转换 数据汇总 数据映射从EDW数据存储中
7、获取所需数据 将EDW存储模型的字段,对应到DDS存储模型的字段把数据从EDW的ER模型转换为DDS的多维存储模型把EDW中的数据进行一定程度的汇总将转换完毕的数据写入物理数据库DDSDDS数据加载数据加载19前端业务应用与管理系统前端业务应用与管理系统20n 应用服务层应用服务层数据中心存储平台数据中心存储平台DDSOLAPDMMeta Data数据服务层数据服务层OLAP引擎元数据管理服务管理和审计服务BI引擎统一的安全管理EDS数据访问层代理Web Server浏览器GUI应用程序ODS数据交换服务主数据管理服务21分析人员使用决策层使用管理人员使用业务人员使用分析型应用分析型应用企业绩
8、效企业绩效KPIKPI业务报务、业务应用业务报务、业务应用跨部门、跨业务应用跨部门、跨业务应用应用层次规划应用层次规划22资产分析成本分析 业务分类业务分类财务财务生产生产销售销售KPI库存库存物流盈利产量原料质检销量市场竞争对手市场生产指标财务指标销售指标库存分析应用分类应用分类23n管理系统:元数据管理管理系统:元数据管理主数据数据中心 ODS EDS DDS DM应用系统ETL元数据数据源元数据存储平台业务元数据业务指标维度技术元数据维度 ADSETL信息应用系统信息管理元数据ETL日志应用系统日志权限元数据应用平台维护功能业务元数据维护技术元数据维护查询功能分类导航全文检索日志查询权限
9、查询展现功能动态指标解释信息展示血缘关系 OLAP业务指标/需求24主数据管理主数据管理25实施技术实施技术26实施过程实施过程27数据仓库实施方法数据仓库实施方法自下而上自下而上l从业务数据入手,建立数据模型从业务数据入手,建立数据模型l建立完整的后台数据建立完整的后台数据自上而下自上而下l完全基于业务需求分析的结果完全基于业务需求分析的结果l以需求确定后台的数据范围以需求确定后台的数据范围迭代开发迭代开发l整个建设过程分为多个迭代过程整个建设过程分为多个迭代过程l从关键的业务入手,即考虑后台数据,又提供前端展现从关键的业务入手,即考虑后台数据,又提供前端展现28项目组架构项目组架构项目管理
10、组项目管理组客户方项目组客户方项目组系统架构组系统架构组ETLETL组组数据建模组数据建模组应用开发组应用开发组质量管理组质量管理组项目管理委员会项目管理委员会需求分析组需求分析组售后与服务组售后与服务组系统测试组系统测试组29实施流程实施流程项目准备项目规划需求定义技术需求业务需求技术架构源数据分析数据建模应用设计开发ETL设计开发集成测试系统上线运行维护系统演进项 目 管 理30实施案例实施案例31业务系统业务系统数据存储平台数据存储平台数据仓库应用平台数据仓库应用平台应用服务层元数据访问服务元数据访问服务 BIBI工具引擎工具引擎报表报表查询查询决策支持决策支持应用层(Portal)ED
11、WDDS对外接口对外接口数据交换平台数据交换平台数据挖掘数据挖掘与分析系统与分析系统其它应用其它应用元元数数据据管管理理OLAPADSDM数据中心数据中心- -案例案例1 1历史数据存储(历史数据存储(HDSHDS)操作数据存储(操作数据存储(ODSODS)主数据ETL数据数据质量质量管理管理32业务系统业务系统数据存储平台数据存储平台数据仓库应用平台数据仓库应用平台应用服务层元数据访问服务元数据访问服务 BIBI工具引擎工具引擎报表报表查询查询决策支持决策支持应用层(Portal)EDWDDS对外接口对外接口数据交换平台数据交换平台数据挖掘数据挖掘与分析系统与分析系统其它应用其它应用元元数数
12、据据管管理理OLAPADSDM数据仓库数据仓库- -案例案例2 2历史数据存储(历史数据存储(HDSHDS)操作数据存储(操作数据存储(ODSODS)主数据ETL数据数据质量质量管理管理33业务系统业务系统数据存储平台数据存储平台数据仓库应用平台数据仓库应用平台应用服务层元数据访问服务元数据访问服务 BIBI工具引擎工具引擎报表报表查询查询决策支持决策支持应用层(Portal)EDWDDS对外接口对外接口数据交换平台数据交换平台数据挖掘数据挖掘与分析系统与分析系统其它应用其它应用元元数数据据管管理理OLAPADSDM数据仓库数据仓库- -案例案例3 3历史数据存储(历史数据存储(HDSHDS)
13、操作数据存储(操作数据存储(ODSODS)主数据ETL数据数据质量质量管理管理34业务系统业务系统数据存储平台数据存储平台数据仓库应用平台数据仓库应用平台应用服务层元数据访问服务元数据访问服务 BIBI工具引擎工具引擎报表报表查询查询决策支持决策支持应用层(Portal)EDWDDS对外接口对外接口数据交换平台数据交换平台数据挖掘数据挖掘与分析系统与分析系统其它应用其它应用元元数数据据管管理理OLAPADSDM数据仓库数据仓库- -案例案例4 4历史数据存储(历史数据存储(HDSHDS)操作数据存储(操作数据存储(ODSODS)主数据ETL数据数据质量质量管理管理35业务系统业务系统数据存储平
14、台数据存储平台数据仓库应用平台数据仓库应用平台应用服务层元数据访问服务元数据访问服务 BIBI工具引擎工具引擎报表报表查询查询决策支持决策支持应用层(Portal)EDWDDS对外接口对外接口数据交换平台数据交换平台数据挖掘数据挖掘与分析系统与分析系统其它应用其它应用元元数数据据管管理理OLAPADSDM数据仓库数据仓库- -案例案例5 5历史数据存储(历史数据存储(HDSHDS)操作数据存储(操作数据存储(ODSODS)主数据ETL数据数据质量质量管理管理36业务系统业务系统数据存储平台数据存储平台数据仓库应用平台数据仓库应用平台应用服务层元数据访问服务元数据访问服务 BIBI工具引擎工具引擎报表报表查询查询决策支持决策支持应用层(Po
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 《经济法基础(第二版)》 课件 第八章 金融法律制度
- 战略管理全流程:从市场洞察到战略规划、解码、执行、评估与落地保障的综合性工作坊指南
- 武汉市公安局东湖新技术开发区分局招聘真题
- 张家口康保县公安局招聘警务辅助工作人员笔试真题2022
- 安康市消防救援支队政府专职消防员招聘真题
- 2023年北京市委党校(北京行政学院)招聘专业技术人员考试真题
- 项目管理(计划评审技术)
- 粮食仓库建设标准农学农林牧渔专业资料-粮食仓库建设标准
- 会计继续教育我的考卷
- 第二章信息法-从知识产权信息产权
- 原创 Who's got talent 公开课一等奖课件
- 湘教版必修3《直线的一般方》评课稿
- 评审准则版机动车检验机构质量手册程序文件记录合集
- 小学校本课程-《鱼宝宝的诞生》教学设计学情分析教材分析课后反思
- 小班语言《大树摇一摇》
- 医院不良事件根本原因分析模板
- 化学键教学设计(共7篇)
- 统计用产品分类目录
- 皮肤美容科门诊病历
- JJG 42-2023工作玻璃浮计
- 工程预付款支付申请表
评论
0/150
提交评论