复旦商务智能概论数据仓库DaaWarehouse_第1页
复旦商务智能概论数据仓库DaaWarehouse_第2页
复旦商务智能概论数据仓库DaaWarehouse_第3页
复旦商务智能概论数据仓库DaaWarehouse_第4页
复旦商务智能概论数据仓库DaaWarehouse_第5页
已阅读5页,还剩55页未读 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

数据仓库DataWarehouse

赵卫东博士

复旦大学软件学院

1事务型处理事务型处理:即操作型处理,是指对数据库的联机操作处理OLTP。事务型处理是用来协助企业对响应事件或事务的日常商务活动进行处理。它是事件驱动、面向应用的,通常是对一个或一组记录的增、删、改以及简单查询等(大量、简单、重复和例行性)。在事务型处理环境中,数据库要求能支持日常事务中的大量事务,用户对数据的存取操作频率高而每次操作处理的时间短。2分析型处理分析型处理:用于管理人员的决策分析,例如DSS、EIS和多维分析等。它帮助决策者分析数据以察看趋向、判断问题。分析型处理经常要访问大量的历史数据,支持复杂的查询。分析型处理过程中经常用到外部数据,这部分数据不是由事务型处理系统产生的,而是来自于其他外部数据源。3事务型处理数据和分析型处理数据的区别特性OLTPOLAP特征面向用户功能DB设计数据汇总视图工作单位存取关注操作访问记录数用户数DB规模优先度量操作处理事务办事员、DBA、数据库专业人员日常操作基于E-R,面向应用当前的;确保最新原始的,高度详细详细,一般关系短的、简单事务读/写数据进入主关键字上索引/散列数十个数千100MB到GB高性能,高可用性事务吞吐量信息处理分析知识工人(如经理、主管、分析员)长期信息需求,决策支持星形/雪花,面向主题历史的;跨时间维护汇总的,统一的汇总的,多维的复杂查询大多为读信息输出大量扫描数百万数百100GB到TB高灵活性,端点用户自治查询吞吐量,响应时间4数据库系统的局限性数据库适于存储高度结构化的日常事务细节数据,而决策型数据多为历史性、汇总性或计算性数据,多表现为静态数据,不需直接更新,但可周期性刷新。决策分析型数据是多维性,分析内容复杂。在事务处理环境中,决策者可能并不关心具体的细节信息,在决策分析环境中,如果这些细节数据量太大一方面会严重影响分析效率,另一方面这些细节数据会分散决策者的注意力。DB2OracleSQLServerExcelspreadsheetXMLdocumentInternetSSLclientapplicationsBrowsersDatamanagementlayerApplicationlayerWebservers5数据库系统的局限性(续)当事务型处理环境和分析型处理环境在同一个数据库系统中,事务型处理对数据的存取操作频率高,操作处理的时间短,而分析型处理可能需要连续运行几个小时,从而消耗大量的系统资源。决策型分析数据的数据量大,这些数据有来自企业内部的,也有来自企业外部的。来自企业外部的数据又可能来自不同的数据库系统,在分析时如果直接对这些数据操作会造成分析的混乱。对于外部数据中的一些非结构化数据,数据库系统常常是无能为力。6多库系统的限制可用性:源站点或通信网络故障将导致系统瘫痪,源站点不能通过网络在线联入多库系统。响应速度:全局查询多级转换和通信传输,延迟和低层效率影响响应速度。系统性能:总体性能取决于源站点中性能最低的系统,影响系统性能的发挥;系统开销:每次查询要启动多个局部系统,通信和运行开销大。7实施数据仓库的条件数据积累已达到一定规模面临激烈的市场竞争在IT方面的资金能得到保障

8数据仓库的发展自从NCR公司为WalMart建立了第一个数据仓库。1996年,加拿大的IDC公司调查了62家实现了数据仓库的欧美企业,结果表明:数据仓库为企业提供了巨大的收益。早期的数据仓库大都采用当时流行的客户/服务器结构。近年来分布式对象技术飞速发展,整个数据仓库体系结构从功能上划分为若干个分布式对象,这些分布式对象不仅可以直接用于建立数据仓库,还可以在应用程序中向用户提供调用的接口。IBM的实验室在数据仓库方面已经进行了10多年的研究,并将研究成果发展成为商用产品。其他数据库厂商在数据仓库领域也纷纷提出了各自的解决方案。9数据仓库(DataWarehouse)数据仓库用来保存从多个数据库或其它信息源选取的数据,并为上层应用提供统一用户接口,完成数据查询和分析。支持整个企业范围的主要业务来建立的,主要特点是,包含大量面向整个企业的综合信息及导出信息。数据仓库是作为DSS服务基础的分析型DB,用来存放大容量的只读数据,为制定决策提供所需要的信息。数据仓库是与操作型系统相分离的、基于标准企业模型集成的、带有时间属性的、面向主题及不可更新的数据集合。以1992年WHInmon出版《BuildingtheDataWarehouse》为标志,数据仓库发展速度很快。WHInmon被誉为数据仓库之父。WHInmon对数据仓库所下的定义:数据仓库是面向主题的、集成的、稳定的、随时间变化的数据集合,用以支持管理决策的过程。10面向主题数据仓库中中的数据是是按照各种种主题来组组织的。主主题在数据据仓库中的的物理实现现是一系列列的相关表表,这不同同于面向应应用环境。。如保险公公司按照应应用组织可可能是汽车车保险、生生命保险、、伤亡保险险,而数据据仓库是按按照客户、、政策、保保险金和索索赔来组织织数据。面向主题的的数据组织织方式可在在较高层次次上对分析析对象的数数据给出完完整、一致致的描述,,能完整、、统一的刻刻画各个分分析对象所所涉及的企企业的各项项数据以及及数据之间间的联系,,从而适应应企业各个个部门的业业务活动特特点和企业业数据的动动态特征,,从根本上上实现数据据与应用的的分离。11集成性数据仓库中中的数据是是从原有分分散的源数数据库中提提取出来的的,其每一一个主题所所对应的源源数据在原原有的数据据库中有许许多冗余和和不一致,,且与不同同的应用逻逻辑相关。。为了创建建一个有效效的主题域域,必须将将这些来自自不同数据据源的数据据集成起来来,使之遵遵循统一的的编码规则则。12稳定性数据仓库内内的数据有有很长的时时间跨度,,通常是5-10年年。数据仓库中中的数据反反映的是一一段时间内内历史数据据的内容,,是不同时时点的数据据库快照的的集合,以以及基于撰撰写快照进进行统计、、综合和重重组的导出出数据。主主要供企业业高层决策策分析之用用,所涉及及的数据操操作主要是是查询,一一般情况下下并不进行行修改操作作.数据仓库中中的数据是是不可实时时更新的,,仅当超过过规定的存存储期限,,才将其从从数据仓库库中删除,,提取新的的数据经集集成后输入入数据仓库库。13时变性时变性:许许多商业分分析要求对对发展趋势势做出预测测,对发展展趋势的分分析需要访访问历史数数据。因此此数据仓库库必须不断断捕捉OLTP数据据库中变化化的数据,,生成数据据库的快照照,经集成成后增加到到数据仓库库中去;另另外数据仓仓库还需要要随时间的的变化删去去过期的、、对分析没没有帮助的的数据,并并且还需要要按规定的的时间段增增加综合数数据。14支持管理决决策数据仓库支支持OLAP(联机机分析处理理)、数据据挖掘和决决策分析。。OLAP从数据仓仓库中的综综合数据出出发,提供供面向分析析的多维模模型,并使使用多维分分析的方法法从多个角角度、多个个层次对多多维数据进进行分析,,使决策者者能够以更更加自然的的方式来分分析数据。。数据挖掘掘则以数据据仓库和多多维数据库库中的数据据为基础,,发现数据据中的潜在在模式和进进行预测。。因此,数数据仓库的的功能是支支持管理层层进行科学学决策,而而不是事务务处理。15BI系统VS决策盲盲点某大型国有有企业老总总当他查看看近十年企企业的生产产和运营数数据时,手手边得到了了各种各样样不同的数数据报表。。这些数据据报表大致致可以分成成两种类型型:一种是是两年前、、即ERP上线之前的的,这是一一些简单、、杂乱而又又枯燥的数数字;另一一种是有了了ERP以后的,数数据变得清清楚而有条条理起来,,同时还有有来自ERP、CRM、SCM以及计费业业务等不同同应用的数数据和各种种分析报告告。在仔细细查看这些些报表之后后,这位国国企老总惊惊讶地发现现,不同的的系统可以以得出截然然相反的两两种结论。。例如某一一产品,它它的动态成成本反映在在ERP系统和CRM、SCM系统里面相相差很大,,如果引用用ERP和CRM里面的数据据,它就是是一款很成成功、销量量很好的产产品,但在在SCM里面来看,,它的采购购和物流成成本过高,,导致了这这款看起来来很成功的的产品实际际上是一笔笔赔钱的买买卖。16BI系统VS决策盲盲点(续)其实从这些些来自不同同系统的数数据基础产产生不同的的判断很正正常,因为为这些系统统并不会去去周密地““思考”在在自己“职职责”之外外的事情。。这样就给给企业的领领导提交了了相当多顾顾此失彼的的分析报告告,结果就就是导致了了许多市场场决策上的的混乱和失失误。把企业的内内部数据和和外部数据据(企业内内部数据就就是指上述述通过业务务系统SCM、ERP、CRM等收集到的的数据,这这些数据可可能在不同同的硬件、、数据库、、网络环境境中,为不不同的业务务部门服务务。外部数数据是市场场信息和外外部竞争对对手的信息息)。进行行有效的集集成,形成成直观的、、易于理解解的信息,,再进行分分析和思考考,为企业业的各层决决策及分析析人员使用用。17数据仓库的的技术要求求复杂分析的的高性能体体现:涉及及大量数据据的聚集、、综合等,,在进行复复杂查询时时经常会使使用多表的的联接、累累计、分类类、排序等等操作。对提取出来来的数据进进行集成::数据仓库库中的数据据是从多个个应用领域域中提取出出来的,在在不同的应应用领域和和不同的数数据库系统统中都有不不同的结构构和形式,,所以如何何对数据进进行集成也也是构建数数据仓库的的一个重要要方面。对进行高层层决策的最最终用户的的界面支持持:提供各各种分析应应用工具。。18数据仓库系系统的结构构19数据仓库系系统的结构构(2)20数据仓库系系统的结构构(3)21数据仓库流流程22TivoliStorageManagerFileEditViewHelpToolsBackForwardStopHomeSearchRefreshxHistoryMailPrintAddress:http://my_InternetWelcome

CarolJonesCustomizeHomePageEditLogoutx!!!!MyWeatherclickoncityforextendedforecastorsearchbycityorzipcodeParisNewYork73F91FgetforecastPastDueServiceRequestsSalescostanalysis20000150001000050002Q003Q004Q001Q01Centralnextprior?BancoAzul-Today'sNewsCorporateNewsCompetitorNewsCEOChristophDermondcommentsonstocksplitMinimizingriskinB2BrelationsSpecialemployeecreditoffersNewPrivacyExecutivePostnamedSomeCotalkswithEvilEmpireBanksparksmergerrumorsToughColosesfightwithBancoAzulfor$821MindustrialloanAsianinvasionintoretailsecuritiesBancoAzul07/02/200119:29:20WPSv1.2-TheCuttingEdgeWebSpherePortalServerContentManagerFederatedSearchKPIsIntelligentMinerQMF,BO,Brio,etc.DB2OLAPDB2DB2DataWarehousevirtualtablesReports&ContentMartsIBMIBMDB2WarehouseManagerProductiondatasourcePurchasedDataERP,CRM,SCM,datasourcesRedBrickIBM信信息分析框框架23数据仓库系系统的组成成(1)源数据:数数据仓库中中的数据来来源于多个个数据源,,它不仅可可以是企业业内部的关关系型数据据库,还包包括非传统统数据,如如文件、HTML文文档等。数据仓库管管理系统::元数据库及及元数据管管理部件::元数据库库用来存储储由定义部部件生成的的关于源数数据、目标标数据、提提取规则、、转换规则则以及源数数据与数据据仓库之间间的映射信信息等。数据转换部部件:该部部件把数据据从源数据据中提取出出来,依定定义部件的的规则将不不同数据格格式的源数数据转换成成数据仓库库的数据格格式并装载载进数据仓仓库。数据集成部部件:该部部件根据定定义部件的的规则、统统一各源数数据的编码码规则,并并净化数据据,根据元元数据中定定义的数据据组织形式式对数据进进行汇总、、聚合计算算。数据据仓仓库库管管理理部部件件::它它主主要要用用于于维维护护数数据据仓仓库库中中的的数数据据,,备备份份、、恢恢复复数数据据以以及及管管理理数数据据的的安安全全权权限限问问题题。。24数据据仓仓库库系系统统的的组组成成((2))数据据仓仓库库前前端端工工具具集集查询询/报报表表工工具具::以以图图形形化化方方式式和和报报表表方方式式显显示示数数据据,,帮帮助助了了解解数数据据的的结结构构、、关关系系以以及及动动态态性性。。OLAP工工具具::通通过过对对信信息息的的多多种种可可能能的的观观察察形形式式进进行行快快速速、、一一致致和和交交互互性性的的存存取取,,便便于于用用户户对对数数据据进进行行深深入入的的分分析析和和观观察察。。数据据挖挖掘掘工工具具::从从大大量量数数据据中中挖挖掘掘出出具具有有规规律律性性的的知知识识,,以以及及数数据据之之间间的的内内在在联联系系。。前端端开开发发工工具具::提提供供用用户户编编程程接接口口,,便便于于在在现现有有系系统统的的基基础础上上进进行行二二次次开开发发,,增增强强系系统统的的伸伸缩缩性性。。数据据仓仓库库:在在数数据据仓仓库库系系统统中中,,数数据据仓仓库库是是一一个个数数据据存存储储集集合合,,它它的的存存储储形形式式通通常常有有多多维维数数据据库库,,关关系系型型数数据据库库及及其其他他存存储储方方式式。。25数据据转转换换统一一数数据据编编码码::数数据据仓仓库库中中的的数数据据从从各各个个数数据据源源提提取取出出来来的的,,尽尽管管经经过过转转换换后后数数据据格格式式已已经经统统一一,,但但数数据据的的编编码码、、描描述述在在各各个个源源系系统统中中都都有有很很大大的的区区别别。。为为了了改改进进数数据据仓仓库库中中数数据据质质量量,,提提高高数数据据仓仓库库中中数数据据的的可可用用性性,,必必须须统统一一数数据据编编码码。。本本系系统统中中编编码码转转换换主主要要包包括括::日期期格格式式转转换换::大大多多数数业业务务环环境境中中有有许许多多不不同同的的日日期期和和时时间间类类型型,,所所以以,,几几乎乎每每个个数数据据仓仓库库的的实实现现都都必必须须将将日日期期和和时时间间变变换换成成标标准准的的数数据据格格式式。。数数据据仓仓库库必必须须用用单单一一的的模模式式规规定定日日期期和和时时间间信信息息。。测量量单单位位的的转转换换::数数据据仓仓库库中中对对于于数数值值型型字字段段应应保保持持一一致致的的单单位位。。在在元元数数据据库库中中创创建建表表Units和和UnitTypes来来表表示示各各种种单单位位的的换换算算关关系系。。表表UnitTypes记记录录了了数数据据仓仓库库系系统统中中的的单单位位类类型型,,初初始始元元数数据据库库中中共共分分六六种种单单位位类类型型::时时间间单单位位、、货货币币单单位位、、重重量量单单位位、、长长度度单单位位、、面面积积单单位位、、体体积积单单位位。。在在表表Units中中记记录录了了单单位位名名、、单单位位类类型型以以及及同同类类型型单单位位之之间间的的相相互互转转换换关关系系。。26转换换器器的的设设计计与与实实现现转换换器器的的功功能能::数数据据结结构构转转换换和和数数据据类类型型转转换换。。从数数据据源源中中提提取取数数据据并并转转换换格格式式的的过过程程::先先将将各各类类数数据据库库系系统统中中不不同同格格式式的的数数据据转转换换成成文文本本文文件件,,然然后后再再利利用用批批拷拷贝贝命命令令将将数数据据导导入入目目标标系系统统中中。。以以使使数数据据仓仓库库获获得得新新的的数数据据提提供供决决策策分分析析使使用用。。数据据准准备备区区的的使使用用::首首先先从从源源数数据据中中提提取取数数据据,,转转换换成成数数据据仓仓库库所所要要求求的的格格式式后后存存储储在在数数据据仓仓库库的的一一个个称称为为数数据据准准备备区区的的缓缓冲冲区区中中。。在在该该区区域域中中,,可可以以暂暂时时存存储储原原始始数数据据,,然然后后由由集集成成器器对对数数据据进进行行清清理理、、集集成成后后再再装装载载到到数数据据仓仓库库中中。。源数据数据准备区数据仓库27数据据净净化化当数数据据从从源源数数据据库库中中提提取取到到数数据据准准备备区区后后,,必必须须先先进进行行数数据据净净化化才才可可以以装装载载到到数数据据仓仓库库中中去去。。数数据据净净化化主主要要指指对对数数据据字字段段的的有有效效值值检检验验。。有有效效值值的的检检验验通通常常包包括括::范范围围检检验验、、枚枚举举字字段段取取值值和和相相关关检检验验。。范范围围检检验验要要求求数数据据保保证证落落在在预预期期的的范范围围之之内内,,通通常常对对数数据据范范围围和和日日期期范范围围进进行行检检验验,,如如对对任任何何在在指指定定范范围围之之外外的的日日期期的的发发票票都都应应删删除除。。枚枚举举字字段段取取值值指指对对一一个个记记录录在在该该字字段段的的取取值值,,若若不不在在指指定定的的值值中中,,则则应应该该删删除除。。相相关关检检验验要要求求将将一一个个字字段段中中的的值值与与另另外外一一个个字字段段中中的的值值进进行行相相关关检检验验,,即即在在数数据据库库中中某某个个字字段段应应与与另另一一个个字字段段形形成成外外键键约约束束。。28监控器捕捉数数据变化的途途径数据仓库提供供的是离线数数据,与源源数据存在时时间差。时标方法:指指在数据库中中的数据设一一个时标,如如果新插入或或更新一个数数据记录,在在记录中插入入新的时标或或加上更新时时的时标,然然后根据时标标判断哪些数数据是变化的的,并把变化化的数据追加加到数据仓库库中去。DELTA文文件:该文件件是由应用产产生的,并记记录了应用所所改变的所有有内容。利用用DELTA文件记录数数据的变化,,不需要扫描描整个数据库库,所以效率率较高,但生生成的DELTA文件的的应用并不普普遍。映象文件:在在上次提取数数据库数据到到数据仓库之之后及本次提提取数据库数数据之前,对对数据库分别别作一次快照照,然后通过过比较两幅快快照的不同来来确定要追加加的数据。这这种方法需要要占用大量的的系统资源,,对系统的性性能影响比较较大。日志文件:由由于日志文件件是数据库的的固有机制,,所以它对系系统性能的影影响比较小,,另外它还有有DELTA文件的优点点,提取数据据只局限于日日志文件而不不用扫描整个个数据库。所所以日志文件件是最可行的的一种方法。。29信息集成服务务CopyrightIBMCorporation30IBM的解决决方案31元数据数据仓库的所所有数据都要要通过元数据据来管理和控控制。元数据据描述关于源源数据的说明明,包括源数数据的来源、、源数据的名名称、源数据据的定义、源源数据的创建建时间等对源源数据进行管管理所需要的的信息。源数据的来源源说明源数据据是从哪个系系统、哪个历历史数据、哪哪个办公数据据、哪个Web页、哪个个外部系统抽抽取而来。源源数据说明源源数据在数据据仓库的作用用、用途、数数据类型和长长度等。32元数据(2)元数据:是用用来描述数据据的数据。它它描述和定位位数据组件、、它们的起源源及它们在数数据仓库进程程中的活动;;关于数据和和操作的相关关描述(输入入、计算和输输出)。元数数据可用文件件存在元数据据库中。元数数据反映数据据仓库中的数数据项是从哪哪个特定的数数据源填充的的,经过哪些些转换、集成成过程。要有效的管理理数据仓库,,必须设计一一个描述能力力强、内容完完善的元数据据。33元数据管理器器客户端登录::负责接收客客户端登录信信息并进行用用户权限检查查。元数据管理器器的用户接口口:以接口形形式向用户提提供对元数据据增、删、、改、查的服服务,包括::源数据信息息、数据仓库库信息、星型型模型信息、、维信息、维维表字段信息息、事实表字字段信息、映映射事实表字字段信息、映映射维表字段段信息、链接接事实表与维维表字段的信信息。元数据的存储储:元数据管管理器中的元元数据存储程程序负责接收收由接口程序序传递来的关关于对元数据据进行增加、、修改和删除除等信息,并并根据所提供供的参数执行行存储过程,,将元数据的的有关信息保保存于服务器器端的元数据据库中。34元数据管理器器的设计与实实现元数据的作用用:定义数据据仓库的作用用,指明数据据仓库中信息息的内容和位位置,刻画数数据的抽取和和转换规则,存储与数据据仓库主题有有关的各种商商业信息。在客户端提供供图形化界面面工具。例如如,用户想在在多维模型中中加入一维或或者在某一维维中加入维元元素,不仅可可以通过图形形化界面工具具完成而且可可以在用户自自已编写的应应用程序中调调用应用程序序接口函数,,修改后的结结果将记入元元数据库中。。然后系统将将根据元数据据库中的新内内容进行数据据的追加。35操作数据存储储Businessdatawarehouse业务系统(Operationalsystems)数据集市(Datamarts)操作数据存储(Operationaldatastore)元数据(MetaData)36数据仓仓库中中的数数据组组织高度综合级轻度综合级当前综合级早期细节级多级数数据37数据仓仓库的的数据据模型型

星型图模型

物理数据模型概念模型逻辑模型物理模型面向用户的需求细化层次更详细的技术细节信息包图38数据仓仓库建建模和和设计计Processofbuildinganabstractmodelforthedata,whichisstoredinthedataandrepresentsthedatawarehousecontent.39概念模模型由于大大多数数商务务数据据是多多维的的,但但传统统的数数据模模型表表示三三维以以上的的数据据有一一定困困难。。概念念模型型简化化了这这个过过程并并且允允许用用户与与开发发者和和其他他用户户建立立联系系:确定系系统边边界::决策策类型型、需需要的的信息息、原原始信信息确定主主题域域及其其内容容:主主题域域的公公共键键码、、联系系、属属性组组确定维维度::如时时间维维、销销售位位置维维、产产品维维、组组别维维等确定类类别::相应应维的的详细细类别别确定指指标和和事实实:用用于进进行分分析的的数值值化信信息40实例〖例〗〗试画画出销销售分分析的的概念念模型型。解:首首先根根据销销售分分析的的实际际需求求,确确定信信息包包的维维度、、类别别和指指标与与事实实:(1))维度度:包包括日日期维维、销销售地地点维维、销销售产产品维维、年年龄组组别维维、性性别维维等。。(2))类别别:确确定各各维的的详细细类别别,如如:日日期维维包括括年((10)、、季度度(40))、月月(120)等等类别别,括括号中中的数数字分分别指指出各各类别别的数数量;;销售售地点点维包包括国国家((15)、、区域域(45))、城城市((280))、区区(880)、、商店店(2000))等类类别,,括号号中的的数字字同样样分别别指出出各类类别的的数量量;类类似地地,可可以确确定销销售产产品、、年龄龄组别别维、、性别别维等等的详详细类类别。。(3))度量量和事事实::确定定用于于进行行分析析的数数值化化信息息,包包括预预测销销售量量、实实际销销售量量和预预测偏偏差等等。41销售分分析的的概念念模型型日期销售地点销售产品年龄组别性别年(10)国家(15)产品类(6)年龄组(8)性别组(2)季度(40)区域(45)产品组(48)月(120)城市(280)产品(240)区(880)商店(2000)度量和事实:预测销售量、实际销售量、预测偏差信息包包:销售分分析维度类别42概念模模型图图实例例43逻辑模模型星型图图:数数据仓仓库的的数据据模型型的第第二层层是向向最终终的数数据结结构添添加某某些细细节的的星型型图模模型。。与传传统的的关系系模型型相比比,星星型图图模型型简化化了用用户分分析所所需的的关系系,从从支持持决策策的角角度去去定义义数据据实体体,更更适合合大量量复杂杂查询询。星形图图包括括了三三种逻逻辑实实体::指标、、维度度和详详细类类别维表的的本质质是多多维分分析空空间在在某个个角度度上的的投影影,多多个维维表共共同建建立一一个多多维分分析空空间。。44sales数据据仓库库的雪雪花模模式45InformationModellingofSalesInformationDemandUniqueIdentifierAttributeStrongEntityType1-nRelationship0-nRelationshipDerivedAttributeWeakEntityType46DWLayerandtheMappingtoInformationModelDataWarehouseLayer(logicallayer)InformationModel(conceptuallayer)MapInformationObjectsToDatabasefields-RenameObjectstoUserfriendlynames-Calculatefields-Defineobjectdisplayattributes-Convertcurrenciesetc….47星型模模型例例子48物理数数据模模型物理数数据模模型::数据据模型型的第第三层层,它它是星星型图图模型型在数数据仓仓库中中的实实现,,如物物理的的存取取方式式、数数据存存储结结构等等。在物理理设计计时,,常常常要按按数据据的重重要程程度、、使用用频率率以及及对响响应时时间的的要求求进行行分类类,并并将不不同类类的数数据分分别存存储在在不同同的存存储设设备中中。重重要程程度高高、经经常存存取并并对响响应时时间高高的数数据就就存放放在高高速存存储设设备上上,如如硬盘盘;存存取频频率低低或对对存取取响应应时间间要求求低的的数据据则可可以放放在低低速存存储设设备上上。49粒度粒度::对数数据仓仓库中中的数数据综综合程程度高高低的的一个个度量量,它它既影影响数数据仓仓库中中的数数据量量的多多少,,也影影响数数据仓仓库所所能回回答询询问的的种类类。粒度越越小,,综合合程度度越低低,回回答查查询的的种类类越多多;粒粒度度越高高,综综合程程度越越高,,查询询的效效率也也越高高。在数据据仓库库中可可将小小粒度度的数数据存存储在在低速速存储储器上上;大大粒度度的数数据存存储在在高速速存储储器上上。50维度维度::是一一个物物理特特性((如时时间、、地点点、产产品等等),,它是是表达达数据据仓库库中信信息的的一个个基本本途径径,可可作为为标识识数据据的索索引。。通常常的报报表只只包含含有行行和列列两维维,但但在数数据仓仓库中中所存存储的的数据据大多多是用用多维维(三三维或或三维维以上上)视视图表表示的的。例如::一个销销售系系统中中的数数据可可分为为时间间维、、产品品维和和地理理位置置维等等;一个财财务系系统中中的数数据可可分为为时间间维、、支出出维和和收入入维等等;一个企企业决决策支支持系系统中中的数数据可可分为为成本本开支支维、、销售售收入入维、、利润润维、、股票票价值值维等等。51聚合在数据据仓库库技术术中,,每一一维可可包括括多个个层次次,这这些层层次反反过来来可以以向用用户提提供某某一层层次的的数据据。例例如,,在地地理位位置维维中,,由所所有的的街区区组成成了地地区,,由所所有的的地区区组成成了城城市等等。聚聚合就就是指指在维维的不不同层层次内内移动动数据据,从从而构构成维维内不不同层层次的的数据据集,,使用用户不不仅能能够在在一个个维度度内观观察数数据,,而且且能够够在维维度内内的不不同层层次上上观察察数据据。聚合合和和汇汇总总不不同同52分解解与与合合成成分解解与与合合成成是是在在一一个个维维度度内内进进一一步步细细分分数数据据或或将将数数据据按按照照另另一一标标准准组组合合的的过过程程。。例例如如,,当当以以地地理理位位置置维维观观察察数数据据时时,,用用户户可可以以首首先先以以国国家家((如如中中国国))为为单单位位观观察察数数据据,,然然后后可可以以选选择择观观察察某某一一个个地地区区((如如华华东东地地区区))的的数数据据,,接接下下来来可可以以选选择择观观察察某某一一个个省省或或城城市市((如如上上海海))的的数数据据,,这这就就是是数数据据分分解解的的过过程程。。而而合合成成则则是是分分解解的的逆逆过过程程,,例例如如用用户户开开始始以以省省市市为为观观察察对对象象,,接接着着再再以以地地区区、、国国家家等等为为观观察察对对象象,,就就是是一一个个数数据据合合成成的的过过程程。。53数据据仓仓库库的的数数据据组组织织为了了提提高高分分析析和和决决策策的的效效率率和和有有效效性性,,分分析析型型处处理理及及其其数数据据必必须须与与事事务务型型处处理理及及其其数数据据相相分分离离,,把把分分析析型型处处理理所所需需要要的的数数据据从从事事务务型型处处理理环环境境中中提提取取出出来来,,按按照照分分析析型型处处理理的的要要求求进进行行重重新新组组织织,,建建立立单单独独的的分分析析处处理理环环境境。。数数据据仓仓库库正正是是构构建建这这种种新新的的分分析析处处理理环环境境而而出出现现的的一一种种数数据据存存储储和和组组织织技技术术。。数据仓

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论