数据仓库与数据挖掘4

第二章数据仓库原理0第二章数据仓库原理

2.1数据仓库定义

2.2数据仓库特征

2.3数据库体系化环境

2.4数据仓构造模式

2.5数据仓库概念结构

2.6数据仓库中的数据组织

小节1

数据仓库中的数据组织粒度分区维度元数据数据仓库的数据组织形式数据仓库的数据追加2.6数据仓库中的数据组织2

数据仓库中的数据组织

粒度分割维度元数据数据仓库的数据组织形式数据仓库的数据追加2.6数据仓库中的数据组织32.6数据仓库中的数据组织为了提高分析和决策的效率和有效性，分析型处理及其数据必须与事务型处理及其数据相分离，把分析型处理所需要的数据从事务型处理环境中提取出来，按照分析型处理的要求进行重新组织，建立单独的分析处理环境。数据仓库正是构建这种新的分析处理环境而出现的一种数据存储和组织技术。42.6数据仓库中的数据组织数据仓库的数据组织结构不同于一般的数据库系统，需要将从原有的业务数据库中获得的基本数据和综合数据分成一些不同的级别。在数据仓库中，数据按照粒度从小到大可分为四个级别：早期细节级、当前细节级、轻度细节级和高度细节级。从事务型处理环境中提取的源数据经过综合后，首先进入当前细节级，并根据需要进行进一步的综合进入轻度综合级或高度5

数据仓库的数据组织结构元数据高度综合级轻度综合级当前细节级早期细节级2.6数据仓库中的数据组织6数据仓库中的数据存在着不同的综合级别早期细节级一般而言，当前细节级的数据对于决策的支持程度随数据发生时间的久远而降低。为了有效控制数据仓库中当前细节级数据的规模，保证系统的运行效率，在设计数据仓库时，通常应结合业务的特点和系统硬件的水平，设定一个合理的时间阀值，将老化的数据转为早期细节级的数据，并以合适的方式进行存储。2.6数据仓库中的数据组织7数据仓库中的数据存在着不同的综合级别当前细节级来自数据源的数据，所反映的都是当前的业务情况，因此在导入数据仓库之后，首先做为当前细节级数据进行存储。这些数据规模较大，实时性强，是数据仓库用户感兴趣的部分。当前细节级的数据一方面依据数据仓库的既定规则，经过处理，得到情况度综合级和高度综合级的数据，另一方面，随时间的推移，逐渐老化，成为历史细节级数据。2.6数据仓库中的数据组织8数据仓库中的数据存在着不同的综合级别轻度综合级为了有效控制数据仓库进行决策支持时的系统开销，对当前细节级的数据，通常以一定的时间段为单位进行综合。这一设定的时间段参数又称为“粒度”。以较小的粒度生成的综合数据，称为“轻度综合级数据”，其规模要远远小于当前细节级数据，因此，可以明显提高决策运算的效率。2.6数据仓库中的数据组织9数据仓仓库中中的数数据存存在着着不同同的综综合级级别高度综综合级级以较长长的时时间段段，即即较大大的粒粒度，，对当当前细细节级级的数数据进进行综综合而而形成成的结结果，，称为为“高高度综综合级级数据据”。。高度综综合级级的数数据内内容十十分精精练，，可以以认为为是一一种““准决决策数数据””。这里，，“高高度””和““轻度度”只只是一一种相相对的的概念念没有有绝对对的界界限。。2.6数数据据仓库库中的的数据据组织织10数据仓仓库的的数据据组织织结构构的一一个例例子高度综综合级级轻度综综合级级当前细细节级级早期细细节级级1990-2004年每月销销售表表1996-2004年每周销销售表表1996-2004年销售情情况表表1990-1995年销售明明细表表数据仓仓库中中的数数据组组织2.6数数据据仓库库中的的数据据组织织11数据仓仓库中中的数数据组组织粒度分割维度元数据据数据仓仓库的的数据据组织织形式式数据仓仓库的的数据据追加加2.6数数据据仓库库中的的数据据组织织12粒度对数据据仓库库中的的数据综综合程程度高高低的的一个个度量量。例如：：一个个简单单的交交易处处于低低粒度度级，，而每每月所所有交交易的的汇总总和处处于一一个高高粒度度级。。粒度会会深刻刻地影影响存存放在在数据据仓库库中的的数据量量的大大小以以及数数据仓仓库所所能够够回答答的查查询类类型。在数数据仓仓库中中的数数据量量大小小与所所能回回答查查询的的细节节级别别之间间要做做出权权衡。。2.6数数据据仓库库中的的数据据组织织13粒度一个顾顾客一一个月月中每每次通通话的的细节节一个顾顾客一一个月月中通通话的的综合合CassSquire上星期期给他他在波波士顿顿的女女友打打过电电话没没有？？能回答答，尽尽管需需要一一定数数量的的检索索根本不不能回回答，，细节节已经经丢失失“上个月月，华华盛顿顿人平平均打打出多多少个个电话话？”由此可可见，，粒度度级别别对于于能回回答什什么问问题和和问答答问题题所需需资源源多少少有深深刻的的影响响。2.6数数据据仓仓库库中中的的数数据据组组织织14粒度度粒度度的的权权衡衡是是固固有有的的，，所所以以大大多多数数企企业业的的最最佳佳解解决决方方法法是是采采用用多多重重粒粒度度的的形形式式低粒粒度度高粒粒度度能回回答答任任何何问问题题效率率低低数据据量量大大不能能回回答答所所有有问问题题效率率高高数据据量量小小2.6数数据据仓仓库库中中的的数数据据组组织织15粒度度分分为为两两种种形形式式：：对数数据据仓仓库库中中的的数数据据的的综综合合程程度度高高低低的的一一个个度度量量粒度度越越小小，，细细节节程程度度越越高高，，综综合合程程度度越越低低粒度度大大小小影影响响数数据据仓仓库库效效率率、、能能回回答答询询问问的的种种类类“张张三三在在某某时时某某地地是是否否给给李李四四打打过过电电话话？？””“张张三三去去年年共共打打了了几几次次长长途途电电话话””“某某地地区区今今年年长长途途与与普普通通电电话话费费用用之之比比””“今今年年长长途途／／普普通通电电话话费费用用增增长长率率””“预预测测未未来来长长途途／／普普通通电电话话费费用用变变化化趋趋势势””数据据仓仓库库是是多多粒粒度度的的，，不不同同的的粒粒度度回回答答不不同同的的查查询询2.6数数据据仓仓库库中中的的数数据据组组织织16粒度度分分为为两两种种形形式式：：样本本数数据据库库在分分析析过过程程中中，，有有许许多多探探索索的的过过程程有有时时分分析析的的目目的的并并不不要要求求精精确确的的结结果果，，只只需需要要得得到到相相对对准准确确、、能能反反映映趋趋势势的的数数据据，，所所以以可可以以提提取取出出样样本本数数据据库库。。样本数据据库的粒粒度：是是根据采样率的的高低来划分的的，采样样粒度不不同的样样本数据据库可以以具有相相同的综综合级别别，它是是按一定的的采样率率从细节节数据库库或轻度度综合数数据库中中提取的的一个子子集。样本数据据库的抽抽取按照照数据的的重要程程度不同同进行，，利用样样本数据据库采集集重要数数据进行行分析既既可提高分析析效率，又有助于于抓住主主要因素素和主要要矛盾。2.6数数据据仓库中中的数据据组织17样本数据据库用处：代代替源数数据进行行模拟分分析，适适用于趋趋势分析析和预测测分析抽样的方方法：随随机抽取取，必要要时可采采用“判判断样本本”优点：高效率，，在启发发式分析析中，源数据量量很大的的情况下下，抽样样数据可可以大大大下降，，分析结果果误差极极小有助于抓抓住主要要因素和和主要矛矛盾2.6数数据据仓库中中的数据据组织18数据仓库库中的数数据组织织粒度分区维度数据仓库库的数据据组织形形式数据仓库库的数据据追加2.6数数据据仓库中中的数据据组织19分区数据分区区是指把把数据分分散到可可独立处处理的分分离物理理单元中中去。数数据分割割后的数数据单元元称为分分片。在数据仓仓库中围围绕分区区的问题题的焦点点不是该该不该分分区而是是如何去去分区的的问题。。因为运运行维护护人员和和设计者者在管理理小的物物理单元元时比管管理大的的享有更更大的灵灵活性。。恰当进行行分区的的好处：：数据装载载、数据据访问、、数据存存档、数据删除除、数据据监控、、数据存存储、当结构相相似的数数据被分分到多个个数据的的物理单单元时，，数据便便被分区区了。任任何给定定的数据据单元属属于且仅仅属于一一个分区区。2.6数数据据仓库中中的数据据组织20分区数据分区区小的数据据单元易易于：重构索引顺序扫描描重组恢复监控19891990198719911988独立管理理的数据据单元可可以有不不同的定定义处理设备备A处理设备备B2.6数数据据仓库中中的数据据组织21分区有多种数数据分区区的标准准：时间业务范围围地理位置置组织单位位所有上述述标准数据分区区的标准准是完全全由开发发人员来来决定的的。然而而，在数数据仓库库环境中中，日期期几乎总总是分区区标准中中的一个个必然组组成部分分。2.6数数据据仓库中中的数据据组织22分区人寿保险险公司选选择时间间和保险险种类，，将数据据分区为为以下物物理单元元：2000年健康索索赔2001年健康索索赔2002年健康索索赔1999年人寿保保险索赔赔2000年人寿保保险索赔赔2001年人寿保保险索赔赔2002年人寿保保险索赔赔2000年意外伤伤亡索赔赔2001年意外伤伤亡索赔赔2002年意外伤伤亡索赔赔2.6数数据据仓库中中的数据据组织23分区数据分区区优点：：提高系统统性能“1996年家家电类商商品销售售的季节节分布如如何？””“每年的的第一季季度商品品销售在在各类商商品上的的分布情情况是怎怎样的？？”提高灵活活性修改数据据定义容容易不同年份份的险种种的定义义描述是是相互独独立2.6数数据据仓库中中的数据据组织24数据仓库库中的数数据组织织粒度分区维度数据仓库库的数据据组织形形式数据仓库库的数据据追加2.6数数据据仓库中中的数据据组织25维度管理人员员可以从从客户的的角度、、产品的的角度或或者从供供应商、、地点、、渠道、、发生的的时间等等角度来来分析决决策问题题。用户的这这些决策策分析角角度或决决策分析析出发点点就是数数据仓库库中的维维。数据仓库库中的数数据就按按照这些些维来组组织，维维也就成成了数据据仓库中中识别数数据的索索引。同时，数数据仓库库中的维维还可以以作为数数据仓库库操作过过程的路路经，这这些路径径通常位位于维的的不同层层次结构构中。2.6数数据据仓库中中的数据据组织26维度是一个物物理特性性（如时时间、地地点、产产品等）），它是是表达数数据仓库库中信息息的一个个基本途途径，可可作为标标识数据据的索引引。通常常的报表表只包含含有行和和列两维维，但在在数据仓仓库中所所存储的的数据大大多是用用多维（（三维或或三维以以上）视视图表示示的。例如：一个销售售系统中中的数据据可分为为时间维维、产品品维和地地理位置置维等；；2.6数数据据仓库中中的数据据组织27一个数据据立方体体，比如如数据仓仓库sales,允许以多多维对数数据进行行建模和和观察。。〖例〗销售分分析：：数据仓仓库sales围绕商商品销销售量量这个个主题题。同同时，，销售售量涉涉及以以下几几个方方面：：time,item,location，branch。有了了这些些方面面的信信息，，能够够记录录商品品的月月销售售，销销售商商品的的地点点。2.6数数据据仓库库中的的数据据组织织28LocationVancouverChicagoTorontoNewYorkTime(季度)ItemQ1Q2Q3Q4605680812927825952102310381431303840051250158085410878188829687468938436238725916829256987281002789784984870家庭娱乐计算机机电话安全2.6数数据据仓库库中的的数据据组织织29维：人人们观观察数数据的的特定定角度度。本例中中涉及及time,item,location。每一个个维都都有一一个表表与之相相关联联，称称为维表。事实：：数据据仓库库的主主题，，数值值度量的的。本本例中中指销销售量。事事实对对应事实表表。2.6数数据据仓库库中的的数据据组织织30ASampleDataCubeTotalannualsalesofTVinU.S.A.DateProductCountryAll,All,AllsumsumTVVCRPC1Qtr2Qtr3Qtr4QtrCanadaMexicosum31基于维的常常见操作上卷：用户在数据据仓库的应应用中，从从较低层次次的数据开开始逐步将将数据按照照不同的层层次进行概概括处理下钻：从数据仓库库中的高层层数据开始始逐步向低低层数据探探索，了解解组成概括括数据的具具体细节2.6数数据仓库库中的数据据组织32数据仓库中中的数据组组织粒度分区维度元数据数据仓库的的数据组织织形式数据仓库的的数据追加加2.6数数据仓库库中的数据据组织33数据仓库的的元数据与与数据库管管理系统中中的数据字字典或数据据目录相似似。数据字典中中保存了逻逻辑数据结结构，文件件和地址、、索引等信信息。数据字典包包含的是关关于数据库库中数据本本身信息的的数据。2.6数数据仓库库中的数据据组织342.6数数据仓库库中的数据据组织352.6数数据仓库库中的数据据组织362.6数数据仓库库中的数据据组织将元数据看看作是电话话黄页。你需要当地地商店的信信息吗？他他们在哪里里，他们的的名字是什什么，他们们的专营是是什么？去去查电话黄黄页吧。电话黄页是是当地部门门信息的一一本字典。。元数据部分分与电话黄黄页的作用用类似，它它是数据仓仓库内容的的一本字典典。37什么是元数数据？假设，用户户希望在运运行查询之之前，了解解数据仓库库中名叫CUSTOMER的表或实体体。在元素据存存储库中与与CUSTOMER相关的信息息内容是什什么？2.6数数据仓库库中的数据据组织38定义：从公司购购买产品或或服务的一一个人或者者一个机构构。备注：客户实体体包含了常常规的、当当前以及过过去的客户户；源系系统统：已已经经完完成成的的产产品品订订单单，，维维护护合合同同，，在在线线销销售售建立立日日期期：1999年1月15日最后后更更新新日日期期：2001年1月21日更新新周周期期：每每周周最后后的的完完全全刷刷新新日日期期：2000年12月29日完全全刷刷新新周周期期：每每6个月月数据据质质量量回回顾顾：2001年1月25日最后后的的副副本本：2001年1月10日计划划归归档档：每每6个月月负责责人人：janebrown2.6数数据据仓仓库库中中的的数数据据组组织织实体体名名称称：：customer别名名：：Account,Client392.6数数据据仓仓库库中中的的数数据据组组织织数据据仓仓库库的的关关键键需需求求：：对数数据据仓仓库库使使用用的的必必要要性性在订订单单处处理理程程序序中中，，用用户户通通过过系系统统提提供供的的图图形形界界面面及及预预定定义义的的报报表表进进行行信信息息访访问问；；使用用数数据据仓仓库库时时，，自自己己从从数数据据仓仓库库中中获获取取信信息息。。需要要使使用用元元数数据据。。402.6数数据据仓仓库库中中的的数数据据组组织织对构构建建数数据据仓仓库库的的必必要要性性数据据抽抽取取和和数数据据转转换换源系系统统及及其其数数据据结结构构数据据仓仓库库的的结结构构及及数数据据内内容容数据据映映射射及及数数据据转转换换我们们需需要要源源系系统统的的元元数数据据，，源源系系统统到到目目标标系系统统的的映映射射，，以以及及数数据据转转换换的的规规则则。。数据据仓仓库库的的数数据据管管理理员员物理理设设计计和和初初始始装装载载定期期的的增增量量装装载载需要要知知道道数数据据库库逻逻辑辑结结构构的的元元数数据据，，数数据据刷刷新新及及装装载载周周期期元元数数据据。。412.6数数据据仓仓库库中中的的数数据据组组织织对管管理理数数据据仓仓库库的的必必要要性性数据据抽抽取取/转换换/装载载如何何处处理理数数据据的的变变化化？？如何何纳纳入入新新的的源源系系统统？？外部部系系统统的的数数据据如何何增增加加新新的的外外部部数数据据源源？？如何何去去掉掉某某些些外外部部数数据据源源？？数据据仓仓库库如何何增增加加新新的的汇汇总总表表？？如何何控控制制查查询询？？422.6数数据据仓仓库库中中的的数数据据组组织织想象象一一下下，，一一个个没没有有标标签签和和文文件件夹夹的的文文件件柜柜。。如果果没没有有元元数数据据，，那那么么数数据据仓仓库库就就像像这这个个文文件件柜柜；；可能能装装满满了了很很多多对对你你的的用用户户、、开开发发者者及及管管理理者者很很有有用用的的信信息息，，但但是是，，却却没没有有任任何何简简便便的的方方法法知知道道这这些些信信息息在在哪哪里里，，这这样样一一来来，，数数据据仓仓库库的的价价值值就就很很有有限限。。432.6数数据仓库中的的数据组织元数据就像一一个神经中枢枢,是关于数数据的数据；；在构建和管理理数据仓库的的过程中，不不同的过程都都会产生一部部分元数据。。一个过程创建建的元数据可可以被其他过过程使用。在数据仓库中中，元数据处处于一个关键键的位置，使使不同的过程程能够相互通通信，是数据据仓库的中枢枢。442.6数数据仓库中的的数据组织数据仓库元素素查询工具报表工具OLAP工具数据挖掘应用程序外部数据数据装载功能转换工具清晰工具抽取工具源系统452.6数数据仓库中的的数据组织元数据扮演了了一个活跃的的角色，辅助助数据仓库处处理过程的自自动化。以下是按顺序序排列的后端端处理过程的的列表数据源结构定定义；数据抽取；初始重格式化化/合并初步数据清洗洗数据转换/合并有效性和质量量检查数据仓库结构构定义创建装载映像像462.6数数据仓库中的的数据组织按照数据仓库库功能区域划划分的元数据据类型数据源数据数据源存储平平台数据源的数据据格式数据源的业务务内容说明；；数据源的所有有者数据源的访问问方法及使用用限制；实施数据抽取取的工具和其其他方法，及及相应的参数数设置；数据抽取的进进度安排；实际数据抽取取的时间、内内容及完成情情况记录；472.6数数据仓库中的的数据组织按照数据仓库库功能区域划划分的元数据据类型数据的预处理理数据抽取、转转换、装载过过程中用到的的各种文件定定义；从数据源到主主题数据实际际视图之间的的数据对应关关系，有关数数据净化的详详细规则；为了满足数据据挖掘需要进进行的数据处处理的详细说说明；维表各属性的的更新策略选选择；代理码的分配配情况；数据聚集的定定义；预处理数据的的备份方法；；482.6数数据仓库中的的数据组织按照数据仓库库功能区域划划分的元数据据类型数据仓库主题题各种数据库表表或视图的定定义数据库分区的的设置；索引的建立方方法；数据库访问权权限分配；数据库备份方方案；492.6数数据仓库中的的数据组织按照数据仓库库功能区域划划分的元数据据类型查询服务数据库表及表表中数据项的的业务含义说说明；可视化查询结结果格式的定定义；用户及其访问问权限的定义义；数据仓库使用用情况的监控控与统计；502.6数数据仓库中的的数据组织也可以将原数数据分为管理理元数据和用用户元数据；；管理元数据用于创建和维维护数据仓库库。它包括数数据源元数据据、预处理数数据元数据、、数据仓库主主题数据源数数据等；用户元数据帮助用户进行行查询、理解解查询结果，，了解数据仓仓库的数据和和组织，其中中主要内容是是查询服务元元数据；51数据仓库中的的数据组织粒度分区维度元数据数据仓库的数数据组织形式式数据仓库的数数据追加2.6数数据据仓库库中的的数据据组织织52数据仓仓库的的数据据组织织形式式简单堆堆积文文件它将由由数据据库中中提取取并加加工的的数据据逐一一积累累存储储轮转综综合文文件数据存存储单单位被被分为为若干干个级级别轮转记记录--综综合优点：：结构构简捷捷，数数据量量较简简单堆堆积结结构减减少缺点：：损失失数据据细节节。越越久远远的数数据，，细节节损失失越多多2.6数数据据仓库库中的的数据据组织织53简单堆堆积结结构它将每每天从从数据据库中中提取取加工工后的的数据据逐日日积累累的存存储起起来。。按这这种方方式存存储的的数据据细节节化程程度很很高，，可以以应付付多种种细节节查询询，但但分析析时查查询的的效率率较低低。2.6数数据据仓库库中的的数据据组织织面向应应用数数据库库每天数数据每天综综合1月1日1月2日1月3日2月1日2月2日2月3日…………3月1日3月2日3月3日…………………………………需要许许多存存储空空间无细节节丢失失许多处处理与与数据据有关关54轮转综综合结结构它将数数据按按不同同的期期限轮轮转地地存储储。2.6数数据据仓库库中的的数据据组织织非常紧紧凑一些细细节丢丢失提取越越久的的数据据，越越不详详细55简单直直接数据是是从操操作型型环境境直接接装入入数据据仓库库中，，并没没有任任何积积累，，只不不过这这种文文件不不是在在每天天的基基础上上组织织的，，而是是以较较长时时间（（如一一个星星期、、一个个月））为单单位的的。因因此，，简单单直接接文件件是按按一定定时间间操作作型数数据库库的一一个快快照，，即按按一定定时间间间隔隔对数数据库库的采采样。。JAdamsMain大街PAndersonHigh大街456号KApplebyA大街10号LAzimoff被农场场路64号面向应用数数据库1月份数据2.6数数据仓库库中的数据据组织56连续结构它是通过比比较两个连连续的简单单直接文件件的不同而而生成的另另一种连续续文件，生生成的连续续文件又可可以和新的的简单直接接文件一起起生成新的的连续文件件。JAdamsMain大街PAndersonHigh大街456号KApplebyA大街10号LAzimoff被农场路64号JAdamsMain大街WAbraham9号公路12号PAndersonTincup郡14号KApplebyA大街10号JAdamsMain大街1月—今WAbraham9号公路12号2月—今PAndersonHigh大街456号1月—1月PAndersonTincup郡14号2月—今KApplebyA大街10号1月—今2.6数数据仓库库中的数据据组织57连续文件1)两两个连续的的简单直接接文件比比较他们的的不同连续文件2)连续文件+新的简单文文件新新的连续文文件数据仓库的的数据组织织形式2.6数数据仓库库中的数据据组织58一月份顾客客表数据库快照照操作型数据据图1-5生生成成简化直接接文件姓名顾客号地址张平C960100北京王英C960101天津王宾C960102上海李强C960103重庆………………2.6数数据仓库库中的数据据组织59连续文件──两个连连续的简化化直接文件件比比较他他们的不同同连续文件姓名顾客号地址张平

C960100北京王英

C960101天津王宾

C960102上海刘仲

C960104重庆姓名顾客号地址张平

C960100北京王英

C960101沈阳王宾

C960102上海刘仲

C960104大连姓名顾客号时间地址张平

C9601001-2月北京王英

C9601011-1月天津王英

C9601012-2月沈阳王宾

C9601021-2月上海刘仲

C9601041-