chaer数据仓库设计

第三章数据仓库设计第3章数据仓库设计3.1数据仓库的需求与规划3.1.1数据库设计方法简述3.1.2数据仓库开发流程3.1.3数据仓库需求分析3.1.4数据仓库规划3.2建立数据仓库3.2.1数据仓库的平台与结构选择3.2.2数据仓库接口与中间件设计

3.2.3数据仓库的数据抽取、加载与复制3.2.4数据仓库逻辑模型的确定3.2.5数据仓库物理模型的确定3.2.6数据仓库测试3.3数据仓库典型解决方案3.1.1数据库设计方法简述在相当长的一段时期内，数据库设计主要采用的是手工试凑方法。按照规范设计的思想，一般将数据库设计细分为数据库需求分析阶段、数据库概念设计阶段、数据库逻辑设计阶段、数据库物理设计阶段、数据库实施阶段和数据库运行、维护六个阶段。在数据库实施阶段，设计人员的主要工作是使用DBMS所提供的语言和宿主语言，根据数据库逻辑设计阶段和数据库物理设计阶段的成果建立数据库，并编制和调试数据库应用程序。在数据库运行和维护阶段，设计人员的主要工作是将是运行后的数据库正式运行，并在运行过程中，对数据库所反映出的问题不断修改、评价、调试和完善。实际上，数据库实际步骤也包括了数据库应用系统的设计过程。有关对数据处理特性的描述中，不同的数据库的设计过程、数据库设计的不同阶段应该具有不同的数据模式。如在需求分析阶段，应该是用户应用需求模式；在概念设计阶段，应该是产品的概念模式；而在逻辑设计阶段，则应该是有关数据产品支持的数据模型。从数据仓库的应用角度来看，DSS分析员一般是企业的中上层管理人员，他们对决策分析的需求不能预先做出规范的说明，只能给设计人员一个抽象的（模糊的）描述。图3-1数据库设计步骤应用需求（数据、处理）转换规则、DBMS功能、优化方法需求收集和分析设计概念结构设计逻辑结构数据模型优化设计物理结构评价设计，性能预测物理实现试验性运行使用、维护数据库应用要求，DBMS详细特征需求分析阶段概念设计阶段逻辑设计阶段物理设计阶段数据库实施阶段数据库运行、维护阶段不满意不满意图3-2数据库结构设计（1）设计阶段设计描述数据处理需求分析数据字典、全系统中数据项、数据流、数据存储的描述数据流图和判定表（判定树）、数据字典中处理过程的描述概念结构设计逻辑结构设计概念模型（E-R图）数据字典系统说明书包括：A.新系统要求、方案和概图B.反映新系统信自流的数据流图某种数据模型关系非关系系统结构图（模块结构）图3-2数数据据库结结构设设计（（2））物理设计实施阶段运行维护性能监监测、、转储储/恢恢复数据库库重组组和重重构新旧系系统转转换、、运行行、维维护（（修正正性、、适应性、、改善善性维维护））存储安安排方法选选择存取路路径建建立分区1分区2模块设设计IPO表IPO表………输入：：输出：：处理：编写模式式装入数据据数据库试试运行Creat…..Load……程序编码码、编译联结结、测试试Main()……If………Then……end图3-3数据据库的不不同模式式应用要求求应用要求求应用要求求应用要求求概念模式逻辑模式外模式外模式外模式外模式内模式应用1应用2应用3应用4应用1应用2应用3应用4综合转换映象映象数数据据仓库开开发流程程设计和建建立数据据仓库应应采取工工程管理理的方式式进行。。1.数据据仓库系系统的4个阶段段（1）设设想阶段段：在数数据仓库库设想阶阶段，一一般是为为了适应应特定的的商业应应用提出出数据仓仓库系统统的发展展前景。。（2）规规划和成成长阶段段：此阶阶段为开开展商业业活动。。（3）控制制阶段：：在这个个阶段要要用控制制和整合合的办法法将应用用系统整整合，把把聚焦点点正确地地转移到到“集中中化方法法”上，，以求在在企业级级的真正正数据仓仓库中，，为企业业决策分分析提供供强有力力的支持持，从而而将多个个数据仓仓库结合合起来，，形成一一个决策策支持环环境。（4）稳稳定阶段段：主要要任务是是在使用用决策支支持和数数据仓库库过程中中不断的的改进，，是数据据仓库逐逐渐成熟熟。2.数数据仓仓库的开开发流程程（1）数数据仓库库规划分分析阶段段，在该该阶段的的工作内内容主要要包括：：A.分析析数据仓仓库应用用环境，，调查数数据仓库库开发需需求，完完成数据据仓库的的开发规规划。B.建立立包括实实体关系系图、星星型模型型、雪花花模型、、元数据据模型以以及数据据源分析析的主题题区数据据模型，，并根据据主题区区数据模模型开发发数据仓仓库逻辑辑的模型型。（2）数数据仓库库设计实实施阶段段，在该该阶段的的工作内内容主要要包括：：A.按照照数据仓仓库的逻逻辑模型型设计数数据仓库库的体系系结构。。B.设计计数据仓仓库的物物理数据据库。C.用物物理数据据库元数数据填充充面向最最终用户户的元数数据库。。D.对数数据仓库库中每个个目标字字段确认认其在业业务系统统或外部部数据源源中的数数据来源源。E.开发发（或购购买）用用于抽取取、清洁洁、交换换和合并并数据等等中间件件的程序序。F.将数数据从现现有系统统中传送送到仓库库中。（3）数数据仓库库的使用用维护阶阶段，在在该阶段段的工作作内容主主要包括括：A.将数数据仓库库投入实实际应用用，并在在应用中中改进和和维护数数据仓库库。B.对数数据仓库库进行效效益评价价，以为为下一个个循环提提供依据据。图3-4数据据仓库的的生命周周期开发发应用全全过程开发概念模型规划与确定需求数据仓库评价数据仓库维护数据仓库应用填充与测试数据仓库开发中间件确定数据抽取源数据库与元数据设计设计体系结构开发逻辑模型数据仓库库开发过程程规划分析阶段段设计实施阶段使用维护护阶段3.数数据仓仓库的开开发特点点数据仓库库的使用用也即在在数据仓仓库中建建立DSS应用用。数据据仓库的的开发特特点包括括：（1）数数据仓库库开发要要从数据据出发（2）数数据仓库库使用的的需求不不可能在在开发初初期就明明确（3）数数据仓库库的开发发是一个个不断循循环的过过程，是是启发式式的开发发。数数据据仓库需需求分析析数据仓库库的需求求分析根根据不同同领域可可以划分分为业主主（投资资者）的的需求、、设计的的需求、、开发者者的需求求和最终终用户的的需求等等方面。。（1）业业主需求求的分析析数据仓库库的业主主关心的的是创建建数据仓仓库的目目标，建建立数据据仓库给给组织战战略带来来的影响响，创建建数据仓仓库所需需的投资资费用以以及所具具有的应应用前景景。业主主常常参参与数据据仓库概概念模型型的认可可和评审审，批准准开发方方案，为为系统以以后的不不断升级级和连续续投资进进行决策策。（2）设设计者需需求的分分析数据仓库库设计者者不但要要收集业业主对数数据仓库库的需求求，还要要收集实实现这些些需求所所需的技技术要求求。设计计者介于于投资者者和实现现者之间间。企业结构构规划（（EAP）法是是用于结结构设计计的一种种最有效效的方法法，在该该法中，，设计者者可以实实现以下下3种结结构。A.数据据结构。。B.应用用程序结结构。C.技术术结构。。（3）开开发者需需求的分分析开发者者负责责数据据仓库库各个个构件件的物物理安安装和和集成成。开发者者需求求进一一步包包括如如下四四个方方面：：A.技技术需需求B.试试用需需求C.数数据仓仓库产产品就就绪需需求D.开开发与与使用用人员员及其其技术术需求求（4））最终终用户户需求求的分分析数据仓仓库相相对最最终用用户而而言是是一个个黑箱箱，他他们只只能通通过查查询、、报表表工具具和数数据仓仓库内内部信信息的的某种种影射射关系系来访访问数数据仓仓库内内部数数据。。因而而，最最终用用户的的需求求主要要体现现在对对工作作流程程的分分析、、决策策的查查询需需求、、报表表需求求、操操作需需求和和数据据需求求等方方面。。同时时，在在进行行数据据仓库库的最最终用用户需需求分分析时时，还还需要要对数数据仓仓库的的主题题域、、信息息的粒粒度、、数据据仓库库的维维度进进行分分析。。数数据据仓库库规划划1.项项目开开发小小组（1））项目目开发发小组组概述述：不是所所有的的团体体都是是小组组。一一个团团体要要作为为一个个小组组成功功地运运作，，必须须具备备三个个基本本的条条件：：A.要要完成成的任任务必必须清清楚明明确。。B.小小组必必须是是明确确确定定的。。C.小小组必必须对对它的的项目目有自自始至至终的的控制制。建立高高效小小组的的四项项基本本原则则是内内聚力力、目目标、、反馈馈和共共同工工作框框架。。（2））创建建项目目开发发小组组当小组组开始始成为为整体体的时时候，，他们们首先先要确确定和和接受受一系系列共共同的的目标标。确立目目标后后要做做的第第一件件事就就是明明确责责任。。没有明明确的的职责责分工工，就就、小小组就就要花花一些些时间间去搞搞清楚楚什么么事情情必须须做、、决定定谁来来做哪哪一件件工作作、决决定什什么时时候做做和怎怎样去去做。。小组确确定了了目标标、分分派好好角色色后，，就要要确定定一个个达到到目标标的战战略了了。小组成成员接接着再再确定定他们们将要要用来来开始始工作作的资资料，，并将将其存存档。。小组成成员们们都很很忙，，他们们可能能没有有多少少时间间来聚聚在一一起，，这就就破坏坏了小小组工工作的的一个个关键键———交流流。2.项项目开开发小小组对对数据据仓库库规划划与其他他项目目一样样，一一个好好的计计划能能带来来有效效的开开端，，数据据仓库库项目目开发发小组组必须须要对对即将将开发发的数数据仓仓库项项目进进行整整体规规划，，作出出项目目开发发计划划书，，以使使项目目变得得易于于理解解。表3-1数数据据仓库库项目目对照照表(1)项目目1项目目2业务驱驱动因因素竞争性性的市市场使使一家家金融融组织织认识识到，，它必须开开始利利用其其日常常活动动中包包含的的大量量信息。。企业业的资资产很很多，，但它它没有有预测测其信用用卡使使用状状况和和利润润率的的能力力一家财财产和和事故故保险险公司司无法法为有有多张张保险单和和复杂杂保险险险种种的顾顾客传传递统统一的的结账数据据。因因此要要求将将多个个来源源中的的数据据与一个能能生成成统一一报表表和进进行用用户查查询的的数据模型型对应应起来来数据范范围一个主主题区区“信信用卡卡”多个主主题区区，包包括““收入入”、、“赔赔款””和“顾顾客””业务原原因向接受受该银银行信信用卡卡的组组织宣宣传信信用卡卡（如趋势势、人人口统统计特特征等等）的的决策策支持持项目业务支支持，，数据据合并并分类战略性性的战术性性的时间范范围3-6个月月的增增加业业务价价值6-9个月月取得得初步步成果果技术范范围公司近近期政政策要要求把把所有有新的的商务务软件件都放放在在客客户户机机/服服务务器器体体系系结结构构上上用现现在在技技术术迅迅速速产产生生结结果果，，以以后后可可以以加入入新新技技术术表3-1数数据据仓仓库库项项目目对对照照表表（（2））项目目方方法法高度度循循环环性性的的DW开开发发项目目每每六六个个月月交交付付一一次次成成果果，，然然后后继继续续逐步步交交付付结结果果假设设/约约束束可以以得得到到优优秀秀的的员员工工；；最最终终用用户户一一开开始始就能能接接受受特特别别查查询询可以以得得到到优优秀秀员员工工角色色用户户项项目目代代表表项目目经经理理数据据建建模模人人员员业务务分分析析人人员员系统统分分析析员员开发发人人员员用户户主题题事事务务专专家家用户户项项目目代代表表项目目经经理理数据据建建模模人人员员业务务分分析析人人员员系统统分分析析员员开发发人人员员用户户主题题事事务务专专家家所选选的的步步骤骤建模模决策策者者的的需需求求主题题区区分分析析源系系统统分分析析最终终用用户户（（EU））访访问问方方法法设设计计EU访访问问方方法法界界定定EU访访问问方方法法开开发发交换换设设计计物理理数数据据库库设设计计DW开开发发DW填填充充和和实实现现建模模DSS体体系系结结构构决策策者者的的需需求求主题题区区分分析析源系系统统分分析析EU访访问问方方法法设设计计变换换设设计计物理理数数据据库库设设计计DW开开发发DW填填充充和和实实现现除了了项项目目开开发发计计划划书书外外，，项项目目开开发发小小组组的的项项目目规规划划活活动动还还将将产产生生：：A.文文档档化化的的业业务务驱驱动动因因素素。。B.数数据据范范围围。。C.时时间间范范围围。。D.业业务务原原因因。。E.总总体体方方法法。。F.参参与与者者及及其其作作用用。。G.假假设设和和约约束束。。H.项项目目管管理理战战略略。。数数据据仓仓库库的的平平台台与与结结构构选选择择1.数数据据仓仓库库的的技技术术平平台台（1））单单层层结结构构：：主主要要是是指指在在数数据据源源和和数数据据仓仓库库之之间间共共享享平平台台，，或或者者让让数数据据源源、、数数据据仓仓库库、、数数据据集集市市与与最最终终用用户户工工作作站站使使用用同同一一个个平平台台。。（2））客客户户/服服务务器器两两层层结结构构：：在在这这类类结结构构中中，，一一层层为为客客户户机机，，一一层层为为服服务务器器。。最最终终用用户户访访问问工工具具在在客客户户层层运运行行，，而而数数据据源源、、数数据据仓仓库库和和数数据据集集市市位位于于服服务务器器上上。。该该技技术术结结构构一一般般用用于于普普通通规规模模的的数数据据仓仓库库。。（3）三三层客户户/服务务器结构构：这类类结构包包括基于于工作站站的客户户层、基基于服务务器的中中间层和和基于主主机的第第三层。。主机（（宿主））层负责责管理数数据源和和可选的的源数据据转换；；服务器器运行数数据仓库库和数据据集市软软件，并并存储仓仓库的数数据；客客户工作作站运行行查询和和报表运运用程序序，且还还可以存存储从数数据集市市或数据据仓库卸卸载的局局部数据据。（4）多多层式结结构：这这是在三三层客户户/服务务器结构构上发展展起来的的数据仓仓库结构构。2.数数据仓库库的体系系结构（1）信信息获取取层：负负责数据据的收集集、提纯纯、净化化和聚合合，以及及从组织织外部数数据源和和组织的的业务处处理系统统中获取取数据。。（2）信信息存储储层：提提供包含含时点信信息的单单一逻辑辑信息，，这种数数据通常常以最分分散的方方式存放放——需需要尽可可能使物物理设计计符合数数据模型型，这对对最终产产生满足足各种设设计要求求的灵活活性是十十分重要要。（3）信信息传递递层：是是数据仓仓库结构构中支持持一套共共用的表表示工具具和分析析工具的的组成部部分。3.数据据仓库的的数据库库设计数据仓库库的数据据库主要要包含存存储用户户进行决决策分析析的数据据库和描描绘数据据的元数数据库。。存储用户户分析数数据的数数据库可可以采用用关系型型数据库库、多维维数据库库和对象象数据库库实现。。元数据库库是数据据仓库的的灵魂。。没有元元数据库库，用户户就无法法对数据据仓库数数据进行行良好的的定义、、组织和和管理。。数数据据仓库接接口与中中间件设设计1.数据据仓库的的数据源源确定以以及与业业务处理理系统接接口的设设计（1）数数据仓库库的数据据源确定定要为数据据仓库从从数据源源中抽取取为管理理决策分分析所使使用的数数据源，，首先要要对所抽抽取的数数据源进进行正确确的定义义。数据据源的定定义要确确定数据据仓库主主题所需需各数据据源的详详细情况况，包括括数据源源所在计计算机平平台、拥拥有者、、数据结结构、使使用该数数据源的的处理过过程、数数据仓库库更新计计划等。。为了保证证数据的的更新需需要，还还需要为为数据仓仓库中的的每个目目标列确确认它在在业务系系统或外外部数据据源中的的数据来来源规则则，以便便利用数数据获取取中间件件，从源源系统中中获取数数据，并并加载到到数据仓仓库中。。（2）数数据仓库库与业务务处理系系统的接接口设计计在确定了了数据仓仓库的数数据源以以后，就就需要考考虑数据据仓库与与作为数数据源的的业务处处理系统统的接口口设计。。由于业务务处理系系统环境境小，各各个应用用系统都都有自己己独立的的、特殊殊的需求求，在各各自的过过程中没没有考虑虑到以后后与其他他系统的的集成问问题，在在其基础础上建立立的数据据仓库需需要完成成与业务务处理系系统接口口的设计计，所以以设计的的接口应应该具有有这样一一些功能能：A.从面面向应用用和操作作环境生生成完整整的数据据。B.数据据基于时时间的转转换。C.数据据的聚集集。D.对现现有数据据系统的的有效扫扫描，以以便今后后数据仓仓库的数数据追加加。数据追加加的方法法主要有有：A.对操操作型数数据打上上时间戳戳。B.使用用系统日日志或审审计日志志。C.修改改程序代代码。D.使用用前映像像或后映映像文件件。2.数数据仓仓库的中中间件设设计（1）拷拷贝中间间件，主主要有如如下4种种：A.代码码发生器器。B.数据据复制工工具。C.数据据泵。D.广义义数据获获取工具具和设备备。（2）用用于数据据库访问问的网关关中间件件：主要要用于解解决数据据仓库与与数据源源和客户户端之间间的网络络协议不不同所造造成的数数据传输输困难的的问题。。（3）对对数据仓仓库进行行监控的的中间件件：主要要用于对对数据仓仓库的应应用选择择适当的的资源，，如可以以根据系系统的负负载选择择恰当的的计算机机完成数数据库事事务；如如果有的的计算机机不可用用，可以以自动选选择可用用的计算算机进行行事务处处理；可可以根据据用户对对数据仓仓库的使使用频率率以及数数据量来来调整数数据仓库库。数数据仓库库的数据据抽取、、加载与与复制1.数据据仓库的的数据抽抽取数据仓库库的数据据抽取是是数据仓仓库成功功的关键键。“垃垃圾进，，垃圾出出”的原原则说明明了数据据抽取的的重要性性。在操操作数据据上执行行的数据据抽取，，应该依依据元数数据中定定义的标标准数据据格式处处理数据据。在抽抽取过程程中，应应该在将将数据传传递到数数据仓库库系统之之前，从从元数据据存储中中读到这这种域定定义，将将数据转转换或修修补以适适合新标标准。数据的抽抽取处理理实际上上被个别别情况所所驱动。。2.数数据仓库库的数据据加载在数据被被抽取后后，可把把数据加加载到数数据仓库库中。数数据加载载之前，，首先需需要对准准备加载载的数据据进行清清理，即即对数据据按照标标准进行行格式化化处理，，这些清清理工作作可在一一个专门门的数据据清理区区或数据据准备区区内进行行。数据清理理工作必必须严格格依据元元数据的的定义进进行，一一旦数据据清理结结束，则则将经过过净化和和转换的的数据加加载到合合适的数数据仓库库事实表表中。在在数据加加载后，，还要更更新元数数据仓库库中的元元数据，，以反映映刚完成成的数据据加载活活动，并并对受影影响的概概括数据据重新概概括处理理。3.数数据据仓库库数据据的复复制与与发行行一个完完整的的复制制结构构应能能完成成以下下的复复杂任任务：：.A.不不会受受到系系统失失败等等问题题的影影响，，保证证提供供可靠靠的数数据复复制。。B.只只传送送符合合数据据完整整性规规则的的一致致数据据。C.可可优化化传送送过程程，减减少在在捕获获或修修改数数据和和复制制品作作为结结果传传送之之间的的时间间。技术和和数据据结构构应保保证数数据发发行系系统完完成以以下的的功能能：A.保保证数数据发发行以以适时时和有有效的的方式式进行行。B.保保证只只发送送被排排序的的数据据。C.建建立正正确的的和所所需要要的服服务水水平标标准。。数数据仓仓库逻逻辑模模型的的确定定对数据据仓库库逻辑辑模型型的确确定要要涉及及数据据仓库库粒度度划分分、数数据分分割策策略及及关系系模型型定义义等内内容。。1.数数据仓仓库粒粒度划划分：：数据据仓库库的逻逻辑设设计中中需要要解决决的一一个重重要问问题是是决定定数据据仓库库粒度度的层层次划划分；；粒度度层次次的划划分适适当与与否直直接影影响到到数据据仓库库中要要存储储的数数据量量和查查询方方法。。2.确确定数数据分分割策策略：：数据据分割割是指指把逻逻辑上上整体体的数数据分分割成成较小小的、、可以以独立立管理理的物物理单单元进进行存存储的的方法法。使使用数数据分分割便便于数数据的的重构构、重重组和和恢复复，从从而提提高创创建索索引和和顺序序扫描描的效效率。。使用用数据据分割割的同同时也也可有有效地地支持持数据据概括括。在设计计数据据仓库库的数数据分分割时时，最最主要要的是是选择择适当当的分分割标标准。。选择择适当当的数数据分分割标标准一一般需需要考考虑以以下三三个方方面的的因素素。（1））数据据量：：数据据量的的大小小是决决定是是否进进行数数据分分割和和如何何分割割的主主要因因素。。（2））数据据分析析处理理的对对象：：数据据分割割是与与数据据处理理的对对象紧紧密联联系的的，不不同主主题内内数据据分割割的标标准不不同。。（3）粒粒度分分割的的策略略：进进行数数据分分割设设计时时，更更重要要的是是将数数据分分割标标准与与粒度度层次次的划划分策策略统统一起起来。。3.关关系模模型定定义无论数数据仓仓库的的概念念模型型是ER模模型、、星型型模型型还是是雪花花模型型，其其最后后的物物理实实现必必然是是以各各种表表来完完成的的。这这些表表有的的是由由指标标实体体转换换而成成，有有的是是由维维实体体而来来，有有的是是从详详细类类别实实体所所来。。指标实实体在在转换换成事事实表表时，，往往往会形形成多多个事事实表表。4.数数据仓仓库的的实体体定义义在设计计逻辑辑模型型时，，必须须对逻逻辑模模型中中的每每个实实体进进行具具有的的定义义。在在定义义之前前必须须明确确实体体究竟竟是另另一个个实体体的部部分还还是具具有独独立性性的实实体。。在逻辑辑数据据模型型中不不仅要要确定定实体体、实实体之之间的的关系系和实实体所所具有有的列列，还还要进进一步步确定定实体体列中中的主主键列列，实实体之之间关关系的的外部部键列列，实实体物物理存存储的的一些些特性性。要从实实体的的众多多事实实数据据中识识别用用户所所需要要的数数据就就需要要在不不同的的列中中选择择某个个可以以惟一一识别别数据据表行行的列列作为为主键键列，，主键键列通通常由由一个个或多多个列列组成成，要要求主主键列列必须须识别别实体体的一一个实实例。。在实体体的列列中除除了主主键列列的确确定外外，还还要确确定一一些侯侯选键键列和和外部部键列列。数数据仓仓库物物理模模型的的确定定1.数数据仓仓库设设计的的规范范由于在在数据据仓库库中包包含多多种表表、列列与域域等，，为保保证数数据仓仓库的的设计计、实实施和和管理理保持持稳定定，不不产生生混乱乱，需需要对对物理理数据据模型型中的的实体体、表表、列列等进进行规规范化化处理理，使使整个个数据据仓库库的物物理数数据模模型能能够保保持一一致。。数据据仓库库的规规范化化内容容主要要有完完整清清晰的的数据据定义义，合合适的的数据据格式式等。。2.确确定数据结结构的类型型在数据仓库库的结构中中，可能包包含这样一一些数据类类型的任意意组合：细细节数据、、概括数据据、外部数数据、多维维数据、数数据子集、、专门数据据缓存、复复制数据和和存档数据据。数据仓仓库设计人人员必须确确定符合设设计目标的的数据结构构类型。在数据仓库库中进行数数据非规范范化处理的的优点有：：A.能够够减少对表表联结的需需求，提高高数据仓库库性能。B.能够减减少编写专专门决策支支持应用程程序的必要要性，因为为运用一些些专门的查查询工具，，可以更容容易地访问问数据。C.可让用用户以直观观的易于理理解的工具具查看数据据。3.确定索索引策略数据仓库的的数据量很很大，要对对数据的存存取路径进进行仔细的的设计和选选择。由于于数据仓库库的数据一一般很少更更新，因而而可以设计计索引结构构来提高数数据存取效效率。4.确定数数据存放位位置