数据仓库的开发流程

数据仓库的开发流程第1页，课件共53页，创作于2023年2月数据库系统的开发流程需求收集和分析设计概念结构设计逻辑结构数据模型优化设计物理结构设计评价性能预测物理实现实验性运行使用维护数据库不满意需求分析阶段概念设计阶段逻辑设计阶段物理设计阶段数据库实施阶段数据库运行维护阶段不满意第2页，课件共53页，创作于2023年2月数据库设计流程的特点有明确的应用需求；严格遵循系统生命同期的阶段划分，较清楚的设计开发步骤；良好的可操作性，每一步骤的任务、文档内容与格式有细致的规定。举例：项目文档第3页，课件共53页，创作于2023年2月数据库设计举例1.需求分析

（沟通、会议演示、软件需求说明书）

2.系统概念设计

（系统功能结构、流程、数据结构等）

3.系统详细设计

（E-R、功能模块、界面、业务过程、接口）

5.系统实现

（数据库实现、程序实现）

4.系统测试与实施第4页，课件共53页，创作于2023年2月数据库与数据仓库设计的区别第5页，课件共53页，创作于2023年2月数据仓库开发流程的特点原始需求不明确，且不断变化与增加，不能较准确地预见到以后的需求；采用原型法开发，从构建系统的简单的基本框架着手；数据驱动，着眼于有效地抽取、综合、集成和挖掘已有数据库的数据资源。第6页，课件共53页，创作于2023年2月原型法原型（Prototype）是开发信息系统的一个可执行模型或引导性版本；帮助得到目标系统明确而严格的需求，促进客户和各阶段系统人员之间的相互有效的信息交流，并以此为基础进行需求分析和系统设计。从本质上看，原型是未来目标系统的一个模型。第7页，课件共53页，创作于2023年2月原型法原型不是系统开发的最终产品，而是在某个开发阶段中为达到一定的目的所生成的系统简化模拟版本；可能只是目标系统的一个式样，或只包含目标系统的某些功能，或仅仅是具有目标系统的一个结构。第8页，课件共53页，创作于2023年2月原型法第9页，课件共53页，创作于2023年2月数据仓库的开发流程规划与确定需求开发概念模型开发逻辑模型设计体系结构数据库与元数据设计确定数据源抽取开发中间件填充与测试数据仓库数据仓库应用数据仓库维护数据仓库评价数据仓库开发过程规划分析阶段设计实施阶段使用维护阶段第10页，课件共53页，创作于2023年2月数据仓库的开发流程数据仓库系统的开发是一个经过不断循环、反馈而使系统不断增长与完善的过程，这也是原型法区别于系统生命周期法的主要特点。第11页，课件共53页，创作于2023年2月数据仓库的设计步骤概念模型设计技术准备工作逻辑模型设计物理模型设计数据仓库生成数据仓库使用与维护第12页，课件共53页，创作于2023年2月数据仓库的设计步骤第13页，课件共53页，创作于2023年2月数据仓库的设计步骤概念模型设计技术准备工作逻辑模型设计物理模型设计数据仓库生成数据仓库运行与维护第14页，课件共53页，创作于2023年2月概念模型设计任务：界定系统边界

确定主题域及其属性描述

数据模型（多维数据模型，或E-R）成果：是在原有的数据库的基础上建立一个较为稳固的概念模型。第15页，课件共53页，创作于2023年2月概念模型设计任务：界定系统边界

确定主题域及其属性描述

数据模型（多维数据模型，或E-R）成果：是在原有的数据库的基础上建立一个较为稳固的概念模型。第16页，课件共53页，创作于2023年2月界定系统边界（初步需求分析）基本的方向性需求：

要做的决策类型有哪些？

决策者感兴趣的是什么问题？

这些问题需要什么样的信息？

要得到这些信息需要包含原有数据库系统的哪些部分的数据？可以划定一个当前的大致的系统边界，集中精力进行最需要的部分的开发。第17页，课件共53页，创作于2023年2月概念模型设计任务：界定系统边界

确定主题域及其属性描述

数据模型（多维数据模型，或E-R）成果：是在原有的数据库的基础上建立一个较为稳固的概念模型。第18页，课件共53页，创作于2023年2月确定主题域及其内容确定主要的主题域对每个主题域的内容进行较明确的描述：

·主题域的公共码键；

·主题域之间的联系；

·充分代表主题的属性组。举例

以商场的数据仓库设计为例第19页，课件共53页，创作于2023年2月商场数据仓库概念模型设计日趋激烈的市场竞争要求商场经营者更加准确地了解商场经营状况，跟踪市场趋势，更加合理地制定商品采购与销售策略。由于商场以前的一些OLTP的需要，在各个部门建立了许多分散的数据库，分别处理各自的业务。如在人事、采购、库存、销售等部门分别存储着各自的数据库，各个部门的数据按自己业务需要加以组织。这样的组织使得数据各自为政，缺乏全局性，管理层想要在这些数据的基础上得到一些全局报表、进行一些分析工作是比较困难的。因此商场的领导决定要在原有的数据库系统的基础上建立一个数据仓库。第20页，课件共53页，创作于2023年2月界定系统的边界需求：主要是商品采购和销售情况商场经营者目前所要进行的分析主要有：

·分析顾客的购买趋势；

·分析商品供应市场的变化趋势；

·分析供应商信用等级。第21页，课件共53页，创作于2023年2月界定系统的边界所需要的数据应包括：

·商品销售数据；

·商品采购数据；

·商品库存数据；

·顾客信息；

·供应商信息。所以，我们可以将系统的边界定为包含原有的销售子系统、采购子系统以及库存子系统在内的集合。第22页，课件共53页，创作于2023年2月确定主要的主题域三个基本主题：商品、供应商和顾客。主题之间的联系是：

供应商供应多种商品，一种商品可由多个供应商提供，即“商品”主题与“供应商”供应的商品直接联系；

供应商供应的商品同样也可以被不同的顾客购买，但“顾客”主题与“供应商”主题间并不是直接发生关系的，它们之间的联系是经过“商品”主题的间接联系。第23页，课件共53页，创作于2023年2月E-R模型第24页，课件共53页，创作于2023年2月各主题的属性信息第25页，课件共53页，创作于2023年2月数据仓库的设计步骤概念模型设计技术准备工作逻辑模型设计物理模型设计数据仓库生成数据仓库使用与维护第26页，课件共53页，创作于2023年2月技术准备工作工作包括：技术评估，技术环境准备。成果是：技术评估报告，软硬件配置方案，系统（软、硬件）总体设计方案。第27页，课件共53页，创作于2023年2月数据仓库的设计步骤概念模型设计技术准备工作逻辑模型设计物理模型设计数据仓库生成数据仓库使用与维护第28页，课件共53页，创作于2023年2月逻辑模型设计分析主题域确定粒度层次划分确定数据分割策略关系模式定义数据源及抽取模型的定义第29页，课件共53页，创作于2023年2月分析主题域对概念模型设计步骤中确定的几个基本主题域进行分析，选择首先要实施的主题域；如果所选择的主题域很大并且很复杂，我们甚至可以针对它的一个有意义的子集来进行开发；商场数据仓库设计的例子：

“商品”主题既是一个商场的最基本的业务对象，又是进行决策分析的最主要的领域，因而较之另两个主题来说，“商品”主题具有更重要的意义与作用。所以，我们可以先选定“商品”主题来实施。第30页，课件共53页，创作于2023年2月粒度层次划分粒度层次划分适当与否直接影响到数据仓库中的数据量和所适合的查询类型；通过估算数据行数和所需的DASD数，确定采用单一粒度或多重粒度，以及粒度划分的层次。

DASD（DirectAccessStorageDevice）例子：商品主题－－多重粒度第31页，课件共53页，创作于2023年2月数据分割策略数据量的大小是决定是否进行数据分割和如何分割的主要因素；数据分析处理的要求是选择数据分割标准的一个主要依据；还要考虑到所选择的数据分割标准应是自然的、易于实施的；同时也要考虑数据分割的标准与粒度划分层次是适应的。第32页，课件共53页，创作于2023年2月关系模式定义由多个表实现；对于多维数据模型：事实表和维度表；

对于E-R模型：主题的相关信息的内容表

如，商品主题的关系模式定义包括：

商品固有信息、商品采购信息、商品销售信息、商品库存信息、其它数据等。第33页，课件共53页，创作于2023年2月数据源及抽取模型的定义由三种表实现；数据源抽取对象表；

数据源抽取规则表；

数据目标列与源列对应关系表。第34页，课件共53页，创作于2023年2月数据仓库的设计步骤概念模型设计技术准备工作逻辑模型设计物理模型设计数据仓库生成数据仓库使用与维护第35页，课件共53页，创作于2023年2月物理模型设计工作：确定数据的存储结构，确定索引策略，确定数据存放位置，确定存储分配。前提要求：

1.全面了解所选用的数据库管理系统，特别是存储结构和存取方法。

2.了解数据环境、数据的使用频度、使用方式、数据规模以及响应时间要求等，这些是对时间和空间效率进行平衡和优化的重要依据。

3.了解外部存储设备的特性，如分块原则，块大小的规定，设备的I／O特性等。第36页，课件共53页，创作于2023年2月数据仓库的设计步骤概念模型设计技术准备工作逻辑模型设计物理模型设计数据仓库生成数据仓库使用与维护第37页，课件共53页，创作于2023年2月数据仓库的生成工作：接口编程，数据装入；成果：数据已经装入到数据仓库中，可以在其上建立数据仓库的应用，即DSS应用。第38页，课件共53页，创作于2023年2月数据仓库的生成接口编程：在两个不同环境的记录系统之间建立一个接口，能完整、准确地完成从操作型环境到数据仓库环境的数据抽取、转换与集成。数据装入：运行接口程序，将数据装入到数据仓库中。第39页，课件共53页，创作于2023年2月数据仓库的设计步骤概念模型设计技术准备工作逻辑模型设计物理模型设计数据仓库生成数据仓库使用与维护第40页，课件共53页，创作于2023年2月数据仓库使用与维护使用数据仓库：在数据仓库中建立起DSS应用；维护：根据用户使用情况和反馈来的新的需求，开发人员进一步完善系统，并管理数据仓库的一些日常活动。

包括：刷新数据仓库的当前详细数据，将过时的数据转化成历史数据，清除不再使用的数据，管理元数据，利用接口定期从操作型环境向数据仓库追加数据，确定数据仓库的数据刷新频率，等等。第41页，课件共53页，创作于2023年2月数据仓库使用与维护在“商品”主题的数据装人数据仓库后，就可以进行在“商品”主题上的分析处理，即建立“商品’这一分析领域上的DSS应用，如有关商品销售情况的月统计分析或商品库存情况的分析等。在分析应用中，我们会对“商品”主题有一个实践基础上的更深的认识，从而对原来的设计作出评价和调整。比如，实践证明原来的粒度划分不合理，就应该调整粒度定义。第42页，课件共53页，创作于2023年2月数据仓库使用与维护在这一过程中，商场经营者可能会提出新的要求，对消费市场进行分析研究，以进行市场定位等，那么就要着手开发“顾客”主题，并可能要对原有的“商品”主题进行调整，如“商品”主题中可能要增加“商品档次”这么一个属性。第43页，课件共53页，创作于2023年2月讨论在学习了数据仓库的相关知识和技术后，你觉得日常生活中，那些方面可以用到数据仓库技术？第44页，课件共53页，创作于2023年2月举例零售个性化系统。

在系统中，客户阅读到由零售商编制的目录或宣传广告后促使他有了购买的念头，或者至少想查询一下目录，结果是给零售商打电话。第45页，课件共53页，创作于2023年2月举例第46页，课件共53页，创作于2023年2月举例当客户定货或咨询情况时，零售商代表查出一些与此有关的其他信息，如：客户上次购物的时间；上次购物的类型；客户所属的市场地段。第47页，课件共53页，创作于2023年2月举例对话的过程中，销售代表说出以下一些事情：“我记得我们曾在二月份通过话”“你购买的兰色运动衫怎么样？”“你的那条裤子的问题解决了吗？”交谈进行得很有人情味。这样，将会更加激起客户的购买欲望。第48页，课件共53页，创作于2023年2月举例数据仓库的分析功能给出市场地段信息，如：男/女专业/其他用品市场城市/乡村市场儿童用品市场（年龄、性别）体育用品市场第49页，课件共53页，创作于2023年2月举例对话可以进行得很个性化。销售代表能够根据客户所属的市场地段信息进行针对性的提问，如：“你知道我们在泳装方面还有未公布的产品吗？”“我们刚刚进一批意大利太阳镜，我想你可能有兴趣。”“天气预报这是打野鸭的寒冬，我们有一种特制的长筒靴。”第50页，课件共53页，创作于2023年2月举例