第五讲数据仓库物理设计、部署与维护课件_第1页
第五讲数据仓库物理设计、部署与维护课件_第2页
第五讲数据仓库物理设计、部署与维护课件_第3页
第五讲数据仓库物理设计、部署与维护课件_第4页
第五讲数据仓库物理设计、部署与维护课件_第5页
已阅读5页,还剩165页未读 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

第五讲数据仓库的

物理设计、部署与维护第五讲1第五讲物理设计过程

物理设计步骤物理设计考虑的因素物理存储为数据仓库建立索引提高性能的技术数据仓库部署

部署的主要任务领航系统安全备份和恢复升级与维护监视数据仓库用户培训和支持管理数据仓库第五讲物理设计过程数据仓库部署升级与维护2§1物理设计过程Objects明确数据仓库的物理和逻辑设计的区别研究物理设计的过程明白物理设计需要考虑的因素及其含义掌握物理设计中存储因素的角色考察数据仓库环境下的索引技术总结所有提高系统性能的方法Contents物理设计步骤物理设计考虑的因素物理存储为数据仓库建立索引提高性能的技术§1物理设计过程ObjectsContents3物理设计使项目组更接近于最后的实现和部署每个物理设计的任务是将逻辑设计推向更有意义的下一步物理设计使项目组更接近于最后的实现和部署4§1物理设计过程Contents

物理设计步骤物理设计考虑的因素物理存储为数据仓库建立索引提高性能的技术§1物理设计过程Contents5物理设计步骤建立标准建立聚集计划确定数据分区方案建立聚簇选项:大量数据的顺序访问准备索引策略安排存储结构完成物理建模物理设计步骤建立标准6数据库分区技术分区将表分离在若干不同的表空间上,用分而治之的方法来支撑无限膨胀的大表,给大表在物理一级的可管理性。将大表分割成较小的分区可以改善表的维护、备份、恢复、事务及查询性能。数据库分区技术分区将表分离在若干不同的表空间上,用分而治之的7数据仓库的分区方案

分区原因:事实表太大而不得不分区,有些维度表可能也很大。方案:选择需要分区的事实表和维度表每个表的分区类型------水平或者垂直每个表的分区个数表的分区准则(例如,按照产品分组)描述查询如何知道存在分区数据仓库的分区方案

分区原因:事实表太大而不得不分区,有些维8分区例子CREATETABLESPACEts_sale1999q1

DATAFILE‘/u1/oradata/sales/sales1999_q1.dat'

SIZE100M

DEFAULTSTORAGE(INITIAL30mNEXT30mMINEXTENTS3PCTINCREASE0)

CREATETABLESPACEts_sale1999q2

DATAFILE‘/u1/oradata/sales/sales1999_q2.dat'

SIZE100M

DEFAULTSTORAGE(INITIAL30mNEXT30mMINEXTENTS3PCTINCREASE0)

CREATETABLESPACEts_sale1999q3

DATAFILE‘/u1/oradata/sales/sales1999_q3.dat'

SIZE100M

DEFAULTSTORAGE(INITIAL30mNEXT30mMINEXTENTS3PCTINCREASE0)

CREATETABLESPACEts_sale1999q4

DATAFILE‘/u1/oradata/sales/sales1999_q4.dat'

SIZE100M

DEFAULTSTORAGE(INITIAL30mNEXT30mMINEXTENTS3PCTINCREASE0)

分区例子CREATETABLESPACEts_sale19分区例子(cont.)CREATETABLEsales

(invoice_noNUMBER,

...

sale_dateDATENOTNULL)

PARTITIONBYRANGE(sale_date)

(PARTITIONsales1999_q1

VALUESLESSTHAN(TO_DATE(‘1999-04-01','YYYY-MM-DD')

TABLESPACEts_sale1999q1,

PARTITIONsales1999_q2

VALUESLESSTHAN(TO_DATE(‘1999-07-01','YYYY-MM-DD')

TABLESPACEts_sale1999q2,

PARTITIONsales1999_q3

VALUESLESSTHAN(TO_DATE(‘1999-10-01','YYYY-MM-DD')

TABLESPACEts_sale1999q3,

PARTITIONsales1999_q4

VALUESLESSTHAN(TO_DATE(‘2000-01-01','YYYY-MM-DD')

TABLESPACEts_sale1999q4);

分区例子(cont.)CREATETABLEsales10§1物理设计过程Contents

物理设计步骤物理设计考虑的因素物理存储为数据仓库建立索引提高性能的技术§1物理设计过程Contents11物理设计考虑的因素物理设计目标提高性能保证可伸缩性存储管理提供简便的管理灵活性设计物理设计考虑的因素物理设计目标12物理设计考虑的因素从逻辑模型到物理模型逻辑模型物理模型数据建模工具对象命名标准化改变属性数据类型为键指定合适的数据类型为属性指定约束定义外键关系考虑选择数据库管理系统有需要的时候就增加注释物理模型意味着信息内容更加的接近硬件层物理设计考虑的因素从逻辑模型到物理模型逻辑模型物理模型数据建13物理设计考虑的因素物理模型的组成方案子方案定义表列同义词视图注释用户角色主键外键约束索引安全特权文件/表空间数据仓库:物理模型组件物理设计考虑的因素物理模型的组成方案表列同义词视图注释用户角14CREATESCHEMAORDER_ANALYSISAUTHORIZATIONSAMUEL_JOHNSON……………….CREATETABLEPRODUCT(PRODUCT_KEYCHARACTER(8)

PRIMARYKEY,PRODUCT_NAMECHARACTER(25),PRODUCT_SKUCHARACTER(20),PRODUCT_BRANDCHARACTER(25),CREATETABLESALESPERSON(SALPERS_KEYCHARACTER(8) PRIMARYKEY,SALPERS_NAMECHARACTER(30),TERRITORYCHARACTER(20),REGIONCHARACTER(20))CREATETABLEORDER_FACT(

PRODUCT_REFCHARACTER(8)PRIMARYKEY,SALPERS_REFCHARACTER(8),PRIMARYKEY,ORDER_AMOUNTNUMERIC(8.2),ORDER_COSTNUMERIC(8.2),FOREIGNKEYPRODUCT_REFREFERENCESPRODUCT,FOREIGNKEYSALPERS_REFREFERENCESSALESPERSON)

SQL描述的示例方案CREATESCHEMAORDER_ANALYSISCR15逻辑模型产品键名子SKU品牌产品销售代表键姓名区域地区订单键订单数量成本订单事实表逻辑模型名称类型为空注释产品表产品维表包括公司所有的产品Product_keyIntegerN主键Product_nameChar(25)N产品的销售名称Product_skuChar(20)N源系统的库存单位Product_brandChar(25)N销售中的产品品牌销售人员表包括不同地区的所有销售人员信息Salpers_keyIntegerN主键Salpers_nameChar(30)N销售人员正式姓名TerritoryChar(20)N销售人员所在区域RegionChar(20)N销售区域包括的地区订单事实表事实表包括公司收到的所有订单Product_refIntegerN局部主键,参考产品局部主键表的外键Salpers_refIntegerN局部主键,参考销售代表维度表的外键Order_amountNum(8,2)N以美元计的销售额Order_costNum(8,2)N以美元计的订单成本逻辑模型及物理模型逻辑模型产品键产品销售代表键订单键订单事实表逻辑模型名称类型16物理设计考虑的因素标准的意义数据库对象的命名对象组件命名customer_loan_balance单词分界符逻辑模型和物理模型的命名准备区域文件和表名称定义标志进程表明目的示例:product_full_refresh,customer_daily_update…物理文件命名规范保存源代码和脚本的文件数据库文件应用程序文档物理设计考虑的因素标准的意义17§1物理设计过程Contents

物理设计步骤物理设计考虑的因素物理存储为数据仓库建立索引提高性能的技术§1物理设计过程Contents18物理存储存储区数据结构数据准备区数据仓库存储区OLAP系统以专用矩阵格式存储的多维数据立方体物理文件关系数据库数据文件(转换过的数据)关系数据库索引文件装载映像文件关系数据库索引文件己分区的物理文件细节数据和简单汇总数据抽取平面文件关系数据库数据文件(仓库数据)物理存储存储区数据结构数据准备区数据仓库存储区OLAP系统以19物理存储优化存储块:数据库的数据和内存之间I/O传输的基本单位设定正确的块大小设置合适的块使用参数块空闲率块使用率数据迁移管理块使用管理采用文件分带技术:可使I/O并发进行物理存储优化存储20物理存储使用RAID技术RedundantArrayofIndependentDisk:廉价冗余磁盘阵列(独立磁盘冗余阵列)安全性高,速度快,数据容量超大

磁盘镜像------

将相同的数据写入连接到相同控制器的两个磁盘中双磁盘------

和磁盘镜像类似,不同的是每个驱动器有自己单独的控制器奇偶校验------

为数据加入校验位以保证数据传输可靠磁盘分带------

数据按扇区或者字节分布在多个磁盘上物理存储使用RAID技术21RAID0高性能、低成本、单磁盘损坏导致整个磁盘阵列无法使用数据带状分布在多个磁盘上,没有冗余RAID1可读性能和可靠性高,因为数据复制,所以昂贵磁盘镜像,数据写入成对的冗余驱动器RAID2高性能,纠一位错,两位检错,代价昂贵数据按位或者块交错分布在磁盘上,额外的驱动器存储校验码RAID3对大块数据性能较高,不支持运行时恢复数据按位或块交错存储,有一个驱动器存储校验数据RAID4可以处理多个复杂操作系统中的I/0操作,只用两个驱动器数据记录按扇区交错存储,有一个专门驱动器存储校验数据RAID5不需要专门的校验驱动器,需要两个或三个驱动器,写能力较弱数据扇区交错存储于多个驱动器,非常流行RAID技术RAID0高性能、低成本、单数据带状分布在多个RAID122物理存储估计存储容量对每个数据表,确定行数的初始估计行的平均长度估计行的每月增长数表的初始大小,以兆字节(MB)计算表6个月和12月的大小对所有表,确定索引的个数索引在,最初,6个月和12个月后需要的空间估计排序、合并需要的临时空间准备区内的临时文件准备区内的长久文件物理存储估计存储容量23§1物理设计过程Contents

物理设计步骤物理设计考虑的因素物理存储为数据仓库建立索引提高性能的技术§1物理设计过程Contents24为数据仓库建立索引索引一览索引和加载建立大表的索引选择索引的列一种分阶段的方法为数据仓库建立索引索引一览25为数据仓库建立索引B-Tree索引位图索引簇索引为事实表建立索引为维度表建立索引为数据仓库建立索引B-Tree索引26为数据仓库建立索引B-Tree索引A---KL---ZA---DE---GH---KALLENBUSHCLYNEDUNNEENGELFARISGOREHAIGIGNARJONESKUMARLOEWEMAHERNIXONOTTOPAINEQUINNRAJSEGELTOTOVETRIWILLSL---OP---RS---ZENGEL------地址

FARIS------地址

GORE------地址指向数据行的指针为数据仓库建立索引B-Tree索引A---KA---DALL27地址或行号 日期 产品 地区 颜色 销售量00001BFF.0012.011115-Nov-00洗碗机东白300 00001BFF.0013.011415-Nov-00干洗机西杏黄45000001BFF.0012.011516-Nov-00洗碗机西杏黄35000001BFF.0012.013816-Nov-00洗衣机北黑55000001BFF.0012.014517-Nov-00洗衣机南白50000001BFF.0012.015717-Nov-00干洗机东白40000001BFF.0014.016517-Nov-00洗衣机南杏黄575 销售数据抽取产品列排序位图索引

颜色排序位图索引

地域排序位图索引洗衣机、干洗机、洗碗机 白色、杏黄色、黑色 东、西、北、南地址或行号 位00001BFF.0012.011100100001BFF.0013.011401000001BFF.0012.011500100001BFF.0012.013810000001BFF.0012.014510000001BFF.0012.015701000001BFF.0014.0165100地址或行号 位00001BFF.0012.011110000001BFF.0013.011401000001BFF.0012.011501000001BFF.0012.013800100001BFF.0012.014510000001BFF.0012.015710000001BFF.0014.0165010地址或行号 位00001BFF.0012.0111100000001BFF.0013.0114010000001BFF.0012.0115010000001BFF.0012.0138001000001BFF.0012.0145000100001BFF.0012.0157100000001BFF.0014.01650001位图索引示例地址或行号 日期 产品 地区 28为数据仓库建立索引选出浅黄褐色洗衣机在东区或南区的销售信息行:

产品 颜色 地区 地址或行号

001 100 1000 00001BFF.0012.0111010 010 0100 00001BFF.0013.0114001 010 0100 00001BFF.0012.0115100 001 0010 00001BFF.0012.0138100 100 0001 00001BFF.0012.0145010 100 1000 00001BFF.0012.0157100 010 0001 00001BFF.0014.0165 第1个位=1第1或第4个位=1第2个位=1且且这一行满足查询要求位图索引:数据查询为数据仓库建立索引选出浅黄褐色洗衣机在东区或南区的销售信息行29为数据仓库建立索引为事实表建立索引的提示如果DBMS不为主键建立索引,那么专门为全部的主键建立一个B-Tree索引仔细设计要建立索引的组合键中的单个键的顺序。将查询中经常使用到的列作为组合键中级别高的键考虑组合键中的每一个键,根据查询过程需要建立组合索引不要忽略为包括指标的列建立索引的可能性位图索引不适用于事实表。为数据仓库建立索引为事实表建立索引的提示30为数据仓库建立索引为维度表建立索引在单一主键上建立惟一的B-Tree索引检查约束查询经常用到的列。这些列是位图索引的候选列在大的维度表中查找经常被一起访问的列。确定如何在这几列上建立和安排多列索引。经常访问的列或者维度表中的层次比较高的列应该在多列索引中具有较高的位置为经常用于连接条件的每个列建立单独的索引为数据仓库建立索引为维度表建立索引31§1物理设计过程Contents

物理设计步骤物理设计考虑的因素物理存储为数据仓库建立索引提高性能的技术§1物理设计过程Contents32提高性能的技术数据分区(水平、垂直)查询只需访问必要的分区整个分区可以脱机维护索引建立得更快向数据仓库中加载数据更容易和易于管理数据损坏只影响一个分区将分区映射到不同的磁盘驱动器以平衡I/O负载数据聚簇并行查询汇总级别参考完整性检查初始化参数反规范化设计提高性能的技术数据分区(水平、垂直)33小结物理设计使数据仓库的实现更接近硬件。物理设计过程可以总结为7个不同的步骤标准的重要性需再三强调。在物理设计过程中要使用好的标准物理设计中的优化存储分配占有很高的地位。要使用RAID技术数据仓库的性能很大程度上依赖于合适的索引机制。B-Tree索引和位图索引都很合适其他的一些提高性能的方案也是物理设计的一部分,包括:数据分区、数据聚簇、并行处理、建立汇总、调整参考完整性检验、合适的DBMS初始化参数调整等等。小结物理设计使数据仓库的实现更接近硬件。物理设计过程可以总结34§2数据仓库部署Objects研究部署阶段在数据仓库开发生命周期中的角色回顾部署的主要任务和如何完成任务检查对领航系统的需求,如何划分领航的类型考虑数据仓库环境下的数据安全考察数据备份和恢复需求Contents

部署的主要任务领航系统安全备份和恢复§2数据仓库部署ObjectsContents35数据仓库部署总结:建造阶段我们己经完成的主要工作基础结构的组件进行了完整测试体系结构的有效性己被论证数据库己定义。各种表的空间分配己经完成己分配好准备区己建立的文件抽取、转换和其他的准备区作业全部测试完成建立的装载映像在开发环境中己经测试完毕。初始装载和增量装载己经完成查询和报表工具己经在开发环境中测试完毕OLAP系统己经安装和测试过了完成了数据仓库的Web功能数据仓库部署总结:建造阶段我们己经完成的主要工作36§2数据仓库部署Contents

部署的主要任务领航系统安全备份和恢复§2数据仓库部署Contents37部署的主要任务完成用户认可完成包括所有用户界面及系统性参方面的所有项目的最后测试执行初始装载加载维度表,然后是事实表,最后建立聚集表准备好用户桌面安装好所有需要的桌面用户工具。测试每个客户的计算机完成初始用户培训培训用户学习数据仓库相关的概念,相关内容和数据访问工具按阶段部署按部署分为用户同意的可管理阶段建立初始用户支持建立对初始用户的基本使用支持,回答问题建立联系部署的主要任务完成用户认可执行初始装载准备好用户桌面完成初始38部署的主要任务一、完成用户认可在每个主题领域或部门,让用户选择几个典型的查询和报表,其中一些是为了可以简单地验证一下结果,另外一些是验证维度表的约束。让用户执行查询并产生报表。最后从操作型系统生成报表作为验证。比较操作型系统的报表和数据仓库产生的报表。找出并计数所有的不同点。在和数据仓库比较之前,验证操作型系统的结果没有任何错误现在是测试预定义查询和报表的最好时候。让每个用户组选择一些这样的查询和报表,测试它们的情况让用户测试OLAP系统。如果你采用MOLAP方式,为OLAP系统建立多维立方体。让用户选择大约5个典型分析会话进行测试。同样,与操作型系统的结果比较部署的主要任务一、完成用户认可39几乎每个数据仓库,用户需要学习和习惯新的前端工具的功能。大多数用户要能很容易地使用这些工具。在结束前为工具的可用性设计认可测试。当然,大多数这样测试是在工具选择时做的。但在那时,是在供应商或者系统开发测试环境下测试的。现在是在产品环境下的测试。这有很大的不同如果你的数据仓库是支持Web的,让用户测试Web特性。如果Web技术用于信息传递,也让用户测试这一项没有系统性能认可测试的用户认可测试是不完整的。项目必须将用户的性能期望放在一个可以接受的程度上。查询响应时间大约是3—5秒。实际上,单独的查询和平均值是不同的,这是可以理解的。用户能够接受这些不同之处,只要这种情况不是经常发生几乎每个数据仓库,用户需要学习和习惯新的前端工具的功能。大多40部署的主要任务二、完整的初始装载主要步骤删除数据仓库关系表中的索引每个维度表和对应的事实表是一对多的关系。也就是说DBMS在关系上使用了关系完整性的检查。假定装载映像是非常仔细地建立的。我们可以挂起这些限制,加速装载过程如果装载过程中出现中断,确保建立合适的检查点,从最后的检查点继续先装载维度表,然后是事实表。一些数据仓库喜欢在装载大表之前先装载小的维度表并验证装载过程基于己经为聚合和统计表建立的计划,建立基于维度表和事实表的聚合表。有时候,装载映像己经在准备区建立了。如果这样,应用这些装载映像建立聚合表在装载时停止了索引建立,现在是建立索引的时候了如果没有挂起参考完整性约束,在装载过程中,所有的参考性错误记录在系统中,检查日志文件,找出所有装载异常部署的主要任务二、完整的初始装载主要步骤41部署的主要任务三、准备好用户桌面完成桌面工具意味着用户可以上机访问数据仓库信息。(数据访问配置、用户名、密码、测试etc.)部署的主要任务三、准备好用户桌面42部署的主要任务四、完成初始用户培训数据库和数据存储的基础概念数据仓库基本特征每个用户组使用的数据仓库内容浏览数据仓库内容数据访问和检索工具的使用信息传递的Web技术应用预定义的查询和报表集可以进行哪些类型的分析查询模板及其使用方法报表生成和传递计划数据装载计划和数据流通用户支持结构,包括一线联系部署的主要任务四、完成初始用户培训43部署的主要任务建立最初用户支持部署的主要任务建立最初用户支持44部署的主要任务按阶段部署企业数据仓库企业范围内的需求分析和计划第一个部门数据集市下一个部门数据集市首先部署整个企业级数据仓库(E-R模型),接着逐个部署部门数据集市自上而下方法下一个部门数据集市下一个部门数据集市下一个部门数据集市收集部门需求,计划,部署独立的数据集市,逐一进行自下而上方法第一个部门数据集市第一个主题数据集市企业范围内的需求分析和计划下一个主题数据集市下一个主题数据集市逐个按照预先计划的顺序,部署一致的维表和事实表的主题集市(维度建模)实用方法部署的主要任务按阶段部署企业数据仓库企业范围内的需第一个部门45§2数据仓库部署Contents

部署的主要任务领航系统安全备份和恢复§2数据仓库部署Contents46领航系统领航数据集市什么时候有用对用户成员来说,数据仓库概念是全新的必须给用户演示,说服他们检索数据信息是非常简单的用户还需要从新工具和技术中积累经验分析人员需要感觉到数据仓库中的分析特征的能力赞助商和上级管理者在大量投入前必须看到数据仓库带来的好处IT设计者和体系结构设计者需要在维度建模技术和这个模型的数据库工作上获得经验项目组需要确保ETL功能工作良好项目组需要确认所有基础组件。比如并行处理、复制、中间件连接、Web技术和OLAP元素是否能很好地配合工作领航系统领航数据集市什么时候有用47领航系统领航系统的类型为项目组内IT人员验证新技术技术证明验证所有基础结构和体系结构组件综合测试数据仓库的初始部署为公司证明数据仓库概念以获得资金支持概念证明证明和鉴别最终用户工具集的特征和使用用户工具认定最早可交付使用的基于用户需求的真实业务需要广泛业务可管理性和技术简单能和部署集成可扩展的种子领航系统的类型领航系统领航系统的类型为项目组内技术证明验证所有基础综合测试48领航系统领航系统的类型概念证明领航系统技术证明领航系统综合测试领航系统用户工具认定领航系统广泛业务领航系统可扩展种子领航系统选择领航系统领航系统领航系统的类型49领航系统扩展和集成领航系统概念证明技术证明综合测试用户工具认定广业务可扩展种子领航系统类型小范围,有限的数据,不适合集成只用于证明IT新技术只用于为IT测试所有的基础结构和体系结构只用于用户测试和熟悉工具较大范围的早期版本,可能集成可管理、简单、是为集成而设计的数据仓库初始部署领航系统扩展和集成领航系统概念证明技术证明综合测试用户工具认50§2数据仓库部署Contents

部署的主要任务领航系统安全备份和恢复§2数据仓库部署Contents51安全安全策略政策覆盖的信息范围物理安全性工作站安全性网络和连接安全性数据库访问权限管理用户权限密码安全工具数据装载的安全清除用户角色和权限汇总级别的安全性元数据安全性OLAP安全性Web安全性安全安全策略数据装载的安全清除52安全管理用户权限角色职责访问权限最终用户运用数据仓库表来进行查询和生成报表系统权限:无数据库管理:无表和视图:选择高级用户/分析员进行复杂的特别查询,设计和生成报表系统权限:无数据库管理:无表和视图:全部咨询台/支持中心帮助用户进行查询和生成报表,分析和解释系统权限:无数据库管理:无表和视图:全部查询工具专家为最终用户解决疑难和安装OLAP工具系统权限:无数据库管理:无表和视图:全部安全管理员授予和回收权限,监视使用情况系统权限:有数据库管理:有表和视图:全部系统/网络管理员安装和维护操作系统和网络系统权限:有数据库管理:无表和视图:无数据仓库管理员安装维护DBMS,提供备份和恢复系统权限:有数据库管理:有表和视图:全部安全管理用户权限角色职责访问权限最终用户运用数据仓库表来进行53§2数据仓库部署Contents

部署的主要任务领航系统安全备份和恢复§2数据仓库部署Contents54备份和恢复为什么要备份数据恢复备份策略建立一个实际的日程表恢复备份和恢复为什么要备份数据恢复55第五讲数据仓库物理设计、部署与维护课件56备份和恢复备份策略的一些技巧决定你需要备份什么。为用户数据库、系统数据库和数据库日志列一个表数据仓库的巨大容量是一个很大的问题。寻求一个简单的管理设置能够将当前数据和历史数据分离开来,对每个数据段有单独的步骤除了全备份,可以考虑日志备份和差异备份不要忽视备份系统数据库备份介质的选择很重要商业RDBMS使用“容器”概念来保存单个文件虽然RDBMS的备份功能为OLTP系统服务,但是数据仓库备份需要更快的速度从数据仓库中计划周期性地将非常陈旧的数据存档备份和恢复备份策略的一些技巧57备份和恢复建立一个实际的日程表OLTP系统备份一般在晚上执行。但是在数据仓库环境中,晚上的时间用于每日的增量装载。备份和装载得竞争系统时间如果你的用户群分布在不同的时区,要找一个时间槽可能更麻烦任务关键的OLTP系统需要经常备份建立一个实际的日程分解为下面这些问题。恢复完成前用户可以忍受多长的停机时间?在最坏的情况下用户可以忍受多大的数据损失?在丢失的数据恢复前,数据仓库能够高效地运行较长的时间吗?备份和恢复建立一个实际的日程表58备份和恢复数据仓库备份日程的方法包括如下元素:将数据仓库分为活动和静态数据对活动和静态数据建立不同的日程将差异备份和日程备份纳入备份方案中备份和每日增量装载的同步如果可用的话,将增量装载文件作为恢复的一部分存储备份和恢复数据仓库备份日程的方法包括如下元素:59备份和恢复备份历史数据备份历史数据完全更新一些表日志文件备份增量加载时间轴系统崩溃可能从最后一次增量装载丢失了数据文件1文件2文件3

系统崩溃使用这些备份文件文件1文件2文件3数据仓库:恢复备份和恢复备份历史数据备份历史数据完全更新一些表日志文件备份60备份和恢复恢复有一个清楚的恢复计划。将不同的灾难情况列表,指出每种情况下如何进行恢复仔细地测试恢复过程。执行日常恢复练习考虑公司的条件,建立恢复步骤,估计恢复的期望停机时间。从用户那里得到停机时间的一般意见。当每一次灾难发生时,不要让用户感到惊讶。让他们知道这是整个方案中的一部分,他们需要为可能发生灾难做准备每次中断,确定恢复需要多久。正确、迅速地通知用户通常,你的备份策略决定怎样执行恢复操作。如果计划包括从每日增量装载文件中恢复的可能性,保存这些文件的备份,使之随手可得如果你必须去源系统完成恢复过程,保证源系统可用备份和恢复恢复61小结数据仓库部署的第一个版本在建造阶段完成后开始部署阶段的主要活动与用户认可、初始装载、桌面准备、初始培训和初始用户支持相关领航系统在几种情况下是需要的。领航系统的一般类型是:概念证明、技术证明、综合测试、用户工具鉴别、广泛业务和可扩展种子虽然数据仓库的数据安全和OLTP系统类似,但是数据仓库数据访问的特点要求提供更加完善的访问权限为什么备份数据仓库?虽然在数据仓库中很少有直接的数据更新,但还是有几个需要备份的理由。备份日程和恢复步骤由于数据仓库的数据容量很大而且更加困难小结数据仓库部署的第一个版本在建造阶段完成后开始62§3升级和维护

GrowthandMaintenance本章目标清楚掌握系统运行时维护和管理的需要理解监视数据仓库的统计数据收集认识统计数据怎样用于管理增长和提高性能仔细讨论用户培训和支持的功能考虑其他经营和管理问题Contents

监视数据仓库用户培训和支持管理数据仓库§3升级和维护

GrowthandMaintenanc63§3升级和维护Contents

监视数据仓库用户培训和支持管理数据仓库§3升级和维护Contents64监视数据仓库最终用户数据仓库管理员评价增长计划和性能调节统计数据数据仓库数据仓库数据监视统计数据收集采样统计数据定时对数据仓库活动采样,以获得统计数据事件驱动统计数据收集记录特定事件发生时的统计数据查询、报表、分析监视数据仓库最终用户数据仓库管理员评价增长计划和性能调节统计65监视数据仓库监视用的统计数据的收集物理磁盘存储空间使用情况DBMS在块中寻找空间或者导致碎片的次数内存缓冲区活动缓存使用输入输入出性能内存管理数据仓库内容,不同入口发生的次数每个数据库表的大小事实表记录的访问监视数据仓库监视用的统计数据的收集66监视数据仓库统计数据收集(续)与主题域相关的使用情况统计数据每日按时间槽完成的查询个数每个数据仓库用户在线的时间每日不同用户的总数每日时间槽内最大用户个数每日增量装载的持续时间有效用户计数查询响应时间每日生成报告的个数数据库中活动表的个数监视数据仓库统计数据收集(续)67监视数据仓库为升级而使用统计数据为现有的表分配更多的磁盘空间为附加的表留出更多的磁盘空间修改文件块参数,使碎片最小化建立更多的汇总,用以处理大量对汇总信息的查询重组准备区文件以处理更大的数据量为加强缓冲管理增加更多的缓存升级数据库服务器将报表生成使用其他中间件代替24小时周期中消除高峰时间的使用通过对表进行分区,进行并行装载和备份监视数据仓库为升级而使用统计数据68监视数据仓库为优化使用统计数据查询性能查询建立增量装载OLAP装载频率OLAP系统数据仓库内容浏览报表格式化报表生成监视数据仓库为优化使用统计数据69监视数据仓库监视统计数据元数据数据仓库数据支持Web的数据仓库企业内部网网页统计数数据仓库主题数据仓库表汇总数据数据仓库导航数据仓库统计数据预定义查询预定义报表最后一次完整装载最后一次增量装载安排好停机时间支持接洽用户工具升级内部最终用户用户统计数据监视数据仓库监视统计数据元数据数据仓库数据支持Web的数据仓70§3升级和维护Contents

监视数据仓库用户培训和支持管理数据仓库§3升级和维护Contents71用户培训和支持用户培训内容数据内容数据仓库中可用的主题数据仓库的维度表和事实表数据仓库导航数据粒度和聚集表源系统和数据抽取数据转换和清洗原则商业术语和含义应用预定义查询查询模板预格式化的报表报表编辑器选项用于下游应用的数据预开发的应用程序OLAP汇总和多维分析主管信息系统工具最终用户工具特征和功能有数据仓库元数据的工具界面登录和使用工具软件的步骤使用工具导航和浏览数据仓库内容使用工具建立查询获得结果使用工具生成报表用户培训和支持用户培训内容数据内容应用工具72用户培训和支持准备培训计划成功的培训计划赖于用户代表和IT技术人员的共同参与让IT技术人员和用户一起准备课程内容记住包括数据内容、应用和工具使用等课题给出一个当前所有需要培训的用户列表确定多少不同的培训过程会对用户有实际用处介绍性课程通常上一天,每个用户必须参加这个基础课程在深入性课程中有几种途径。每种途径适合特定用户组,着重于一到两个主题区域依赖于不同的工具集,专门介绍工具使用的课程也有一些变化。OLAP用户必须有自己的课程保持课程文档简单和直接而且包括足够的图表动手过程可能更有效。在介绍性课程中可能中需要一个演示就够了,另外两种课程需要进行动手训练用户培训和支持准备培训计划73用户培训和支持介绍性课程数据仓库介绍介绍数据仓库和数据如何存储数据仓库导航维度和事实表预定义查询和预格式化报表最终用户应用程序亲自动手浏览数据仓库内容深入课程数据仓库知识更新浏览所有主题仔细学习选择的主题------事实表,维表,数据粒度和汇总学习源系统和数据抽取学习数据转换亲自动手会话最终用户工具使用工具浏览仔细学习工具功能工具特征着重描述使用工具导航和浏览数据仓库内容查询报表和分析工具的亲自动手使用额外的工具特征,例如,下钻,导出数据用户培训和支持介绍性课程深入课程最终用户工具使用74用户培训和支持执行培训计划用户支持咨询台支持用户代表用户热线支持技术支持提供热线支持不能处理的问题记录支持请求,提供帮助,如果需要还要传递请求提供对硬件、系统软件和工具的远程或者在线支持部门内接触的第一点多层支持结构用户培训和支持执行培训计划咨询台支持用户代表用户热线支持技术75§3升级和维护Contents

监视数据仓库用户培训和支持管理数据仓库§3升级和维护Contents76管理数据仓库管理关注:维护管理:DBA必须保证所有功能以最佳状态运行修改管理:新版本的部署、新工具的发布、ETL功能的提高和自动化部署后管理包括下面一些方面性能监视和优化数据增长管理存储管理网络管理ETL管理未来数据集市发布管理信息传递增强安全管理备份和恢复管理Web技术管理平台升级继续培训用户支持管理数据仓库管理关注:安全管理77管理数据仓库平台升级数据增长管理存储管理ETL管理数据模型修订信息传递增强持续的优化管理数据仓库平台升级78管理数据仓库数据增长管理取消某些细节数据级别,而用汇总表代替约束不必要的下钻功能,去掉对应的细节级别数据限制历史数据的容量,及时将旧数据存档不鼓励分析人员保存无计划的汇总如果真的需要,建立附加的汇总表管理数据仓库数据增长管理79管理数据仓库存储管理(一些技巧)每次数据仓库的新版本初始测试都需要更多的存储空间。对增长要有计划确保存储配置灵活且可扩展。必须能够增加更多的存储器而最少地中断当前的用户使用模块化存储系统。如果没有使用,考虑转换如果在分布式环境下有多个服务器且它们有各自的存储池,那么也考虑将服务器连接到一个可以智能访问的存储池随着使用的增加,计划分布数据到多个卷以最小化访问瓶颈确保可以从坏的存储扇区里转移数据寻找可以检查的存储系统以避免存储损耗管理数据仓库存储管理(一些技巧)80管理数据仓库ETL管理定时运行每日的抽取作业。如果在特殊情况下源系统不可用,那么重新安排抽取作业如果使用了数据复制技术,保证复制过程结果正确保证源系统记录个数和抽取出的文件记录个数的所有的对比完成确保所有己定义的数据转换和清洗工作可以正确地进行解决转换和清洗功能出现的异常情况验证装载映像建立过程,包括为维度表和事实表创建合适键值找出对慢速变化维度的合适处理保证每日增强装载实时地完全地实现管理数据仓库ETL管理81管理数据仓库数据模型修订元数据修订物理设计修订额外的存储分配ETL功能修订额外的预定义查询和预格式化报表OLAP系统修订额外的安全系统额外的备份和恢复系统管理数据仓库数据模型修订82管理数据仓库信息传递增强(一些技巧)保证新工具集和数据仓库组件的兼容性如果新工具集对己存在的工具是新增的,给用户一段过渡时间保证最终用户元数据的集成安排新工具集的培训如果原始工具集有附加的存储数据,计划将这些数据转移到新工具集中管理数据仓库信息传递增强(一些技巧)83管理数据仓库持续的优化(实际的建议)制订一个检查索引使用情况的日常安排。删除不再使用的索引每天监视查询性能。调查长时间运行的查询。和执行长时间查询的用户组一起工作。如果需要,就建立索引定期分析预定义查询的执行情况。RDBMS有对应的查询分析器完成这项工作观测每日不同时间的装载分布。确定变化巨大的原因虽然你己经为持续的优化建立了日常安排,有时候,你会碰到导致突然不幸的一些查询。你会听到一些特别用户群的抱怨。准备好这些特别的优化需要。数据管理组必须有人抽出时间处理这些情况管理数据仓库持续的优化(实际的建议)84小结紧跟着初始部署,项目组必须执行检查过程在系统运行过程中监视数据仓库需要采集不同指示器的统计数据。使用这些统计数据制订增长和优化计划用户培训包括确定需要的内容,准备培训计划,执行培训计划用户支持功能需要划分为多个层次,以满足不同的支持需要,这些支持涉及数据内容、应用程序和工具系统运行过程中的管理包括以下几个方面:平台升级,数据增长管理,存储管理,ETL管理,数据模型更新,信息传递增强和持续优化小结紧跟着初始部署,项目组必须执行检查过程85第五讲数据仓库的

物理设计、部署与维护第五讲86第五讲物理设计过程

物理设计步骤物理设计考虑的因素物理存储为数据仓库建立索引提高性能的技术数据仓库部署

部署的主要任务领航系统安全备份和恢复升级与维护监视数据仓库用户培训和支持管理数据仓库第五讲物理设计过程数据仓库部署升级与维护87§1物理设计过程Objects明确数据仓库的物理和逻辑设计的区别研究物理设计的过程明白物理设计需要考虑的因素及其含义掌握物理设计中存储因素的角色考察数据仓库环境下的索引技术总结所有提高系统性能的方法Contents物理设计步骤物理设计考虑的因素物理存储为数据仓库建立索引提高性能的技术§1物理设计过程ObjectsContents88物理设计使项目组更接近于最后的实现和部署每个物理设计的任务是将逻辑设计推向更有意义的下一步物理设计使项目组更接近于最后的实现和部署89§1物理设计过程Contents

物理设计步骤物理设计考虑的因素物理存储为数据仓库建立索引提高性能的技术§1物理设计过程Contents90物理设计步骤建立标准建立聚集计划确定数据分区方案建立聚簇选项:大量数据的顺序访问准备索引策略安排存储结构完成物理建模物理设计步骤建立标准91数据库分区技术分区将表分离在若干不同的表空间上,用分而治之的方法来支撑无限膨胀的大表,给大表在物理一级的可管理性。将大表分割成较小的分区可以改善表的维护、备份、恢复、事务及查询性能。数据库分区技术分区将表分离在若干不同的表空间上,用分而治之的92数据仓库的分区方案

分区原因:事实表太大而不得不分区,有些维度表可能也很大。方案:选择需要分区的事实表和维度表每个表的分区类型------水平或者垂直每个表的分区个数表的分区准则(例如,按照产品分组)描述查询如何知道存在分区数据仓库的分区方案

分区原因:事实表太大而不得不分区,有些维93分区例子CREATETABLESPACEts_sale1999q1

DATAFILE‘/u1/oradata/sales/sales1999_q1.dat'

SIZE100M

DEFAULTSTORAGE(INITIAL30mNEXT30mMINEXTENTS3PCTINCREASE0)

CREATETABLESPACEts_sale1999q2

DATAFILE‘/u1/oradata/sales/sales1999_q2.dat'

SIZE100M

DEFAULTSTORAGE(INITIAL30mNEXT30mMINEXTENTS3PCTINCREASE0)

CREATETABLESPACEts_sale1999q3

DATAFILE‘/u1/oradata/sales/sales1999_q3.dat'

SIZE100M

DEFAULTSTORAGE(INITIAL30mNEXT30mMINEXTENTS3PCTINCREASE0)

CREATETABLESPACEts_sale1999q4

DATAFILE‘/u1/oradata/sales/sales1999_q4.dat'

SIZE100M

DEFAULTSTORAGE(INITIAL30mNEXT30mMINEXTENTS3PCTINCREASE0)

分区例子CREATETABLESPACEts_sale194分区例子(cont.)CREATETABLEsales

(invoice_noNUMBER,

...

sale_dateDATENOTNULL)

PARTITIONBYRANGE(sale_date)

(PARTITIONsales1999_q1

VALUESLESSTHAN(TO_DATE(‘1999-04-01','YYYY-MM-DD')

TABLESPACEts_sale1999q1,

PARTITIONsales1999_q2

VALUESLESSTHAN(TO_DATE(‘1999-07-01','YYYY-MM-DD')

TABLESPACEts_sale1999q2,

PARTITIONsales1999_q3

VALUESLESSTHAN(TO_DATE(‘1999-10-01','YYYY-MM-DD')

TABLESPACEts_sale1999q3,

PARTITIONsales1999_q4

VALUESLESSTHAN(TO_DATE(‘2000-01-01','YYYY-MM-DD')

TABLESPACEts_sale1999q4);

分区例子(cont.)CREATETABLEsales95§1物理设计过程Contents

物理设计步骤物理设计考虑的因素物理存储为数据仓库建立索引提高性能的技术§1物理设计过程Contents96物理设计考虑的因素物理设计目标提高性能保证可伸缩性存储管理提供简便的管理灵活性设计物理设计考虑的因素物理设计目标97物理设计考虑的因素从逻辑模型到物理模型逻辑模型物理模型数据建模工具对象命名标准化改变属性数据类型为键指定合适的数据类型为属性指定约束定义外键关系考虑选择数据库管理系统有需要的时候就增加注释物理模型意味着信息内容更加的接近硬件层物理设计考虑的因素从逻辑模型到物理模型逻辑模型物理模型数据建98物理设计考虑的因素物理模型的组成方案子方案定义表列同义词视图注释用户角色主键外键约束索引安全特权文件/表空间数据仓库:物理模型组件物理设计考虑的因素物理模型的组成方案表列同义词视图注释用户角99CREATESCHEMAORDER_ANALYSISAUTHORIZATIONSAMUEL_JOHNSON……………….CREATETABLEPRODUCT(PRODUCT_KEYCHARACTER(8)

PRIMARYKEY,PRODUCT_NAMECHARACTER(25),PRODUCT_SKUCHARACTER(20),PRODUCT_BRANDCHARACTER(25),CREATETABLESALESPERSON(SALPERS_KEYCHARACTER(8) PRIMARYKEY,SALPERS_NAMECHARACTER(30),TERRITORYCHARACTER(20),REGIONCHARACTER(20))CREATETABLEORDER_FACT(

PRODUCT_REFCHARACTER(8)PRIMARYKEY,SALPERS_REFCHARACTER(8),PRIMARYKEY,ORDER_AMOUNTNUMERIC(8.2),ORDER_COSTNUMERIC(8.2),FOREIGNKEYPRODUCT_REFREFERENCESPRODUCT,FOREIGNKEYSALPERS_REFREFERENCESSALESPERSON)

SQL描述的示例方案CREATESCHEMAORDER_ANALYSISCR100逻辑模型产品键名子SKU品牌产品销售代表键姓名区域地区订单键订单数量成本订单事实表逻辑模型名称类型为空注释产品表产品维表包括公司所有的产品Product_keyIntegerN主键Product_nameChar(25)N产品的销售名称Product_skuChar(20)N源系统的库存单位Product_brandChar(25)N销售中的产品品牌销售人员表包括不同地区的所有销售人员信息Salpers_keyIntegerN主键Salpers_nameChar(30)N销售人员正式姓名TerritoryChar(20)N销售人员所在区域RegionChar(20)N销售区域包括的地区订单事实表事实表包括公司收到的所有订单Product_refIntegerN局部主键,参考产品局部主键表的外键Salpers_refIntegerN局部主键,参考销售代表维度表的外键Order_amountNum(8,2)N以美元计的销售额Order_costNum(8,2)N以美元计的订单成本逻辑模型及物理模型逻辑模型产品键产品销售代表键订单键订单事实表逻辑模型名称类型101物理设计考虑的因素标准的意义数据库对象的命名对象组件命名customer_loan_balance单词分界符逻辑模型和物理模型的命名准备区域文件和表名称定义标志进程表明目的示例:product_full_refresh,customer_daily_update…物理文件命名规范保存源代码和脚本的文件数据库文件应用程序文档物理设计考虑的因素标准的意义102§1物理设计过程Contents

物理设计步骤物理设计考虑的因素物理存储为数据仓库建立索引提高性能的技术§1物理设计过程Contents103物理存储存储区数据结构数据准备区数据仓库存储区OLAP系统以专用矩阵格式存储的多维数据立方体物理文件关系数据库数据文件(转换过的数据)关系数据库索引文件装载映像文件关系数据库索引文件己分区的物理文件细节数据和简单汇总数据抽取平面文件关系数据库数据文件(仓库数据)物理存储存储区数据结构数据准备区数据仓库存储区OLAP系统以104物理存储优化存储块:数据库的数据和内存之间I/O传输的基本单位设定正确的块大小设置合适的块使用参数块空闲率块使用率数据迁移管理块使用管理采用文件分带技术:可使I/O并发进行物理存储优化存储105物理存储使用RAID技术RedundantArrayofIndependentDisk:廉价冗余磁盘阵列(独立磁盘冗余阵列)安全性高,速度快,数据容量超大

磁盘镜像------

将相同的数据写入连接到相同控制器的两个磁盘中双磁盘------

和磁盘镜像类似,不同的是每个驱动器有自己单独的控制器奇偶校验------

为数据加入校验位以保证数据传输可靠磁盘分带------

数据按扇区或者字节分布在多个磁盘上物理存储使用RAID技术106RAID0高性能、低成本、单磁盘损坏导致整个磁盘阵列无法使用数据带状分布在多个磁盘上,没有冗余RAID1可读性能和可靠性高,因为数据复制,所以昂贵磁盘镜像,数据写入成对的冗余驱动器RAID2高性能,纠一位错,两位检错,代价昂贵数据按位或者块交错分布在磁盘上,额外的驱动器存储校验码RAID3对大块数据性能较高,不支持运行时恢复数据按位或块交错存储,有一个驱动器存储校验数据RAID4可以处理多个复杂操作系统中的I/0操作,只用两个驱动器数据记录按扇区交错存储,有一个专门驱动器存储校验数据RAID5不需要专门的校验驱动器,需要两个或三个驱动器,写能力较弱数据扇区交错存储于多个驱动器,非常流行RAID技术RAID0高性能、低成本、单数据带状分布在多个RAID1107物理存储估计存储容量对每个数据表,确定行数的初始估计行的平均长度估计行的每月增长数表的初始大小,以兆字节(MB)计算表6个月和12月的大小对所有表,确定索引的个数索引在,最初,6个月和12个月后需要的空间估计排序、合并需要的临时空间准备区内的临时文件准备区内的长久文件物理存储估计存储容量108§1物理设计过程Contents

物理设计步骤物理设计考虑的因素物理存储为数据仓库建立索引提高性能的技术§1物理设计过程Contents109为数据仓库建立索引索引一览索引和加载建立大表的索引选择索引的列一种分阶段的方法为数据仓库建立索引索引一览110为数据仓库建立索引B-Tree索引位图索引簇索引为事实表建立索引为维度表建立索引为数据仓库建立索引B-Tree索引111为数据仓库建立索引B-Tree索引A---KL---ZA---DE---GH---KALLENBUSHCLYNEDUNNEENGELFARISGOREHAIGIGNARJONESKUMARLOEWEMAHERNIXONOTTOPAINEQUINNRAJSEGELTOTOVETRIWILLSL---OP---RS---ZENGEL------地址

FARIS------地址

GORE------地址指向数据行的指针为数据仓库建立索引B-Tree索引A---KA---DALL112地址或行号 日期 产品 地区 颜色 销售量00001BFF.0012.011115-Nov-00洗碗机东白300 00001BFF.0013.011415-Nov-00干洗机西杏黄45000001BFF.0012.011516-Nov-00洗碗机西杏黄35000001BFF.0012.013816-Nov-00洗衣机北黑55000001BFF.0012.014517-Nov-00洗衣机南白50000001BFF.0012.015717-Nov-00干洗机东白40000001BFF.0014.016517-Nov-00洗衣机南杏黄575 销售数据抽取产品列排序位图索引

颜色排序位图索引

地域排序位图索引洗衣机、干洗机、洗碗机 白色、杏黄色、黑色 东、西、北、南地址或行号 位00001BFF.0012.011100100001BFF.0013.011401000001BFF.0012.011500100001BFF.0012.013810000001BFF.0012.014510000001BFF.0012.015701000001BFF.0014.0165100地址或行号 位00001BFF.0012.011110000001BFF.0013.011401000001BFF.0012.011501000001BFF.0012.013800100001BFF.0012.014510000001BFF.0012.015710000001BFF.0014.0165010地址或行号 位00001BFF.0012.0111100000001BFF.0013.0114010000001BFF.0012.0115010000001BFF.0012.0138001000001BFF.0012.0145000100001BFF.0012.0157100000001BFF.0014.01650001位图索引示例地址或行号 日期 产品 地区 113为数据仓库建立索引选出浅黄褐色洗衣机在东区或南区的销售信息行:

产品 颜色 地区 地址或行号

001 100 1000 00001BFF.0012.0111010 010 0100 00001BFF.0013.0114001 010 0100 00001BFF.0012.0115100 001 0010 00001BFF.0012.0138100 100 0001 00001BFF.0012.0145010 100 1000 00001BFF.0012.0157100 010 0001 00001BFF.0014.0165 第1个位=1第1或第4个位=1第2个位=1且且这一行满足查询要求位图索引:数据查询为数据仓库建立索引选出浅黄褐色洗衣机在东区或南区的销售信息行114为数据仓库建立索引为事实表建立索引的提示如果DBMS不为主键建立索引,那么专门为全部的主键建立一个B-Tree索引仔细设计要建立索引的组合键中的单个键的顺序。将查询中经常使用到的列作为组合键中级别高的键考虑组合键中的每一个键,根据查询过程需要建立组合索引不要忽略为包括指标的列建立索引的可能性位图索引不适用于事实表。为数据仓库建立索引为事实表建立索引的提示115为数据仓库建立索引为维度表建立索引在单一主键上建立惟一的B-Tree索引检查约束查询经常用到的列。这些列是位图索引的候选列在大的维度表中查找经常被一起访问的列。确定如何在这几列上建立和安排多列索引。经常访问的列或者维度表中的层次比较高的列应该在多列索引中具有较高的位置为经常用于连接条件的每个列建立单独的索引为数据仓库建立索引为维度表建立索引116§1物理设计过程Contents

物理设计步骤物理设计考虑的因素物理存储为数据仓库建立索引提高性能的技术§1物理设计过程Contents117提高性能的技术数据分区(水平、垂直)查询只需访问必要的分区整个分区可以脱机维护索引建立得更快向数据仓库中加载数据更容易和易于管理数据损坏只影响一个分区将分区映射到不同的磁盘驱动器以平衡I/O负载数据聚簇并行查询汇总级别参考完整性检查初始化参数反规范化设计提高性能的技术数据分区(水平、垂直)118小结物理设计使数据仓库的实现更接近硬件。物理设计过程可以总结为7个不同的步骤标准的重要性需再三强调。在物理设计过程中要使用好的标准物理设计中的优化存储分配占有很高的地位。要使用RAID技术数据仓库的性能很大程度上依赖于合适的索引机制。B-Tree索引和位图索引都很合适其他的一些提高性能的方案也是物理设计的一部分,包括:数据分区、数据聚簇、并行处理、建立汇总、调整参考完整性检验、合适的DBMS初始化参数调整等等。小结物理设计使数据仓库的实现更接近硬件。物理设计过程可以总结119§2数据仓库部署Objects研究部署阶段在数据仓库开发生命周期中的角色回顾部署的主要任务和如何完成任务检查对领航系统的需求,如何划分领航的类型考虑数据仓库环境下的数据安全考察数据备份和恢复需求Contents

部署的主要任务领航系统安全备份和恢复§2数据仓库部署ObjectsContents120数据仓库部署总结:建造阶段我们己经完成的主要工作基础结构的组件进行了完整测试体系结构的有效性己被论证数据库己定义。各种表的空间分配己经完成己分配好准备区己建立的文件抽取、转换和其他的准备区作业全部测试完成建立的装载映像在开发环境中己经测试完毕。初始装载和增量装载己经完成查询和报表工具己经在开发环境中测试完毕OLAP系统己经安装和测试过了完成了数据仓库的Web功能数据仓库部署总结:建造

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论