数据仓库与联机分析处理

数据仓库技术与联机分析处理

DataWarehouse&OLAP数据库处处理的两两大应用用联机事务务处理（OLTP）决策支持持系统（DSS）数据库处处理的两两大应用用联机事务务处理（OLTP）操作型处处理，为为企业的的特定应应用服务务是对数据据库的联联机的日日常操作作，通常常是对一一个或一一组记录录的查询询和修改改人们关心心的是响响应时间间、数据据的安全全性和完完整性决策支持持系统（DSS）数据库处处理的两两大应用用联机事务务处理（OLTP）决策支持持系统（DSS）分析型处处理，用用于管理理人员的的决策分分析经常需要要访问大大量的历历史数据据数据仓库库+联联机分分析处理理+数据据挖掘（DW+OLAP++DM）→→DSS数据仓库库是一个面面向主题题的、集集成的、、非易失失的（不不可修改改）且随随时间变变化的数数据集合合，用来来支持管管理人员员的决策策数据仓库库的特点点面向主题题主题是在在较高层层次上对对数据抽抽象面向主题题的数据据组织分分为两步步骤抽取主题题确定每个个主题所所包含的的数据内内容每个主题题在数据据仓库中中都是由由一组关系系表实现的的集成的数据不可可更改随时间变变化的数据仓库库的特点点——面向主题题数据仓库库的特点点面向主题题集成的数据仓库库的数据据是从原原有的分分散数据据库数据据中抽取取来的消除数据据表述的的不一致致性（数数据的清清洗）数据的综综合数据不可可更改随时间变变化的数据仓库库的特点点——集成数据仓库库的特点点面向主题题集成的数据不可可更改数据仓库库的主要要数据操操作是查查询、分分析不进行一一般意义义上的数数据更新新（过期期数据可可能被删删除）数据仓库库强化查查询、淡淡化并发发控制和和完整性性保护等等技术随时间变变化的数据仓库库的特点点——数据不可可更改数据仓库库的特点点面向主题题集成的数据不可可更改随时间变变化的不断增加加新的数数据内容容不断删除除旧的数数据内容容定时综合合数据仓库库中数据据表的键码都包含时时间项，，以标明明数据的的历史时时期数据仓库库的特点点——随时间变变化数据仓库库的结构构OLTP系统RDBMSSybaseVSAMSAP//ERP5-10年过去详细数据据当前详细数据据轻度汇总数据据高度汇总数据据数据集市市分析型CRM业务指标标分析数据仓库库数据仓库库/决策策分析系系统EXCEL数据仓库库的结构构数据由操操作型环环境（综综合）导导入数据据仓库数据具有有不同的的细节级级早期细节节级（过过期数据据）当前细节节级轻度综合合数据级级（数据据集市））高度综合合数据级级数据仓库库建立的的过程粒度是指数据据仓库的的数据单单位中保保存数据据的细化化或综合合程度的的级别粒度级越越小，细细节程度度越高，，综合程程度越低低，回答答查询的的种类越越多粒度影响响数据仓仓库中数数据量的的大小粒度问题题是设计计数据仓仓库的一一个重要要方面双重粒度度在数据仓仓库的细细节级上上创建两两种粒度度短期储存存的低粒粒度（真真实档案案），满满足细节节查询具有综合合的高粒粒度（轻轻度综合合），做做分析分割是指把数数据分散散到各自自的物理理单元中中去，以以便能分分别独立立处理，，提高数数据处理理效率是粒度之之后的第第二个主主要设计计问题两个层次次的分割割系统层：：DBMS，一一种定义义应用层：：开发者者，多种种定义多种分割割的标准准日期：最最常用的的地理位置置组织单位位…....数据仓库库中的数数据组织织形式简单堆积积轮转综合合数据按一一定的格格式进行行轮转的的累加简化直接接按一定的的时间间间隔，对对数据进进行提取取，是操操作型数数据的一一个快照照连续把新的快快照追加加到以前前的连续续数据上上去数据仓库库中的数数据组织织形式简单堆积积每日由数数据库中中提取并并加工的的数据逐逐天积累累堆积数据仓库库中的数数据组织织形式轮转综合合数据按一一定的格格式进行行轮转的的累加数据仓库库中的数数据组织织形式简单堆积积与轮转转综合的的比较数据仓库库中的数数据组织织形式简化直接接按一定的的时间间间隔，对对数据进进行提取取，是操操作型数数据的一一个快照照数据仓库库中的数数据组织织形式连续把新的快快照追加加到以前前的连续续数据上上去数据仓库库的数据据追加数据追加加数据仓库库的数据据初装完完成以后后，再向向数据仓仓库输入入数据的的过程称称为数据追加加变化数据据的捕获获时标法：：加标识识DELTA法：：对更新新作记录录前后映象象法：两两次快照照的对比比日志法：利用DBMS的日志志，需改改进数据库的的体系化化环境是在一个个企业或或组织内内部，由由各面向向应用的的OLTP数据据库及各各级面向向主题的的数据仓仓库所组组成的完完整的数数据环境境操作型环环境、分分析型环环境四层体系系化环境境操作型环环境———OLTP全局级———数据据仓库部门级———局部部仓库个人级———个人人仓库，，用于启启发式的的分析数据集市市（DataMart）特定的、、面向部部门的小小型数据据仓库是为满足足用户特特定需求求而创建建的数据据仓库是数据仓仓库的子子集数据库的的体系化化环境数据库的的体系化化环境数据仓库库的开发发生命周周期数据仓库库的基本本数据模模式星型模式式(StarSchema)事实表((facttable)，，存放基基本数据据，相关关主题的的数据主主体（BCNF）维(dimension)，，影响、、分析主主体数据据的因素素量(measure))，事实实表中的的数据属属性维表(dimensiontable))，表示示维的各各种表维是量的的取值条条件，维维用外键键表示以事实表表为中心心，加上上若干维维表，组组成星型型数据模模式例：产品品-商店店-销售售额数据仓库库的基本本数据模模式CustSalesLocationSalesProdSalesTimeSalesSalestimeid<pk,fk>productid<pk,fk>locationid<pk,fk>customerid<pk,fk>salesrevenueunitssoldProductproductid<pk>makemodelTimetimeid<pk>dateyearquartermonthweekLocationlocationid<pk>regiondistrictstoreCustomercustomerid<pk>categorygroupSalesfactSalesmeasuresTimedimensionAttributesofthetimedimension数据仓库库的基本本数据模模式雪花模式式(SnowflakeSchema))维一般是是由若干干层次组组成把维按其其层次结构表示示成若干干个表规范化、、节省存存储空间间但需多做做连接操操作数据仓库库的解决决方案通用的关关系数据据库系统统专门的数数据仓库库服务器器数据仓库库系统的的体系结结构数据仓库库层数据仓库库工具层层最终用户户数据仓库库系统数据仓库库居系统的的核心地地位是信息挖挖掘的基基础数据仓库库管理系系统是整个系系统的引引擎负责管理理整个系系统的运运转数据仓库库工具一般的查查询工具具、功能能强大的的分析工工具是整个系系统发挥挥作用的的关键数据仓库库系统一个集成成化的产产品集数据仓库库系统DesignWarehouseArchitectManageSybaseASIQIntegrateInformaticaEnterpriseConnectReplicationServerPowerMartVisualizeBrioCognosAdministerWarehouseControlCenterWarehouseControlCentre数据分析析模型早期静态数据据值的相相互比较较需求从多个不不同的数数据源中中综合数数据从不同的的角度观观察数据据多变的主主题、多多维数据据E-R不能完全全支持四种分析析模型（Codd）绝对模型型静态数据据分析只能对历历史数据据进行值值的比较较，描述述基本事事实用户交互互少解释模型型思考模型型公式模型型四种分析析模型（Codd）绝对模型型解释模型型静态数据据分析在当前多多维视图图的基础础上找出出事件发发生的原原因思考模型型公式模型型四种分析析模型（Codd）绝对模型型解释模型型思考模型型动态数据据分析多维分析析在决策者者的参与与下，找找出关键键变量需要高级级数据分分析人员员的介入入公式模型型四种分析析模型（Codd）绝对模型型解释模型型思考模型型公式模型型动态性最最高的一一类自动完成成变量的的引入工工作数据仓库库系统的的工具层层查询工具具主要是对对分析结结果的查查询很少有对对记录级级数据的的查询验证型工工具多维分析析工具用户首先先提出假假设，然然后利用用各种工工具通过过反复、、递归的的检索查查询以验验证或否否定假设设发掘型工工具从大量数数据中发发现数据据模式预测趋势势和行为为联机分析析处理——OLAP是针对特特定问题题的联机机访问和和分析。。通过对信信息的很很多种可可能的观观察形式式进行快快速、稳稳定一致致和交互互性的存存取，允允许分析析人员对对数据进进行深入入观察一些概念念变量是数据的的实际意意义，描描述数据据是什么么维是人们观观察数据据的特定定角度维的层次次是维在不不同细节节程度的的描述维成员是维的一一个取值值多层次维维的维成成员是各各层次取取值的组组合对应一个个数据项项，维成成员是该该数据项项在该维维中位置置的描述述多维数组组可以表示示为（维维1,维2,………,变量），如（（地区,时间,销售渠道道,销售额）多维数组组的取值值称为数据单元元（单元元格）可以理解解为交叉叉表的数数据格一些基本本操作在多维数数组的某某一维选选定一个个维成员员的动作作称为切片。舍弃一些些观察角角度在多维数数组的某某一维上上选定某某一区间间的维成成员切块多个切片片的叠加加旋转是改变一一个报告告或页面面显示的的维方向向以用户容容易理解解的角度度来观察察数据基于多维维数据库库的OLAP——MOLAP以多维方方式组织织数据（（综合数据）以多维方方式显示示（观察察）数据据多维数据据库的形形式类似似于交叉叉表，可可直观地地表述一一对多、、多对多多的关系系如：产品品、地区区、销售售额关系多维多维数据据库由许许多经压压缩的、、类似于于数组的的对象构构成，带带有高度度压缩的的索引及及指针结结构以关系数数据库存存放细节节数据、、以多维维数据库库存放综综合数据据基于关系系数据库库的OLAP——ROLAP以二维表与多维联系系来表达多多维数据据（综合数据）星型结构构事实表，，存储事事实的量量及各维维的码值值（BCNF）维表，对对每一个个维，至至少有一一个表用用来保存存该维的的元数据据（多层层次、冗冗余）事实表通通过外键键与每个个维表相相联系雪花、星星座、雪雪暴模拟多维维方式显显示（观观察）数数据MOLAP与ROLAPMOLAP计算速度度较快支持的数数据容量量较小缺乏细节节数据的的OLAPROLAP结构较复复杂以关系模模拟多维维支持适当当细节的的OLAP较成熟HOLAP是以上两两种的综综合桌面级工工具BrioQuery((ROLAP)BusinessObjects(ROLAP)CognosImpromptu(ROLAP)CognosPowerPlay(MOLAP)服务器级级OLAPArborSoftwareEssbase(MOLAP)MicroStrategyDSSAgent((ROLAP))Oracle’’sExpress(hybridMOLAP//ROLAP))SQL3对聚集的的扩展(在GroupBy中中扩展))SP(S#,P#,QTY))S#P#QTYS1P1300S1P2200S2P1300S2P2400S3P2200S4P2200Selectsum(QTY)asTOTQTYFrom SP;SelectS#,,Sum(QTY)asTOTQTYFrom SPGroupByS#;…....SQL3对聚集的的扩展(在GroupBy中中扩展))GroupingSets：支持持多个分分组同时时运算SelectS#,,P#,,SUN(QTY)asTOTQTYFromSPGroupByGroupingSets((S##),,(P#)))S#P#TOTQTYS1Null 500S2Null700S3Null200S4Null200Null P1 600Null P2 1000SQL3对聚集的的扩展(在GroupBy中中扩展))Rollup：：上卷SelectS#,,P#,,SUN(QTY)asTOTQTYFromSPGroupByRollup(S#,,P#)等同于GroupByGroupingSets(((S#,,P##),,(S#),,()))S#P#TOTQTYS1P1300S1P2200S2P1300S2P2400S3P2200S4P2200S1Null 500S2Null700S3Null200S4Null200Null Null1600SQL3对聚集的的扩展(在GroupBy中中扩展))Cube：立方方体（交交叉表））SelectS#,,P#,,SUN((QTY)asTOTQTYFromSPGroupByCube(S#,,P##)等同于GroupByGroupingSets(((S#,,P##),,(S#),,((P#)),(()))S#P#TOTQTYS1P1300S1P2200S2P1300S2P2400S3P2200S4P2200S1Null 500S2Null700S3Null200S4Null200Null P1 600Null P2 1000Null Null1600数据挖掘掘（DataMining）探测型的的数据分分