第二章第一节 OLAP原理

第二章联机分析处理（OLAP）

OLAP概念

OLAP的基本操作

OLAP的分类和体系结构

基于多维数据库的OLAP（MOLAP）

基于关系数据库的OLAP（ROLAP）

OLAP的衡量和特性

OLAP的前端展示

OLAP的发展及展望主讲：武彤电话mail：wtxx@2.1基本概念及原理

OLAP概念什么是OLAPOLAP的相关基本概念OLAP与OLTP的区别第二章联机分析处理（OLAP）2.1基本概念及原理OLAP概念什么是OLAP

定义1：OLAP是针对某个特定的主题进行联机数据访问、处理和分析，通过直观的方式从多个维度、多种数据综合程度将系统的运营情况展现给使用者。

定义2：OLAP是使分析人员、管理人员或执行人员能够从多角度对信息进行快速、一致、交互地存取，从而获得对数据的更深入了解的一类软件技术。OLAP概念什么是OLAPOLAP的目标是满足决策支持或者满足在多维环境下特定的查询和报表需求，它的技术核心是“维”这个概念，因此OLAP也可以说是多维数据分析工具的集合。OLAP概念OLAP的相关基本概念1.变量

变量是从现实系统中抽象出来的，用于描述数据的实际意义，即描述数据“是什么”。2.维

维是人们观察客观世界的角度，是一种高层次的类型划分。3.维的层次

人们观察数据的某个特征角度还可以有细致程度不同的多个描述方面，从而形成维的层次。OLAP概念OLAP的相关基本概念4.维成员

维成员是指某个维的某个具体取值。如果该维具有多个层次，则维成员也是由该维各层次上的取值组合而成的。5.多维数组

如果一个数据集合可以从多个角度进行观察，即具有多个维度，则根据这些维度将数据组织所构成的数组就是多维数组。表示为：（维1，维2，……维n，变量）OLAP概念OLAP的相关基本概念例：1234567上海长沙北京香皂浴巾奶油牛奶可乐果汁时间维商品维城市维多维数组：（城市，商品，时间，销售额）OLAP概念OLAP的相关基本概念6.数据单元数据单元（单元格）是多维数组的取值。表示为：（维度成员1，维度成员2，……，维度成员n，变量值）如上图，数据单元值为：（长沙，可乐，3月，83200）OLAP概念OLAP和OLTP的区别OLTP数据库数据细节性数据当前数据经常更新一次性处理的数据量小对响应时间要求高用户数量大面向操作人员，支持日常操作面向应用，事务驱动OLAP数据库或数据仓库数据综合性数据历史数据不更新，但周期性刷新一次性处理的数据量大响应时间合理用户数量相对较少面向决策人员，支持决策需求面向分析，分析驱动

OLAP的基本操作数据切片数据切块数据上探/下钻数据旋转第二章联机分析处理（OLAP）2.1基本概念及原理OLAP的基本操作

OLAP的基本操作是指通过对多维形式组织起来的数据进行切片、切块、聚合、钻取、旋转等分析动作，以求剖析数据使用户能够从多种维度、多个侧面、多种数据综合度查看数据，从而深入地了解包含在数据中的信息、内涵。OLAP的基本操作

数据切片

定义1：在多维数组的某一维上选定一个取值，则多维数组就从n维降成了n-1维，我们称多维数组的子集（维度1，维度2，…，维度Vi，…，维度n，变量）为多维数组在维度i上的切片。产品时间（年）城市19951996电冰箱电视机上海广州上海广州电冰箱电视机OLAP的基本操作

数据切片

定义2：选定多维数组中两个维：维i和维j，在这两个维上取某一区间或任意的维成员，而将其余的维都分别取定一个维成员的动作称为多维数组在维i和维j上的一个切片，表示为：（维i，维j，变量）。

如上图可得到多维数组（时间，城市，产品，销售额）在时间和产品两维上的一个切片（时间，产品，销售额），也可得到在时间和城市两维上的一个切片（时间，城市，销售额）。OLAP的基本操作

数据切片从定义2可以得出两点：

1）一个多维数组的切片最终是由该数组中除切片所在平面的两个维之外的其他维的成员值确定的。

2）维是观察数据的角度，那么切片的作用或结果就是舍弃一些观察角度，使人们能在两个维上集中观察数据。OLAP的基本操作

数据切快

定义1：将多维数组某一维上的取值设定为一个区间的维成员的动作称为切块。显然，当这一区间只取一维成员时，即得到一个切片。

定义2：选定多维数组中三个维：维i、维j和维k，在这三个维上取某一区间或任意的维成员，而将其余的维都分别取定一个维成员的动作称为多维数组在维i、维j和维k上的一个切块，表示为：（维i，维j，维k，变量）。OLAP的基本操作

数据切快从另一个角度来讲，切块可以看成是由多个切片叠合而成。如上图中，如果将城市维上的取值设定为一个区间，例如取上海、北京、广州，而非单一的维成员时，就得到一个数据切块，它可以看成是上海、北京和广州三个切片叠合而成。OLAP的基本操作

数据上探/下钻维度是有层次性的，如时间维可能由年、季、月、日构成，维度的层次实际上反映了数据的综合程度。维度层次越高，代表的数据综合度越高，细节越少，数据量越小；维度层次越低，则代表数据综合度越低，细节越充分，数据量越大。OLAP的基本操作

数据上探/下钻数据钻取包含向下钻取（drill-down）/下卷（roll-down）和向上探取（drill-up）/上卷（roll-up）操作。

上探：是在某一维上将低层次的数据概括到高层次的汇总数据。

下钻：是从某一汇总数据深入到细节数据进行观察。部门销售部门190部门265部门380表1（单位：万美元）OLAP的基本操作

数据上探/下钻表2（单位：万美元）2004年部门1季度2季度3季度4季度部门120203515部门22551515部门320151827按时间维向下钻取按时间维向上钻取OLAP的基本操作

数据旋转

旋转：是改变维度的位置关系，通过旋转可以得到不同视角的数据。旋转可能交换行和列，也可能是在维度层次之间进行交换。例1：2004年2005年部门1季度2季度3季度4季度1季度2季度3季度4季度部门12020351512202514部门2255151520182312部门32015182718201725部门1部门2部门32004年1季度2025202季度205153季度3515184季度1515272005年1季度1220182季度2018203季度2523174季度1412252004年2005年部门1季度2季度3季度4季度1季度2季度3季度4季度部门12020351512202514部门2255151520182312部门32015182718201725例2：1季度2季度3季度4季度部门2004年2005年2004年2005年2004年2005年2004年2005年部门12012202035251514部门2252051815231512部门32018152018172725

OLAP分类和体系结构OLAP的三层客户/服务器结构OLAP的分类OLAP的体系结构第二章联机分析处理（OLAP）2.1基本概念及原理OLAP分类和体系结构OLAP的三层客户/服务器结构数据仓库服务器OLAP服务器前端展示工具数据仓库服务器，实现与基层运营的数据库系统的连接，完成企业级数据一致和数据共享的工作。OLAP服务器，根据最终客户的请求实现分解成OLAP分析的各种动作，并使用数据仓库完成这些动作。前端展示工具用于将OLAP服务器处理得到的结果用直观的方式展现给最终用户。OLAP分类和体系结构OLAP的三层客户/服务器结构

这种三层体系结构是数据、应用逻辑和客户应用分离开，有利于系统的维护和升级。当系统需要修改或增加功能时，可以只修改三层中的某些部分，而不需要像两层的客户/服务器体系那样做整体的改动。OLAP分类和体系结构OLAP的分类如图所示按照不同方式对OLAP进行的分类：OLAP按照存储方式按照处理地点ROLAPMOLAPHOLAPServerOLAPClientOLAPOLAP分类和体系结构OLAP的体系结构1.ROLAP体系结构Datebase服务器SQL查询查询结果MetadataRequestProcessingROLAP服务器用户请求查询结果前端工具OLAP分类和体系结构OLAP的体系结构2.MOLAP体系结构Datebase服务器MetadataRequestProcessingLoadSQL查询查询结果MOLAP服务器用户请求查询结果前端工具OLAP分类和体系结构OLAP的体系结构3.HOLAP体系结构Datebase服务器MOLAP服务器前端工具SQL查询查询结果查询结果用户请求LoadSQL查询查询结果

基于多维数据库的OLAP（MOLAP）多维数据库维的分类多维数据库存储第二章联机分析处理（OLAP）2.1基本概念及原理基于多维数据库的OLAP（MOLAP）

多维数据库

例：假如分析某企业各个产品在各个地区的销售情况，则可以选取产品维、地理维，以销售量作为度量变量，这样就形成了一个多维数据。东北西北华北冰箱5060100彩电407080空调90120140基于多维数据库的OLAP（MOLAP）

多维数据库

在关系数据库中，“多对多”的关系总是转化成多个“一对多”的关系，如图。产品名地区销售冰箱东北50冰箱西北60冰箱华北100彩电东北40彩电西北70彩电华北80空调东北90空调西北120空调华北140基于多维数据库的OLAP（MOLAP）

多维数据库两种数据组织方式的差异：（1）直观上的差异（2）存储空间的差异（3）对数据进行处理上的差异（4）空间换时间技术上的差异东北西北华北总合冰箱5060100210彩电407080190空调90120140350总合180250320750产品名地区销售冰箱东北50冰箱西北60冰箱华北100冰箱总合210彩电东北40彩电西北70彩电华北80彩电总合190空调东北90空调西北120空调华北140空调总合350总合东北180总合西北250总合华北320总合总合750基于多维数据库的OLAP（MOLAP）

多维数据库

总结：多维数据库（MDDB）的优势不仅在于多维概念表达清晰，占用存储少，更重要的是它有着高速的综合速度。在MDDB中，数据可以直接按行或列累加，并且由于MDDB中不像关系表那样重复的出现产品和地区信息，因此其统计速度远远超过RDBMS，数据库记录数越多，其效果越明显。基于多维数据库的OLAP（MOLAP）

维的分类

维的分类是指按照一定的划分标准对维成员全集的一个划分。

维的层次和维的类别的主要区别：1.层次和类表达的意义不同

维层次表达的是维所描述的变量的不同综合层次。维成员的类表达的则是某一子集成员的共同特征。基于多维数据库的OLAP（MOLAP）

维的分类空调商品维农用物资电子日用品彩电冰箱商品大类商品小类维层次关系类划分基于多维数据库的OLAP（MOLAP）

维的分类2.在层次和类上进行的分析动作不同

在维的层次上进行的分析主要有上探和下钻，它们都是跨越维层次的分析。而按照维成员的类进行的分析主要有分类和归纳，不可能跨越不同的维层次。基于多维数据库的OLAP（MOLAP）

多维数据库存储MDDB由许多经压缩的、类似于数组的对象构成，这种对象通常带有高度压缩的索引及指针结构。每个对象由聚集成组的单元块组成，每个单元块都按类似于多维数组的结构存储，并通过计算偏移进行存取。

基于关系数据库的OLAP（ROLAP）维表和事实表ROLAP中的数据模型ROLAP与MOLAP的比较HOLAP第二章联机分析处理（OLAP）2.1基本概念及原理

基于关系数据库的OLAP（ROLAP）

维表和事实表1.维表的数据抽取ROLAP将多维数据库中的多维结构划分为两类表：一类是维表，用来记录维度信息；另一类是事实表，用来存储维度交叉点处的度量信息及各个维度的码值。这样，多维数据立方体各个坐标轴上的刻度以及立方体各个交点的取值都被记录下来，因而数据立方体的全部信息就都被记录下来了。

用维表来记录多维数据库中的维度，将多维数据立方体的坐标轴上的各个取值记录在一张维表中，这样对于一个n维数据，ROLAP中就存在n张维表。

基于关系数据库的OLAP（ROLAP）

维表和事实表例：维表抽取示例。计算机彩电冰箱空调2004200320022001中百大盛兴新百大华联时间维表Time_idyearTime-idyear12004220033200242001产品维表product_idprodnameproduct_idprodname1计算机2彩电3冰箱4空调销售市场维表market_idmarketnamemarket_idmarketname1中百大2盛兴3新百大4华联

基于关系数据库的OLAP（ROLAP）

维表和事实表2.事实表的抽取计算机彩电冰箱空调2004200320022001中百大盛兴新百大华联Time_idProduct_idMarket_idsales11170001215000131758141469211670022152002319762416783118950321421033152934149841168004214850431439441648

基于关系数据库的OLAP（ROLAP）

维表和事实表3.多维数据表和维表/事实表在存储空间上的比较tidyearquarterm时间维表（50条目）midcountryprovincecity销售市场维表（50条目）pidPro_cPro_subclass销售商品维表（50条目）tidpidmidsales事实表（50X50X50条目）维表空间为：

50x4x8+50x4x8+50x3x8=4400事实表空间为：

50x50x50x4x8=4000000总空间为：

4000000+4400=4004400≈3.9MB

基于关系数据库的OLAP（ROLAP）

维表和事实表Year20042004…Quarter33…Month23…ConutrychinaChina…ProvinceYunnansichuan…Citykunmingchengdu…Pro_class电子日用品…Pro_subclass冰箱毛巾…Sales450003800…多维数据表（50x50x50条目）所需空间为：50x50x50x9x8=9000000≈8.8MB>3.9MB

基于关系数据库的OLAP（ROLAP）ROLAP的数据模型1.星型模型和雪花模型Time_idProduct_idMarket_idCustomer_idprofit时间维表Time_id销售市场维表Market_id销售商品维表Product_id客户维表Customer_id公司利润表公司利润表year_idQuarter_idMonth_idProduct_idMarket_idCustomer_idSex_idAge_idEdu_idJob_idprofit年度维表Year_id公司利润表季度维表Quarter_id月份维表Month_id销售商品维表Product_id销售市场维表Market_id客户基本信息维表Customer_idAddressTelephone客户性别维表Sex_id客户年龄维表Age_id客户教育程度维表Edu_id客户职业维表Job_id

基于关系数据库的OLAP（ROLAP）ROLAP的数据模型1.星型模型和雪花模型Time_idProduct_idMarket_idCustomer_idprofit时间维表Time_id年度维Time_idYear季度维Time_idQuarter月份维Time_idMonth销售市场维表Market_id销售商品维表Product_id客户维表Customer_id客户性别维Customer_idSex客户年龄维Customer_idAge客户职业维Customer_idJob

基于关系数据库的OLAP（ROLAP）ROLAP的数据模型2.星座模型和雪暴模型Time_idProduct_idMarket_idCustomer_idprofitTime_idProduct_idMarket_idCustomer_idBackinformation公司利润表商品信息反馈表时间维表Time_id销售市场维表Market_id销售商品维表Product_id客户维表Customer_idTime_idProduct_idMarket_idCustomer_idprofitTime_idProduct_idMarket_idCustomer_idBackinformation公司利润表商品信息反馈表时间维表Time_id销售市场维表Market_id销售商品维表Product_id客户维表Customer_id年度维Time_idYear季度维Time_idQuarter月份维Time_idMonth客户性别维Customer_idSex客户年龄维Customer_idAge客户职业维Customer_idJob

基于关系数据库的OLAP（ROLAP）ROLAP的数据模型3.四种模型间的关系星型模型星座模型雪花模型雪暴模型具有多个事实表与多层维表具有多层维表具有多个事实表

基于关系数据库的OLAP（ROLAP）ROLAP与MOLAP比较1.数据存取速度ROLAP的响应时间较长；MOLAP在数据存取速度上性能好、响应时间快。2.数据存储的容量

ROLAP占用的存储空间小，但为了提高分析响应速度，数据冗余量大。MOLAP占用存储空间大。3.多维计算能力

MOLAP能够支持高性能的决策支持计算，包括复杂的跨维计算、行级的计算。而在ROLAP中，SQL无法完成多行的计算和维之间的计算。

基于关系数据库的OLAP（ROLAP）ROLAP与MOLAP比较4.维度动态变化的适应性

ROLAP对于维度的变更有很好的适应性。5.数据动态变化的适应性

ROLAP对于数据变化的适应性比MOLAP高。6.软硬件平台的适应性

由于关系数据库已经在众多的软硬件平台上成功的运行，即ROLAP对软硬件平台的适应性很好，而MOLAP相对较差。7.元数据管理

目前，在元数据的管理上MOLAP和ROLAP都没有成型的标准，MOLAP产品将元数据作为其内在的数据，而ROLAP产品将元数据作为应用开发的一部分由设计者来定义和处理。

基于关系数据库的OLAP（ROLAP）ROLAP与MOLAP比较8.系统培训与维护的工作

系统培训与维护工作MOLAP比ROLAP多。ROLAPMOLAP优点1）没有存储大小限制2）现有的关系数据库技术可以沿用3）对维度的动态变更有很好的适应性4）灵活性较好，数据变化的适应性高5）对软硬件平台的适应性好1）性能好、响应速度快2）专为OLAP所设计3）支持高性能的决策支持计算4）复杂的跨维计算5）行级的计算缺点1）一般比MDDB响应速度慢2）系统不提供预综合处理功能3）SQL无法完成部分计算4）无法完成多行的计算5）无法完成维之间的计算1）增加系统培训与维护费用2）受操作系统平台中文件大小的限制3）系统进行预计算，可能导致数据爆炸4）无法支持数据及维度的动态变化5）缺乏数据模型和数据访问的标准

基于关系数据库的OLAP（ROLAP）HOLAP

在HOLAP中，对于常用的维度和维层次，使用多维数据表来记录，对于用户不常用维度和数据，采用类似于ROLAP星型结构来存储。当用户需要访问不常用数据时，HOLAP将会把简化了的多维数据表和星型结构进行拼合，从而得到完整的多维数据表。

在HOLAP的多维数据表中的数据维度少于MOLAP中的多维数据表，数据存储容量也小于MOLAP方式。但是，HOLAP在数据存取速度上又低于MOLAP。

HOLAP在主要的性能上介于MOLAP和ROLAP之间，其技术复杂性高于ROLAP和MOLAP.OLAP的衡量和特性OLAP的12准则OLAP的特性第二章联机分析处理（OLAP）2.1基本概念及原理

OLAP的衡量和特性OLAP的12准则

这是由E.F.Codd提出的用来衡量评价用于分析处理的工具的。准则1：OLAP模型必须提供多维概念视图。

OLAP必须能够提供多维概念的视图，从而使分析员能够从多种角度考查和分析系统（企业）的运营情况。OLAP必须实现数据切片、切块、旋转、钻取、聚合等基本的数据分析动作。

OLAP的衡量和特性OLAP的12准则准则2：透明性准则

透明性包括两层含义，一是OLAP在体系结构中的位置对用户是透明的，二是OLAP的数据源对用户应当是透明的，用户只需使用熟悉的查询工具进行查询，而不必关心OLAP提供的数据是从何处抽取来的。

OLAP的衡量和特性OLAP的12准则准则3：存取能力准则OLAP系统不仅能进行开放的存取，而且还提供高效的存取策略。准则4：稳定的报表性能OLAP产品对于数据维数和数据维度层次的增加应当保持比较稳定的性能，即当数据维数和数据维度层次增加时，提供给最终分析员的报表能力和响应速度不应有明显的降低。

OLAP的衡量和特性OLAP的12准则准则5：客户/服务器体系结构OLAP建立在客户/服务器的体系结构下，服务器端负责数据的抽取、数据存取、数据管理等复杂的功能，客户端实现较为简单的应用逻辑和用户界面。

OLAP的衡量和特性OLAP的12准则准则6：维的等同性准则

在OLAP系统中，各个维度应当是等同对待的，在一个维度上能够进行的操作在其他维度上也能执行。该准则实际是对准则1的补充。

OLAP的衡量和特性OLAP的12准则准则7：动态稀疏矩阵处理准则OLAP需要提供高效存取数据的能力，动态稀疏矩阵处理是实现高效存取的重要技术。该准则包括两层含义：

第一，对任意给定的稀疏矩阵，存在一个最优的物理视图，该视图能提供最大的内存效率和矩阵处理能力；稀疏度是数据分布的一个特征，不能适应稀疏度要求的数据分布，将会导致快速、高效操作的失效。

OLAP的衡量和特性OLAP的12准则准则7：动态稀疏矩阵处理准则（续）

第二，OLAP工具应当将基本物理数据单元配置给可能出现的维的子集，同时还需要提供多种动态可变的存取机制。比如B-Tree索引、散列、直接地址计算或者是多种技术的综合。使用这些技术的好处是存取速度将不会受数据维度的增减、数据集的大小而发生大的波动。

OLAP的衡量和特性OLAP的12准则准则8：多用户支持能力准则

多个用户能够同时对一个OLAP分析模型进行并行操作，或者能够同时在同一个企业数据上建立不同的分析模型，为此OLAP工具应当提供并发访问功能，并且需要确保数据的一致性、完整性和安全性。

OLAP的衡量和特性OLAP的12准则准则9：非受限的跨维操作

在多维数据分析中，所有维的生成和处理都是平等的。如果用户定义了维度的层次关系，则OLAP产品必须自动地提供相关层次综合数据的计算方法，而不是要求最终用户定义计算的行为。

OLAP的衡量和特性OLAP的12准则准则10：直观的数据处理

直观的数据处理要求用户以直观易懂的方式对数据进行操作，从而使数据的内涵更容易为用户所感知。准则11：灵活的报表生成报表的格式可以按照任意维度、任意层次的组合来生成，这实际是对准则1的另一种补充。

OLAP的衡量和特性OLAP的12准则准则12：非受限的维与维的层次OLAP工具应当支持不少于15个维度的数据模型，而且应当让数据分析人员可以进行各种维度各种层次的组合。

OLAP的衡量和特性OLAP的12准则12准则的关系：透明性准则存取能力准则动态稀疏矩阵处理准则稳定的报表性能客户机/服务器体系结构多用户支持能力准则多维概念模型的准则直观的数据处理灵活的报表生成维的等同行准则非受限的跨维操作非受限的维与维的层次

OLAP的衡量和特性OLAP的特性OLAP简洁准则（OLAP特性）：1、快速性

快速性是指系统应当使用各项有效技术，尽量提高对最终用户的响应速度。

OLAP的衡量和特性OLAP的特性OLAP简洁准则（OLAP特性）：2、可分析性

可分析性是指OLAP系统必须能够对数据模型进行逻辑分析。3、共享性

共享性是指多个用户可以共享同一OLAP数据。

OLAP的衡量和特性OLAP的特性OLAP简洁准则（OLAP特性）：4、多维性

多维性是OLAP最本质的特性，必须向用户呈现一致的多维视图。5、信息性

信息性是指在OLAP系统中给出的不再是OLTP系统中散乱的数据，而是具有指导意义的信息。

OLAP的前端展现方式OLAP的实现架构OLAP的Web呈现方式瘦客户机方式OLAP的前端展现第二章联机分析处理（OLAP）2.1基本概念及原理

OLAP的前端展现方式OLAP实现架构OLAP多维分析的实现由四大部分组成：多维分析主题数据库、多维分析模型设计、多维分析立方体生成、报表图表制作。数据库多维主题数据库数据仓库模型设计生成立方体报表、图表制作

OLAP的前端展现方式OLAP的Web呈现方式

随着近年来Web应用的发展，OLAP的前端展现方式也向着web发展，相当多的OLAP应用都选择Web作为其前端展现的平台。这是因为Web有着极佳的跨平台性，客户只需利用浏览器而无需其他的终端软件就可以浏览丰富多彩的信息。

OLAP的Web呈现方式非常适合企业的管理人员使用，他们无需进行任何的培训就可以非常方便地通过网络查看他们关心的信息。

OLAP的前端展现方式

瘦客户机方式

瘦客户机系统中的多维数据库不存储在客户端，而是存储在OLAP服务器中。这样在网络中所需要传输的只是经过分析处理以后的结果，而不是多维数据库。在多维数据库存储量很大、用户较多的情况下还可以在数据仓库与OLAP服务器之间增加一个存储设备，专门用于多维数据库的存储和处理。

OLAP的前端展现方式OLAP