数据立方体与OLAP

数据立方体与OLAP2010年8月29日由joegh留言》前面的一篇文章——数据仓库的多维数据模型中已经简单介绍过多维模型的定义和结构，以及事实表(FactTable)和维表(DimensionTable)的概念。多维数据模型作为一种新的逻辑模型赋予了数据新的组织和存储形式，而真正体现其在分析上的优势还需要基于模型的有效的操作和处理，也就是OLAP(On-lineAnalyticalProcessing ，联机分析处理)。数据立方体关于数据立方体(DataCube)，这里必须注意的是数据立方体只是多维模型的一个形象的说法。立方体其本身只有三维，但多维模型不仅限于三维模型，可以组合更多的维度，但一方面是出于更方便地解释和描述，同时也是给思维成像和想象的空间；另一方面是为了与传统关系型数据库的二维表区别开来，于是就有了数据立方体的叫法。所以本文中也是引用立方体，也就是把多维模型以三维的方式为代表进行展现和描述，其实上Google图片搜索“OLAP”会有一大堆的数据立方体图片，这里我自己画了一个：OLAPOLAP(On-lineAnalyticalProcessing，联机分析处理)是在基于数据仓库多维模型的基础上实现的面向分析的各类操作的集合。 可以比较下其与传统的OLTP(On-lineTransactionProcessing ，联机事务处理)的区别来看一下它的特点：OLAP与OLTP数据处理类型OLTPOLAP面向对象业务开发人员分析决策人员功能实现日常事务处理面向分析决策 ，数据模型关系模型多维模型数据量几条或几十条记录百万千万条记录 ―操作类型查询、插入、更新、删除查询为主OLAP的类型首先要声明的是这里介绍的有关多维数据模型和 OLAP的内容基本都是基于ROLAP，因为其他几种类型极少接触，而且相关的资料也不多。MOLAP(Multidimensional)即基于多维数组的存储模型，也是最原始的 OLAP，但需要对数据进行预处理才能形成多维结构。ROLAP(Relational)比较常见的OLAP类型，这里介绍和讨论的也基本都是 ROLAP类型，可以从多维数据模型的那篇文章的图中看到，其实 ROLAP是完全基于关系模型进行存放的，只是它根据分析的需要对模型的结构和组织形式进行的优化，更利于OLAP。HOLAP(Hybrid)介于MOLAP和ROLAP的类型，我的理解是细节的数据以ROLAP的形式存放，更加方便灵活，而高度聚合的数据以MOLAP的形式展现，更适合于高效的分析处理。另外还有WOLAP(Web-basedOLAP)、DOLAP(DesktopOLAP)、RTOLAP(Real-TimeOLAP)，具体可以参开维基百科上的解释——OLAPOLAP的基本操作我们已经知道OLAP的操作是以查询一一也就是数据库的SELECT操作为主，但是查询可以很复杂，比如基于关系数据库的查询可以多表关联，

可以使用COUNT、SUM、AVG等聚合函数。OLAP正是基于多维模型定义了一些常见的面向分析的操作类型是这些操作显得更加直观。OLAP的多维分析操作包括：钻取（Drill-down）、上卷（Roll-up）切片（Slice）、切块（Dice）以及旋转（Pivot），下面还是以上面的数据立方体为例来逐一解释下：钻取(Drill-down) 上卷(Roll-up)钻取（Drill-down）:在维的不同层次间的变化，从上层降到下一层，或者说是将汇总数据拆分到更细节的数据，比如通过对 2010年第二季度的总销售数据进行钻取来查看 2010年第二季度4、5、6每个月的消费数据，如上图；当然也可以钻取浙江省来查看杭州市、宁波市、温州市……这些城市的销售数据。上卷（Roll-up）:钻取的逆操作，即从细粒度数据向高层的聚合，如将江苏省、上海市和浙江省的销售数据进行汇总来查看江浙沪地区的销售数据，如上图。切片（Slice）:选择维中特定的值进行分析，比如只选择电子产品的销售数据，或者2010年第二季度的数据。切块（Dice）:选择维中特定区间的数据或者某批特定值进行分析，比如选择2010年第一季度到2010年第二季度的销售数据，或者是电子产品和日用品的销售数据。旋转（Pivot）:即维的位置的互换，就像是二维表的行列转换，如图中通过旋转实现产品维和地域维的互换。OLAP的优势首先必须说的是，OLAP的优势是基于数据仓库面向主题、集成的、保留历史及不可变更的数据存储，以及多维模型多视角多层次的数据组织形式，如果脱离的这两点，OLAP将不复存在，也就没有优势可言。数据展现方式基于多维模型的数据组织让数据的展示更加直观， 它就像是我们平常看待各种事物的方式，可以从多个角度多个层面去发现事物的不同特性，而OLAP正是将这种寻常的思维模型应用到了数据分析上。查询效率多维模型的建立是基于对OLAP操作的优化基础上的，比如基于各个维的索引、对于一些常用查询所建的视图等，这些优化使得对百万千万甚至上亿数量级的运算变得得心应手。分析的灵活性我们知道多维数据模型可以从不同的角度和层面来观察数据， 同时可以用上面介绍的各类OLAP操作对数据进