基于数据分组方法的数据仓库并行预计算和查询（一）

图2.3

MIMD体系结构随着技术的发展，曾经风行的SIMD并行计算机已经退出了历史舞台，MIMD体系的并行机已经占据了统治性的地位。目前世界上流行的并行计算机系统基本上都是属于MIMD计算机。在MIMD的分类中，按照内存访问模型、微处理器和互联网络的不同，并行计算机可分为以下5类[ZCML06]：(1)对称多处理共享存储并行计算机（SymmetricMulti-Processing，SMP）:SMP系统中任何处理器都可以直接访问任何存储模块中的存储单元和I/O模块，且各自间的访问延迟、带宽都一样。整个系统只有一个操作系统驻留在共享存储器中，可以动态地分配进程到各个处理器，而且每个进程都是使用共享的数据存储区来完成通信，通信的延迟较低。但是由于各个处理单元之间的耦合程度较高，所以只要总线、存储器或操作系统其中一个出错，便会导致整个系统的崩溃，而且系统的可扩张性较差。支持消息传递、共享存储并行程序设计。(2)分布式共享存储并行计算机（DistributedSharedMemory，DSM）：系统以节点为单位，每个节点包含一个或多个CPU，每个CPU有局部的cache。存储在物理上分布，但在逻辑上是统一的内存地址空间。各个节点既可以直接访问本地的局部存储单元，也进行访问其他节点的局部存储单元，但远端访问必须通过高性能互联网络，性能远不如本地访问。DSM系统的可扩展性强，可扩展至数百个节点。支持消息传递、共享存储并行程序设计。(3)集群系统（Cluster）：系统由节点构成，每个节点包含2－4个商用处理器，节点内部共享存储。各节点通过交换机连接。当计算机是运行Linux操作系统的PC机时，这类集群则成为Beowulf[Beo07]集群。集群系统只支持消息传递并行程序设计。目前集群系统占据着主流地位，在世界超级计算机500强中，占据了大多数的席位。(4)星群系统（Constellation）：系统由节点构成，每个节点是一台SMP或DSM子系统，包含的处理器数量巨大，计算功能十分强大。节点间通过集群交换机连接，节点间分布存储。各个节点运行专用的操作系统、编译系统和作业管理系统。与集群系统所不同的是，星群系统可以支持消息传递和共享存储两种并行编程模式：在节点间使用消息传递，节点内部则可以使用共享存储模式，这种混合模式充分利用了两种编程模式的特点，因此被认为是最有效率的编程模式。(5)大规模并行计算机系统(MassivelyParallelProcessing，MPP)：由数百个乃至数千个结算节点和I/O节点组成，每个节点相对独立，并拥有一个或多个微处理器。这些节点的局部cache通过局部总线或互联网络与局部内存模块和I/O设备相连接。互联网络与集群互联网络不同，一般采用由多种静态拓扑结构耦合而成的混合拓扑结构，通信延迟和通信带宽明显优于集群系统。每个节点均拥有不同的操作系统，允许用户在某个特定节点上作业。各节点间内存模块相互独立且没有全局内存统一编址。如果要直接访问其他节点的内存则需要有操作系统的支持。MPP支持消息传递或高性能Fortran并行程序设计，但不支持共享存储模式。各种并行计算机对于消息传递、共享存储、数据并行三种编程模式的支持在表2.3中列出。表2.3

各种并行计算机对与编程模式的支持2.3小结

数据仓库的应用日渐广泛，但是数据量的增长使得OLAP系统的效率逐渐低下和数据立方体的容量呈指数上升。数据立方体的预计算需要大量的计算能力和存储空间，随着并行计算技术的发展，数据仓库将会更多地使用到并行计算技术。并行计算技术带来的不仅仅是计算能力和存储空间上的扩展，并行计算技术对于计算机性能的扩展使得更多更复杂的应用技术得以实现，扩展数据仓库的功能。第三章MPI

消息传递是一个广泛应用在并行计算机（特别是分布存储并行机：DSM、集群、星群和MPP）上的模式。自从20世纪80年代以来，经过10余年的发展，很多基于消息传递的应用系统有了长足的进步。由于基于消息传递模式的系统很多都具有效率高、适用性强等优点，所以人们认为通过定义一个核心库程序的语法与语义，将有益于广大用户，将可以在更大范围的机器上有效实现消息传递模式。本章的主要内容是介绍目前最为流行的基于消息传递模式的编程环境：MPI。在以下的章节中会介绍MPI的产生、MPI的实现和关于MPI编程的基本概念。3.1MPI的产生

早期的商用并行计算机很多是基于消息传递的，因为它的成本相对于共享存储的机器更低。人们开发了基于消息传递模式的多种不同实现的消息传递程序库，但是这些程序库就像汇编语言一样，每个硬件制造商提供的程序库都与其他的不兼容。这些不同的程序库之间的实质上的差别其实很小，有的只是语法上的不同而已，但是要想将消息传递程序从一个库移植到另一个库中时，程序往往要作出很大程度的修改。由此人们便意识到需要指定一个消息传递程序设计的接口标准，以便并行计算科学的进一步发展，消息传递接口（MPI：MessagePassingInterface）便是这个标准的产物。MPI的标准化开始于1992年4月底，在美国弗吉尼亚州的Williamsburg召开的“分布式存储环境中消息传递标准”的讨论会上[MPI03a]。MPI1.0标准由Dongarra，Hempel，Hey以及Walker在1992年11月提出的初始草案和于1993年2月完成的修订版本所规定。为了促进MPI的发展，MPI论坛（MPIForum）因此而诞生，负责MPI的完善和维护工作。MPI-2[MPI03b]是在对原来MPI作了重大扩充基础上，于1997年7月推出的MPI扩展部分，原来的MPI各种版本改称为MPI-1。MPI-2的扩充很多，但最主要的是以下三部分：并行I/O，远程存储访问和动态进程管理。MPI的标准化是多个组织和个人的努力成果，他们主要是来自美国和欧洲，大约60名来自40个不同组织的工作人员为此付出了辛勤的劳动。这其中包括了并行计算机大多数的并行计算机生产商、大学、政府实验室和工厂的研究人员。他们有Venus(IBM)、NX/2(Intel)Express(Parasoft)、Vertex