基于数据分组方法的数据仓库并行预计算和查询（二）_第1页
基于数据分组方法的数据仓库并行预计算和查询（二）_第2页
基于数据分组方法的数据仓库并行预计算和查询（二）_第3页
已阅读5页，还剩10页未读， 继续免费阅读

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

图5.1

数据分发示意图5.2在立方体分布式存储情况下的并行查询

上一小节所描述的预计算算法，在完成预计算之后，将会把商立方体数据分布式地存储在各台机器的本地磁盘中。对于这种情况，应该要并行地对各个独立存储的立方体进行查询，并且最终各个查询结果要经过汇总处理后才能得到与串行查询程序一样的查询结果。本文提出的在立方体分布式存储情况下的并行查询也是基于MPI，以主从模式为实现方式，基本步骤如下：(1)主进程读入多条查询语句，并根据主进程本地存储的映射关系文件对查询语句进行映射，映射后的查询语句都存放在主进程的内存中。(2)主进程将所有的查询语句广播给各个从进程后，主进程开始进行查询。从进程在接受完查询语句后，也开始对本地的立方体数据进行查询。(3)每条查询语句都会返回一个结果，各个进程将这些查询结果存放在一个大小为查询语句条数的数组中。在所有查询都完成查询后，主进程开始接收来自各从进程的查询结果，从进程则开始向主进程发回它们的查询结果。(4)主进程在接收完各从进程的查询结果后，将所有查询结果整合在一起，便得到最终的查询结果。5.3正确性分析

本节将用来说明在5.1和5.2节中所提出的基于数据分组的并行预计算和查询方法的正确性。主要说明在立方体数据分布式存储情况下，并行查询程序得到的结果，与在立方体数据集中式存储情况下的串行查询程序所得到的结果是相等价的。对于查询语句q，它的查询结果R(q)是决定于q的覆盖集Cov(q)的。假设基表为B，有m条元组，q在B上的覆盖集为Cov(q)。随机地将B中的元组分为2部分，分别为B′和B′′。由于是以元组为单位划分，同一条元组不可能同时出现在两部分中，q在B′、B′′上的覆盖集分别为Cov′(q)、Cov′′(q)。可知：设a机的输入基表是B′，b机的输入是B′′。在预计算完成后，分别生成立方体QC(B′)和QC(B′′)。在并行查询中，分别使用q对QC(B′)和QC(B′′)进行查询。假设查询命中的上界分别是u′和u′′。根据本文4.3节中提到的查询算法的原理，可知：在QC(B′)中，u′与q被划分到同一类中，且u′是该类的上界，则u′和q是覆盖相等的，有：同理：在QC(B′′)中，则有：串行查询结果R(q)决定于Cov(q)所包含的元组信息。在并行查询中，程序可以分别得到Cov(u′)和Cov(u′′)的信息，而Cov(u′)与Cov(u′′)包含了Cov(q)中包含的所有的元组信息，因此，并行查询是可以得到与串行查询相等价的查询结果的。5.4小结本章概括性地描述了基于数据分组的并行预计算和并行查询方法的实现过程，并对于这种方法的正确性进行了初步

人人文库> 全部分类> 专业文献 > IT计算机

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论