高性能计算之并行编程技术

1、高性能计算之并行编程技术 MPI并行程序设计1 / 1046都志辉李三立陈渝刘鹏I编著审阅校对内容提要本书介绍目前最常见的并行程序 MPI并行程序的设计方法 它适合高校三四年级本科生 非计算机专业研究生作为教材和教学自学参考书 也适合于广大的并行计算 高性能计算 用户作为自学参考书使用对于有 FORTRAN和C编程经验的人员 都可以阅读并掌握本书的内容首先介绍了并行程序设计的基础 提供给读者进行并行程序设计所需要的基本知识 然后介绍了MPI的基本功能 从简单的例子入手 告诉读者 MPI程序设计的基本过程和框架这一部分是具有C或/FORTRAN串行程序设计经验的人员很容易理解和接受的 接下来介绍

2、MPI程序设计的高级特征 是已经掌握了MPI基本程序设计的人员进一步编写简洁 高效的MPI程序 使用各种高级和复杂的MPI功能所需要的 最后一部分介绍了MPI的最新发展和扩充MPI-2主要包括三个部分 动态进程管理 远程存储访问和并行文件读写本书包括了MPI-1的全部调用和MPI-2的关键扩充部分的调用 并附以大量的图表和示例性程序 对程序的关键部分给出了讲解或注释 读者若能将例子和对MPI调用的讲解结合起来学习 会取得更好的效果本书的目的不仅是教给读者如何去编写从简单到复杂的MPI并行程序更重要的是希望在学习本书之后 在读者以后解决问题的过程中 能够树立并行求解的概念 使并行方法真正成为广大

3、应用人员和程序开发员手中的重要工具II目录序.IX前言.XI程序列表. XII图列表 .XIV表格列表. XVII第一部分并行程序设计基础.1第1章 并行计算机.21.1并行计算机的分类 .21.1.1指令与数据.21.1.2存储方式 .31.2物理问题在并行机上的求解 .41.3小结.5第2章 并行编程模型与并行语言.62.1并行编程模型 .62.2并行语言.72.3小结.8第3章 并行算法.93.1并行算法分类 .93.2并行算法的设计.93.3小结. 11第二部分基本的MPI并行程序设计.12第4章 MPI简介.134.1什么是MPI.134.2 MPI的目的 .134.3 MPI的产生

4、 .144.4 MPI的语言绑定 .144.5目前主要的MPI实现.154.6小结.15第5章 第一个MPI程序.165.1 MPI实现的Hello World!” .165.1.1用FORTRAN77+MPI实现 .165.1.2用C+MPI实现.185.2 MPI程序的一些惯例 .215.3小结.22第6章 六个接口构成的MPI子集.236.1子集介绍.236.1.1 MPI调用的参数说明 .23III6.1.2 MPI初始化.256.1.3 MPI结束.256.1.4当前进程标识.256.1.5通信域包含的进程数.266.1.6消息发送 .266.1.7消息接收 .276.1.8返回状态

5、status.276.1.9一个简单的发送和接收的例子.286.2 MPI预定义数据类型 .296.3 MPI数据类型匹配和数据转换 .306.3.1 MPI类型匹配规则.306.3.2数据转换 .326.4 MPI消息.336.4.1 MPI消息的组成.336.4.2任意源和任意标识 .346.4.3 MPI通信域 .356.5小结.35第7章 简单的MPI程序示例 .367.1用MPI实现计时功能.367.2获取机器的名字和MPI版本号.387.3是否初始化及错误退出.397.4数据接力传送 .417.5任意进程间相互问候.437.6任意源和任意标识的使用.467.7编写安全的MPI程序.

6、477.8小结.50第8章 MPI并行程序的两种基本模式.518.1对等模式的MPI程序设计 .518.1.1问题描述 Jacobi迭代 .518.1.2用MPI程序实现Jacobi迭代.528.1.3用捆绑发送接收实现Jacobi迭代 .558.1.4引入虚拟进程后Jacobi迭代的实现.608.2主从模式的MPI程序设计 .628.2.1矩阵向量乘.628.2.2主进程打印各从进程的消息 .658.3小结.68第9章 不同通信模式MPI并行程序的设计 .699.1标准通信模式 .699.2缓存通信模式 .709.3同步通信模式 .749.4就绪通信模式 .769.5小结.79第10章 MP

7、ICH的安装与MPI程序的运行.8010.1 Linux环境下的MPICH.80IV10.1.1安装.8010.1.2主要目录介绍.8110.1.3编译命令 .8210.1.4执行步骤 .8210.1.5放权.8310.1.6运行命令和配置文件.8310.1.7其它可执行命令.8610.2 Windows NT环境下的MPICH .8710.2.1安装.8710.2.2编译.8710.2.3配置和运行.8810.2.4小结.91第11章 常见错误 .9211.1程序设计中的错误 .9211.2运行时的错误.9311.3小结 .94第三部分高级MPI并行程序设计.95第12章 非阻塞通信MPI程

8、序设计.9612.1阻塞通信.9612.2非阻塞通信简介.9712.3非阻塞标准发送和接收.9912.4非阻塞通信与其它三种通信模式的组合 .10112.5非阻塞通信的完成.10212.5.1单个非阻塞通信的完成. 10212.5.2多个非阻塞通信的完成. 10412.6非阻塞通信对象.10712.6.1非阻塞通信的取消 . 10712.6.2非阻塞通信对象的释放. 10912.7消息到达的检查.11012.8非阻塞通信有序接收的语义约束.11212.9用非阻塞通信来实现Jacobi迭代 .11312.10重复非阻塞通信 .11612.11 用重复非阻塞通信来实现Jacobi迭代.11912.12小结.122第13章 组通信MPI程序设计.12313.1组通信概述 .12313.1.1组通信的消息通信功能. 12313.1.2组通信的同步功能 . 12413.1.3组通信的计算功能 . 12513.2广播.12613.3收集.12713.4散发.13013.5组收集.13213.6全互换.135V13.7同步.13813.8归约.13913.9 MPI预定