挑战5-performance_1658066

1、挑战5：性能预测 背景 在高性能计算机的研制方面，国际竞争非常激烈 十一五期间，我国立项研制千万亿次计算机系统 千万亿次计算机系统规模巨大，为系统的研制和 使用提出了新的挑战 BlueGene/L系统 21万个处理器、用于核试验模拟和 蛋白质折叠分析等、LLNL实验室 2021-6-182挑战4：性能预测 全过程评测 863高性能计算机评测中心 863信息领域高性能计算机及其核心软件专项于2004年11月2日在北京 清华大学成立了“863高性能计算机评测中心” 中心主要职能： 为国产高性能计算机提供第3方评测服务，是一种机制上的创新 评测技术研究 高效能计算机的发展对评测技术提出了新的挑战 大

2、规模并行程序性能预测 专用领域的基准测试程序开发 可管理性测试研究 其它服务功能 TOP 100发布，全国高性能计算大赛等 第三方评测服务 十五期间评测了联想深腾6800和曙光4000A等2台万亿次机 在HPCC基础上，开发了并行计算机正确性验证程序 测试了约20套大中型集群系统，用户包括清华大学，北京大学，中山大学 ，山东大学、北京邮电大学，北京化工大学，河北大学，信息产业部等 发现了软硬件错误多处，为用户及时诊断错误采取措施提供了准确重要的 依据 十一五期间评测了红色神经元系统、华中科技大学服务器 正确性测试的一些示例系统的故障 单位单位配置配置测试出现的问题测试出现的问题 清华大学 It

3、anium2 1.3GHz * 256 Memory: 4G*128 InfiniBand网络 Infiniband上MPI问题 有三个节点易死机 一个节点处理器出现故障； 中山大学 Xeon Nocona 3.2G * 128 Memrory: 4G*64 千兆以太网络 两个节点千兆网卡有故障； 两个节点系统不稳定，容易死机 信息产业部 Opteron 2.2GHz * 720 Memrory: 4G*360 千兆以太网络 有二个节点的网络连线设备有问题 有一个节点的电源上电有问题 有二个节点的内存条有问题 北京邮电大学 Xeon 3.2G*80 Memory: 2G*40 千兆以太网络 有

4、一个节点网卡存在问题 有一个节点出现故障 北京大学 Xeon Nocona 3.2GHz*256 Memory: 4G*128 Infiniband,千兆以太网 Infiniband上MPI问题 一台节点无法启动 华中科技大学 Xeon E5345 2.33GHz*78 Memory: 8G*39 Inifiband,千兆网络 64个以上进程ALLtoALL通信有问题 三个节点出现故障 第三方评测服务 为信产部信息安全中心提供了网络安全应用系统 的评测与监理工作 需求分析，设计方案的审定 对设计方案提出的建议在系统最终实施后证明非常必要 ，得到用户和开发者的好评 中心建设的其它服务功能 联合国

5、内国家应用单位，充分了解用户需求 中科院数学与系统学院，网络中心，软件所，九院九所，国家气象局、上 海超级计算中心等高性能计算用户单位 服务 为国内有关单位提供高效能计算机评测技术的培训，如2006年对华为公司 进行了为期1周的服务器性能评测服务 举办有关活动 与软件行业协会数学软件分会合作发布国内高性能计算机Top100排行榜（ 2004-2007） 举办高性能计算大赛，普及高性能计算的知识（2005，2007） 研究背景 千万亿次计算机设计合理性问题 系统投资巨大，构建周期长，如何尽早评估设计是否合 理？ 用户有哪些类型的应用，特点是什么，适合什么样的体 系结构？ 并行程序性能预测技术协助

6、在设计阶段进行评估 92021-6-18挑战4：性能预测 国际研究现状 性能预测方法： 分析方法 针对每个程序建立分析模型 模拟技术 BigSim (UIUC) RAMP (UC Berkeley) DIMEMAS (UPC) 国家实验室 LLNL, LANL, LBNL，SDSC等 一些关键技术的源码并不开放 如并行通信模拟器DIMEMAS 102021-6-18挑战4：性能预测 分析的预测方法 SAGE程序预测： 多维的流体力学科学计算程序 美国LANL国家实验室开发 在2000-4000个处理器上运行一次时间为几个月 分析预测方法： 需要建立程序的通信模型、访存模型和计算模型 建立的模型

7、比较费时 模型不具有通用性 112021-6-18挑战4：性能预测 SAGE程序的任务划分规律 122021-6-18挑战4：性能预测 SAGE程序的各部分模型 一个周期时间: Gather + compute + Scatter No overlap 分析的方法需要对通信和计算建立复杂的模型 2021-6-1813挑战4：性能预测 SDSC 性能预测框架 14 Exe. time = Mem. Memory opFP o rateF p P rate Exe. time = op1 r comm. op1comm. op2 ateop2 rate + Performance predicti

8、on of Application B on Machine A Machine Profile (Machine A) Characterization of memory performance capabilities of Machine A Application Signature (Application B) Characterization of memory operations needed to be performed by Application B Convolution Method Mapping memory usage needs of Applicati

9、on B to the capabilities of Machine A Application B Machine A Machine Profile (Machine A) Characterization of network performance capabilities of Machine A Application Signature (Application B) Characterization of network operations needed to be performed by Application B Convolution Method Mapping

10、network usage needs of Application B to the capabilities of Machine A Application B Machine A Single-Processor ModelCommunication Model + 难点在于通讯模式随进程数变化的规律 2021-6-18挑战4：性能预测 面临的挑战 分析方法： 不能分析含有复杂通信模式的并行程序 复杂的同步行为 计算和通信重叠 模拟方法： 内存限制 无法在小规模系统上运行更大规模的并行程序 152021-6-18挑战4：性能预测 我们的解决方法 编译器支持的事件驱动模拟技术 静态编译器

11、技术： 自动分析程序通信模式 简化程序 隔离计算和通信，删除不相关的访存和计算 保留程序的通信模式和控制结构 事件驱动模拟器 分析复杂通信行为 同步 计算和通信重叠 162021-6-18挑战4：性能预测 系统框架 172021-6-18挑战4：性能预测 18 An Example of MPI Program Communication pattern 2021-6-18挑战4：性能预测 SIM-MPI模拟器 设计并实现并行程序通信模拟器SIM-MPI SIM-MPI模拟器特征： Trace-driven模拟器，可以细粒度模拟基于MPI的并行程序的 通信行为 底层基于LogGPO模型，精确模

12、拟消息传递过程中各部分开 销，比如计算和通信重叠行为 支持MPI通信库各种通信协议，如Eager，Rendezvous协议 等 支持MPI通信库中各种通信模式，阻塞、非阻塞等 细粒度模拟MPI通信库中各种组通信算法实现 192021-6-18挑战4：性能预测 SIM-MPI模拟器工作流程 编译并行程序并链接插 装库 采集并行程序通信和计 算事件记录 把收集到的事件和目标 平台参数输入模拟器， 得到性能预测 优化并行程序，重复上 述过程 2021-6-1820挑战4：性能预测 LogGPO通信模型 扩展LogP和LogGP 强调了高层通信库带来较高的通信开销，导致实际程序 可用的计算和通信重叠部

13、分减少 21 NPB.CG程序预测结果比较 Sweep3D程序预测结果比较 2021-6-18挑战4：性能预测 SIM-MPI模拟器应用举例 组通信算法性能比较(MPI_Bcast) 1KB消息，Van_de_Geijn算法最优 222021-6-18挑战4：性能预测 Open64编译器 一款商业编译器 SGI开发 2000年开放源代码，GPL http:/ 支持语言和平台 C, C+, Fortran X86, Itanium, MIPS等 编译器的维护 Udel，HP，中科院，复旦，清华等 功能 LNO, WOPT, IPA SSA，PRE 232021-6-18挑战4：性能预测 编译器工

14、作流程 2021-6-1824挑战4：性能预测 基于LIVE变量通信模式提取 想法: 基于LIVE变量的通信模式提取 例子: A = B + C If A isLive B, C live 继续遍历UD chain (B, C) If (A C) MPI_Send(buf, size, tag) If size, tag isLive A, C live 遍历UD chain (A, C) 252021-6-18挑战4：性能预测 工作流程 把必须的通信变量标记为LIVE 通信大小，通信域ID，源、目的地址，通信TAG等； 分析程序的依赖关系 建立变量之间的DU和UD数据链 分析程序的控制依赖

15、分支，循环 构建整个程序的Call graph 遍历Call graph，分析每个PU的LIVE集合 根据上面分析结果 删除不相关语句 修改符号表 (删除不需要的数组变量) 262021-6-18挑战4：性能预测 具体的算法 27 1.Collect essential variable from the communication statements. Put these variables into LIVE set. 1.Comm Size, src/det, COMMID etc. 2.Collect the information about dependence of each

16、statement 1.Build D-U and U-D chain. 2.Analyze control dependence. 3.Build call graph of whole program, traverse the call graph for each PU. 1.If a variable is LIVE, the variable which depended on is also put into LIVE set. 2.Put UD chain into LIVE set. 3.If a formal parameter is LIVE, and then the

17、actual parameter in caller routine is also LIVE 4.Iterative solving this data flow equations until the LIVE set is not changed. 4.Delete unnecessary statement and variables 1.If a statement is a definition for LIVE variable, mark it TRUE. 2.If a branch or loop include a TRUE statement, mark it TRUE.

18、 3.Delete all of unmarked statements. 4.Modify the symbol table for unused scalar and array variables. 2021-6-18挑战4：性能预测 Sweep3D程序 Sweep3D程序： ASCI基准测试程序之一 解决三维粒子运输问题 具有复杂的同步行为 右图是它的通信行为 2021-6-1828挑战4：性能预测 实验平台 目标平台: Itanium2 1.3GHz Processor Infiniband network Mvapich-0.9.2 Trace收集平台: 4-way Quad core 2.4GHz Xeon 12 GB memory size One node 计算时间获得: 2 nodes in target cluster 通信库: MPICH2-1.0.5 Modify MPI_Send & MPI_Recv calls 问题规模: 100*100*100 Mk=10 Mmi=3 Weak scaling 2021-6-1829挑战4：性能预测 实验结果 30 Num of