如虎添翼的组合C与MPI平行计算的各种模型课件

如虎添翼的組合：C++與MPI

平行計算的各種模型蔡明原2008/1/27-31如虎添翼的組合：C++與MPI

平行計算的各種模型蔡明原依硬體架構來分類SISD(SingleInstructiononSingleData)

CU一次取出1個指令作用在1筆資料上就是一般個人電腦PC架構(VonNeuman)ControlUnit(CU)Processor

Unit(CPU)Memory

Unit資料指令指令依硬體架構來分類SISD(SingleInstructi依硬體架構來分類SIMD(SingleInstructiononMultipleData) CU一次取出一個指令同時作用於n個資料上ProgramControl

Unit(CU)Processor1Memory1Processor4Memory4Processor3Memory3Processor2Memory2Inter-

connection

network內部通訊網路依硬體架構來分類SIMD(SingleInstructiShared-MemorySIMDComputerControl

Unit(CU)Processor1Processor4Processor3Processor2MM1MM2MM3MM4MM5MM6datastream1資料流datastream2datastream3datastream4instructionstream指令流instruction

streamProgramShared-MemorySIMDComputerCon內部通訊網路線形Linear

矩陣Mesh

樹狀Tree

立方體Cube完全連接P0P1P2P3P0P1P2P3P4P5P6P7P8P1P2P3P4P5P6P70123456789101112141315P0P1P2P3P4內部通訊網路線形Linear

P0P1P2P3P0P1P2依硬體架構來分類MIMD(MultipleInstructiononMultipleData)Program1Control

Unit1Processor

1Program2Control

Unit2Processor

2Program3Control

Unit3Processor

3ProgramnControl

UnitnProcessor

nSharedMemory

共享記憶體And/OrInterconnection

Network

內部通訊網路依硬體架構來分類MIMD(MultipleInstruc依硬體架構來分類MISD(MultipleInstructiononSingleData)Program1Control

Unit1Processor

1Program2Control

Unit2Processor

2Program3Control

Unit3Processor

3ProgramnControl

UnitnProcessor

nMemory

記憶體依硬體架構來分類MISD(MultipleInstruc幾個結構上的選擇ControlMechanismSIMD 適合Data-ParallelProgram

大量的資料,做重複性的處理

MIMD適合Control-ParallelPrograms

多工作業,每個處理器做不同的事幾個結構上的選擇ControlMechanism平行電腦的發展問題硬體/軟體將多個Processor或多個記憶體模組(MemoryModule)放在一台機器裡,線路連接的成本很高雖然但近年來,多核心的電腦(Dual-Core)開始量產,但CPU的數目仍然算小只能依原硬體設計架構(內部通訊網路)去設計程式平行電腦的軟體也與一般個人電腦不同擴充性/彈性不能增減Processor數目,或是將效能較差的舊CPU更換成新的都不容易平行電腦的發展問題硬體/軟體PCCluster個人電腦（PC）技術及網路科技的不斷創新，使得個人電腦叢集(PCcluster)與大型主機相比，便具有優異的價格/性能比，再加上可自行建置的優點，以致學研界皆能以可負擔之費用獲取足夠的計算能量，因此降低了進入高速計算領域的門檻。PCcluster的崛起，有助於高速計算與平行處理相關技術與應用的普及，各個學術或研究單位可依本身的實際需求，以合理的價格架設適合的PC叢集，因而對於各應用領域的學術發展有莫大助益。簡單說,PCCluster就是將數台個人電腦透過網路交換器串連/並連在一起達到平行電腦的目的PCCluster個人電腦（PC）技術及網路科技的不斷創新PCClusterPCClusterPCClusterPCClusterPCCluster@NCHCIBMCluster1350，屬於分散式平行電腦系統，採IntelWoodcrest3.0GHz雙核心處理器，擁有512個節點(node)、共2048個CPUs，總計算效能（Rmax）為19.91TF，理論值（Rpeak）為24.86TF，遠超越國網中心現有最大之HP64BitCluster主機。更詳細的IBMCluster1350設施介紹。PCCluster@NCHCIBMCluster1如虎添翼的组合C与MPI平行计算的各种模型课件MessagePassingInterfaceMPI,透過訊息傳遞的方式(網路),讓不同的PC(內部的CPU)可以做資料傳輸提供不同的通訊方式:一對一,一對多,多對一及多對多提供C/Fortran的函式庫,程式設計師可以輕鬆寫程式It’sfreeMessagePassingInterfaceMPI,你的第一個MPI程式請從老師的網頁上下載MPI-01.c這個程式這個程式介紹四個MPI最基本的函式MPI_Init()MPI_Comm_size()MPI_Comm_ran