网格计算与PC-FARM的使用

网格计算与PC-FARM的使用王永刚May19,2003主要内容什么是网格计算PC-FARM的结构PC-FARM的使用方法一.网格计算(GridComputing)基本概念（HistoricalConsideration）

高性能计算(High-PerformanceComputing) >大规模科学问题，象天气预报、地形分析和生物制药等

>存储和处理海量数据，象数据挖掘、图象处理和基因测序 高能物理的事例重建和模拟 高吞吐计算(High-throughputComputing) SMP（SymmetricMulti-Processor） 集群（Cluster）系统 与SMP比较 高性能集群 网格计算 继续集群与SMP的性能比较返回网格计算的特点网格计算是一种高性能计算

网格研究来源于美国联邦政府过去十年来资助的高性能计算科研项目。从1992年美国总统克林顿提出“信息高速公路”计划，开始了下一代互联网（NGI）研究计划。异质网络分布式（地理上）21世纪的主流计算技术 Globus网格与中国网格技术被称为网络技术发展的第三次浪潮。网络技术的前两次浪潮（互联网和万维网），中国都没有参与世界上核心技术的创新工作。我国的计算机产业，在总体上落后于西方国家，一个重要原因是“文化大革命”使我们错过了参与发明网络的前两个浪潮。从1969年至今，互联网发展至今已经34年了，出现了3180个技术标准文档（RFC）。我国科技界仅参与了一个技术标准文档的制定。那就是1996年3月（互联网第一个标准发明27年后，TCP/IP协议发明22年后）胡道元教授牵头制定的中文字符编码标准（RFC1922）。从1989年至今，万维网（Web）发展至今也近14年了，出现了46个技术标准，我国科技界参与制定的技术标准一个也没有。根据Internet和Web发展的历史，网格的重要技术标准将在2004-2005出现。这个技术将主导2004-2020年的信息技术领域发展趋势。网格是中国计算机技术发展的一个契机。国内的网格项目VegaGridProject（ICT）ScientificDataGrid(AC)ChineseUniversityGrid(ME) ShandongUniversity，1/12HEPDataGrid(IHEP)国外的网格项目美国政府从十年前就开始投资了，累计用于网格技术的基础研究经费已近五亿美元。美国军方更为积极。美国国防部已在规划实施一个宏大的网格计划，叫作“全球信息网格”（GlobalInformationGrid），预计在2020年完成。作为这个计划的一部分，美国海军和海军陆战队已先期启动一个160亿美元的八年项目，包括系统的研制、建设、维护和升级。英国政府已决定投资1亿英镑于网格项目。

国外的网格项目（续）国家计算机科学联盟NPACI（NSF)国家技术网格NTG（NSF)分布式万亿次级计算设施DTF（NSF）IPG-InformationPowerGrid（NASA）ASCIGrid（DOE)DataGrid（EU）二.PC-FARM的结构PC-FARM的结构（续）RAID盘，1TB，7/8的容量，安全（两个备用盘）文件服务器与其他主机以千兆位端口连接，高吞吐量UPS电源，5000VA，网络监控Linux支持的摄像头，实时监控用户必须通过hgfarm才能到达PC-FARM三.PC-FARM的使用网格计算至少需要具备三种基本功能

l

任务管理 用户通过该功能向网格提交任务、为任务指定所需资源、删除任务并监测任务的运行状态。 l

任务调度 用户提交的任务由该功能按照任务的类型、所需资源、可用资源等情况安排运行日程和策略。 l

资源管理 确定并监测网格资源状况，收集任务运行时的资源占用数据。使用SunONEGridEngine5.3就可以实现上述三个功能。我们的PC-FARM还不是真正的网格计算，只能算作网格计算略低一级的形式——集群计算。GridEngine的使用条件 在hgfarm上有帐号和HOME目录启动QMON在你所在的机器（比如hepg15）输入以下命令：

sshhgfarmqmon

1.启动QMON主界面每个按钮的说明（1）转到作业控制窗口每个按钮的说明（2）每个按钮的说明（3）2.提交作业脚本示例运行广延大气簇射模拟程序corsika目录/home/wangyg/corsika可执行文件为qgsjet（不能直接提交）脚本run01.sh:

1 #!/bin/bash2 cd~/corsika3 ./qgsjet<./inputs0014 书写SHELL脚本不要有后台运行符号（&）末尾最好有一空白行扩展的选项1 #!/bin/bash#$-S/bin/bash3 #$-cwd~/corsika4 #$-Nrun015 cd~/corsika6 ./qgsjet<./inputs0017SHELL编程几种SHELL BASH、CSH、KSH、TCSH指定输出文件3.作业控制检查作业运行状态第一种方法：启动JobControl窗口第二种方法：命令行作业控制窗口显示作业运行状态的命令登录到hgfarm，运行qstat–f结果： [wangyg@hgfarmwangyg]$qstat-f queuenameqtypeused/tot.load_avgarchstates ---------------------------------------------------------------------------- hgfarm0.qBIP1/20.67glinux 710corsika-ruwangygr05/14/200310:44:20MASTER ---------------------------------------------------------------------------- hgfarm1.qBIP1/20.51glinux 760run06.shwangygr05/14/200310:45:36MASTER ---------------------------------------------------------------------------- hgfarm2.qBIP1/20.53glinux 750run05.shwangygr05/14/200310:45:20MASTER ---------------------------------------------------------------------------- hgfarm3.qBIP1/20.62glinux 720run02.shwangygr05/14/200310:44:35MASTER ---------------------------------------------------------------------------- hgfarm4.qBIP1/20.55glinux 740run04.shwangygr05/14/200310:45:05MASTER ---------------------------------------------------------------------------- hgfarm5.qBIP2/20.61glinux 730run03.shwangygr05/14/200310:44:50MASTE