网格计算与PC-FARM的使用

网格计算与PC-FARM的使用王永刚May19,2003主要内容容什么是网网格计算算PC-FARM的结构构PC-FARM的使用用方法一.网格格计算((GridComputing))基本概念念（HistoricalConsideration）高性能计计算(High-PerformanceComputing))>大规模科科学问题题，象天天气预报报、地形形分析和和生物制制药等>存储和处处理海量量数据，，象数据据挖掘、、图象处处理和基基因测序序高能物理理的事例例重建和和模拟高吞吐计计算(High-throughputComputing)SMP（（SymmetricMulti-Processor）集群（Cluster）系统统与SMP比较高性能集集群网格计算算继续集群与SMP的的性能比比较返回网格计算算的特点点网格计算算是一种种高性能能计算网格研究究来源于于美国联联邦政府府过去十十年来资资助的高高性能计计算科研研项目。。从1992年美国总总统克林林顿提出出“信息息高速公公路”计计划，开开始了下下一代互互联网（（NGI））研究计划划。异质网络络分布式（（地理上上）21世纪纪的主流流计算技技术Globus网格与中中国网格技术术被称为为网络技技术发展展的第三次浪浪潮。网络技技术的前前两次浪浪潮（互互联网和和万维网网），中中国都没没有参与与世界上上核心技技术的创创新工作作。我国国的计算算机产业业，在总总体上落落后于西西方国家家，一个个重要原原因是““文化大大革命””使我们们错过了了参与发发明网络络的前两两个浪潮潮。从1969年至至今，互互联网发发展至今今已经34年了了，出现现了3180个个技术标标准文档档（RFC）。我国国科技界界仅参与与了一个个技术标标准文档档的制定定。那就就是1996年年3月（（互联网网第一个个标准发发明27年后，，TCP/IP协议发发明22年后））胡道元元教授牵牵头制定定的中文文字符编编码标准准（RFC1922）。从1989年至至今，万万维网（（Web）发展展至今也也近14年了，，出现了了46个个技术标标准，我我国科技技界参与与制定的的技术标标准一个个也没有有。根据Internet和Web发展展的历史史，网格格的重要要技术标准准将在2004--2005出现现。这个个技术将将主导2004-2020年年的信息息技术领领域发展展趋势。。网格是中中国计算算机技术术发展的的一个契契机。国内的网网格项目目VegaGridProject（ICT））ScientificDataGrid((AC))ChineseUniversityGrid((ME))ShandongUniversity，1/12HEPDataGrid(IHEP)国外的网网格项目目美国政府府从十年年前就开开始投资资了，累累计用于于网格技技术的基基础研究究经费已已近五亿亿美元。。美国军方方更为积积极。美美国国防防部已在在规划实实施一个个宏大的的网格计计划，叫叫作“全全球信息息网格””（GlobalInformationGrid），预计在2020年完成。。作为这这个计划划的一部部分，美美国海军军和海军军陆战队队已先期期启动一一个160亿美元的的八年项项目，包包括系统统的研制制、建设设、维护护和升级级。英国政府府已决定定投资1亿英镑于于网格项项目。国外的网网格项目目（续））国家计算算机科学学联盟NPACI（NSF)国家技术术网格NTG（NSF)分布式万亿次级级计算设设施DTF（NSF）IPG--InformationPowerGrid（NASA）ASCIGrid（（DOE)DataGrid（（EU））二.PC-FARM的的结构PC-FARM的结构构（续））RAID盘，1TB，，7/8的容量量，安全全（两个个备用盘盘）文件服务务器与其其他主机机以千兆兆位端口口连接，，高吞吐吐量UPS电电源，5000VA，，网络监监控Linux支持持的摄像像头，实实时监控控用户必须须通过hgfarm才才能到达达PC--FARM三.PC-FARM的的使用网格计算算至少需需要具备备三种基基本功能能l任务管理理 用户户通过该该功能向向网格提提交任务务、为任任务指定定所需资资源、删删除任务务并监测测任务的的运行状状态。l任务调度度 用户户提交的的任务由由该功能能按照任任务的类类型、所所需资源源、可用用资源等等情况安安排运行行日程和和策略。。l资源管理理 确定定并监测测网格资资源状况况，收集集任务运运行时的的资源占占用数据据。使用SunONEGridEngine5..3就可以实实现上述述三个功功能。我们的PC-FARM还不是是真正的的网格计计算，只只能算作作网格计计算略低低一级的的形式———集群群计算。。GridEngine的使使用条件在hgfarm上有帐帐号和HOME目录启动QMON在你所在在的机器器（比如如hepg15）输入入以下命命令：sshhgfarmqmon

1.启启动QMON主主界面每个按钮钮的说明明（1））转到作业业控制窗窗口每个按钮钮的说明明（2））每个按钮钮的说明明（3））2.提提交作业业脚本示例例运行广延延大气簇簇射模拟拟程序corsika目录/home/wangyg/corsika可执行文文件为qgsjet（不能直接接提交））脚本run01.sh:1 #!!/bin//bash2cd~/corsika3 .//qgsjet<./inputs0014 书写SHELL脚本不要有后后台运行行符号（（&）末尾最好好有一空空白行扩展的选选项1 #!!/bin//bash#$--S//bin/bash3 #$$-cwd~/corsika4 #$$-Nrun015cd~/corsika6 .//qgsjet<./inputs0017SHELL编程程几种SHELLBASH、CSH、KSH、、TCSH指定输出出文件3.作作业控制制检查作业业运行状状态第一种方方法：启动JobControl窗口第二种方方法：命令行作业控制制窗口显示作业业运行状状态的命命令登录到hgfarm，，运行qstat––f结果：[wangyg@hgfarmwangyg]$qstat-fqueuenameqtypeused/tot.load_avgarchstates-----------------------------------------------------------------------------------------------------hgfarm0.qBIP1/20.67glinux710corsika-ruwangygr05/14/200310:44:20MASTER-----------------------------------------------------------------------------------------------------hgfarm1.qBIP1/20.51glinux760run06.shwangygr05/14/200310:45:36MASTER-----------------------------------------------------------------------------------------------------hgfarm2.qBIP1/20.53glinux750run05.shwangygr05/14/200310:45:20MASTER-----------------------------------------------------------------------------------------------------hgfarm3.qBIP1/20.62glinux720run02.shwangygr05/14/200310:44:35MASTER-----------------------------------------------------------------------------------------------------hgfarm4.qBIP1/20.55glinux740run04.shwangygr05/14/200310:45:05MASTER-----------------------------------------------------------------------------------------------------hgfarm5.qBIP2/20.61glinux730run03.shwangygr