中科大并行计算讲义第二讲C机群的搭建

并行计算

中国科学技术大学计算机科学与技术系国家高性能计算中心(合肥)2003年9月2023/6/291现代密码学理论与实践之五PC机群的搭建机群系统概述

硬件的选择与安装软件的选择与安装机群系统性能评测

2023/6/292现代密码学理论与实践之五机群系统概述什么是机群？机群是一组独立的计算机（节点）的集合体，节点间通过高性能的互连网络连接；各节点除了可以作为一个单一的计算资源供交互式用户使用外，还可以协同工作并表现为一个单一的、集中的计算资源供并行计算任务使用。一种造价低廉、易于构筑、并且具有较好可扩放性的并行机体系结构2023/6/293现代密码学理论与实践之五发展迅速的原因作为机群节点的工作站系统的处理性能越来越强大，更快的处理器和更高效的多CPU机器将大量进入市场；随着局域网上新的网络技术和新的通信协议的引入，机群节点间的通信能获得更高的带宽和较小的延迟；机群系统比传统的并行计算机更易于融合到已有的网络系统中去；机群上的开发工具更成熟，而传统的并行计算机上缺乏一个统一的标准；机群价格便宜并且易于构建；机群的可扩放性良好，节点的性能也很容易通过增加内存或改善处理器性能获得提高。2023/6/294现代密码学理论与实践之五重要特征机群的各节点都是一个完整的系统，节点可以是工作站，也可以是PC机或SMP机器；互连网络通常使用商品化网络，如以太网、FDDI、光通道等，部分商用机群也采用专用网络互连；网络接口与节点的I/O总线松耦合相连；各节点有一个本地磁盘；各节点有自己的完整的操作系统。2023/6/295现代密码学理论与实践之五分类根据不同的标准，可有多种分类方式针对机群系统的使用目的可将其分为三类：高性能计算机群负载均衡机群高可用性机群2023/6/296现代密码学理论与实践之五典型机群系统BerkeleyNOWBeowulfCOTS（Commodityofftheshelf）

LAMPSMP－cluster2023/6/297现代密码学理论与实践之五PC机群的搭建机群系统概述硬件的选择与安装软件的选择与安装机群系统性能评测

2023/6/298现代密码学理论与实践之五硬件的选择与安装节点构建处理器、内存、总线、磁盘与I/O系统构建网络适配卡、交换机机群系统示例

天体物理中心64个节点PC机群1个服务节点（兼作计算节点）和63个计算节点2023/6/299现代密码学理论与实践之五机群抬系统幕示例服务涉节点废配置：CP透U：Pe尚nt柏iu葛m夜Ⅳ扒2.沸0G（51功2K级B全速葵二级望缓存真）内存尽：1G（251声2M）Ra告mb耗us硬盘喜：80而GB冲I蹲DE主板牲：AS悠US扯P稳4T燥S胆oc少ke喊t轧42缸3网卡授：3c相om葵9讽05宗–非TX（两阳个）显卡泉、显边示器泄、键甩盘、花鼠标保、光赛驱、拉软驱倦：略计算叫节点鼻配置腊：CP音U：Pe不nt偷iu卧m摊Ⅳ府1.晶5G（51擦2K腿B全速嗽二级卧缓存独）内存欲：51停2M似B（225麻6M）Ra材mb阵us硬盘矮：40娘GB捎I土DE主板猾：AS前US塌P穴4T堤S呈oc炭ke桌t碑42藏3网卡：3c土om它9幅05临–桂TX20域23贝/6速/2葬610现代械密码峰学理系论与睬实践么之五机群亏系统念示例交换宁设备冈由2挽个3湿co抹m泉3c许16损98挪0和搞1个晋3c刊om器3际c1故69缘瑞85阁的交缠换机愤通过淡一个洗ma陶tr窜ix尼m陈od扁ul塑e堆短叠而留成，厚并安我装了头一个村千兆仇光纤块模块独，以臭备服纳务接娇点连辨接内雾部机讯群的姥网卡前升级丈为千坚兆网祸卡。20铺23霸/6此/2呈611现代胁密码体学理孩论与备实践荷之五PC机群磨的搭般建机群钞系统朝概述硬件污的选疗择与过安装软件坐的选婆择与领安装机群准系统废性能尘评测20站23葡/6伴/2魔612现代腊密码置学理兴论与夕实践涛之五软件键的选单择与脾安装OS的选视择SS惊I的构继建编程企环境性的选努择20侧23阶/6干/2调613现代耽密码必学理赛论与发实践线之五OS溉的选册择Wi吸nd遍ow趟sUN时IXLi贤nu眠x机群射系统定示例Re爆dh钢at锋7砍.2版本设（内勉核）20病23预/6英/2纳614现代徒密码伏学理河论与射实践惕之五SS捷I的颗构建单一桂系统仆映像SS描I（Si反ng威le毛S糠ys博te至m苗Im天ag枣e）单一希系统：尽增管系奥统中鼠有多史个处冰理器构，用泛户仍锡然把岩整个怠机群贷视为燥一个壶单一拔的系浓统来幻玉使用单一形控制：逻猜辑上川，最谎终用帖户或摇系统搞用户大使用起的服舰务都罗来自歇只有慎唯一尺接口朋的同沙一个恰地方对称扔性：用需户可蓄以从伞任一示个节刺点上丘获得伪机群帮服务夺，也帆就是抚说，头对于凡所有炼节点础和所千有用滑户，稍除了忧那些倒对一折般访梯问权是限作健保护求的服眨务和耕功能秧外，难所有月机群妙服务臂和功枪能都赔是对姨称的位置皱透明：用刑户不恒用了膨解真若正执脱行服滤务的桨物理塌设备大的位彩置20牙23立/6克/2严615现代愈密码废学理持论与夹实践素之五SS窗I提训供的呢三种焦服务单一局登录外（Si帆ng领le跪S臭ig绑n里On）单一右文件血管理浑（Si户ng止le的F垫il滩e销Hi巴er拉ar堆ch伯y）单一孩作业银管理匀系统(S掀in角gl丸e联Jo愿b厌Ma残na预ge墨me锻nt珠S忆ys驰te踩m)20廉23捷/6忆/2侧616现代证密码浊学理阀论与底实践砌之五单一馋登录炼（S孩in水gl瓜e蛋Si少gn亡O确n）两种杨方法网络细信息脊系统NI暴S（Ne核tw殿or遗k适In巴fo取rm榨at概io害n脊Sy伪st破em）Sh蔽el霉l脚本挨（Sh做el尺l夕Sc头ri福pt）20垃23时/6撑/2控617现代标密码煤学理嫌论与衡实践烦之五网络闹信息冰系统暑NI去S服务雪器端洒：①设置NI冷S域名甲：在文瞧件/e率tc娘/s便ys纱co侵nf杨ig许/n部et棒wo沙rk中添栽加如乘下一裙行：NI持SD凯OM捐AI韵N=预PC弃Cl登us菜te畜r②初始判化数膏据库印：运行/u蹈sr偏/l偷ib恩/y刃p目录扰下的yp姥in退it命令塑初始涝化系密统信总息数骆据库走：［no旬de纯0］#讲/u宪sr庄/l栽ib戒/y蓝pi耕ni祖t如–m③启动学守护砍进程场：在/e碧tc持/r暴c.小d/俱rc追3.偷d目录蔑下增兵加两炉个链硬接，宜以便卡系统锡在启提动时婚自动药载入逐守护暂进程枣：［no商de毫0］#勇cd为/苍et嫩c/称rc恭.d墓/r裙c3世.d［no告de诊0］#运ln恭–男s太..灿/i壮ni冠t.嗽d/简yp滨se刚rv蒜S6统1y旦ps论er逆v［no郊de锄0］#摘ln巴–表s少..惕/i斧ni挡t.冲d/疑yp讯pa舟ss羞wd斜d凳S贞61陪yp旁pa柜ss否wd20退23迟/6村/2甜618现代宽密码亭学理孟论与溪实践脉之五网络获信息苏系统唉NI暂S客户霉端：在客料户节化点上失（no背de桑1到no胖de锤63）运托行se齿tu王p命令畏，然划后在究出现期的对语话框奇中选久择“Au另th馅en叫ti界ca型ti叫on逗C灶on法fi攀gu糖ra俘ti祖on暗”，选酬择NI瞎S，填隙入域脚名PC撤Cl刻us腊te纠r以及牌服务闭器名no味de口0；并乒在文杂件/e惑tc咽/p卡as般sw然d中加徐入以从下一集行：+：：0：0：：仗：20逝23刺/6仓/2勤619现代院密码卫学理牲论与华实践睁之五Sh坟el存l脚司本NI绵S：息设置土方便这，但筑是采机用客故户／踢服务伸器模父式，企在应良用启妙动的牺时有矿可能尝产生稿瓶颈锡。为了校提高响性能坝，我盒们可画以采堂用S缺he布ll不脚本宣的方者式来索完成吴同样耀的工新作。例如政，对什用户碌信息鲁的管葵理，诵可以伞创建器一个屑名为伸cl罪us汇te校r_康us恨er柜的脚虫本，俗负责眨在其迈所在另结点沸上创罩建新疤的用藏户，概而后脖再将贴相关爪的配层置文柱件（钢/e眠tc绞/p娱as易sw咐d、笑/e戏tc导/g房诚ro这up俯s）竖复制剧到机熄群系仪统中塘所有绝其它槐节点娃，这熄里要粒注意锻的一谱点是牙用户伐的主非目录慨应该蔑建立街在全推局共疑享的侧分区蛙中（享NF律S共云享）予。对并其它镜的一炮些信层息，床比如假/e黑tc雁/h治os隔ts月和/握et雾c/蜻ho产st混.e亲qu混iv陵等文俱件可羞同样奸处理凡。20侍23茧/6估/2偷620现代傍密码搂学理烦论与蹦实践肌之五单一豪文件身管理NF疾S是队一种澡Un敲ix遗/L桃in皱ux押之间鸣通过接网络凶共享每文件隔的标笔准方列式。倍使用功NF葬S，株就能浊够透逗明的帆安装豪和访令问网绝络上灶远程规主机炎的文丘件系感统，葵将其米安装叙（m座ou勺nt氏）在毕本地使的文灿件系诉统中柜，类谦似于都Wi热nd堵ow暴s下度的映幻玉射驱脑动器域。示例色机群蔽：节趁点n贵od绿e0悼是服子务器柱，把腊目录错/h狼om士e和扇/C秒lu失st行er杏进行营共享领；节你点n瓜od机e1科到n培od殊e6炒3是威客户喊端，克把服进务器方的/作ho猾me想和/袄Cl啊us伟te搁r安励装到飞自己夕的文益件系裂统当好中。20各23侍/6袍/2竞621现代荐密码改学理精论与盏实践档之五单一炸文件欠管理服务疫器端谅：(1嘴)启动个服务顿进程乡丰：NF委S服务方器需惑要使樱用守晴护进厘程nf想sd和mo庄un个td，通截过在坝目录/e绢tc营/r寒c.却d/茄rc柱3.勒d之下草增加电链接甜可以省使系附统在灶启动蕉时自斤动载雅入这元两个杰进程谱：［no浓de慢0］#边cd行/伪et葱c/毅rc稀.d践/r乳c3欠.d［no胆de剪0］#期ln竞–及s更..鸭/i半ni雹t.词d/个nf症s庆S6喘0n岭fs20么23片/6执/2怪622现代校密码蜡学理脆论与默实践腔之五单一顷文件哗管理(2槽)设置洪共享痰目录炕：首校先，雁在根扶目录蜂下建蜜立目铺录/h可om贡e和/C泡lu稼st馒er。［no侮de作0］#凤mk临di起r旁h场om切e［no离de旬0］#园mk蛇di为r盾C台lu虽st馅er然后月，在若文件/e诊tc究/e就xp悟or努ts当中泊增加收以下扣几行窑。/ho芝me胀no令de隔1铜(r只w)/C胜lu迟st身er乎no匠de轿1字(r宵w)……/ho蒙me悔n碌od杰e6炉3配(r才w)/C当lu论st荒er益no善de胖63修(厘rw眯)这几柔行的骂意思俊是将央服务对器上土的/h牧om块e和/C遥lu悔st毒er目录脆进行杜共享递，设患置节圣点no丘de字1到no厌de骨63可以晨访问巧，rw表示乎允许杯读和穴写（恨缺省冒为只眠读）阶。这草里要暮注意姥的一泼点是奥所有炉用到衬的主国机名党必须营在文书件/e乱tc岁/h目os漆ts中给镰出ip地址险，例俊如：19梯2.昼16宿8.牵0.困11拼no库de肯120浑23坦/6拉/2皱623现代欣密码兴学理皇论与寇实践箭之五单一记文件掩管理客户廊端：在文箭件/e麻tc驶/f赤st殖ab当中功加入滩两行盼：no娇de误0:乡丰/h耍om幻玉e观/h碧om紫e谷n骡fsno碧de爹0:搭/C筹lu礼st敌er柏/C虏lu罪st必er告nf乒s当然权，相易应的坦要在嗽文件/e播tc头/h州os额ts中给钱出主购机no隔de袋0的ip地址部：19秃2.轻16精8.嘴0.戏10没no扶de昂0这样领就完绝成了NF傻S在机转群系孤统中孩的设勺置，僵以后船所有但用户瞧的主落目录姓都可肉以设效置在/h增om摩e中，榴所有寸可以附共享增安装佳的软牲件可洲以放拆在/C父lu每st稳er中。20哲23驾/6匪/2徒624现代锁密码涝学理笔论与严实践渡之五单一盟作业典管理素系统用户鸽可以钩透明笑地从虎任一抹节点骨提交贼一项膝作业须，作兵业可巴以调灭度为东以批连处理跃、交饥互或旧并行规的模闭式运张行用户信服务速器、沃任务呈调度因器、唇资源炭管理迈器典型切的作物业管充理系阿统PB住S（Po苦rt服ab镰le会B恰at对ch声S阻ys滑te盾m）LS钳F（Lo显ad删S庙ha们ri穷ng辽F助ac晶il艇it回y）Co克nd踢orJO涛SSPB仅S的安挤装20时23殃/6活/2牵625现代斤密码葬学理哥论与松实践饰之五软件减的选仗择与跟安装OS的选锁择SS扰I的构钞建编程倦环境推的选恼择20俊23柜/6歼/2铅626现代缺密码弹学理蒙论与辆实践策之五编程胆环境川的选猪择流行乖的编窄程软皮件MP肢I、Op饥en务MP、HP明FMP胶IC挤H的安戚装及娃配置示例俱机群练中构滑建了裙单一漠映象评系统玻。64个节输点（no荣de蚂0到no德de波63）中no产de稼0共享./夹Cl誓us较te仆r目录插给所帝有其臂它节抢点。赠这样包只需痕将MP栽IC妇H安装零在这牧个共恰享目各录中剑即可课，即话整个细系统委中只蚂需安碎装一乔次。20祥23坟/6堆/2迈627现代肿密码腿学理农论与醉实践轮之五MP啄IC北H的犯安装①M愁PI侨CH是一系个开忆放源崖码的烛软件环，所叫以可挺以从槐网上比免费御获取蔑它的圆源代忧码。吨用户届可以汪直接斧从MP爸IC讨H的主满页下奋载最槽新的呆软件代包，丙然后颈将它互置于/C晚lu择st打er目录狮下。②使用挪如下赏命令钩解压昨缩源假代码伯：［no因de洪0］#彻ta妨r拆–z沿xf解压熊缩后斗会生体成一召个名彩字为球的目疮录。20啦23稿/6怒/2国628现代茫密码捧学理肢论与免实践电之五MP蹈IC闭H的堂安装③进入奔该目诞录，绳并执猴行位蹈于该牧目录忌下co涂nf岩ig咱ur泡e脚本佳，为季下一格步编振译源询代码跳进行拆准备淹。该现配置候脚本汤可以朝接受护很多柴的参磨数（Op芒ti遵on绞s），专通过砍运行票命令热如下壁：［no院de穿0］#杜./机co渠nf忘ig堡ur茧e乡丰–h吨el丈p可以桃获取乒更详冰细的炎参数锄信息闸。这辜里只输列举若几个湿最常楼用的辜参数倦：-p离re饭fi物x：指绣定mp迎ic茂h的安重装目泛录。--催wi碑th粮-d寄ev器ic漆e：指吗明所哪使用租的通俭信系许统类歌型。辆一般鼓情况佳下我父们使打用ch封_p偿4，它当表示南通常救的TC榴P/忍IP通信达系统张。--潜wi烘th蜂-a摔rc南h：指腥明所润使用养的操窜作系服统的请类型器。运行域如下义命令叹完成拾前期趣配置存：［no捡de罪0］#醒./置co欧nf凉ig泉ur篮e提--宋pr馒ef玩ix筋=/早Cl喇us六te胸r/扭MP扯IC非H坡\--吼wi础th铺-d校ev雷ic罪e=条ch厘_p蜂4拼\--团wi灿th腹-a友rc少h=款LI马NU价X20盼23作/6新/2箱629现代夜密码迎学理栗论与免实践扶之五MP笔IC咱H的摆安装④最后秩，先祖通过爪运行su命令恨转变蜻到ro队ot用户格身份需，再圈运行可如下持命令义完成MP爆IC闲H的编熟译和胸安装:［no务de市0］#妹ma确ke［no柔de匆0］#茎ma魔ke岂i体ns醉ta便ll至此祝就完颈成了逃机群溜系统床中MP惯IC浊H的安宽装。20歼23旅/6昌/2难630现代绑密码奋学理矿论与遣实践汤之五MP齿IC晶H的累配置①第一则步要夸进行rs揉h的配絮置，痛使系件统中店不同预节点兔之间蠢的rs抓h操作叨不需蛇要密苍码的群输入症。这葛首先油需要督在每盯个节燃点的/e毯tc挨/h添os某ts文件宗中写汪入no躁de号0到no案de弦63的(主机禾名,I末P地址)对；燥然后盼在/e眉tc盖/h俯os士t.夜eq摘ui育v中写岗入所张有的站机群撞节点什主机妹名，升下面乘是no承de扣0上的浇这两伙个文容件内工容：［no声de慌0］#勺ca淹t槐/e素tc列/h认os锤ts19圾2.弄16圾8.创0.劈燕10怒no亲de术019诵2.胳16竖8.滨0.索11辉no搂de江119兆2.柳16嫩8.严0.办12等no割de震2……19该2.松16普8.踪蝶0.线16管3疫n以od先e6看3［no眯de咬0］#泰ca池t摩/e恢tc骆/h技os峰t.付eq锤ui掠vno姑de姿0no晓de眯1no抗de忽2……no仔de女6320半23姑/6畜/2棍631现代哀密码镰学理眨论与较实践仰之五MP欢IC骄H的克配置②第二蜓步要口更改MP袭IC睛H的节池点列凭表文盟件，忌该文你件位抛于/C阳lu膏st模er膜/M掠PI排CH腿/s痰ha狗re目录笨下。手这里插我们付使用肠的ar皇ch参数石是LI毛NU词X，相躬应的堆列表望文件歪为ma倍ch乎in盟es烈.L名IN艘IU烤X。在样这个犯文件呼中要船写明厌机群味系统颂中所赌有的蹄节点讲的主携机名疯。该针文件咸以一延定的能方式房诚指明热了实馒际执尤行MP建I程序济时进尖程是慢如何拖分配闲到各么个节凝点上揉的。以下劫是示算例机拦群中芽的ma皇ch呜in鱼es文件厅：［no教de炒0］#辉ca这t菌/C愤lu好st蕉er局/M寨PI毁CH肤/s补ha椅re止/m果ac拾hi行ne痕s.该LI贫NU葵Xno蠢de蜻0no侮de稿1no侮de锯2……no娃de脆6320狡23启/6丙/2娃632现代仿密码适学理抢论与爆实践骂之五MP像IC欢H的拘运行MP限IC蒜H中最近常用未的两姿个命披令就矿是mp鲜ic新c和mp浴ir矮un。mp筋ic艘c是一或个MP荣I编译朋器，座它负麻责将开源程工序编河译为唇可执嫌行文铺件，蔽它最蝴常用已的参鱼数是-o用来沸指明砌输出宪文件唤。［no但de蜻0］#惑cd塌/椒Cl贸us遵te勺r/尾MP级IC婶H/释ex换am超pl反es［no确de符0］#顽..周/b挥in进/m盛pi查cc身c怨pi挤.c守–折o两cp泻in辱ewmp仙ir昆un则是昌用来票执行惑一个巨编译爆好的MP长I程序井。下鄙面是景它最组常用晴的一婆些参尾数：-n桨p迷<n饲p>：用验来指誓明所村要生素成的醋进程膛数。-m厦ac趋hi向ne滩fi炒le咳<具ma品ch抵in滤ef迹il崇e君na病me养>：缺团省时甘使用宾的ma忘ch钥in旦es文件逐是前狡面介逗绍过厕的位勺于sh眯ar捏e目录消下的ma薄ch醋in乓es昨.L网IN篇UX；但翼通过以这个渣参数针可以刻指定团一个浆临时捞的ma贯ch剪in织es文件顽，从致而使园用不俘同的翅进程慨指派捐方式锅。一个炊标准风的mp亦ir朗un命令开如下御：［no性de旗0］#咳..隶/b思in鉴/m裹pi胡ru艇n跌–n哄p锅10丘c到pi垄ne构w拜–m击ac蹲hi号ne驳fi饶le注.慈/n纯ew纠_m咐ac脱hi钓ne窄_f拣il羽e20