联想刀片服务器技术方案

联想高性能计算机群技术方案联想〔北京〕二○○九年十二月目录TOC\o"1-2"\h\z\u目录 11．联想与高性能计算 32．系统技术方案概述 52.1节点系统 62.3计算网络 82.4管理网络 82.5控制台 82.6存储系统 82.7机群软件系统 93．机群设备介绍 93.1节点系统 93.2计算网络 153.3存储系统 153.4软件系统 183.4.1操作系统 183.4.2作业管理系统 193.4.3监控与管理系统 243.4.4并行软件开发环境 314．安装、验收及培训方案 384.1工程实施 384.1.1工程实施组织 384.1.2质量保证措施 394.1.3工程实施步骤 404.1.4工程进度方案 414.1.5资源需求 424.2培训方案 434.2.1培训目标 434.2.2培训内容与课程要求 435．保修及售后效劳方案 475.1联想售后效劳体系 475.2保修效劳 495.33小时响应 495.4技术咨询效劳 495.5替换整机或部件的所有权 495.6不属于免费保修义务的情形 495.7特别提醒与说明 50附件一成功案例 511．联想与高性能计算当前，国内的高性能还处在开展阶段，自从联想在2002年研制成功世界上第一个实际速度超过1万亿次的大规模机群系统后，国内外厂商都加大了对机群系统的研制能力，国内的高性能产业得到了蓬勃开展。对于高性能市场的分布情况，当前还没有官方正式的统计，只能从厂商的实力和成功案例进行分析。联想从2001年开始进军高性能效劳器领域以来，着重针对高等院校和科研院所进行产品开发与市场拓展，在市场中一直处于领先地位。截止2021年，先后为近170个用户成功实施了高性能机群，两次承当了中国科学院网络计算中心主节点的建设任务，并且成功地与Williams车队进行合作，成为国产品牌中唯一将高性能业务拓展到海外的企业。2001年10月，联想开始进军高性能效劳器领域。之后，联想顺应国际主流技术开展趋势，以市场需求为驱动，吸收国内外最新技术成果，进行了大量创新性研发，突破包括系统设计与优化、系统根底架构、系统软件等在内的一大批高性能效劳器的关键核心技术，开发出一系列可扩展、易管理、好使用、稳定可靠的高性能效劳器产品，并配备可满足用户个性化需求的行业解决方案，提供从系统层到应用软件层的全面解决方案和技术效劳。2002年7月，联想研制成功“深腾1800”万亿次机群系统，安装在中科院数学与系统科学研究院。这是世界上第一个实际速度超过1万亿次的大规模机群系统。曾入选新华社2002年中国十大新闻及两院院士评选的2002年中国十大科技进展，并荣获2004年国家科技进步二等奖。2002年末，另一套深腾1800大规模机群系统安装在中科院大气物理所国家重点实验室。2002年12月30日，联想深腾2003年，联想成功研制“国家网格主节点—联想深腾6800超级计算机〞，安装在中科院计算机网络信息中心。这是当时世界上Linpack效率〔78.5%〕最高的高端通用计算机，其组合查询性能名列世界当时世界所有大型效劳器的第四位，其典型应用MM5的测试结果在2004年3月列世界所有超级计算机的第一位。该机荣获2005年国家科学技术进步二等奖、2005年国家重点新产品奖、2004年信息产业重大技术创造奖。联想深腾6800自2004年初在网络中心对外效劳以来，一直7X24小时稳定运行，在双星方案、气候模式计算、油藏模拟、材料科学计算、流体力学计算等领域取得了150多项重要计算成果。联想深腾系列高性能计算机成为最早进入世界TOP500的一批国产计算机，分列当时世界TOP500的第14、43、98和299名。这是一个历史性的突破，联想深腾系列高性能计算机已成为国际知名国内主流的品牌。联想在推动高性能技术产业化方面取得了突破性进展，联想的高性能计算机广泛应用于许多关键领域，在国民经济和社会开展中发挥重要作用。目前，机群已成为世界高性能计算机体系结构的主流，联想深腾1800、深腾6800和深腾7000为这一趋势的形成做出了重要奉献。2002年8月初，世界上主流并行编程环境MPI-ch的创造人、美国阿贡实验室WilliamCropps参观联想深腾1800后写道：“Weseethefutureofclusteringcomputing〞。2007年，联想为F1的Williams车队成功地安装实施了1套8万亿次的高性能效劳器，联想高性能效劳器开始进军海外。联想作为国际奥委会TOP合作伙伴，负责为2006年都灵冬季奥运会和2021年北京奥运会信息系统提供效劳器和存储产品。如今，联想效劳器和存储产品在已结束的都灵冬季奥运会上实现了零故障运行。联想的产品和效劳实力获得了都灵奥组委的高度评价。联想在高性能效劳器根底技术方面有着长期的积累，有齐全的产品线和严格的质量控制体系，为高性能计算机的研制和生产奠定了坚实的根底。在产品设计上，联想坚持用户导向的原那么，同时结合对新技术的深入理解和消化吸收，始终遵循模块化设计思想，在充分综合考虑各模块精密配合和整机系统合理整合的根底上，先设计出最正确性价比、最稳定的产品方案，然后对方案进行工程计算仿真，同时不断地结合验证性实验，最终才形成可行的开发方案，从而保证为用户在最短的时间里开发出最贴近的具有竞争力的产品。在研究开发上，联想建立了与国际接轨的两级研发体系，即公司级研发平台和各事业部研发中心。公司级研发平台由联想研究院、软件中心、板卡中心和工业设计中心组成。事业部研发中心隶属于各事业部，直接承当具体的专项技术开发工作。联想在高性能效劳器技术上已突破并拥有了自己的核心技术，拥有自主知识产权的系统设计与优化技术、系统监控技术、系统管理技术、高可用和负载均衡技术以及根底架构技术等关键技术，在高性能计算机系统技术方面已申请国家创造专利85项，其中，46项已获授权。在工程技术上，联想拥有针对效劳器的部件及整机进行专业性测试的全套技术。部件测试包含外观、结构、功能、兼容性、可靠性、平安性、性能和环境8个方面的测试，以保证所有部件符合联想效劳器技术特性和质量标准的要求，对效劳器的核心部件如电源、内存，还建立了专业化的实验室，实现了部件的自动测试。如全球技术领先的自动电源测试实验室和自动内存测试实验室，国内功能最全面、技术最先进的系统测试实验室，以及高温实验室、电磁兼容检测实验室、噪音实验室、湿热实验室等等，所有产品需要在这些实验室中通过一系列的严格检测，只有通过了这一系列的严格检测的效劳器产品，才可以顺利出厂，提供给客户。联想始终严格执行国际标准的质量控制体系，是国内唯一通过ISO9000－2000版质量认证体系的效劳器厂商。在技术效劳与方案上，联想效劳器应用方案中心拥有雄厚的技术力量，在硬件平台、操作系统、数据库、中间件、网络、存储、机群技术等方面有着多年的技术和经验积累，可以分别从不同的技术层面为用户提供有效的产品应用和方案支持效劳。中心拥有先进的实验环境，包括方案集成实验室、性能评测实验室、数据中心、客户实验室四个局部，为用户提供方案开发、测试，方案移植、优化以及培训、咨询等效劳，及时、快速、可靠地解决在用户系统在使用过程中所遇到的技术问题，使客户的系统可以更加平安稳定地运行，以保障和促进客户业务的顺利开展并取得更大的成功。总之，通过多年的努力，联想在高性能计算机的设计、研发、工程、方案、效劳方面已具备坚实的根底，具备了承当国家重大战略性工程和中科院信息化建设重大工程的实力。2．系统技术方案概述联想在高性能效劳器业务运作上经验丰富、体系完善。近几年HPC领域的成功案例到达数百个，应用领域涉足气象、量子化学、生物科学、工程物理、计算力学、电力仿真、能源运输、计算中心、材料力学等多种学科和交叉学科。人员组成上拥有一支深入理解用户需求的体系结构设计和行业应用技术分析的专家队伍，不但对计算机系统结构有深厚的技术功底，而且对科学计算领域的应用软件十分熟悉。结合联想多年来在计算化学、计算物理等领域大型机群设备的建设经验，经过深入对中国人民大学高性能计算机需求分析，联想认为本次工程中提供的高性能计算机系统方案应须满足业务运行稳定可靠、建设方案技术先进、系统规模扩展灵活、系统能耗低、管理功能完备方便、效劳支持深入快捷的特点。联想推荐的中国人民大学高性能计算机群总体方案结构具有以下特点：业务运行稳定：实验室的的大局部作业都具有计算规模大、资源占用率高等特点，提交一次作业往往需要几天甚至一个月的时间，因此对高性能计算机的稳定性要求较高。如果设备在计算过程中出现问题，会造成时间的极大浪费。联想采用最新设计的刀片系统以及经过奥运考验、具备奥运品质的机架式效劳器作为系统的节点效劳器，配置LCOMS技术实时监控整个系统，以强大的性能为根底保证系统的稳定运行。建设方案技术先进采用高性能计算机最流行的Cluster体系架构，Intel最出色的Nehalem系列处理器，DDRIII系列内存，具备40G的带宽主流网络架构－高速Infiniband互联；提供一整系统规模扩展灵活Cluster架构天生扩展性好，只需根据需要增加机柜、节点和网络交换机，即可轻松扩展规模。系统能耗低联想采用电源转换效率到达93%的计算刀片系统，在消耗同样能耗时，系统能够获得更大的计算能力，充分保护了用户的现有投资。管理功能完备方便联想LCOMS机群管理系统、机群监控技术、联想资源管理和作业调度系统涵盖了机群系统所需的全部管理功能，完全的B/S结构，WEB浏览器访问，全中文的图形交互界面。效劳支持深入快捷联想具备在国内领先的大型HPC工程的集成运作能力；联想拥有强大和快捷的本地效劳支持能力；联想有专门的应用支持队伍，在快乐能计算方面联想有充分的移植和系统支持能力；在客户自写软件方面联想可具备并行软件开发与调优、工程科学算法研究改良等能力。中国人民大学高性能计算机群方案采用当今主流的Cluster体系结构，所有节点均采用基于64位Nehalem四核效劳器，通过Infiniband计算网络实现计算节点间的互连，所有硬件集成在联想机群根底架构中，并通过联想机群系统软件及应用支撑环境和工具等，对外提供单一系统映像，很好的满足用户高性能科学计算的应用。整套系统由六大局部组成：节点系统、互连系统、存储系统、软件系统、根底架构、显示系统。2.1节点系统系统内的刀片计算节点、I/O节点、管理节点。计算节点：配置10台联想深腾B714R刀片作为第一类刀片计算节点，配置42台联想深腾B714R刀片作为第二类刀片计算节点B714R刀箱满足：刀箱最大支持14片刀片，共提供5个刀箱，完全满足计算节点需求；刀箱配置管理控制模块，千兆以太网模块，40Gb/sQDRInfiniband交换机模块；冗余电源和风扇。第一类刀片计算节点：每刀片配置两颗IntelE5530系列CPU；每刀片配置24GBDDRIII1066MHz内存，每刀片配置12个内存DIMM；每刀片配置1块146GB热插拔SAS硬盘,转速为15000rpm；每刀片配置2个千兆网卡端口；每刀片配置1块IB卡，速率20Gb/s；第二类刀片计算节点：每刀片配置两颗IntelE5530系列CPU；每刀片配置12GBDDRIII1066MHz内存，每刀片配置12个内存DIMM；每刀片配置1块146GB热插拔SAS硬盘,转速为15000rpm；每刀片配置2个千兆网卡端口；每刀片配置1块IB卡，速率20Gb/s；配置2台联想R525G2机架式效劳器作为管理节点：联想R525G2满足配置2颗IntelXeonE5530(2.40GHz)；配置12GBDDR31066GHz内存；配置2块146GB热插拔SAS硬盘,RAID1，转速为15000rpm；带电池保护；配置4个千兆网卡端口；配置DVD-RW驱动器；配置热拨插冗余双电源。配置2台联想R525G2机架式效劳器作为存储节点：联想R525G2满足配置2颗IntelXeonE5530(2.40GHz)；配置12GBDDR31066GHz内存；配置2块146GB热插拔SAS硬盘,RAID1，转速为15000rpm；带电池保护；配置1块4Gb光纤HBA卡；配置4个千兆网卡端口；配置DVD-RW驱动器；配置热拨插冗余双电源；*运行可靠的联想龙存并行文件系统。2.3计算网络系统提供带宽性能为40Gbps的InfiniBand高速网络作为系统的计算网络，包括硬件和软件。Infiniband网络，所有计算节点之间的连接带宽40Gb/s；刀片机箱配40Gb/sQDRInfiniband交换机模块，对内和对外端口数均等于机箱满配时刀片数目；刀片机箱之间通过2台36口40Gb/s的Infiniband交换机链接。2.4管理网络配置一套联想千兆网络作为系统的管理网络。2.5控制台机群配置一台1U折叠式液晶显示器作为控制台。2.6存储系统配置1台联想SureFibre640光纤磁盘阵列：联想品牌，支持Linux操作系统；总容量10TB，持续输入/输出带宽400MB/s；在不删除用户原有数据的情况下，可升级至容量44.8TB，持续输入输出带宽800MB/s；采用15Krpm磁盘阵列，支持热插拔、阵列快照；冗余双控制器，每个控制器2个4Gb光纤端口，每个控制器配置1GB高速缓存〔带断电保护功能〕；至少支持RAID1和5；电源及风扇全冗余。2.7机群软件系统软件系统包括：操作系统、机群管理软件、作业调度软件、机群监控软件、并行编译环境。1．操作系统：机群系统配置RedHat5企业版操作系统。2．机群管理软件：软件采用B/S架构，支持中英文界面；集群自动部署系统；通过WebGUI实现用户的集中管理；支持对各种系统资源〔CPU时间、内存、处理器数、节点数等〕进行分配与限制。3．作业调度软件：通过WebGUI配置资源管理和任务调度程序参数；智能化任务调度，实现资源预定，任务回填，动态优先级等功能；通过WebGUI实时观察任务状态。4．编译系统并行库：GNU编译器、IntelC/C++、IntelFortran、IntelMPI、mpich、OpenMP等，以及优化过的数学程序库：MKL、BLAS、LAPACK、Scalapack、FFT程序库、Intel调优工具和集群工具等。上述软件由联想负责安装与调试。3．机群设备介绍3.1节点系统机群的节点系统包括：刀片计算节点，I/O节点和管理节点。〔1〕刀片计算节点联想B714R刀片机群系统的运算能力决定于机群系统中计算节点的运算能力和计算节点的数量规模，由于需要进行高密度的使用，通常对其单位体积内浮点运算能力要求较高，计算节点采用联想B714R刀片式效劳器，配置2颗Intel最新XeonE5500系列处理器，每机箱集成14片，刀片机箱可以安装InfiniBand模块，千兆以太网交换模块、管理模块、电源模块和风扇模块，不仅计算能力超强，而且在高速系统通信、管理等方面都有极高的集成度和性能。业界领先的高密度B714R可以在7U高的刀箱内可以部署14片支持2个IntelE5500系列CPU的计算刀片。42U标准机柜内，可以部署最多6台B714R，84个计算刀片，672个计算核心，计算能力高达7.87万亿次。高效的电源转换效率B714R的电源转换效率高达93%。下表是不同电源转换效率下，功耗的节省情况。高效的电源转换效率带来的好处，除了节约效劳器运行电费之外，还间接节省了UPS的采购本钱，以及为了机箱散热而采购的空调的采购本钱和电费本钱。此外，由于电源效率的提升，减少了电能转换成的热能，元器件的寿命和稳定行就会得到提高(注:元器件每当温度升高10度,寿命会减少3%)。电源效率的提升也减少了热能的产生，也使散热风扇噪声降低了。全热插拔配置B714R所有模块全部支持热插拔特性。这些模块包括电源模块、管理模块、ETHERNET交换模块、InfiniBand交换模块、计算刀片、计算刀片硬盘等。关键部件冗余配置B714R的关键模块全部支持冗余配置。电源模块支持N+1冗余、管理模块支持1＋1冗余、ETHERNET交换模块支持1＋1冗余、IB交换模块支持1＋1冗余、计算刀片与刀箱之间支持1＋1冗余方式的高速GBX连接。〔2〕I/O和管理节点联想R525G2是2U企业级效劳器的旗舰产品，集合业界最新技术成果，是机架效劳器的巅峰之作。联想R525G2整体性能较上一代产品提升100%，全冗余设计提升系统可用性，出色的节能设计提高产品能效，更智能的远程监控管理，特别适合政府和大中型企业运行关键业务应用负载，例如数据库，ERP，CRM等；针对虚拟应用的特别优化设计非常适合企业的整合虚拟化应用需求。高性能，高可靠采用全新45nm至强四核处理器5500系列，配合IntelQPI总线设计，将处理器间的连接带宽提升至25.6GB/s；处理器集成三通道内存控制器，配合高速DDR3内存，使CPU与内存的数据带宽高达32GB/s，整体计算性能较上代产品提升100%。存储子系统实现对SSD固态硬盘的支持，将存储数据带宽从8块SAS硬盘的800MB/s最高提升至2000MB/s，极大缓解了存储IO速率瓶颈。关键部件全冗余设计提高系统可用性：1+1750W热插拔冗余电源，提高供电可靠性；3+3热插拔冗余风扇，有效防止散热系统故障；512MB高性能RAID，配合热插拔硬盘实现数据高可用；内存镜像实现内存高可用。管理更智能智能的能耗监控和管理解决方案；支持对系统能耗情况进行实时监控，掌握不同时间段效劳器的能耗曲线，可通过管理软件对系统能耗进行策略设置，支持在不同的时间段进行能耗封顶设置，到达能耗节约的目的支持联想慧眼IV专业版监控管理系统，支持IPMI2.0标准，无论操作系统状态如何〔正常、宕机、非主流操作系统〕，只要电源供电，就可以通过网络直接和被管效劳器交互，获取效劳器硬件健康信息和事件；无论操作系统状态如何，可以对效劳器进行批量开关机、重启、远程激活ID灯等；支持资产配置、资源使用、性能信息、进程信息的远程管理可以对关键部件设置阈值进行预警。支持邮件、颜色变化、告警弹出等报警方式。联想慧眼IV高级版监控管理系统涵盖了专业版的全部功能；可远程接管被管效劳器的键盘、鼠标、显示器；支持远程的图形界面监控，支持远程安装操作系统、驱动程序、应用软件等；可将控制台的软驱、光驱、USB盘重定向到被管效劳器，好似是被管效劳器的虚拟设备；从网络的任何地方可以登录到被管效劳器上进行远程管理；采用S协议，所有操作都有用户名和密码保护，平安有保障。出色的节能设计多种静态能耗优化设计降低系统自身能耗；高效率主板供电设计，通过选用转换效率更高的VR电路设计，有效提高了CPU、内存的供电效率，在降低系统散热量的同时降低了系统额外功耗；电源高转换效率设计，电源转换效率最高可达93%，极大降低电源自身的热功耗损失；可选低电压处理器，SSD固态硬盘进一步降低系统能耗。动态能耗优化设计降低不同负载情况下的能耗；支持LECOT能耗优化技术，实现系统的动态按需供电；实时监控系统的任务处理情况和CPU的使用率并调整CPU的供电，有效降低系统低负载状态下的功率消耗；实时监控系统能耗，能耗封顶设置到达能耗优化目的；IFSC智能散热设计可根据系统温度变化调整散热风量，降低低温状态下的散热功耗，到达智能散热的效果。数据中心根底设施规划工具—RLPC；以机柜为单位精确计算输入功率、散热量峰值及重量，方便客户进行机柜供电、散热及承重规划，合理配置UPS和空调系统，防止投资浪费，降低整体总拥有本钱；在线评估://appserver.lenovo/server/server.html#优化设计的虚拟化效劳器平台VOT〔VirtualizationOptimizationTechnology〕虚拟优化技术，打通从GuestOS到真实硬件资源的通路，防止在VMM层的IOmapping，指令转换和数据迁移的漫长过程，减少80%虚拟化应用导致的性能损失。可选嵌入式虚拟化预装模块，平安隔离，加快虚拟应用启动速度；针对VMWare的全面测试和优化；具备多样的虚拟软件安装和效劳选择。R525G2机箱形态(2U)机架式主机性能中央处理器支持2颗64位多核英特尔®至强TM处理器5500系列,4.8GT/S-6.4GT/S，处理器间数据带宽25.6GB/S处理器缓存4-8MB高速缓存内存Registered/UnbufferedECCDDR3内存；12个内存DIMM扩展槽，最大可扩展至96GB，支持内存镜像;SAS控制器主板集成8口SASROC控制器RAID主板集成SASRAID0、1、1E；可选通过组件升级至512MB高性能SASRAID0，1，5，6，10，50，60；可选后备电池硬盘最大支持8个2.5寸146G/300G热插拔SAS硬盘1；或支持8个热插拔SSD固态硬盘1网卡集成高性能Intel双千兆自适应网卡，支持网卡冗余、负载均衡；支持网络虚拟化；可选外插Intel千兆自适应网卡显示集成显示控制器，32MB显存光驱支持SlimDVD-RW软驱支持USB软驱风扇支持免工具维护的热插拔冗余风扇系统，支持动态智能风扇调速电源支持1+1热插拔冗余高能效电源，电源输出功率750w；能效最高可达90%，AC90-264v/47-63Hz输入故障定位后置DIT〔DoctorInside〕故障诊断模块，实现快速开机无显故障定位功能节能设计高效率主板供电设计，通过选用转换效率更高的VR电路设计，有效提高了CPU、内存的供电效率高能效电源设计，电源转换效率最高可达90%支持LECOT能耗优化技术，实现系统的动态按需供电；支持实时监控系统能耗，设置能耗封顶到达能耗优化目的；IFSC智能散热设计可根据系统温度变化调整散热风量，降低低温状态下的散热功耗数据中心根底设施规划工具—RLPC，①以机柜为单位精确计算输入功率、散热量峰值及重量，方便客户进行机柜供电、散热及承重规划，合理配置UPS和空调系统，防止投资浪费，降低整体总拥有本钱;②在线评估键盘鼠标可选USB接口键盘和USB接口鼠标导轨套件支持标准机柜上架导轨可拉伸尺寸范围：555--760扩展性能I/O扩展槽共3个：1个PCI-E2.0×16扩展槽〔×8signal，全高〕2个PCI-E2.0×8扩展槽〔全高〕可选升级至5个：1个PCI-E2.0×16扩展槽〔×8signal，全高〕2个PCI-E2.0×8扩展槽〔全高〕2个PCI-E2.0×8扩展槽〔半高〕外部设备接口6个USB2.0接口(1前4后1内置)2个RJ45网络接口1个RJ45串口2个VGA接口〔1前1后〕操作系统兼容操作系统Windowsserver2003StandardEditionR2中/英文版〔X32〕Windowsserver2003EnterpriseEditionR2中/英文版〔X32〕Windowsserver2003StandardEditionR2中/英文版〔X64〕Windowsserver2003EnterpriseEditionR2中/英文版〔X64〕RedHatLinuxEnterpriseAS5.0Update3(X32) RedHatLinuxEnterpriseAS5.0Update3(X64) SuseLinuxEnterpriseServer10SP2〔X32〕 SuseLinuxEnterpriseServer10SP2〔X64〕 WindowsServer2021StandardEdition中文版〔X32〕 WindowsServer2021StandardEdition英文版〔X32〕 WindowsServer2021StandardEdition中文版〔X64〕 WindowsServer2021StandardEdition英文版〔X64〕 WindowsServer2021EnterpriseEdition中文版〔X32〕 WindowsServer2021EnterpriseEdition英文版〔X32〕 WindowsServer2021EnterpriseEdition中文版〔X64〕 WindowsServer2021EnterpriseEdition英文版〔X64〕 WindowsServer2021StandardEdition中文版〔X32〕OEM版WindowsServer2021StandardEdition中文版〔X64〕OEM版WindowsServer2021EnterpriseEdition中文版〔X32〕OEM版WindowsServer2021EnterpriseEdition中文版〔X64〕OEM版效劳器管理可选万全慧眼IV效劳器监控管理系统专业版，支持IPMI2.0，实现远程硬件健康状况监控，批量远程开关机，远程定位等；支持实时监控系统能耗，设置能耗封顶到达能耗优化目的；可选万全慧眼IV效劳器监控管理系统高级版，可通过IP将本地的键盘、鼠标、显示器、光驱、软驱和存储设备重定向到远端被管效劳器，实现完全的远程接管其它特性环境温度工作环境：10℃～35运输/储存环境：-40℃～70环境湿度工作环境：35%-80％的相对湿度运输/储存环境：20%-93％的相对湿度系统尺寸高：87.3mm宽：430mm深：704.8mm主机重量29.5Kg随机软件联想万全慧眼效劳器导航软件联想万全慧眼管理软件〔限选慧眼IV专业版/高级版〕23.2计算网络集群计算网络是指连接集群系统各计算节点的通信网络，它主要的功能是为集群各计算节点上应用程序的进程之间提供正确、高效、可靠和有序的通信效劳。从概念上来讲，科学计算类的并行处理程序通常是在集群的多个计算节点上同时并行地处理同一应用问题的不同局部。对于给定的应用问题，在计算节点数一定的条件下，有以下三个方面的因素来决定并行处理的速度：一是对应用问题求解算法的优劣；二是计算节点软硬件的速度；此外，由于应用问题的不同局部之间往往存在着某种控制关系和数据依赖，因此对于一个实际的集群系统来说，它的计算节点之间尚需有一种联系系统，这就是集群计算网络，它的速度和效率，是影响并行处理性能的关键因素。InfiniBand目前采用主流的PCI-Express接口，利用智能化子网管理器进行网络管理，具有较好的带宽和配置能力；并且InfiniBand是开放协议，采用通用I/O架构，支持很多的应用协议，包括SRP等；另外也实现了与其他应用的衔接；目前InfiniBand的应用已逐渐成熟和稳定，并在很多领域，特别是高性能计算和数据中心领域获得很好的应用。系统采用Lenovo-QIB12000QDR高性能InfiniBand交换机，最大可支持36个40GbQDR端口。每个交换机只有1-U，提供36个40GbpsInfiniBandQDR交换端口，交换机内部集成了完善的管理软件SMA、PMA、BMA，交换机内嵌的子网管理软件FM；通过连接交换机背板上的以太网接口可使用Infiniview和SNMP对交换机端口以及网络结构进行管理、监控模块化、可热插拔的冗余电源和风扇。3.3存储系统联想SureFibre640是联想最新推出的全4G中端光纤存储系统，具有高性能、高可靠性、高扩展性以及易管理等特点：先进的控制器设计联想SureFibre640存储系统包含两个冗余控制器，每个控制器包含一个IntelXscale667MHz的CPU。大量的数据计算工作是由专有的XscaleRISC芯片完成，配合嵌入式操作系统，SureFibre640能够为主机提供稳定的、高效的传输带宽。超群的性能由于先进的控制器设计，联想SureFibre640能够为用户提供超群的性能。SF640从Cache中测的处理性能高达120KIOPS，传输带宽为850MB/s，用户可以在比拟少的投资下获得非常高的性能。其次，在实际应用环境中大多数数据是从硬盘直接读取的，这就要求存储设备能够提供持续的、高效的、稳定的从硬盘读取数据的带宽，联想SF640能够提供800MB/s读取速度。大容量、高扩展性联想SureFibre640能够提供112TB的裸容量，可以根据用户的需要定制不同的容量。SureFibre640R存储系统的磁盘模块本身就能够容纳16块硬盘，整个SF640存储系统能够连接6个SF640J。在容量扩展时，SF640提供了多种选择，逻辑卷的在线扩展，逻辑卷组的在线扩展以及磁盘模块的在线扩展，这些功能为用户带来了极大的方便，用户可以根据应用需求的不断增长来进行容量的扩充，在最大程度上保护用户的投资。功能强大的管理软件组联想SureFibre系列存储产品所使用的管理软件――SANtricityStorageManager，提供了不中断业务、在线的可视化存储管理工具。此外，SANtricityStorageManager还提供存储分区、数据快照以及远程数据镜像等功能，为用户提供了强大的数据保护方案。可靠的配置信息保存方式为了防止存储系统配置信息由于某些原因而损坏，联想SureFibre系列存储产品采用COD技术，将存储系统的配置信息复制在系统中的所有硬盘上的一小块区域里，该区域称为DACstor，它的大小是40MB。由于每一块硬盘上都保存有整个磁盘阵列的配置信息，所以个别硬盘出现问题时，不会影响到其他硬盘的正常使用。技术规格RAID控制器

双互活动RAID控制器处理器IntelXscale667MHzRISC存储专用处理器控制器缓存/控制器1GB，支持电池后备支持RAID级别0、1、3、5和10LUN数量1024Raid卷组最大支持硬盘数量30主机接口特性

支持光纤通道交换和FC仲裁环路(FC-AL)主机接口数量

4个4Gbps光纤通道主机接口〔最大带宽1600MB/s〕磁盘接口特性FC－SW磁盘通道接口4个4Gbps光纤通道磁盘接口〔最大带宽1600MB/s〕FC接口模块标准光纤4Gb接口转换器(SFP)外形尺寸3U高19英寸机架设备〔131mmH×482mmW×597mm〕重量38.5公斤支持硬盘容量400G支持硬盘数量112风扇和电源双冗余、热插拔最大磁盘持续写传输速率每秒850MB最大磁盘持续读传输速率每秒800MB温度10º-40ºC湿度8％－80％〔非凝结环境〕功率控制器模块446瓦特；驱动器模块428瓦特支持操作系统Windows2003NovellNetWareLinuxIBMAIXSUNSolarisHP-UX系统软件

SANtricity系统管理软件SANsharePartition支持4、8、16、64个Partition分区Snapshot可创立最多512个快照VolumeCopy可创立最多1024个拷贝RVM可创立最多32个远程镜像对；支持同步和异步镜像通过认证和标准FCCA级，VDE，CISPR，VCCIA级,兼容WEEE和RoHS平安性UL,CSA,IEC,EN60950,NEMKO兼容NEBS3级，仪表前盖有可选的空气过滤器3.4软件系统3.4.1操作系统节点操作系统采用RedHatEnterpriseLinux5。2002年5月，RedHat发布了Linux的商用版本，AdvancedServer。该产品受到了客户和独立软件开发商的一致好评。目前，Oracle，Veritas和BEA等公司开发的大量软件都可以在RedHatAdvancedServer上运行。许多基于X86的硬件OEM厂商〔HP、IBM、DELL〕都对其进行了认证。作为商用版本的Linux，RedHatLinuxAdvancedServer和非商用版本有很大区别的，主要表现在：产品的定位：企业级的产品提供了完全成熟和稳定的技术，具有可扩展性、可用性、稳定性和高性能等特点，是稳定成熟的OpenSource产品。产品的发布周期：商用版本的发布周期为12-18个月。产品支持：商用版本提供为期1年的效劳支持和5年的更新效劳。产品认证：ISV和OEM们对商用Linux提供了完全的硬件认证和软件解决方案。性能评测：在RedHatAdvancedServer上，有很多性能评测结果。RedHat的企业级Linux产品家族都具有相同的内核核心、函数库和开发工具集，从而提供了同构环境，简化了系统的配置工作。应用程序和系统管理过程可以在整个家族产品中无缝的运行。2007年5月，RedHat推出RedHatEnterpriseLinux5.0，其主要特点包括：通用的逻辑CPU调度器，处理多内核和超线程CPU。读复制更新〔ReadCopyUpdate〕，对操作系统数据结构的SMP算法优化。多I／O调度，基于应用程序环境进行选择。NOOP无操作调度算法.CompletelyFairQueuing(CFQ)完全公平队列调度算法.Deadline调度算法.Anticipatoryscheduler(AS)调度算法增强的SMP和NUMA支持，提高了大型效劳器的性能和扩展性。通过优化算法，在多个源同时读写和更新的情况下，可以更有效地访问内核数据结构。NUMA技术：可更有效地为进程分配存储器。NUMAAPI提供了更紧的耦合，因此应用可以通知操作系统应该在哪里分配存储器.这降低了延迟和资源冲突，从而可提高总体应用性能。读复制更新ReadCopyUpdate(RCU)技术基于对象的反向映像虚拟内存管理ReverseMapVM。如果没有ReverseMapVM，物理到虚拟地址的传送速度非常缓慢。显著影响大内存系统的性能。网络中断缓和〔NAPI〕，提高了大流量网络的性能。Ext3性能：使用BlockReservatI/Ons和HashTreeDirectories提高了读写和目录查找的性能。Ext3扩展性：动态的文件系统扩展功能以及对大到8TB文件系统的支持。逻辑卷管理〔LVM〕：使用read/writesnapshots和transactI/Onalmetadataupdates技术。增强的存储LUN管理功能可以配置更大的存储子系统。使用AutoFSv4技术提供了优良的设备访问控制，它的功能包括可浏览的挂载和复制效劳器〔replicatedservers)。BlockI/Osubsystem：RedHat提供了一个全新blockI/O子系统来提供I/O的附加的可扩展能力。可以支持更多的I/O设备及大文件系统。3.4.2作业管理系统联想机群资源管理与作业调度系统LJRS〔LenovoJobscheduler&ResourcemanagentSystem〕可以有效地管理系统中的各种软硬件资源，以及用户提交的作业。目的是为了充分利用机群系统中的硬软件资源及珍贵的CPU时间，合理地调度作业，提高整个机群系统的吞吐率和利用率。〔1〕LJRS的总体结构联想资源管理与作业调度系统LJRS共由四个局部组成，分别为用户命令〔图形化GUI界面或命令行方式〕、用户效劳器Server、作业调度器Sched、作业加载器Execd。LJRS的总体结构如以下图所示：用户命令可分为普通用户、操作员和管理员三级，均可以通过命令行或web用户界面方式运行，为用户和系统管理员作业提交、作业管理和系统配置管理提供方便；用户效劳器Server负责管理机群中的作业和资源信息，维护着机群中的节点、队列、作业和用户权限信息的表。它还负责接收客户端发出的各种请求，来管理作业、队列、节点和资源等对象。它特别是通过和作业调度器Sched和作业加载器Execd的通信，从Sched接收作业调度结果，将作业分发到相应的计算节点上执行，完成调度作业、运行作业、删除作业等功能。作业调度器Sched通过Server收集机群中所有节点上的作业和资源信息，通过Execd获取所有计算节点的负载信息，根据一定的作业调度和负载平衡节点选择策略，决定在哪些计算节点上运行作业。作业加载器Execd主要实现三个功能：一是根据Server的指令，运行作业、建立资源限制、监测作业占用的资源、通知用户效劳器作业运行结束等；二是资源管理功能，响应Sched的资源监测请求，如作业的运行状态和可用内存等；三是和运行作业的其他节点上的Execd通信，确保并行作业的正常加载和结束。〔2〕LJRS多机群系统的总体结构随着网格技术的开展，如何支持网格系统已成为各个机群作业管理系统的研究内容之一。在一个大型企业中，各个部门都有相对独立的机群系统，企业内部的资源管理与作业调度系统是一个多机群资源管理与作业调度系统，因此，这种企业级的资源管理与作业调度系统可作为从机群到网格系统的一个过渡。实现多个机群之间的作业管理和资源共享，对于提高企业的资源利用率和生产率有很大的帮助，同时也为机群管理系统以后如何支持网格系统有一定的借鉴意义。Globus是目前业界使用最为广泛的网格中间件。因此，研究Globus，使我们的系统能够和Globus相融合，也是我们今后需要研究的内容之一，同时也要结合到我们的多机群作业管理系统的设计和研发中。联想多机群资源管理与作业调度系统的总体结构如以下图所示：多机群作业管理系统总体结构图由上图可知，多机群系统增加了一个仲裁器Arbitor和调度器Negotiator，用来指导各个机群之间的负载平衡和联合调度作业。Arbitor维护着需要联合调度的作业信息和从各个机群的Serverd取得的总体资源信息。当一个作业提交到某个机群内的Serverd，如果本地机群资源不能满足作业的资源需求，那么由Arbitor来判断能够满足该资源需求地机群，那么把作业传送给该机群的Serverd，由该机群执行作业。如果单个机群的资源都不能满足该作业，那么Arbitor将该作业放入需要联合调度的作业队列，Negotiator将根据作业的资源需求，综合分配各个机群的空闲资源。另外，当某个机群上的作业队列比拟长，而某些机群处于空闲状态，那么Arbitor指导相关的Serverd通过路由队列将处于排队状态的的作业传送给空闲机群的Serverd，从而在机群间实现负载平衡。Negotiator负责大型作业的联合调度。在这个多机群系统中，所有需要联合调度的作业都被放入Arbitor维护的需要联合调度作业的队列中。Negotiator从Arbitor取得作业信息，向各个机群的Schedd发出锁定资源命令，从各个Schedd取得当前资源使用状况，根据预约算法开始调度。调度完成后，释放资源锁，同时通知各个Schedd更改资源使用状况，并将调度结果返回Arbitor，然后由Arbitor将调度结果传给执行主节点所在的机群的Serverd，Serverd更改资源使用状况，并负责通知主节点启动作业的运行。经过联合调度的作业由于涉及到多个机群中的执行节点，需要Execd的支持，即Execd能够跨越机群的物理限制，与涉及到的各个机群中的执行节点上的Execd共同建立并行作业执行环境，共同加载并行作业。〔3〕LJRS的技术特性灵活多样的调度策略联想机群资源管理与作业调度系统LJRS提供了FIFO〔FirstInFirstOut〕、Reservation和Backfill、负载均衡等作业调度策略。以上策略可以由系统管理员根据最正确的利用率和资源共享的需要自由选定。通过扩充Reservation和Backfill作业调度技术，联想机群资源管理与作业调度系统解决了大型并行作业的问题，即在等待大型作业所预约资源得到释放的间隔，在确保大型作业不被延迟的前提下，允许小作业在这些预留的CPU上运行。Reservation预约策略是指当一个作业在队列中等待的时间超过一定的值，对它所需要的资源进行预约，一直到所有资源都已得到满足时，将该作业投入运行。预约策略虽然解决了作业的饥饿现象，但它导致了少量的资源空闲时间，降低了系统的吞吐率。因此，为了解决预约策略中的资源浪费，LJRS还可同时使用Backfilling〔装填策略〕来优化其作业调度性能。Backfilling装填策略，就是充分利用预约策略中由于预约产生的时间空隙，防止系统资源的浪费。通过计算预约形成的时间间隔，从作业队列中选取适宜的作业插入到这段时间段内运行，而不影响预约的作业的按时运行，从而有效利用了系统资源，提高系统的利用率和吞吐率。但是装填策略如何选取适宜的作业以填补预约形成的时间间隔，也是一个重要的调度问题。通常它使用Firstfit和Bestfit算法来选取作业。通过将预约策略和装填策略有机结合，极大地提高了作业调度的公平性和机群系统资源的利用率。实际测试说明，多道并行作业调度运行时间和单道并行作业的运行时间相比，本系统的调度效率小于10%。另外，联想机群资源管理与作业调度系统LJRS的调度策略可以很容易被扩展，以适应不同的计算需要和目标，即系统管理员可以方便地配置和实现自己的调度策略。优秀的负载均衡策略联想机群资源管理与作业调度系统对系统级、队列级和用户作业级实现不同的负载均衡节点选择策略。首先，对于系统级来说，每个队列有一种节点选择策略，〔当资源都能满足的前提下〕。其次，对于队列级，不同的队列都可以由系统管理员设置不同的策略。最后，对于用户来说，可以为自己的作业设置一个节点选择策略。用户作业级的优先级最高，如果用户的作业中没有定义，那么采用队列的节点选择策略。对于节点分配策略，该系统提供了公平共享、用户独占和作业独占等三种策略。通过对不同的系统、不同的作业配置不同的负载均衡策略和节点选择策略，能够有效的利用资源运行用户作业，提高了系统的利用率，同时也提高了作业的执行效率。功能强大的资源管理针对系统级、队列级和计算节点级，系统提供了多层次的资源管理功能，为不同类型的资源特性提供了不同的解决方案，使系统有效地分配管理各种资源，包括对系统资源〔如cpu、内存、处理器数等〕和软件Licence等资源的有效管理和限制。下面以软件的License为例说明一下LJRS的强大的资源管理功能。软件License有三种形式：一种是一个计算节点有了一个License就可以运行软件，至于运行多少份拷贝，那么没有限制；另外一种是一个节点有了N个License，只能运行N份拷贝；最后一种是一个局域网内有N个License，在该局域网内就可以同时运行N份拷贝，而对于软件运行的节点没有限制。LJRS资源管理可以针对这三种情况，分别实现三种不同的License管理策略：对于第一种情况，我们为安装并拥有该软件的节点增加一个属性L。当用户提交作业时，指明运行该作业所需要的资源中包含该属性L，那么LJRS将作业分配到拥有该属性的计算节点上。如果不考虑其他的资源限制因素，一个拥有属性L的节点可以同时运行多个资源请求中有L属性的作业。对于第二种情况，我们为安装并拥有该软件的节点增加一个节点级的资源L=N。〔其中N表示该节点拥有N个License。〕当用户提交作业时，指明运行该作业所需要的资源中包含该资源L=req，那么LJRS将作业分配到拥有该资源并且N-used-req>0的计算节点上〔其中used表示在分配该作业之前，已经有运行在该计算节点上的作业请求了used个License〕。如果不考虑其他的资源限制因素，一个拥有资源L=N的节点可以同时运行资源请求中有L资源需求的作业n个(N-req1-req2-…-reqn>0，其中reqx表示运行在该节点上的第x个作业请求了reqx个License)。对于第二种情况，我们为安装并拥有该软件的节点增加一个系统级的资源L=N。〔其中N表示该系统拥有N个License。〕当用户提交作业时，指明运行该作业所需要的资源中包含该资源L=req，那么LJRS将根据正在运行的作业总共请求License数，决定是否分配该作业。如果N-used-req>0〔其中used表示在分配该作业之前，正在运行作业已经请求了used个License〕，那么将作业分配运行，否那么将作业继续排队，等待某些占有该License的作业运行结束，释放该资源至N-used-req〕0。如果不考虑其他的资源限制因素，拥有资源L=N的系统中可以同时运行资源请求中有L资源需求的作业n个(N-req1-req2-…-reqn>0，其中reqx表示系统中运行的第x个作业请求了reqx个License)。支持多种类型的作业LJRS能以批处理和交互两种方式运行串行和并行作业〔如MPI、PVM和OpenMP等并行程序〕，并允许并行作业的各个自任务使用千兆网络互相通信。LJRS一个大型并行计算任务分发到多个计算节点的多个CPU上运行，确保在并行作业执行时，使所有相关CPU和计算节点都能到达负载平衡，从而提高整个机群系统的资源利用率和吞吐率。方便友好的操作界面联想机群资源管理与作业调度系统LJRS提供了基于Web浏览器的中文图形化操作界面，极大地提高了系统的好用性。包括：系统根本配置界面，提供了对系统和队列配置的查看和更改，对节点分配策略和资源的配置修改；节点配置界面，提供了节点配置信息的查看和更改；启停控制，提供系统的启动、停止，计算节点的添加和删除功能；作业管理，提供对作业的提交、属性的更改、监控、查询等操作，同时实时的显示作业的执行状态；命令行操作界面，使用户可以在web界面中使用命令行操作。作业提交界面、作业二维和三维状态监控界面分别如以下图所示。高可用特性联想机群资源管理与作业调度系统LJRS提供了启动/停止控制、系统状态监控和故障恢复功能。当作业正在运行时，如果系统效劳器或者执行节点突然发生故障，本系统可以充分发挥实时监控系统状态并自动恢复故障的功能，使正在运行的作业不被丧失，并立刻被重新调度运行，具备了较高的可用性。同时对作业提供了有效的监控能力，特别是分布在不同节点上的并行作业的各个进程。普通用户可以查看、删除、挂起和释放自己所提交的作业，系统管理员可以查看、删除、挂起和释放所有用户提交的作业，改变队列和作业的状态等。此外，为了防止所填充作业的运行使预约的作业延迟运行，或者防止所填充作业在运行时被杀掉〔调度器的配置可以在预约时间到来时杀掉占用预约资源的其他作业〕，我们在实际使用时会稍微高估所填充作业的运行时间。对网格系统的良好支持联想机群资源管理与作业调度系统LJRS不仅提供了机群系统内部的强大的作业管理、资源管理、负载平衡等功能，还提供了对网格资源管理系统的良好支持。LJRS具有很好的可扩展性，能够适应网格上对大规模作业和资源的管理需求，并且提供了一系列可扩展接口。网格作业和资源管理系统能够通过这些接口，获取机群系统的作业信息和资源信息，管理、调度和监控机群系统的作业和资源。用户通过网格，能够向机群系统提交作业，监控和管理已提交的作业。另外，通过系统提供的预约和调度功能，在网格系统的协调下，LJRS管理的机群系统能够和其他机群系统共同完成一个大作业。3.4.3监控与管理系统LCMS是联想具有自主知识产权的一款监控管理系统。LCMS管理功能综合对节点的网络管理、用户管理、设备监控、登录权限控制、并行命令等日常管理维护功能，为系统管理员提供一个中文的图形化系统管理工具来管理、访问、查看各个节点和配置整个系统的各种效劳，从而极大的减轻了系统管理员的负担，提高了管理效率，同时降低了系统管理员危险操作的风险。通过LCMS的监控功能，可以监控整个系统各个部件、模块的的状态，通过多种图表实时显示各个节点的诸如系统负载、内存使用、网络流量、存储空间等各种系统资源信息，并根据设置的阈值进行状态告警，可以通过远程KVM进行各种远程控制操作，还能进行超过十种的硬件设备的监控和远程开关机。〔1〕LCMS结构 LCMS能够自适应的管理运行不同操作系统的节点，系统管理员通过一个单一登录界面的认证后，就可以透明的管理各个节点。这就要求软件必须屏蔽节点操作系统的差异性，同时LCMS还能够满足大规模系统管理与监控的功能可扩展和节点可扩展等目标要求。为了到达以上的目标，LCMS采用三层结构：SERVER层－MESSENGER层－ACTI/ON层。其中SERVER层包括GUI层与SERVER效劳层，ACTI/ON层又分为SOFTWAREACTI/ON层和HARDWAREACTI/ON层，同时为了保证网络传输的可靠性和平安性，各个层之间的通信都采用了加密技术实现。系统管理与监控软件的软件层次图用户使用IE等浏览器访问LCMS进行系统管理与系统监控数据的获取。LCMS通过操作系统〔软件〕和设备管理模块〔硬件〕对用户的命令进行反响，进行相应的管理或监控动作。从操作系统中进行系统级的管理和软件监控。从设备管理模块进行设备硬件级管理与硬件监控。以下图为系统管理与监控软件结构图。系统管理与监控软件结构图SERVER层 SERVER层包括GUI〔GraphicalUserInterface〕层为图形化的用户界面，主要是给系统管理者提供一个图形化的管理与监控数据显示，负责收集用户的请求并将他们传递给下层SERVER效劳层，同时将SERVER效劳层的命令执行结果处理后显示给用户。GUI层使用WEBSERVER，可以运行在本地、远程上，同时应该可以运行在不同的操作系统平台上，因此，考虑到跨平台这些因素，GUI层采用java实现。 SERVER层的另外一局部为SERVER效劳层，它充当GUI层与MESSENGER层之间信息传递的媒介，负责在这两层之间传递数据和分发命令。并负责MESSENGER层的高可用及负载均衡管理。 SERVER层运行在父管理节点上，可实现主/从备份的高可用。SERVER层主要运行的进程为LCMS_SERVER。使用主/从父管理节点，每个上面运行一个LCMS_SERVER进程。MESSENGER层 MESSENGER层充当SERVER层与ACTI/ON层之间的信息传递的媒介。主要负责从ACTI/ON层的硬件模块收集硬件监控信息，从ACTI/ON层的软件模块收集软件监控信息，并打包成特定的数据结构传递给上层SERVER层供GUI呈现，另外负责将SERVER层下发的命令传递给ACTI/ON层进行硬件、软件管理，并返回管理结果。MESSENGER层运行在子管理节点上，任何MESSENGER层中的两个或者多个子管理节点可以实现双机热备或者多机热备。MESSENGER层主要运行的进程为LCMS_MESSENGER。每个子管理节点运行一个LCMS_MESSENGER进程。ACTI/ON层 ACTI/ON层分为SOFTWAREACTI/ON层和HARDWAREACTI/ON层。SOFTWAREACTI/ON层，主要是处理与操作系统相关的软件方面的管理与监控工作，响应MESSENGER层的请求，并做出相应的动作，并把动作结果按特点的数据结构返回给MESSENGER层。SOFTWAREACTI/ON层运行在每个刀片节点上，运行进程为LCMS_CLIENT。 HARDWAREACTI/ON层，主要是处理与硬件相关的管理与监控工作，响应MESSENGER层的请求，并做出相应的动作，并把动作结果按特点的数据结构返回给MESSENGER层。HARDWAREACTI/ON层是有设备管理模块来实现，MESSENGER发送命令到设备管理模块，管理模块作出相应的动作并返回结果。设备管理模块可以管理和监控刀片箱中每个刀片和其他类型的硬件。〔2〕LCMS实现 LCMS把所有的节点分成三类，父管理节点，子管理节点和被管理节点。并且将所有刀片节点划分为效劳监控组，方便管理。 父管理节点使用主/从2个管理节点，在其上运行LCMS_SERVER进程，使用Heartbeat机制实现双机冷备份。子管理节点可以使用除计算节点以外的其他种类节点来担当。子管理节点上主要运行LCMS_MESSENGER进程。一个管理子节点对应一个节点组，LCMS_MESSENGER进程负责向该节点组内所有节点发送的管理与监控命令，并收集监控信息。 效劳监控组是由父管理节点根据每个子管理节点的管理负载情况进行划分的。每一个子管理节点对应一个节点组，效劳监控组内节点的多少是由父管理节点来指定。父管理节点根据收集上来的子管理节点管理负载信息和子管理节点的个数动态确实定每个子管理节点所对应的效劳监控组的大小，实现负载均衡。 当某子管理节点出现故障，父管理节点上运行的进程LCMS_SERVER将与该子管理节点上运行的进程LCMS_MESSENGER失去联系，这样父管理节点在确认子管理节点确实故障后，会将该子管理节点从子管理节点行列中排除，并将其对应的效劳监控组中的节点划分到其他子管理节点所对应的效劳监控组中。这样即使某个子管理节点出现故障，其负担的管理与监控任务也能及时的被其他子管理节点所接管，实现高可用。 系统中所有的刀片节点均为被管理节点，在其上运行LCMS_CLIENT。LCMS_CLIENT通过调用该节点上低层的一系列脚本程序，来执行由上一层传来的命令，并返回结果。主要是进行软件层次的管理和监控。 硬件层次的管理与监控主要是由设备管理模块来实现。设备管理模块包括刀片管理模块、交换机管理模块、存储管理模块、机柜管理模块等。刀片管理模块位于刀片箱中，每一刀片箱可配置一个或者两个管理模块，与刀片箱中的刀片节点及其他模块通过背板连接，提供对系统各个硬件模块〔刀片模块，管理模块，I/O模块，电源模块，风扇模块等〕的管理和配置。刀片管理模块提供外部接口，通过以太网与管理域网连接。LCMS_MESSENGER就是通过各类设备的管理模块提供的外部接口，直接向其负责的效劳监控组中的节点等设备下发管理与监控命令，并获得监控信息。LCMS的部署〔3〕LCMS特性分布式设计与集中管理 不同于一般的单机管理系统，系统管理系统的对象是多台具有独立操作系统的计算机〔以下称为节点机〕。所以LCMS从结构上采用的是分布式的设计，但是从管理的角度却充分表达集中的理念：由于消除各个节点机间操作系统的差异性，从而有着很好的跨平台性，使得管理整个系统就象面对单一节点一样的方便。管理大规模网格资源的能力 在实现上，联想系统管理系统采用了分级式的管理策略，从而形成一个树状的结构，通过这种级联方式，管理系统可以在占用尽量少的系统资源的根底上，能够实现管理超大规模网格资源的能力，从而使整个软件系统具有良好的可扩展性。 LCMS在设计上充分考虑到面向网格、支持网格。它的界面显示和底层处理完全分开，彼此独立，分别遵循不同的协议，同时又保持彼此间的通信，从而使得LCMS具有很好的可扩展性，能够适应网格上的大规模节点资源的管理。LCMS的底层处理层以效劳的形式接收来自GUI的请求，不仅对IneternetGUI和本地GUI提供效劳，同时可以作为一种网格资源，对面向网格的GUI提供效劳。从而使得LCMS能够面向网格，管理大规模得网格资源。强大的可扩展性和兼容性 可以使用除计算节点外的任意节点〔管理节点、登录节点〕做为管理父/子节点，更合理的利用现有资源。管理子节点的数目可根据负载，网络等情况任意设定。高可配置性 可以配置子管理节点个数，效劳监控组的个数，父/子管理节点的位置，负载均衡策略等。平安特性 对一个系统来说，通过系统管理系统就可以实现对整个系统的所有操作，因此，如何保证系统平安性是关键技术之一。我们主要提供两个层面上的平安性。第一个层面是保证用户的合法性，在实现上，联想系统管理系统使用多种平安措施，保证整个系统在使用期间的平安性采用的错之有：〔1〕系统在使用时对用户身份进行认证，只有合法用户才能登录系统和使用系统。〔2〕禁止普通用户越权操作。在数据传输过程中采用加密机制，防止网络侦听，保证数据平安传输，从而使得系统具有良好的平安性〔Security〕。 第二层面是保证用户操作的合法性。主要防止用户误操作对系统引起的危害，我们采用的方法如下：对敏感的系统操作，如节点的上下电，重启等操作，采取提示确认的方法，以防止用户可能的误操作。LCMS功能 联想系统管理系统主要提供了用户帐号管理、用户登录管理、用户存储空间配额管理、状态监控、进程管理、系统信息查看、并行命令、启停控制、远程telnet/Ftp/Rsh、软件包管理、网络管理、效劳管理、系统配置等功能。各个功能具体描述如下：用户帐号管理对系统NIS域中的用户和用户组进行管理，包括增、删、改操作，这些对单一控制台上的用户和用户组的操作会实时的反映到每个节点上。用户登录控制分别从节点机粒度和用户粒度对登录的禁止/允许进行灵活控制。用户存储空间配额管理可为每个用户分配存储空间的上限值，接近存储空间上限系统会自动通过页面、EMAIL、SMS短信方式向用户告警，保障并标准用户使用。状态监控通过硬件和软件两个途径提供了详尽的系统动态信息。软件监控能查看如cpu/memory等系统资源的使用率和当前状态、网络流量信息、节点当前的负载状态、登录的节点数、登录的用户数等系统资源使用的动态信息；硬件监控利用了联想监控系统中硬件采集的一局部信息，能够监控各个节点的关键硬件部件的工作状态，如cpu的温度、电压、风扇转速等，并可对每种监控信息设置阈值，让系统管理员配置报警的规那么，提供WEB页面，EMAIL，SMS短信等多种故障报警方式。所有的监控信息都实时的通过多种图形直观的呈现给用户。进程管理提供对多个节点上指定进程的管理，包括进程查询〔包括按进程的PID，UID，MEM占用率，CPU占用率等索引〕、杀死、挂起和恢复等。系统查看提供系统内节点的一些静态的系统信息，主要有CPU和内存信息〔linuxconf〕、硬件信息、系统进程、文件系统、启动信息、系统信息、用户登录信息、网卡信息、路由信息等。启停控制提供对各个节点的远程关机和开机、重启控制，对整个系统的一键上电和一键下电功能使得以往重复的人工上下电操作简化为一次鼠标的按键行为，并提供通过SMS短信方式发送开、关机、重启指令进行开关机管理。开关机基于刀片机箱管理模块和刀片节点内管理单元等硬件，进行的远程带外管理，不依赖与操作系统，故可支持多种操作系统。远程效劳提供远程Telnet、Ftp、Rsh、时间同步效劳，即将远程节点的Telnet、Ftp、Rsh、Term窗口放在控制台节点，以及保持所有节点的时钟保持一致，这在很多应用场合是很有必要的。支持KVMOVERLAN和远程开关机，重启等操作。并行命令为用户提供在多个节点上并行执行命令的功能，这些命令主要是基于文件系统的管理命令，包括文件显示〔cat〕、文件列表〔list〕、远程拷贝〔可从单一节点拷贝到任意的多个节点上〕、删除、移动，同时用户也可以灵活定制自己的并行命令。软件包管理包括一些RPM软件包和TAR包的安装和管理，主要是软件包的安装、卸装、查询和验证、升级。系统管理员可以把任意单一节点上的的软件包远程安装在任意指定的单个或多个节点上。网络管理提供系统的网络配置、管理功能以及前端机网络平安配置，包括对系统中单个节点的网卡配置和管理，路由表的配置和管理，hosts表的配置和管理，以及rhosts表的配置和管理。效劳管理提供系统的一些主要网络效劳配置功能，目前主要有NIS、DNS、NFS的配置，即NIS的配置〔NISclient和NISserver的配置〕，DNS的配置〔包括DNSclient、DNSserver的配置和DNS启停控制〕，NFS的配置〔包括NFSclient、NFSserver的配置和NFS启停控制〕。通过LCMS，这些被认为复杂的网络效劳配置工作就被大大简化了。系统配置主要是设置管理节点的范围，用户可以将暂时不需要管理的节点状态置为不可用，此后系统所作的任何其他操作将不起作用，这样就很大程度上增加了系统管理的灵活性。此外，系统配置还能配置节点或机柜的根本信息，如名称、编号、类型等等，这都是其他管理操作的根底。3.4.4并行软件开发环境系统的并行软件开发环境包括：编译器、数学库与调试环境、并行环境。〔1〕编译器在C/C++和Fortran编译器方面，联想除了提供Linux操作自带的Gnu编译器外，主要提供的是对Xeon处理器具有极高编译效率的Intel编译器。联想提供IntelC/C++和IntelFortran编译器。Intel®编译器为所有基于Intel®处理器的全系列平台提供快速的开发和卓越的性能。该编译器可自动优化软件并进行并行处理，以充分利用最新的Intel®多核处理器。Intel编译器有以下高级优化特性：多线程应用程序支持，包括用于简单且高效的软件线程技术的OpenMP和自动并行处理。过程间优化(IPO)对于许多常用的中小函数，特别是循环内包含调用的程序，IPO可以极大提高其性能。档案导引优化(PGO)通过降低指令快取置换(cache-thrashing)、重组代码布局、缩减代码长度并减少分支预测失误来提高应用程序性能。自动矢量器对代码进行并行处理，并调整数据，其中包含可以生成平衡负载的循环剥离技术，还包含与整个缓存行预取相匹配的循环展开技术。高级优化(HLO)利用循环转换和预取实现更进一步的优化。使用Intel调试器针对已优化代码进行调试对于已针对Intel体系结构进行优化的代码，能够提升其调试过程的效率。下面详细介绍Intel编译器的各项高级优化特性。多线程应用程序支持OpenMP和自动并行能够帮助将串行应用转化为并行应用，使您能够充分利用与Intel的多核技术，以及对称多处理系统：OpenMP是可移植多线程应用程序开发的行业标准。在细粒度〔循环级别〕与粗粒度〔函数级别〕线程技术上具有很高的效率。对于将串行应用程序转换成并行应用程序，OpenMP指令是一种容易使用且作用强大的手段，它具有使应用程序因为在多核心与对称多处理器系统上并行执行而获得大幅性能提升的潜力。自动并行使用能自动将循环线程化的自动并行功能，提高多处理器系统上的应用程序性能。这个选项会检测能够平安地并行执行的循环，然后自动生成多线程代码。自动并行功能使得用户不必处理迭代划分、数据共享、线程调度及同步等低级别的细节。它还能够提供多处理器系统与支持"超线程技术"的系统所具有的性能优势。过程间优化(IPO)对于包含许多常用中、小函数的程序，特别是循环内包含调用的程序，过程间优化(IPO)可以极大地提高应用程序性能。这套可用于Intel编译器中自动运算的技术无需关注单独的函数，就可以使用多文件或整个程序来检测并执行优化。过程间优化流程图中描述的IPO流程首先需要使用IPO选项对源文件进行编译，同时创立包含编译器所使用的中间语言(IL)的对象(.o)文件。根据链接，编译器结合所有IL信息并对其进行分析，以便实现优化。典型的优化作为IPO流程的一局部，包括程序内联和重排、删除无用〔无法获得〕的代码、常数传播或常量值的代入。与在程序内部提供的优化相比，IPO所支持的优化更加先进，因为多个程序具有更多上下文，能够确保这些比拟先进的优化更加平安。档案导引优化(PGO)档案导引优化(PGO)编译过程使Intel编译器可以更好地利用处理器微体系结构，更有效地使用指令分页与高速缓存，并可以更好地执行分支预测。通过重新组织代码布局，可以减少指令快取置换、缩减代码长度并降低分支预测失误，从而帮助提高应用程序性能。自动矢量器矢量化会自动对代码进行并行化处理，以便最大限度地利用处理器的潜在能力。这种先进的优化功能对循环进行分析，并确定何时可以平安有效地利用MMX™、SSE、SSE2和SSE3指令并行地执行几种反复循环。以下图以图形方式显示矢量化的循环，在一次SSE2运算中计算四次迭代使用矢量化功能可以优化应用程序代码，在Intel处理器上运行时，可以充分利用这些新的扩展功能。提供的功能包括支持先进的动态数据调整策略，其中有可以生成平衡负载的循环剥离技术，以及可以匹配整个缓存线预取情况的循环展开技术。运行中的矢量器高级优化(HLO)数据预取是躲避内存访问延迟的一种有效技术，它可以显著提高许多计算密集型应用程序的性能。数据预取在程序中的特定点上为所选数据引用插入预取指令，使引用的数据项在实际使用之前就已尽可能地移近处理器〔放入高速缓存〕