InfiniBand技术和虚拟化调研

InfiniBand技术市场调研汇报TOC\o"1-3"\h\uTOC一、执行性摘要 1（一）此次调研主要目标 1（二）此次调研主要方式 2（三）关于infiniBand技术概要 2二、相关调研汇报 2（一）关于InfiniBand在现在市场情况汇报 21.1InfiniBand市场前景： 21.2各大厂商对InfiniBand态度： 31.3InfiniBand在现在市场情况和其主要厂商介绍（Voltaire，Mellanox,Qlogic）31.3.1Voltare与其市场 41.3.2Mellanox和其相关信息 71.3.3Qlogic和其产品介绍 91.4InfiniBand技术应用方向 111.4.1InfiniBand在未来GPU上应用 111.4.3InfiniBand在固态硬盘上应用 131.4.4InfiniBand在数据库上成功案例 131.4.5InfiniBand国内成功案例 141.5InfiniBand在虚拟技术上结合 151.5.1InfiniBand实现VIA 151.5.2InfiniBand在VMware上应用 151.5.3数据中心光线架构融入InfiniBand16执行性摘要此次调研主要目标InfiniBand技术是一个开放标准高带宽、高速网络互联技术。此次调研，主要为解InfiniBand技术在现在市场上地位和其与虚拟化结合情况。此次调研主要方式因为现在InfiniBand技术在国内研发和使用情况资料较少，所以此次调研主要经过网络来获取相关方面资料。关于infiniBand技术概要InfiniBand技术是一个开放标准高带宽、高速网络互联技术。现在，它发展速度非常快，而且越来越多大厂商正在加入或者重返到它阵营中来，包含Cisco、IBM、HP、Sun、NEC、Intel等。能够说，InfiniBand已经成为现在主流高性能计算机互连技术之一。而且，现在基于InfiniBand技术网络卡单端口带宽最大可达成20Gbps，基于InfiniBand交换机单端口带宽最大可达60Gbps，单交换机芯片能够支持达480Gbps带宽，为现在和未来对于网络带宽要求非常苛刻应用提供处理方案。相关调研汇报关于InfiniBand在现在市场情况汇报1.1InfiniBand市场前景：为了满足HPC、企业数据中心和云计算环境中高I/O吞吐需求，下一代56Gb/s速率FDR(FourteenDataRate)InfiniBand技术已经浮出水面。11月15日，在SC10大会上，Mellanox企业宣告支持InfiniBandTradeAssociation(IBTA)协会FDR规范。Mellanox将在提供包含适配器、交换机、软件和线缆在内端到端FDRInfiniBand互连处理方案。其FDRInfiniBand技术将在吞吐量方面提升80%。1.2各大厂商对InfiniBand态度：HPC和技术计算高级主管GiladShainer表示：“我们提供了最快点对点MPI信息速率，以及完整传输卸载和MPI加速功效（如MPIcollectiveoffload），使得HPC用户能够建立均衡、高效、无瓶颈CPU/GPU系统。Mellanox高性能互连处理方案意在以更高应用性能、更加快并行通信和最高可扩展信息速率来支持全世界科学家和研究人员不停增加需求。”Mellanox端到端InfiniBand连接包含ConnectX®-2I/O适配器产品系列、电缆和IS5000系列固定和模块交换机组合，能够提供业界领先性能、效率及具备最好投资回报性能互连可扩展效益。针对世界上最高要求计算应用，Mellanox为其全球用户提供了最高性能端到端网络处理方案。在美国计算机协会和电气电子工程师协会联合举行国际计算机架构讨论会（ISCA)上一次讲话中，谷歌企业（谷歌)科学家们提议能源均衡数据中心使用一个独特“蝴蝶拓扑架构”，它是由每秒40GbInfiniBand交换机和适配器所组成。经过利用InfiniBand互连（每端口2.5Gb/秒至40Gb/秒）固有灵活性来优化数据中心利用率，并将功耗降至最低，数据显示InfiniBand网络可降低85%功耗。MellanoxTechnologies（NASDAQ:MLNX;TASE:MLNX）董事会主席兼首席执行官EyalWaldman表示：“在InfniBand基础上创建高性能企业数据中心提议是这种技术可行性步骤。MellanoxInfiniBand技术降低了数据中心功耗，方便将能效最大化，从而使企业在多元市场上取得愈加好投资回报。作为InfiniBand行业领先企业，我们将这项提议看作是InfiniBand技术在企业网络、云、互联网托管和Web2.0应用等领域发展见证。”1.3InfiniBand在现在市场情况和其主要厂商介绍（Voltaire，Mellanox，Qlogic）1.3.1Voltare与其市场在日前最新公布全球TOP500高性能计算机排名中，Voltaire凭借114个InfiniBand成功案例保持领先地位，安装数量超出最靠近竞争友商两倍以上!据悉，Infiniband高速网络是近几年产生一个新兴技术，因其具备高带宽、低延迟特色，得到了高性能计算领域青睐。

infiniband是过去十年来在TOP500中唯一一个份额不停攀升互连网络技术Voltaire与其余厂商Infiniband在TOP500中份额情况Voltaire与其余厂商Infiniband在TOP500商业性站点中份额情况按HPC制造商划分，VoltaireInfiniband在TOP500中分布情况Voltaire一直致力于为广大用户提供高可靠高性能网络处理方案，在InfiniBand网络交换硬件领域，Voltaire一直保持稳定增加，在7月，Voltaire正式公布Vantage8500(288端口全线速超低延迟)10GbE交换机产品，并于当年进入IBM、HP等OEM合作搭档销售名目。在软件领域，Voltaire相继推出OpenMPIAccelerator(OpenMPI性能加速软件)、FabricCollectiveAccelerator(网络消息传递加速软件)，VoltaireStorageAccelerator(存放性能加速软件)已经广泛应用在众多应用系统中取得广泛好评!Voltaire统一网络管理软件-UFM全方面兼容InfiniBand和10GbE，UFM集成了网络阻塞管理、路由自动优化、自动感知并优化VMWare虚拟化环境等众多功效，同时还能够支持第三方网络交换机!在金融领域，Voltaire处理方案在海外21家跨国银行、25个基金企业、9个证券交易所以及4家大型保险企业已经成功安装使用。Voltaire软硬件产品主要针对金融行业多播通讯应用提供性能加速功效，比如Oracle数据库处理性能加速、股票期货高频算法交易、自动化交易后台处理系统、金融风险分析、商业智能分析系统等等，其运行效果大大超出传统网络处理方案(2-10倍性能提升)，除了在高性能计算领域外，Voltaire产品在国内已经成功应用在中国移动、中国联通、中国邮政等金融电信领域。1.3.2Mellanox和其相关信息Mellanox近期表示，将以约2.18亿美元收购Voltaire企业。Mellanox表示，收购Voltaire将加强其端到端连接系统市场地位，这项交易将扩大其在数据中心服务器和存放器市场软件和产品组合。Voltaire是InfiniBand产品领导者，VoltaireInfiniBand交换机和HCA卡达成40Gbps带宽和100nS低延时。作为InfiniBand主流供给商，Voltaire市场拥有率高达62%，远高于同类设备厂商。VoltaireInfiniBand交换机广泛应用于高性能计算领域，世界上拥有最快计算集群前十位超级企业半数使用了Voltaire交换机。中国最快超级计算机前十位都应用了Voltaire相关产品。实际上，很快前甲骨文刚才对Mellanox进行了战略投资，重点就是InfiniBand技术.Mellanox企业高级技术总监GiladShainer先生访华，对Mellanox企业独有产品和技术做了讲解，并介绍了多个成功案例。据他介绍，现在全球范围内数据中心面临着各种制约，如效能、成本、机房扩建等。而这其中最主要是运维成本问题：现今数据中心机房，每投入1美元在采购和建设上，就会产生超出8美元成本。另外，受制于经济危机和能源紧缺，现在数据中心冷却费用和电费相比，也上升了靠近1倍。以现在万兆以太网成原来看，Infiniband要远远廉价多。Shainer先生表示，以前一些厂商会因为“历史遗留问题”，继承和继续拓展使用以太网。而自经济不景气以来，更多厂商数据中心开始选择Infiniband，原因有两点：更廉价、更加快。另外，因为万兆以太网将很多封包和传输工作放在CPU中进行，因而占用了相当一部分CPU工作负荷，MellanoxInfiniband则将这些工作都移进网络芯片中处理——从而解放了CPU，将更多计算性能释放给用户。下列图能够看到，世界超级计算机Top10中五个超级计算机采取了Infiniband网络方案，分别是“走鹃”，“NASA”，“天河一号”，“TACC”和“红天”。从企业级应用来看，Oracle在其和SUN共同开发数据库服务器中选择了Infiniband，并在网站公布了性能提升数据——其性能相比以往网络互联模式提升了靠近10倍。而在另一家基于Web旅游交易网站案例中，采取了Infiniband数据中心，达成了4:1整合效率，其总体成本从74.4万美元降低到34万美元。“我们为客户在3年内节约了约57万美元成本开支。”GiadShainer表示，“对于中小企业来说这是一笔可观数字。”谈到与合作搭档共同研发，Gilad表示：“AMD两周前公布了12核皓龙“马尼库尔”处理器，而Mellanox早在3个月之前就已经针对12核CPU做出对应网络互连方案，将多核效率发挥到极致。”另外，Gilad透露：HPC高性能计算委员会和中科院计算所合作将于近期在中国开设办事处，到时将会和更多国内厂商展开合作。1.3.3Qlogic和其产品介绍QLogicInfiniBand（IB）产品线上有四倍速率（QDR--40Gb/秒）主机通道适配器（HCA）和交换机--1系列。InfiniBand在高性能计算（HPC）领域集群系统中用作高速低延迟互联伎俩，可适适用于汽车、生命科学、硬科学（比如物理学、气象学、医药学和金融市场学）方面应用程序。伴随HPC市场增加，InfiniBand用途也在增加。QLogic有18端口IB边缘交换机，能够设置成单电源供给，也能够设置成双电源供给以备冗余用途。QLogic还有1系列导向器或关键交换机，这些设备能够有多个设置，包含超高密度设计。用户能够将高达36个18端口或24端口设备连接到一个中心骨干或背板。假如使用18端口设备，用户总共最多能够有684个端口，而且在这个水平上，交换机不会超负荷。假如使用24端口设备，用户最多能够有864个端口，这种情况有可能出现超负荷。QLogic已经增加了光纤通道交换机上管理功效，能够监视端口上IB流量。假如交换机发觉有超负荷可能，比如说24端口叶片设置中出现50带宽使用率，交换机能够将QDR速率从40Gb/秒降低到双倍速率IB速率，即20Gb/秒。QLogic表示864端口交换机只使用42英寸机架空间，其空间占用小于其竞争对手Mellanox和Voltaire；同时该交换机每端口能耗也更低。QLogic声称该交换机性能好于竞争对手产品，而且该交换机能够先从8端口开始扩展，再扩展到16端口和32端口。IBM将在其x系列服务器上使用QLogicQDRHCA，同时在E1350配置中使用1交换机。戴尔在其PowerEdge服务器和Precision工作站上使用1交换机和QDRHCA。SGI将分销QLogic1系列交换机。对QLogic来说，主菜是惠普订单。惠普将在ProLiantSL和DL服务器上使用QDRHCA。惠普将在BladeSystemc服务器上提供双端口夹层卡版本HCA。惠普还将认证1交换机684端口和324端口版本使用，而且QLogic已经开发出刀片4端口QDRHCA模块，用于BladeSystemc设备。从这些宣告能够看出QLogic在HPC市场上已经很好地完成了渠道布局。Bull和富士通曾经在欧洲有很好HPC市场拥有率，而且曾击败SunMagnum交换机，不过QLogic认为这两家企业正在下滑。伴随Sun整体收入下滑和Oracle并购延迟，SunIB产品开发业处于尴尬境地。NEC是QLogic渠道在市场上碰到另一家HPC厂商。SGI现在很活跃。QLogic看到SGI出现在很多地方。SGI正在推广它新CloudRack产品。QLogic希望SGI能够经过该设备出售QLogicIB设备。1.4InfiniBand技术应用方向1.4.1InfiniBand在未来GPU上应用据国际高性能计算咨询委员会主席GiladShainer先生介绍，很多云计算厂商将本身云计算环境布署在超级计算机上，如AmazonEC2和OracleSunExadata和Exalogic两套数据库专用系统中都采取了基于Infiniband超级计算机（规模不一样）。Gilad认为，云计算里面使用高性能计算能够有效降低用户租用成本。另首先，从久远来看云计算现在还处于概念定型和开启阶段。商业环境决定了私有云必定是自主建设，或自行研发或采取成熟处理方案，而云环境对计算性能渴求使得高性能计算必定会应用其中。能够这么说，云计算不一定能够做高性能计算（系统延迟、负载和高可用等不符合高性能计算标准）；不过高性能计算系统一定能够作为云计算主要节点。对于GPU计算优化，Gilad先生所在Mellanox企业做了很多努力。其中最突出贡献要数经过ConnectX-2Core-Direct技术队GPU通讯进行优化。这里简单说说新传输方式与旧方式区分（以下列图）：

本图表现了GPU计算过程中数据是怎样传递：CPU从内存中读取需要GPU计算原始数据，传递给北桥芯片PCI-E控制器，北桥芯片将数据传给GPU，GPU将其存入缓存，计算结果也存入GPU缓存（注意这一过程是不停进行，动态）；计算结果再从GPU缓存流经GPU传回给北桥控制器，北桥传回CPU，CPU将之存入内存。假如说以上过程足够繁琐，效率很低话。那么来看看GPU计算好结果是怎样传输——CPU从内存里重新读取GPU计算结果，将需要传输部分再存入内存中网络模块读取指定区域——infiniband网卡经过CPU再读取相关信息传出去。所以能够说，GPU计算时数据传输是最大瓶颈。

Mellanox处理方案很简单，在不改变现有IT架构情况下——意即原先那套计算流程不变。改变只有一点点：GPU计算结果在存放到内存之后，直接被infiniband读取传输走，降低了再次经过CPU读取转存步骤。从而降低了数据传输时延——这一点点改进使得GPU之间时延降低30%，消除了数据在infiniband和GPU之间拷贝，专心良苦能够想见。1.4.2InfiniBand在云计算应用云兴起有可能推进HPC发展，未来有可能出现HPC即服务。QLogic市场专员HenrikHansen认为近期不会出现InfiniBand和以太网融合，不过有可能出现40Gb/秒以太网或其余超出10Gb/秒速率以太网平台。这种以太网具备强大带宽和功效，或许能够成为以太网IB（IBoE）平台。假如市场需要，QLogic将在未来推出这种产品。1.4.3InfiniBand在固态硬盘上应用现在正在使用大多数网络存放基础架构是以太网、光纤通道或者二者混合体。遗憾是，不论哪一个技术——甚至是最新版本——现在都无法提供完全发挥固态硬盘潜力所需足够带宽。最有可能打破这个瓶颈一项技术就是InfiniBand。问题是，除高性能计算之外领域似乎没有些人准备采取这个协议，甚至是认真地考虑这项协议。不过，在我与一些存放提供商首席技术官接触过程中发觉他们已经意识到了存放周期内可能发生网络带宽阻塞问题，有些人已经开始在他们存放系统中测试InfiniBand了。1.4.4InfiniBand在数据库上成功案例日前，惠普甲骨文联合推出数据库机器（HPOracleDatabaseMachine），该机器采取了新数据仓库方式，利用了Voltaire20Gb/sInfiniBand，经过将InfiniBand作为服务器到存放互联处理方案，能够实现很高性能提升。

据介绍，该系统关键是惠普甲骨文Exadata存放服务器（HPOracleExadataStorageServer）。该服务器有智能存放软件，能够未来自数据库服务器数据密集型查询任务卸载到离数据更近处理系统。这极大地降低InfiniBand连接上所需要传输数据量，提升了查询性能。

惠普甲骨文Exadata存放服务器采取HPProLiantDL180G5服务器构建单元，能够提供至多12TB存放容量。OracleExadata软件是预安装。除了大型数据仓库极快查询处理能力以外，大型平行运算架构也提供了线性可扩展性和关键任务可靠性。1.4.5InfiniBand国内成功案例这个HPC分析系统中，高性能是整个系统关键价值，贯通全系统InfiniBand技术是关键价值根本确保。香港环境保护署空气污染分析系统主要由16个计算节点、1台36口VoltaireInfiniBand交换机、1套星盈科技VSTORS316BN存放系统、1套星盈科技VSTORS316IN存放系统组成。16个计算节点采取了双路四核机架式服务器，确保其卓越计算性能；在这些计算节点上，都配置InfiniBand卡，经过40GbInfiniBand交换机与VSTORS316BN相连，组成IBNAS存放架构。星盈科技VSTORS316BN由1台主柜级联1台扩展柜组成，配置32块2TB企业级SATA硬盘组成共64TB存放池；前端2个20GbpsInfiniBand主机通道，为系统提供了足够数据传输带宽。另外，因为分析系统数据不但需要从各个监测点采集而来，而且还要从香港天文台取得气象数据，所以，为了扩充存放空间，实现数据分级存放，增加1台VSTORS316IN。星盈VSTORS316IN是一款基于以太网络NAS存放系统，前端配置6个1Gbps以太网主机接口，提供共6Gbps数据传输带宽，而且能够同时兼容iSCSI及各种NAS协议，提供灵活、多适用性；VSTORS316IN配置16块2TB企业级SATA硬盘，组成共32TB存放池，并能够依照需求进行无缝升级扩容。在系统搭建完成正常运行后，香港环境保护署项目责任人表示：新HPC系统采取了InfiniBand技术，使得系统取得足够强大性能。尤其是采取了星盈科技InfiniBand存放，使得系统由前端至后端都能够确保数据传输高速与效率。1.5InfiniBand在虚拟技术上结合1.5.1InfiniBand实现VIA虚拟接口体系结构（VirtualInterfaceArchitecture，VIA）是一项分布式消息分发技术。这项技术实现了硬件无关和兼容现有网络连接，经过提供一个API，在集群系统中实现高速低延迟对等层间通信。InfiniBand专注于发展VIA体系结构。经过使用执行队列，InfiniBand将通信量控制从软件客户端中解放出来。这些执行队列由客户端发起，之后交由InfiniBand来管理。在每一个通信通道两个设备之间，每一个终端节点都维护了一个工作队列对WQP（WorkQueuePair）。每一个客户端将一个事务处理放到WQP中，由通道适配器将这个事务处理从发送队列传到远程设备。当远程设备响应这个事务处理时，通道适配器就经过一个完整队列或事件将这个响应状态返回到客户端。客户端能够同时发送多个WQPs，而通道适配器将处理全部这些通信请求。通道适配器经过产生一个完成队列实体CQE（CompletionQueueEntry），以正确优先级次序为每一个WQP提供状态信息。这就使得客户端在当前事物处理过程当中进行其余通信活动。毫无疑问，InfiniBand必将是服务器领域首选I/O架构。伴随HyperTransport、RapidIO以及PCIExpress等高性能局部I/O总线采取，InfiniBand高性能也必将得到更为充分展现。1.5.2InfiniBand在VMware上应用Mellanox现在宣告推出InfiniBand驱动程序VMwarevSphere4支持，提供IT最终用户迫切选择布署在云场验证基于InfiniBand统一和虚拟化I/O环境。`兼容与Mellanox企业行业领先ConnectX和InfiniHost第三适配卡线，是基于InfiniBand软件驱动程序关于OpenFabrics企业分发（OFED）版本1.4.1，使广大与其余操作系统互操作性和生态系统提供OEM服务器，交换机，网关和存放系统。Mellanox企业服务器和存放适配卡使客户能够布署最有效和可靠统一架构无缝连接技术，任何任何SAN存放服务器和局域网环境。经过支持VMwarevSphere，Mellanox企业延伸到客户适配卡产品价值`下一代云计算和虚拟化数据中心。在InfiniBand驱动程序提供额外功效增强到VMwarevSphere经过利用InfiniBand`内置功效，可靠性和性能能在任何标准网络，每个关键虚拟机功效，如VMwareVMotion和VMware高可用性（HA）增益深入性能改进提升数据中心效率。“虚拟化是一项关键技术降低数据中心总拥有成本同时使成本效益新云计算服务，“达斯说。产品管理总监Mellanox科技。“Mellanox企业ConnectX和

InfiniHost三适配卡利用先进数据中心虚拟化与VMwarevSphere4高可用性功效，运行VMwarevSphere4在更高带宽，更低延迟和极其可靠网络，优化了数据中心基础设施整体性能，使新成本效益系统架构灵活下一代，可靠IT服务。““当我们设计我们VMwarevSphere基于云电器，大带宽，低延迟可靠性和快速访问存放首要任务是，为这些原因InfiniBand成为我们首选面料，“张说。“另外，还实现了InfiniBand高度安全因为每个VM环境能够驻留在不一样虚拟局域网InfiniBand，虚拟机之间提供在云中运行严格隔离。它使Intalio提供一个先进设备为我们客户满足他们越来越多云计算基础设施有效需求。“Mellanox企业领先I/O虚拟化功效，包含硬件支持辅助下直接访问虚拟机，虚拟机到虚拟机切换，先进内存管理，过滤，QoS和接收端缩放功效来提升整体服务器利用，尤其是在多关键CPU环境。局域网和光纤通道SAN流量能够合并在同一个InfiniBand适配器，而申请使用虚拟网卡和虚拟机内HBA能够继续运行透明。Mellanox企业InfiniBand围绕实施包含VMware虚拟智能队列（虚拟智商）技术，使用户对VMwarevSphere灵活性现有以太网和光纤通道（FC）虚拟整合链接了Mellanox企业ConnectXInfiniBand适配器。一个服务器上运行VMwarevSphere经典产生五种交通（VM虚拟机通信，网络通信，SAN流量类别，VMwareVMotion网络和控制台管理）。虚拟技术智商全部这些隔离在虚拟网卡和虚拟HBA流量类型，而确保在两个可编程连续带宽传输和接收方向。虚拟智商允许经过使用一个巩固交换机端口和布线40Gb/sInfiniBand基础设施，同时保持现有以太网和基于FCVMware配置和用户体验。该技术使印务局经过保持基础设施合并完全透明更新VMware平台，实现了40Gb/sInfiniBand适配器显示为一个灵活数字虚拟以太网和FC适配器。虚拟环境使智商运行VMwarevSphere4为客户提供灵活可用40Gb/s带宽划分到多个通信类型。

1.5.3数据中心光纤架构融入InfiniBandVoltaire企业于12月28日企业公布了一个名为SP4G高性能存放由器设备，用于连接SAN（存放局域网）和InfiniBand网络。该设备一个机架单位拥有4个1-，2-或4G每秒自动侦测光纤通道界面。该设备经过iSCS对RDMA（远端直接内存访问）扩展技术将这些协议转换后运行在两个InifiniBand端口上，然后经过Voltaire交换机在20G/sInifiniBand网络上将存放传输给主机。Voltaire说SR4G设备将在一月出售，售价为33000美元。Voltaire声称一些OEM（贴牌厂商）开始测试该设备，而且该设备正在几个用户测试站点中进行测试。