DDN大容量存储平台解决方案

1、DDN大容量存储平台解决方案目录 TOC o 1-3 h z u HYPERLINK l _Toc487398716 DDN大容量存储平台解决方案 PAGEREF _Toc487398716 h 1 HYPERLINK l _Toc487398717 1 项目需求分析 PAGEREF _Toc487398717 h 4 HYPERLINK l _Toc487398718 1.1 概述 PAGEREF _Toc487398718 h 4 HYPERLINK l _Toc487398719 1.2 高性能计算机集群存储系统的需求和特点： PAGEREF _Toc487398719 h 4 HYPE

2、RLINK l _Toc487398720 2 存储系统方案设计 PAGEREF _Toc487398720 h 5 HYPERLINK l _Toc487398721 2.1 存储系统方案拓扑 PAGEREF _Toc487398721 h 6 HYPERLINK l _Toc487398722 2.2 方案概述 PAGEREF _Toc487398722 h 7 HYPERLINK l _Toc487398723 2.3 DDN SFA12K-20存储系统 PAGEREF _Toc487398723 h 8 HYPERLINK l _Toc487398724 2.4 DDN GS12K P

3、AGEREF _Toc487398724 h 10 HYPERLINK l _Toc487398725 2.5 DDN DirectMon PAGEREF _Toc487398725 h 12 HYPERLINK l _Toc487398726 2.6 方案配置表 PAGEREF _Toc487398726 h 12 HYPERLINK l _Toc487398727 2.7 SFA12k-20裸设备测试结果 PAGEREF _Toc487398727 h 13 HYPERLINK l _Toc487398728 3 DDN服务支持 PAGEREF _Toc487398728 h 13 HYP

4、ERLINK l _Toc487398729 3.1 DDN售后服务支持方案 PAGEREF _Toc487398729 h 13 HYPERLINK l _Toc487398730 3.2 培训 PAGEREF _Toc487398730 h 16 HYPERLINK l _Toc487398731 4 成功案例 PAGEREF _Toc487398731 h 16 HYPERLINK l _Toc487398732 4.1 DDN在全球石油气领域客户 PAGEREF _Toc487398732 h 17 HYPERLINK l _Toc487398733 4.2 中国石油东方地球物理公司（

5、BGP）高性能存储方案 PAGEREF _Toc487398733 h 17 HYPERLINK l _Toc487398734 4.3 中国石化石油勘探开发研究院高性能存储解决方案 PAGEREF _Toc487398734 h 19 HYPERLINK l _Toc487398735 4.4 Saudi Aramco地震数据处理存储方案 PAGEREF _Toc487398735 h 20 HYPERLINK l _Toc487398736 5 DDN公司简介 PAGEREF _Toc487398736 h 21项目需求分析概述为了满足企业业务系统对存储性能和容量扩展需求，DataDire

6、ct（DDN）凭借全球HPC的丰富经验为用户提供基于DDN SFA12K-20高效能存储系统方案，搭配GPFS并行文件系统，满足用户对大容量高带宽存储应用需求，它可以在业务需求改变时，线性地火独立的扩展性能和容量，不仅能够降低横向扩容存储的复杂性，还能够通过移除存储群集的延迟元素，以提高存储的响应性，以最大限度的灵活性，应对其大数据对系统架构海量数据的规模和吞吐量需求。高性能计算机集群存储系统的需求和特点：高性能计算集群中在多个节点进行大规模并行计算的同时，需要进行大量文件及数据访问，对系统的存储性能也提出非常高的要求，系统对存储系统要求主要归结为以下几点：全局统一命名空间高性能集群相比较于其

7、它应用而言，一个显著的特点是为了保证与集群中个节点间具有一个统一的命名空间，也就是说在集群中任何一个节点，对一个文件的读写、修改都会在其它节点生效，实现这一个功能，往往需要通过网络文件系统来实现，比较常见的实现方式是NFS。当前，由于集群规模的不断增大和对存储访问性能的要求逐渐提高，并行文件系统在高性能集群中的使用也越来越广泛。高性能对于集群规模较大，或高IO应用的集群用户，由于对存储的访问量很大，对共享存储的访问性能也提出了很高的要求。通常在硬件方面，可以通过提升存储磁盘阵列的性能、存储介质的性能、存储阵列访问接口性能和IO节点网络性能等，来提高整个共享存储的性能，而对于更高IO需求的系统，

8、可以在软件层，通过并行文件系统来实现海量文件高速并发读写。高密度、大容量、可扩展性由于高性能集群规模不断扩大、数据处理能力惊人、业务数据成倍增长，对高性能存储容量需求也是非常惊人，在某些对海量存储需求的系统中，存储量往往可达到TB级甚至PB级。高密度、大容量、可扩展性存储系统，在用户管理、能耗、扩容性为用户提供了未来存储系统发展的最佳选择。高可靠、高可用性高性能集群承担着重要的业务和科研任务，用户的数据具有极高的价值，同时，存储系统为全局系统，一旦出现故障，将导致整个系统不可用。所以在高性能存储系统中，无论是IO节点、存储交换机、还是存储磁盘阵列、存储介质等，每个环节都要尽可能的保证高高可靠和

9、高可用性。存储系统方案设计根据公司存储需求，此次提供两套存储方案供客户选择：方案一：DDN SFA12K-20存储系统，依据DDN SFA12K-20产品为基础，配置8台服务器，搭建GPFS文件系统提供用户存储服务。方案二：DDN GS12K存储系统，是DDN提供的基于SFA12K-20产品，内置GPFS、NSD服务器，为用户提供的一整套GS高速存储解决方案。存储系统方案拓扑方案一：DDN SFA12K-20存储系统解决方案方案二：DDN GS12K存储系统解决方案方案概述方案一概述：方案建议采用Datadirect Networks（DDN）的SFA12K-20高效能存储存储系统，配置一对互

10、为冗余的SFA12K-20控制器，10个DDN SS7000扩展柜（每个扩展柜有60个磁盘插槽），504块4TB 7.2K RPM 6Gb/s NL SAS硬盘，其裸存储容量为2.016PB，可用容量约在1.6PB。方案使用GPFS文件系统，配置有8台NSD服务器，每台服务器配置2个双端口FDR HCA卡，分别于DDN SFA12K系统和Cluster计算节点通过56Gb/s高速Infiniabnd网络互联，该方案存储系统可提供高达16GB/s的实测存储聚合带宽。方案可与前期项目无缝融合，在不改变现有集群（Infiniband网络集群、万兆网络集群）架构、配置基础上，实现集群节点对新存储系统的

11、高速访问。方案二概述：方案二GS12K为客户提供一整套基于Gridscaler（GPFS）并行文件系统方案，采用内置NSD服务器，预装GPFS文件系统，存储与NSD服务器之间采用数据内部交换，存储效率更高。方案二采用内部集成方式，与方案一比采用内置GPFS文件系统方式，省去8台NSD server服务器及后续配置工作，为用户直接提供GPFS NAS存储接口，客户在使用和管理起来更为简洁、方便，其余物理硬件配置与方案一相同，文件系统性能也与方案相同。SFA12K-20DDN SFA12K-20存储系统DataDirect Networks SFA12K-20: 直接提供给应用系统裸设备，裸设备读

12、写带宽可达20GB/s，支持EXascaler、Gridscaler并行文件系统。行业领先技术优势DDN存储在解决极端存储挑战方面有着行业所认可的丰富经验，DDN存储在高性能计算和富媒体行业处于霸主地位，被用于全球最大型网站、存档设备、数百处全球最大的超级计算机和超过600家媒体。DDN大规模多线程处理存储架构，将当今最先进处理器技术、总线技术和内存架构技术融为一体，并搭配最最优化的RAID引擎和数据管理算法；SFA12K-20E采用内置存储系统处理流程，减少用户基础设施建设、降低用户存储系统总体使用成本；可满足对都延迟要求较高的应用系统的需求；存储内部采用冗余、无阻塞内部SAS光纤网络，以支

13、持数据的并发访问和保护；存储高密度，单机柜（42U）最大可支持840块硬盘；在同一磁盘存储柜内，可支持任意比例的SSD、SAS和SATA同时使用；支持16个FDR（56GB/s）Infiniband网络端口；为高事务性和高带宽应用提供无与伦比的性能均衡。大容量/体积小高密度存储机箱: 每个存储机箱最大容量为336TB（4U机箱，4TB磁盘），每个存储机柜最大可容纳840块硬盘（42U机柜）；每个机柜高达3.36PB存储容量（42U机柜，4TB磁盘）；高达40GB/s带宽，以进行读写操作；4KB随机IOPS读写缓存性能高达170万，超过140万到存储持续读写性能；超过960Gb/s存储系统内部光

14、纤带宽；高达64GB高速镜像缓存；DDN REAct可提供即时数据优化和缓存管理功能。高可用性存储系统采用active/active双控制器模式，保障存储系统的高可用性；采用Raid技术保障系统可用性，可支持最多损失机箱内20%磁盘；存储系统支持冗余、热插拔的硬件组件，可最大程度存储系统的可用性；高速存储缓存、镜像和备用电池保护DDN自主DirecProtect+技术。数据保护高效能Raid1，5，6技术；DDN 磁盘错误检测和校正功能（DIF）；日志快速驱动器重建。高效能相比较传统的存储系统，SFA20k高密度结构设计，减少不必要的存储机柜、转换开关、电源和风扇，可节省成本高达50%。易管理

15、SNMP；基于Web图像界面；CLUI；电子邮件告警；DDN GS12KDDN GS12K存储特性：Client Access ：Native Linux and Windows Clients Highly Available NFS v3Client Connectivity16 x 10/40GbE Host Port or16 x 56Gb In_ niband Host PortSupport for In_ niBand RDMA I/OClient to Gateway Load BalancingMany to One, and One to Many Client toGat

16、eway AccessVolume ScalabilityUp to 3.45PBs of usable capacity (840 drives)Optional Metadata accelerator drivesUp to 3.45PBs of usable capacity (840 drives)Over 10PB+ of Aggregated CapacityPerformance20GB/s per GS12K System (read & write)Aggregated Performance up to 200GB/sec100,000s of File Operatio

17、ns/secScale-OutAdd additional GS12K systems to the Configuration network for automatic storage scalingData ProtectionData: RAID 6 (8+2)Metadata: RAID 60256 Snapshots per _ le systemDirectProtect Data IntegritySynchronous File System ReplicationData and Systems ManagementDirectMon - Centralized confi

18、guration and monitoring solutionOnline File System GrowthObject-Based File LockingMonitoring and Event Notification SystemDDN DirectMon本方案配置一套DDN DirectMon存储系统监控管理软件，用于对存储系统硬件系统、并行文件系统进行监控管理。方案配置表PRODUCTQTYDESCRIPTION12K20IB-7K10112K20D-56IB with 10 x SS7000 enclosures, 10 x HMSMS-3M and10 x HMSMS-6

19、M cables, power and ICL cables, rail kits, licenses for SFA OS, dual UPSs and ATSs.7K-4T6SX3UN5044TB 7,200 RPM 6Gb/s SAS drive module for SS7000 enclosure, Gen 2RK42-9900EU-R142U Rack with four PDUs for Europe - 9.9kW MaxSER-1U-268C2S81U DDN Server - Dual 2.6GHz Intel E5-2650 v2(8 core), 64GB (upgra

20、deable to 192GB max), 2x 146GB 15K SAS, 4x 1GigE, 3x empty PCIe3 Slots, rails. No OS. RHEL subscription or evidence of site subscription required if RHEL is to be installed.MHQH39B-XTR16ConnectX-3 VPI adapter card, dual-port QSFP, FDR IB (56Gb/s) / 40GigE, PCIe 3.0 x8 8GT/s, tall bracketGSS4S+DVD-UL

21、-UR16GRIDScaler Server: 1-Socket License + 1 year support for GPFS v4 Standard Edition, includes RHEL 1 year 1 socket support and DVDINS-GRDS-161Installation and configuration of GRIDScaler software; Up to 16 Servers INS-SFA-FR101Installation and Configuration of SFA block storage systems; up to 10

22、enclosures factory assembled rack; 30U, 42U and 45U racks only (50U racks require onsite assembly INS-SFA-OS10)SUP-BSPO-31Basic Parts Only Support; storage systems, storage servers, disk drives and accessories; 7x24 remote support; parts only; replacement parts onsite NBD; does not include SW suppor

23、t for apps or file systems; 3-yr pricingSFA12k-20裸设备测试结果ReadWritesRaw device (XDD) 19.6 GB/s17.4 GB/sGRIDScaler (IOR 2 NDS servers) 17.3 GB/s15.8 GB/sDDN服务支持DDN售后服务支持方案作为SAN 基础设备技术的领导者，DDN 很好的理解关键任务数据的重要性，最大程度的提供247365 的工作需求。我们根据客户需求，提供弹性的、人性化的支持方案。免费的标准服务承诺：DDN 提供2 年的硬件有限质保和90 天的软件产品支持。在质保期内，提供无限制的

24、电话技术支持，30 天内承担故障机器维修和运输。技术支持时间为周一到周五的7:00AM6:00PM（节假日除外）。以下内容包含在免费的标准服务承诺： 支持 30 天内部件的邮寄更换服务 电话技术支持：周一到周五的 7:00AM6:00PM 90 天的软件技术支持 技术服务简报 90 天的私有网页及软件升级下载 质保部件在质保期内免费维修及设备维修的运费除了标准服务，DDN 还为部件邮寄更换和上门服务提供三种额外增加的支持服务。扩充服务 包括备用部件的交换，724 小时的电话支持，进入私有技术支持网页权限。 这种方案适合想要自己执行现场维修或是想快速更换替换部件的用户。电话技术支持提供24 小时

25、服务。此项支持方案包括软件支持和软件的网页下载。这个方案是以年为单位来销售。以下内容包含在本方案中： 核准的 24 小时内替换部件邮寄更换服务 724365 电话技术支持 软件技术支持 技术服务简报 私有网页和软件升级下载高级服务 包括上门服务，多余备件的邮寄更换，724365 电话技术支持，私有技术网站的接入权限。DDN 有一支高服务质量的SAN 专家来为您服务，可很好的解除您的维修烦恼。我们全球支持能力保证您一个电话可避免现场支持。软件支持和软件的网页下载包含在此支持包中。此方案是以年为单位来销售。以下内容包含在本方案中： DDN 服务工程师的下一工作日的现场技术维修支持 核准的 24 小

26、时内替换部件邮寄更换服务 724365 电话技术支持 软件技术支持 技术服务简报 私有网页和软件升级下载关键任务服务 这项服务方案是为承担不起长时间宕机的DDN 苛刻用户而设。这项服务需要同时购买DataDirect 公司及我们的关键任务服务合作伙伴Anacomp公司的服务。方案服务包括，本地的备件，4 小时到达现场，备件的邮寄更换，724 小时的电话支持，软件支持和升级，以及进入我们私有支持网页的权限。DDN 有一支高服务质量的SAN 专家来为您服务，可很好的解除您的维修烦恼。我们全球支持能力保证您一个电话可避免现场支持。软件支持和软件的网页下载包含在此支持包中。此方案是以年为单位来销售。以

27、下内容包含在本方案中：DataDirect 或者Anacomp 的服务工程师提供4 小时上门技术维修支持 当地“城市”备件支持 高级别的备件支持 核准的 24 小时内替换部件邮寄更换服务 724365 电话技术支持 技术服务简报 软件技术支持 私有网页和软件升级下载培训DDN可为用户提供专业存储系统硬件管理、维护管理、用户使用、文件系统管理和使用内容，培训计划安排如下：序号课程课时讲师备注DDN存储系统介绍0.5DDN存储系统产品线0.5DDN存储系统结构0.5DDN存储系统的安装0.5DDN存储系统的调试1.0DDN存储和GPFS的使用1.0DDN存储管理和日常维护1.0DDN存储和GPFS

28、故障排除1.0DDN存储和GPFS性能调优1.0GPFS安装0.5GPFS设置与调试1.0合计课时 =SUM(ABOVE) 8.5成功案例DDN在中国石油气领域，为以下单位提供了高速存储系统：中石油东方物探中石油兰州西地所中石油长庆油田中石化南京物探院中石化胜利物探院中石化北京研究院并且在全球为几大石油公司提供10PB以上的存储系统，例如，Saudi Aramco一次购买16套SFA12KE系统，其中5套用于生产系统，一套用于测试系统。DDN在全球石油气领域客户中国石油东方地球物理公司（BGP）高性能存储方案DDN提供高效能存储解决方案，主要解决了中国石油东方地球物理公司在石油勘探领域对高性能

29、、大容量存储需求，运行主要业务平台为GeoEast。高性能存储方案配置如下：2套DDN SFA7700存储盘阵：2台DDN SFA7700主盘柜，每个主盘柜带一个SFA7000副盘柜；每台SFA7700有2个控制器，每个控制器有2个56Gb/s FQR Infiniband接口与IB交换机相连；240块 4TB 7200转硬盘；共计24个 Pools(8+1 Raid5)IO节点基本配置：共计8台IO节点；每台IO节点2个Intel CPU（Intel(R) Xeon(R) CPU E5-2640 0 2.50GHz）每台IO节点64GB Memory每台IO节点通过一个双端口56GB FQR

30、 Infiniband接口与IB交换机相连文件系统采用GPFS实测峰值：最大总聚合读带宽：9.71GB/s最大总聚合写带宽：13.04GB/s单节点服务器实测读带宽：4.6GB/s单节点服务器实测写带宽：5.23GB/s存储系统拓扑如下： HYPERLINK /link?url=E-PKzaCK8zAdK-tXN8KsI14SsYdMNzE8TPZRWITkZLafrMPN-8PGo95Vbh8SjKwxrxFV0w3IhEQrQJdA18NrTFzH-ef626SBxqxgxtoJjhy t _blank 中国石化石油勘探开发研究院高性能存储解决方案DDN中石化石油勘探开发研究院高性能存储解

31、决方案，主要满足用户OMEGA软件对高性能存储需求。存储方案配置如下：1套DDN SFA7700存储盘阵：1台DDN SFA7700主盘柜，每个主盘柜带一个SFA7000副盘柜并配置2个DDN SFA8460副盘柜；DDN SFA7700主盘柜配置有2个控制器，每个控制器有2个56Gb/s FQR Infiniband接口与两台IO节点直连；168块 4TB 7,200 RPM 6Gb/s SAS硬盘；1台EF3015存储，用作文件系统元数据。IO节点基本配置：共计2台IO节点；每台IO节点2个Intel CPU（Intel(R) Xeon(R) CPU E5-2620 0 2.00GHz）每

32、台IO节点64GB Memory每台IO节点通过一个40Gb万兆卡与交换机相连，每台IO节点通过一块双端口HBA与EF3015存储相连。并行文件系统Exscaler（lustre）方案拓扑：Saudi Aramco地震数据处理存储方案沙特石油公司是全球最大的油气田公司，DDN提供的高效能存储解决方案解决了其上千节点集群对存储系统高速并发访问的需求。从2007年至今，DDN已为沙特石油公司提供约500GB/s的文件系统持续读写带宽，设备类型包括DDN S2A9550，S2A9900，SFA10K和在2012年采购的基于GridScaler并行文件系统SFA10K-E（万兆存储解决方案）和SFA1

33、2K-20E（万兆和40GB QDR存储解决方案）。存储系统承载的应用如下：CSSP (Focus, Paradigm, Disco) since 2007PSDM, PSTM, PSDM Like (GPT)Reservoir Simulation (P/GP)R&D, SimulationPetrelSaudi Aramco 2012 2nd ProcurementRequirement 260GB N/N 7900TB useable + Test Frame15套 SFA12KE-20 one for test frame7800 client licenses300 x 3TB SA

34、S NL 7K, Total 4580 hdd40GE ports (8 per SFA)配置大概 200 I/O nodes x 10GE clients New Extreme Networks BDX8 10GE/40GE FabricDDN公司简介DataDirect Networks（DDN）是一家提供高性能存储的专业存储公司，总部位于美国洛杉矶，DDN提供的存储系统主要服务于大容量和高带宽应用。DDN 是内容存储和大数据，以及云计算时代可高度扩展的存储方案之先驱，他的产品完美解决各种复杂的存储系统难题，尤其适用于云计算，Internet 内容托管、数据备份、计算机建模和模拟、磁带置

35、换以及影片和视频的制作及分发等领域。DDN 已经成全球第四大专业存储供应商，特别在高性能计算领域得到了广泛采用，已成为超级计算机的存储霸主。每一次的TOP500 排名中的前100 名HPC 系统，都有约60%的系统，使用DDN 的存储。例如，两次排名第一的日本的”京”就使用了15PB的DDB 存储。在2010 年11 月的全球最快的TOP500 排名中，DDN 的业绩为：排名前 10 个系统中，8 个使用DDN 存储排名前 20 个系统中，15 个使用DDN 存储排名前 100 个系统中，57 个使用DDN 存储美国一些重要的国家实验室都是DDN 的客户。其中包括美国国家超级电脑应用中心、美国国家海洋和大气局预测系统实验室、美国白沙导弹基地、美国国家大气研究中心、圣地亚哥超级计算机中心、美国陆军研究实验室等。为美国的Oak Ridge 国家实验室的超级计算机提供了读或写速度为250GB/s 的带宽。 DDN 为法国的CEA 超级计算机系统提供了世界最快的文件系统，其存储的读或写的带宽可超过350GB/s。欧洲最快的德国莱布尼茨超级计算中心（LRZ）使用了DDN 的最新的SFA12K 存储产品，SFA12K 针对的是大数据市场。美国橡树岭国家实验室的TITAN 系统，配置了全球最快存储系统，使用36 套DDN SFA12K-40 系统， 其读写速度可