MSPE-技术类-3-存储硬件架构设计 v1.2

MSPE培训教材—存储硬件架构技术名词解释CISC：ComplexInstructionSetComputer，复杂指令集计算机，现在市面常见的是Intel、AMD的产品，比如IntelXeonRISC：reducedinstructionsetcomputer，精简指令集计算机，现在市面常见的是IBM、FreeScale的产品，比如IBMPower6ASIC：ApplicationSpecificIntegratedCircuit，专用集成电路，厂家为了某种特定需求而设计的专用电路IA架构：IntelArchitecture，英特尔体系架构，主要是CISC阵营的产品（至强、酷睿、赛扬等），部分产品属于RISC架构（IOP），少数产品（安腾系列）属于CISC和RISC的结合CISC架构存储阵营CISC：复杂指令集计算机，主要是Intel、AMD的X86处理器，基于Intel架构的又称IA架构应用：存储中端存储产品的首选，逐步应用于高端产品。阵营：EMCVNX系列/VMAX系列、IBMV7000系列、NetappFAS系列、华赛S5000T系列等。现状发展早期性能迅速增强，成本下降明显已发布针对存储应用的专用芯片标准化程度高，被广泛接收，应用范围广厂家的实力强，发展迅速非针对存储应用，性能不强，成本较高只被少数存储厂家采用CISC架构控制器设计StorageProcessorCPUCPUCPUCPUCPUCPUCPUCPU64bitArchitectureMirroredWriteCacheOverheadReadCacheStorageProcessorCPUCPUCPUCPUCPUCPUCPUCPU64bitArchitectureMirroredWriteCacheOverheadReadCacheFanx8CMIFanFanFanPowerSupplyPowerSupplyI/OComplexI/OComplexFCModuleiSCSIModuleFCModuleFCModuleFCModuleiSCSIModuleFCModuleiSCSIModuleFCModuleFCModuleFCModuleiSCSIModule2颗Xeon四核处理器(2.33GHz)16GB缓存EMCCX4-960控制器架构基于CISC架构(IntelX86)的控制器设计包括RAID处理在内的所有功能都由X86处理器提供(软RAID)，对处理器性能、缓存算法的要求都较高需要更高主频或更多数量的处理器、更大的内存、更强调缓存调度算法PCI-E1.0技术RISC架构存储阵营RISC：精简指令集计算机，主要是FreeScale、ARM、IBM的产品，比如IBMPowerPC应用：常见于低端存储产品，较多采用RISC+ASIC混合架构。由于历史原因，部分高端产品还在采用RISC架构。阵营：IBMDS3000、台湾盘阵厂家(Infortrend、promise等)及其OEM伙伴(同有、浪潮、锐捷等)现状发展早期性能不高，成本较低主要应用于低端存储领域标准化程度低，接受范围有限厂家的实力和投入有限等原因，发展比较缓慢早期产品速度快、设计简单广泛应用于低端/高端存储领域，中端存储领域应用较少RISC架构控制器设计采用PowerPC440ROC800-MHz处理器(akaMeteor)超标量核芯，带有一个1.9xMIPS倍增器，转换成1.5-GHZx-scale执行XOR和P+QIBMDS3500(LSIEngino2600)控制器架构项目DS3500架构RISC处理器PowerPC440最大缓存4GB最大磁盘数96满配主机接口8*FC+6*SAS满配后端接口2*SAS处理器能力弱，整体规格低ASIC架构存储阵营ASIC：专用集成电路，厂商为了某种特定需求（通常是RAID加速）而设计的专用电路应用：少数上一代中端产品还在采用，部分中低、低端盘阵还在采用，一般采用ASIC+CISC或者ASIC+RISC架构。阵营：HDSHUS系列、IBMDS5000（LSIEngino7900）、Infortrend现状发展早期性能不高，成本不低，无竞争优势，只有少数上一代产品还在采用实现复杂，架构封闭，可移植性差存储厂家的芯片实力远落后于Intel等厂家，发展缓慢专为存储的RAID处理而设计，能够显著提高RAID处理效率需要与CISC处理器协同工作ASIC+CISC混合控制器设计ASIC芯片，RAID处理Xeon芯片，管理功能内存访问带宽低ASIC+CSIC混合架构ASIC：主要承担RAID处理、缓存镜像两部分功能CSIC：承担系统管理、数据管理、数据保护等功能应用状况和前景技术更新缓慢(1)处理能力有限;(2)支持的内存容量小；可移植性差(1)技术设计和实现复杂(2)通用性差，非常封闭HDSHUS控制器架构8-16GB缓存控制器架构设计总结CISC(X86)ASIC应用产品特点复杂指令集计算机，主要是Intel、AMD的X86处理器基于Intel架构的又称IA架构早期无存储专用芯片，性能不强，成本较高标准化程度高，厂家的实力强，发展迅速性能迅速增强，成本下降明显中端存储产品的首选，逐步应用于高端产品EMCCX4系列(Intel)、NetappFAS系列(AMD)专用集成电路，厂家为了某种特定需求（通常是RAID加速）而设计的专用电路专为存储的RAID处理而设计，与主处理器一起工作，早期能够显著提高RAID处理效率实现复杂，架构封闭，可移植性差，发展缓慢常用于中端存储产品，采用CISC+ASIC混合架构HDSAMS2000、LSIEngino7900(IBMDS5000)RISC精简指令集计算机，主要是FreeScale、ARM、IBM的产品早期产品速度快、设计简单由于标准化程度差，厂家的实力和投入有限等原因，发展比较缓慢性能不高，成本较低常见于低端存储产品，如Infortrend等低端盘阵由于历史原因，高端产品大多还在采用RISC架构Intel新一代处理器：JasperForest处理器集成内存控制器，无需通过北桥连接，访问速度更快，访问带宽更高(256Gb/s)9根内存插槽，最大144GB支持DDR3，频率800/1066/1333DDR31333(9*Slot)XOR引擎16PCIExpressGen2QPIJasperForest多核处理器DMI南桥IO模块处理器内部集成RAID硬件加速，无需ASIC支持16个PCI-E2.0通道，最大带宽：单向80Gb，双向160Gb可将8通道用于后端磁盘连接，8通道用于缓存镜像连接QPI:QuickPathInterconnect，通常用于处理器之间的互连单向带宽5.87GT/s(117.4Gb)可用于连接处理器和前端IO模块三级处理器内部CacheL1：每核32K数据+32K指令L2：每核256K，数据、指令共用LLC：共享8MB，指令、数据共用PCI-E2.0总线技术PCI-X：竞争共享总线PCIExpress：点对点传输PCIExpress2.0通道未编码数据速率（有效的数据速率）编码数据速率单向双向单向双向×14Gbps8Gbps5Gbps10Gbps×416Gbps32Gbps20Gbps40Gbps×832Gbps64Gbps40Gbps80Gbps×1664Gbps128bps80Gbps160Gbps串行总线结构支持点对点传输，每个传输通道独享带宽信道聚集有效组合为x1，x2，x4，x8，x16和x32支持双向传输模式，单信道带宽5Gbps，16信道带宽达到160Gbps用于控制器的前后端接口、缓存镜像通道的连接SAS传输技术SAS技术3创新的宽端口技术2交换架构Phy1继承SCSI技术的稳定和高可靠性SCSI技术4高扩展性PhyPhyPhyPhyPhyPhyPhy四路SAS宽端口四路SAS宽端口6Gb*4SASSAS技术并行串行SAS域最多可接16128个设备(128*126)......FanoutExpanderEdgeExpanderSAS磁盘SAS适配器EdgeExpanderSAS磁盘技术先进的磁盘接口继承SCSI的稳定可靠性全双工、点对点数据传输3.0/6.0Gbps接口传输速率双端口冗余备份多种速率类型支持15,000/10,000/7,200rpm三种速率良好的兼容性SATA磁盘兼容SSD磁盘的主要接口方式服务器、存储阵列均可使用SAS线缆接口SAS磁盘磁盘接口磁盘厂家的路标FC硬盘(3.5寸)已经不再有新的产品型号10/15K转硬盘全部都是SAS接口7200K转的2.5寸硬盘是SAS/SATA接口7200K转的3.5寸硬盘是SAS/SATA接口SSD硬盘以2.5寸SAS为主，保留3.5寸FCXSAS在业界的应用EMC：VNX系列（新产品，SAS2.0）IBM：V7000（新产品，SAS2.0）HP：P4000、P6000（新产品，SAS2.0）HDS：HUA系列（新产品，SAS2.0）Netapp:FAS3000/6000（混合架构）SAS架构FC架构低端中端高端包括EMC、IBM、HP、HDS在内的几乎所有厂家的产品（SAS1.0）HDS：VSP系列（新产品，SAS2.0）IBM：DS8800（新产品，SAS2.0）EMC：DMX系列HDS：USP系列（老产品）IBM：DS8700（老产品）极少数厂家EMC：CX4系列（老产品）IBM：DS5000HP：EVA系列（老产品）Netapp:FAS3000/6000（混合架构）SSD技术SSD功耗降低近80%，随机访问速度提升数十倍SSD不需要电池保护，保证提供持续的高性能读写服务功耗比较9W

2W

访问时间比较2-8ms0.09ms通过采用写合并、损耗均衡算法、增强型错误校验码(ECC)等技术，MLC的可靠性已经接近于SLCMLC、SLC将同时应用于企业级存储领域VSSLC每个单元承受擦写次数是MLC单元的10倍MLC的芯片颗粒读写速度仅为SLC的1/2-1/3相同颗粒数量，MLC的容量是SLC的2倍成本上，MLC远低于SLCVS新一代存储硬件技术

PCI-E2.0最高速的总线带宽技术，单通道带宽5Gb，16通道带宽80GbSAS2.0单端口带宽达到6Gb四路宽端口带宽达到24GbIntelJasper首次在CPU内置RAID加速引擎支持288GB的大容量缓存SSDPhyPhyPhyPhyPhyPhyPhyPhy四路SAS宽端口四路SAS宽端口6Gb*4SASX25-EExtreme(SLC),32GB,SATA,

ZeusIOPS,1TB,SATA,3.5”(MLC),256GB,

SATAII,2.5”SSD盘随机访问性能提升100倍价格大幅降低，容量接近机械硬盘PCI-E2.0通道编码数据速率单向双向×15Gbps10Gbps×420Gbps40Gbps×840Gbps80Gbps×1680Gbps160GbpsDDR31333(9*Slot)XOR引擎16PCI-EGen2QPIJasperForest多核处理器DMI南桥IO模块新一代存储IBMV7000架构设计(基于IntelJasper)CPU的PCIex16总线成为性能瓶颈控制器的核心连接设备是PCIeSwitch，其连接了FC主机接口(PCIex8)、后端SAS接口(PCIex8)、缓存镜像通道(PCIex8)以及一个扩展槽位(PCIex8)，这四部分的总共需要32通道的PCIe的带宽。但是其连接CPU的PCIe总线只有16通道，无法满足要求，这成为了系统的性能瓶颈。内存容量太小控制器只有2个内存插槽，最大只能配置8GB内存(单根4GB)，相比接口和总线速率，明显偏小。Intel平台在存储厂家的应用项目VNX7500DMX4-950架构X86RISC处理器至强560032*1.3GHz(共41.6GHz)最大缓存48GB128GB最大磁盘数1000360满配主机接口32*FC+16*IP16*FC+10*IP满配后端接口8*12GbSAS32*4GbFCIBM：新产品采用IntelJasperV7000：2010年Q4发布的新一代产品，采用IntelJasper平台，定位于现有中端产品，与DS5000持平V7000将IntelJasper的优势限制使用（如果将IntelJasper平台的优势完全发挥，将完全超越现有DS5000产品）项目V7000DS5000架构X86ASIC+CSIC处理器JasperASIC+Xeon最大缓存16GB32GB最大磁盘数240480满配主机接口8*FC+4*IP16*FC满配后端接口4*SAS16*FCEMC：Intel的全球顶级合作伙伴VNX7500：2011年1月发布，是采用IntelXeonWestmere平台，其已经接近甚至超越其高端入门级产品DMX4-950（VNX7500只有缓存配置偏小）VNX7500如果采用更强的IntelJasper平台并将其优势完全发挥，将会严重冲击其高端DMX产品Intel平台在存储厂家的应用（续）华赛S5000TS5000T：2011年Q1发布的新一代产品，采用IntelNehalem平台(Jasper前一代)，定位于现有中高端产品华赛S5000T的其它规格与EMCVNX7500相当，但内存规格高出数倍。项目VNX7500S6800T架构X86X86处理器至强5600至强5540（4x2.53GHz）最大缓存48GB48/96/192/GB最大磁盘数10001440主机接口槽位数1012个IO模块满配后端接口8*12GbSAS不足之处不足1：S5000T采用的至强5540处理器，属于Nehalem平台，是Jasper的前一代，无内置RAID加速引擎。不足2：S5000T的QPI连接用于2颗CPU之间互联，导致整体带宽不够，无法发挥所有端口的性能。宏杉MS5000架构设计IntelJasper多核处理器RAID加速：内置异或引擎，提高RAID效率QPI连接：CPU通过QPI连接IO模块，带宽超过100Gb超大容量高速缓存超大缓存容量：9根内存插槽，最大288GB内存访问加速：CPU直连内存，提升内存访问效率，带宽达256GbPCI-E2.0总线单通道带宽5.0Gb，前/后端接口及缓存镜像采用PCIex8，带宽达到40GbSAS2.0技术单通道带宽6.0