存储器那点事(六)企业级大存储器综述-1

1、存储器那点事(六)企业级大存储器综述-1 我们把上述体系架构成为Hi-Star架构，多年来，H系一直坚持了这种体系架构不变，从9900系列（包括9960、9910），9900V系列（包括9970V、9980V），USP系列（包括USP、NSC55）和USP V系列（包括USP VM和USP V）从体系架构上来讲皆变化不大。每一代的升级从本质上来讲是进一步提升了控制缓存和数据缓存交换机的带宽，提升前端主机通道接口的速度和数量，提升后端磁盘通道接口的数量和速度，以及提高数据缓存和控制缓存的容量。 第一代基于Histar交换架构H系存储器9900系列存储器，包括9960和9910两个型号。其中996

2、0最大支持512块磁盘，HP管叫XP512；而9910最大支持48块磁盘，HP那边叫XP48；第一代基于Histar交换架构H系存储器9900系列存储器第三代基于Histar交换架构H系企业级存储器上图是第二代基于Histar交换架构H系存储器9900V系列存储器，可以看到缓存交换机系统带宽从6.4GB/sec升级到了15.9GB/sec，包括9970V和9980V两个型号。其中9970最大支持128块磁盘，HP管叫XP128；而9980V最大支持1024块磁盘，HP那边叫XP1024； 而下图介绍了第三代基于Histar交换架构H系企业级存储器，这次不叫闪电系列了，改名叫USP（Univer

3、sal Storage Platform）系列了。可以看到存储器缓存交换机系统带宽从15.9GB/sec升级到了81GB/sec，包括USP和NSC55两个型号。其中NSC55最大支持240块磁盘，HP管叫XP10000；而USP最大支持1152块磁盘，HP那边叫XP12000。可能有看官会问，怎么一下子从512、1024跳到12000去了，难不成这个东东能够支持12000块磁盘？ 这其实是一共HP公司一个相当高明的比喻手法，因为从这一代开始这个存储器可以支持通过虚拟化存储的技术外接第三方存储器，所以总体支持的磁盘数量跨越了单台存储机箱的限制而大大增加了（就像飞流直下三千尺难不成李白同学还亲自

4、量过那个瀑布有三千尺的落差？） 第四代基于Hi-star交换架构的企业级存储器到了2007年，H系又再次更新到第四代基于Hi-star交换架构的企业级存储器，这次仍然是两款存储器产品USP V和USP VM系列（这一代的主要特点是增加了对于精细化预分配的支持，因此名字里面加了一个V）。可以看到存储器缓存交换机系统带宽从81GB/sec升级到了106GB/sec，HP这边管它们叫XP24000和XP20000。 下图是H系公司企业级存储更新发布的总览。 H系公司企业级存储更新发布的总览补充说明：前阵子笔者主持一个云存储用户大会，据中国惠普一个存储高层领导透露，HP公司将要将存储器整合重新命名。比

5、如所有存储阵列都叫HP Storageworks P系列，那么原来的HP XP系列将属于P9000系列，HP EVA好像是属于P6000系列，HP MSA2000将属于P2000系列，而前几年收购的Lefthand公司的产品是属于P4000系列，不知道有没有给新收购的H3C的IX3000和IX1000系列留下位置？莫非就叫P1000和P3000系列？而所有的磁带库都叫A系列，所有的NAS叫X系列，因此大家在采购各家存储厂商的产品的时候请注意一下其最新的命名规则。基于DMX直连矩阵的EMC DMX存储器体系架构可以说企业级存储市场，2000年以前EMC公司是处于绝对垄断地位，后面几年慢慢地被两家

6、后起之秀（IBM公司和日立公司）抢了不少份额，可以说当时EMC在存储器体系架构方面拘泥于MOSAIC 2000架构一直无法实现突破。厚积薄发，在2003年2月EMC终于推出了一种划时代的创新产品Symmetrix DMX系列，开始了在企业级存储市场的有力反击。 下图是EMC Symmetrix DMX的体系架构图： EMC Symmetrix DMX的体系架构我们来分析一下EMC DMX的设计思路，企业级存储器的设计说到底还是要解决多个部件高速互连的问题，总线设计已经证明行不通了，交叉开关crossbar的思路被H系抢了先，有没有更加先进的思路呢，俗话说：如果你不能拥有它（实话说这crossb

7、ar技术蛮有技术壁垒的），那么最好的方法这就抛弃它换个思路突破，这就是EMC DMX系列推出来后的突出亮点。 DMX存储器的核心交换部分干脆就抛弃了原来的缓存高速交换机和缓存总线的设计思想，干脆采用了一种各部件直连的体系结构，把主机前端接口和后端磁盘接口直接接到缓存上以避免了总线和交换机的延迟（当然其实在缓存上还是有其他转接部件存在以连接前端存储卡和后端存储卡的，但不管怎么样直连DMX听起来也不输给所谓crossbar无阻塞交换架构，总算打平了）。 根据EMC公司官法资料介绍，Symmetrix DMX系列存储器的直连矩阵架构采用了其专利、有革命性意义的全新Direct Matrix Arch

8、itecture（直连矩阵架构），为可扩展性、灵活性、可用性设置了新轨道。从体系架构设计思路来讲还是有一定道理的。 从2003年第一代Symmetrix DMX存储器推出后，EMC的高端存储器一直坚持此种体系架构，包括DMX/DMX2系列（包括DMX 800、DMX1000、DMX1000P、DMX2000、DMX2000P和DMX3000），DMX3系列（包括DMX-3 950和DMX3），和DMX4系列（包括DMX-4 950和DMX4），直到2009年EMC又与时俱进地推出了基于Scale out设计思想的Symmetix V-MAX系列存储器。 下图是DMX/DMX-2发布的产品分类

9、DMX/DMX-2发布的产品分类紧接着在上一代的基础上EMC发布了DMX3系列，分为DMX3-950和DMX 3两个型号，仍然采用缓存部分DMX直连通道架构 EMC发布DMX3系列而EMC也马不停蹄在2007年发布了Symmetirx DMX4系列，分为DMX4 950和DMX4两个型号，磁盘后端接口采用了4Gb/sec的后端光纤通道，其中DMX4最大可以支持到512GB缓存，其缓存直连带宽高达128GB。另外DMX4有一个很大的亮点是2008年初EMC宣布成为业界第一个将在高级储存产品上提供固态硬盘（solid-state drives, SSD）的存储器厂商，客户可选择以73GB和146G

10、B二种容量的固态硬盘（当然现在有了更多SDD磁盘类型的选择），取代部分磁盘阵列中的传统硬盘，以加快反应速度，EMC把基于SDD的磁盘称作tier 0，SDD改变了传统存储器的很多游戏规则（当然紧接着其他公司也立马推出了SDD产品），SDD在随机cache不命中的IO环境中（多用于OLTP数据库交易系统）的表现是非常突出的。 Symmetirx DMX4系列当然在2009年EMC又突破性地推出了Symmetrix v-max企业级存储器，它将突破现有的scale-up架构，而转向了scale out架构，此方面会在其他章节中描述，在本节中就不多叙述了。逐鹿中原，百花齐放到底是H系公司的cross

11、bar架构好，还是EMC公司的直连式架构好，有人说交换机灵活扩展，也有人说直连式架构高效快速，还有人说其实IBM基于Seascape架构的企业级存储器拥有Power芯片的核动力才是真正的最高性能存储器其实这是在企业级存储市场在产品选型时经常被提到的问题，也需要广大系统管理员和用户自己好好考虑。但有一点是肯定的，高速低延迟的背板或直连技术是做企业级大存储器的关键之一。 我一直强调，其实存储器本质上也是一种计算机，所以其他高级服务器器也会碰到同样的问题，比如HP新一代的Superdome刀片开始用上了Infiniband交换机连接多个刀片处理器，而最近很火的一个机器就是Oracle新发布的Exad

12、ata Ver 2.0，据说是速度惊人，说白了其关键核心是独家采用了最先进的Infiniband交换设备40 Gb/sec fault-tolerant unified server and storage network，整个数据库机内部配置了3个36-port QDR Sun Datacenter InfiniBand Switches，也就是通过他把很多个小服务器串接起来高效工作。具体配置见下图。 Oracle Exadata Ver 2.0具体配置统一大缓存存储器的其他产品除了EMC/HDS以外（HP属于OEM日立的存储设备），还有一家就是富士通的高端存储器了。 富士通Eternus

13、6000的体系架构图富士通的存储器也分为两个档次，基于模块化集群架构的Eternus 4000系列（上一代是Eternus3000系列），还有就是企业级的Eternus 8000系列（上一代是Etnernus 6000系列）。上图是富士通Eternus 6000的体系架构图，其基本思想是以高速RT（Router）做为核心交换部件，把控制器CM（即control module，控制器。所有的前端端口均配置在各个CM上，CM本身可以扩展）、前端主机接口卡（CA）和后端磁盘接口卡（DA）连接起来。其整体设计思想与H系公司和EMC公司存储器基本上类似，无非是用高速Router代替了crossbar交换机和DMX直连矩阵。 值得一提的是富士通在控制器上率先使用了高速Intel通用处理器用来提高处理速度，这一点走在H系和EMC公司前面（H系公司的存储器一直采用MIPS芯片，而EMC直到2009年最新的V-MAX发布前一直是采用的powerpc芯片）。 一个完整的富士通6000、8000的连接示意图如下所示： 富士通6000、8000的连接示意图还有一家NEC公司生产的高端存储器也是采用类似体系架构设计，但在国内成功案例较少，笔者在本文中也就不多做介绍了。 大家也许会奇怪，为什么没有提到IBM，其实在我看来在行业里赫赫有名的IBM Shark系列（现在又叫DS8000系列）虽然也是性