EMC-DMX存储的物理架构与逻辑架构

1、EMCDMX存储的物理架构与逻辑架构DMX存储概述DMX存储硬件的物理与逻辑架构能够实现最大限度的将一个lun的io最大限度分摊给硬盘,DAE盘阵的环路；一个lun的io同时也平均分摊给后端的存储cpu.从后面文档设备连接的介绍可以知晓.DMX的架构做到了最大限度的打散数据以达到性能最大化；性能最大化的硬件配置是一个控制柜加两个与控制柜存储cpu端口直连的磁盘柜；存储卷vol以及4个volmeta(绑定)条带化以后就避免了热点(hotblock)读写的问题.将任何一个lun的读写io操作做到由最多的硬件资源来支撑.硬件资源主要是硬盘,DAE盘阵环路，存储cpu，存储缓存.DMX存储安装配置是通

2、过加载预先配置好的binfile来部署的;binfile定义了物理架构与逻辑架构的配置定义整个存储当前硬件配置如何被使用规划好,以后修改配置就得重新装载binfile也就是重新配置整个存储.Binfile的加载以及整个存储的管理通过console服务器上的软件symmwin来操作console服务器通过电话线moden与EMC支持中心连通.EMC技术人员通过电话线的拨号拨入方式可以做到完全掌控存储设备.本文档关注存储设备架构方面，管理方面的gk盘,ecc等不做赘述.二.EMCDMX存储的物理架构1.存储外观及各个模块介绍(1)外观DMX由一个控制柜加磁盘柜组成，通常带2个或者5个磁盘柜我们公司

3、为了性能最大化,配置满配的前端后端卡,只挂2个磁盘柜.再扩展磁盘机柜只增加空间,性能不增长.前视图：中间系统柜,前视图：中间系统柜,左边是BAY1A；右边是BAY1B(2)物理构成模块图示:(打开机柜门前视图)DA卡cpu端口与硬盘的连线图示：这里的图示是端口所管理的硬盘，是指硬盘的主环路(BUSloop)，实际情况物理联线只连接到DAE的LCCA&LCCB端口.OEOE0OtoQ305OA09020100OPOCOEOR070403OAne07ee050403:0201OPocOE连接口15D-L02D-L15D-L02D-L15D-L02D-L15D-LCI2D-LI1SD-L02D-L1

4、5D-L02D-L15D-L连接口02D-0OEOE0OtoQ305OA09020100OPOCOEOR070403OAne07ee050403:0201OPocOE连接口15D-L02D-L15D-L02D-L15D-L02D-L15D-LCI2D-LI1SD-L02D-L15D-L02D-L15D-L连接口02D-015D-002D-015D-002D-015D-002D-n15D-002D-015D-002D-015D-002D-015D-002D-0站卡竝DDAE12DAE16D盘卡1玉D每个DA卡管理2个DAE盘阵,同时每个盘阵归两个不同DA卡的端口管理;能互相接管对方环路的硬盘,也

5、就是互为standby环路.DA卡cpu与DAE盘柜的对应关系1.DA01,DA16管理BAY1A的DAE1至IDAE8;DA02,DA15;管理BAY1A的DAE9到DAE16;DA05,DA12;管理BAY1B的DAE1到DAE8;DA06,DA11;管理BAY1B的DAE9到DAE16;按照这个接线规律管理DAE盘阵.也就是说每个DA卡有4个cpu，每个cpu两个端口;一个cpu端口管理一个DAE盘阵的一半的硬盘（7或8块），另外一半的硬盘standby模式，也可以接管.（下面两张图可以描述这种物理连接关系）DA01DAO2DAO5D&O6DA11DA12DA1E1D1*DooD1.门D

6、A01DAO2DAO5D&O6DA11DA12DA1E1D1*DooD1.门uMDA卡cpu端口与DAE盘柜的对应关系（接线规律）CPU从a到d按照从左到右的连接顺序连DAE盘阵；下面一排的DAE都是被cpu两个端口中的0端口管理；上面则接1端口;（这是接线的规律）DA01DAC2DAOEiDA06DAllDAI2BAISDAI3DAE3DASHDAE15DAEieEDIoDIClnT辛BlDIX3DODODODODODODO4DOAE9DAH11mm三-G1-.Cl-OClJ*cocoCOcodco呀L、I、ASSxQAE7AElElBlBl逆、ElVA.LUf*ovEQE?O帚、斑、警P恥

7、OE0DAE1EAE2D盘E虫AlAlAlAlAlAl.仝Al”qAlj-iOOO*7AC、AOAOAOxo一。AOqAO三.EMCDMX存储的逻辑架构存储最小的可用单元是cylinder(每个cylinder960k);每个cyln由15个64k的块组成.每个硬盘以cyln为单位划分成n个hyper(也叫切片)以DA02D1:05(DA卡2，Dcpuport1口管理的DAEID5硬盘为例)DA02D1:05硬盘被切成了14块,前面9块都是16570cyln的大小的数据空间，后面5块是3cyln的管理用的GK盘.然后以16570cyln为单位的15GB(16570*960k/1024)大小的h

8、yper来与其他硬盘里面的同样是16570cyln的hyper来做镜像成为一个卷(vol).大多数情况下某个硬盘里面的数据(vol)与另外一个硬盘的数据一摸一样.看如下图示：镜像1是M1,镜像2是M2.互相交叉.后面的6,7,8都是同样情况,两块硬盘数据一样,镜像1镜像2交叉放.卷volume分配给主机的时候都是连续地分配出去,而如下图两个硬盘里面的vol都是不顺序的，是打散的，这样就打散了主机对存储读写的io.DA02D1:05D)A02D1:05Fields-ASGFS1hypers1gapsFields.ASGFShypers1gapsIDVolTypmEmulationCylsMirM

9、emberIDVolTYPeEmulationCylsMirMember005EBM2FBA-SO16570C20006EBM1FBA-SO16570C10106C5M1FBA-SO16570C10106C5M2FBA-SO16570C202079FM2FBA-SO1657OC202079FM1FBA-SO1B570C1030679M1FBA-SO1657OC1030879M2FBA-SO16570C20|40953M2FBA-SO16570C2040953M1FBA-SO16570C1050A2DM1FBA-SO16570C1050A2DM2FBA-SO16570C2060B07M2FBA-

10、SO16670C20S0B07M1FBA-SO16570C1010BE1M1FBA-SO16570C101OBE1M2FBA-SO16570C208OCBBM2FBA-SO16570C20sOCBBM1FBA-SO16570C109OOC7M1FBA-SO3C10g00C7M2FBA-SO3C20A01A1M2FBA-SO3C20A01A1M1FBA-SO3C10|b027BM1FBA-SO3C10B027BM2FBA-SO3C20c0355M2FBA-SO3C20C0355M1FBA-SO3C10D042FM1FBA-SO3C10D042FM2FBA-SO3C20DA15D1:06DA01D

11、1:06DA02D1:07DA16D1:07DA15D1:08DA01D1:085.当前dmx系统都是每个卷Volume由4个小卷meta条带化;如下图示:每个卷底层都是由8个硬盘来支持,并且由八个cpu通道来支持,因为八个硬盘都算来自不同的硬盘DAE盘阵,能达到最佳的IOPS.dmx系统只将MetaPosition0的卷名（meta位置0的）映射给主机，一个卷也就是作为一个lun来使用.这里举例的情况是两个hyper先镜像,然后4个用powerpath工具powermt看LogicaldeviceID例如:Pseudoname=emcpowerbdSymmetrixID=000290105785LogicaldeviceID=05EBstate=alive;policy=SymmOpt;priority=0;queued-IOs=0-Host-Stor-I/OPath-Stats-Q-IOsErrors#HWPathI/OPathsInterf.ModeState2qla2xxxsdbqFA14dAactivealive003qla2xxxsdevFA13dAactivealive003qla2xxxsdgoFA14dAactivealive004q