存储网络SAN教战手册

思科SAN产品（MDS）技术优势1体系架构2VSAN以及IVR3SAN远程连接4FICON5PortChannel6VMware环境思科SAN产品（MDS）技术优势1体系架构优势

Ciscovs.Brocade--两种不同的交换体系架构Brocade共享内存交换

简单,低成本设计

保存在缓存种并等待被传输

共享缓存的速率是最主要的限制，因为ASIC的可用缓存空间非常有限

访问缓存的过程没有仲裁

提供了一个极其有弹性的，高容量的交换体系架构

当frame被交换时，会在进端口和出端口之间建立一个临时的连接

使用虚拟输出队列可完全消除阻塞

使用仲裁机制实现队列交换预测，优先级控制以及平等交换IngressSystemControllerSharedMemoryEgress123…16CiscoCrossbar交换

IngressEgressCrossbarControl,Scheduling1体系架构优势

－

总结CiscoMDSCompetitor架构特点具有中央仲裁机制的Crossbar架构没有中央仲裁机制，基于共享内存，交换机内部即为级联模式性能、延时可预知的，无阻塞的线速交换不可预知的，易于发生阻塞，非线速交换Buffer-to-buffercredits大，意味着不易出现Buffer被充满的情形；同时，交换机级联的距离可以更远小，意味着易出现Buffer被充满的情形，即发生阻塞；同时，交换机级联的距离近虚拟输出队列（VOQ）针对物理端口划分不同的虚拟输出队列，避免单一连接的阻塞导致整个端口阻塞无此机制，当某一连接发生阻塞时，会导致整个端口阻塞针对错误包的处理机制当侦测到错误的数据包（例如CRC错误，无结束标记等），MDS会主动丢弃错误的数据包，避免其对整个SAN的影响无此机制*，导致错误的数据包会扩散到整个SAN中，占据有限的buffer资源，最终导致整个SAN性能下降中央处理模块故障的影响完全的冗余设计，当一块Supervisor板故障时，整体性能没有下载当一块CP或CR故障时，处理能力下降一半，性能下降一半*在Brocade的微码6.4.0b以后，似乎增加了对错误包的处理，但只是限于告警，而非主动的应对机制关于架构的优势，实战中应以早期引导客户为主，让客户感觉技术的优势，可以辅助一些第三方测试报告，见backupslides。VSANs,定义为VirtualFabrics,为ANSIT11标准FC-SW-4andFC-FS-2specificationsVSAN可将一个物理SAN分隔成多个虚拟SAN每个VSAN在硬件隔离的情况下可以有独立的Fabric服务ZoningServerwithseparatezonesetsNameServerDomainManagerRoles-basedAccessControls(RBAC)DomainIDsFSPFRoutingVSAN可以按端口级别分配ISL可以承载多个VSAN的流量ISL可以指定给某个VSAN专用VSANheaderisaddedatingresspointindicatingmembershipNospecialsupportrequiredbyendnodesEnhancedISL(EISL)TrunkcarriestaggedtrafficfrommultipleVSANsVSANheaderisremovedategresspointZoningServer,NameServerFSPF,DomainMgrRole-basedAccessControlsZoningServer,NameServerFSPF,DomainMgrRole-basedAccessControlsCRM

VSANERP

VSANZoningServer,NameServerFSPF,DomainMgrRole-basedAccessControlsZoningServer,NameServerFSPF,DomainMgrRole-basedAccessControlsCRM

VSANERP

VSAN2VSAN以及IVR

Cisco虚拟fabric(VSAN),静态隔离整合的fabric2VSAN以及IVR比较优势(1)特点CiscoVSANsBrocadeVirtualFabricsCiscoMDS优势支持的交换机MDS9100系列，刀片交换机，MDS9200系列,MDS9500系列仅有DCX/DCX-4S,5300，5100AllCiscoMDSswitchessupportVSANs所有的CiscoMDS交换机支持VSAN每个交换机的SAN个数所有平台–1024DCX/DCX-4S–85300–45100–3CiscoMDS提供多得多得VSAN来支持客户的需求Frame在共享ISL上打标记

是是–带有限制不支持FICON,虚拟Fabric路由,McDATA互连,ICL端口,FC路由边缘交换机，

GbEFCIP端口CiscoMDS不会增加任何强制的限制来部署VSAN，在整个fabric种FICON支持是Yes–带有限制每交换机仅支持2个FICON虚拟fabric,

不支持ISL共享CiscoMDS不会增加任何强制限制来部署FICON隔离虚拟Fabric是NoIfaVirtualFabricisremoved假如一个VirtualFabric被删除,所有设备被转移到一个激活的virtualfabricCiscoMDS用一个隔离的VSAN来放置被删除的VSAN设备特点CiscoVSANsBrocadeVirtualFabricsCiscoMDS优势缺省VSAN是否必须手工激活VirtualFabricMDSVSAN是交换机整体的一部分，不是额外的特性受限的特性否是以下特性在virtualfabric被激活时受限制或不支持:AdminDomain–不支持加密–仅在缺省逻辑交换机中端口镜像–不支持TrafficIsolationZoning–不支持CiscoMDS支持任何NX-OS的特性，没有限制VSAN间的路由是VSAN间的路由(IVR)可通过背板从任意端口到任意端口是–带有限制需要使用外部端口,SFPs,virtualfabric和baseswitch之间需要使用外连线.Requiresusinglinecard需要使用端口板上的端口(每个连接4个)来连接virtualfabric.

假如需要更多带宽，则需要使用更多的端口(需要4个8G端口)CiscoMDSIVR被内置在交换机中并可使用整个背板的带宽2VSAN以及IVR比较(2)3SAN远程连接

SAN远程连接技术Shortdistance~<=100kmFCoverDWDM/CWDM同城范围内的灾备基于裸光纤专用线路低延时，适合同步数据复制的灾备Local

DatacenterSANSANSANIPRouted

WANSANSANSONETSANMediumdistance~<=160kmShort–Longdistance0-5000+kmLocal

DatacenterLocal

DatacenterRemote

DatacenterRemote

DatacenterRemote

DatacenterFCoverSONET/SDH中距离的灾备不能采用裸光纤的情形传输链路可能是共享的适合大多数数据复制环境FCandFICONoverIP通常用于异地灾备不能采用裸光纤的情形传输链路可能是共享的通常用于异步数据复制的灾备DarkFiberIncludes

integrated

Compression

&Encryption3SAN远程连接的优势思科可以提供完整的远程SAN连接方案，包括SAN，DWDM，SONET和IP，技术融合更好相对来说博科需要和第三方合作，才能提供完整的方案。实施中，难于统一协调各方配置；出现问题后，容易互相推诿。MDS本身即有CWDM和DWDM模块，集成度高，降低用户的整体方案成本博科本身不提供CWDM和DWDM模块端口的Buffer更大，即意味着在相同传输速率下，连接的距离更远思科最大为5590，相比较博科为1292思科的FCIP方案集成了硬件压缩和优化的TCP处理技术，传输效率更高，通常可以达到4:1（相比较博科通常为2:1）；同时，FCIP还具有数据加密功能，保证异地数据传输的安全支持多块卡的FCIP端口捆绑，而不需额外的软件许可费用博科只能支持单一板卡的多FCIP端口捆绑，不具备高可用性博科如果需要多端口捆绑，则需要单独的TrunkingLicense针对复制的优化技术，例如IOA等，在特定的灾备方案中，极大提高传输效率博科没有相应的优化4FICON

思科MDS是替代原有FICONDirector的首选MDSFICONDirectorMDS从设计初即支持FICON连接MDS的无阻塞架构保证了IBM主机系统对I/O的低延时要求MDS的虚拟SAN技术，可以很好地隔离各FICON连接，使得生产、开发/测试互不干扰从原有的FICONDirector迁移到MDS环境，原有主机的IOCDS定义无需修改，可以在MDS上配置与原有FICONDirector相同的端口地址4FICON环境中的优势MDS是成熟的FICON产品，可以支持最新的zHPFMDS架构的无阻塞优势，更好地满足IBM主机系统对I/O低延时的要求博科的交换机在跨ASIC交换时，时延极大地增加且无保障MDS的VSAN技术优势，可以很好地隔离客户的生产和开发/测试环境，降低成本相对来说，博科的LSAN技术有很大的限制MDS可以灵活地支持多种远程SAN连接方案，对于远程传输有极大的优化MDS针对IBM的XRC（基于主机复制的远程灾备方案，目前四大商业银行均采用此方案），有极大的优化5PortChannelsvs.TrunkingBrocade同一板卡同一ASIC同一端口组Trunk只允许最多8个ISL同一个故障域并不支持高可用性Cisco不同的ASIC不同的端口组PortChannel允许最多16个连接多个故障域提供了高可用性DCXTrunkingMDSPortChannels在实战中，明确支持基于不同板卡形成级联链路的捆绑，以保证高可用性。另外，从性能上考虑，需要支持最大16条线路的级联链路捆绑。5PortChannel的优势PortChannel有更高的可靠性和灵活性

－

分布在不同板卡，不同端口组上PortChannel有更高的适用性

－

无master/slave概念，可适用于IVR链路更高的聚合带宽

－16x10Gvs8x8G更好的长距离性能免费提供6VMware环境优势提供可预测的，稳定的运行速率可提供VM层面的VSAN和IVRVM层面的QoSVM层面的安全访问控制VM层面的距离延伸（通过FC或FCIP)思科SAN产品（MDS）应用场景1SAN整合/核心－边缘体系结构2灾难备份3FICON环境4VMware应用环境5存储加密(SME)6数据迁移(DMM)7SAN安全管理8智能存储应用(SANTap)9FCoE应用环境思科SAN产品（MDS）应用场景部门二的SAN部门三的VSAN

独立的物理SAN，存储难以在部门间共享

每个物理SAN需要配置独立的冗余端口，成本高

需要管理的交换机数量多，管理工作量大

各个SAN端口不能迁移CollapsedFabricwithVSANsCiscoMDS9000Family部门三的SAN部门一的SAN基于应用或部门的SAN孤岛部门二的VSAN部门一的VSAN在VSAN间建立统一的存储资源共享池

统一的物理SAN，存储易于在部门间共享

统一规划冗余端口配置，降低成本

所需管理的交换机数量少，管理工作量小

端口可以方便地在VSAN间迁移，易于调整与配置Industry

First!SAN的整合与资源共享灾备方案的SAN环境HR

SANSales

SANMarketing

SANSANExtensionServices利用思科的VSAN及IVR，将生产环境与灾备环境相连接，但避免异地SAN融合采用基于磁盘复制的灾备方案，往往都是在实现了存储整合的基础上，即实现了业务处理、数据的大集中生产数据采用基于磁盘复制的灾备方式，例如EMC/SRDF，HDS/UR，IBM/MM、GM等客户可以按照需要，选择两中心灾备模式，两地三中心高可用灾备模式，或多中心高可用灾备模式对SAN的要求是实现FiberChannel（FC）的远程传输，以实现SAN的同城、异地连接，保证数据复制选择同城、异地的数据复制，决定于客户的应用对灾备目标的选择以及对远程数据复制时延的忍受程度大规模的SAN网络设计模式1616161616161616存储设备磁盘阵列服务器：双链接到冗余的交换机方案特点：整体架构采用核心－边缘的设计，核心与边缘之间采用多路的高可用PortChannel连接，保证性能与高可用性。整体架构的扩展能力强，核心建议采用MDS9513，其本身的扩展能力非常强，单台可以提供528端口的连接。边缘配置灵活，可以从MDS全系列中按需选择。存储设备连接到核心层面，提供给服务器的共享存储，可以满足不同部门共享存储的需求。服务器遵循高可用性的设计原则，对称连接到冗余的边缘交换机上。MDS的VSAN功能可以很好地实现对不同虚拟存储网络的隔离，可以隔离生产与办公、开发、测试等环境；同时帮助客户更有效地利用存储，可以很快地帮助客户复制生产环境的数据到开发、测试环境。CorporateHQRemote

SitesBackupServers使用集成FICONoverFCIP实现灵活的远程访问和数据复制

Cisco的技术简化了业务连续性适合各距离要求的解决方案CWDMSFPsDWDM及SONET光产品MDS9000IP存储服务板卡CWDMIP

网络FCIP跨越全球的距离MDS9509IPS-8DWDM/SONETIPS-8MDS9000MDS9000MDS9000中国建设银行中国建设银行方案特点：超大型SAN网络设计和部署洋桥数据中心采用双fabric,每fabric双核心-边缘体系架构，最大限度的提升系统可用性和可扩展性MDS9513无阻塞的体系架构保证作为SAN核心提供最优的业务性能MDS9513高端口密度和高带宽保证了各楼层机房与核心之间互连有足够的冗余性和带宽洋桥核心MDS9513仅用来连接各楼层机房和亦庄机房的边缘SAN交换机，不连接任何设备经过计算的超载比优化系统端口的分布和PortChannel的利用率VSAN的应用将多个业务清晰的隔离并可对不同业务实施不同的管理策略洋桥与亦庄机房全部SAN交换机，以及中间的链路DWDM连接设备全部由Cisco提供，为客户提供了全局的解决方案架构支持未来FCoE设备的连接针对客户现有第三方SAN环境的策略和切入点策略一：先渗透，再迁移整体上，建议客户从进一步SAN整合入手考虑设计，从架构优势和整体方案上，介绍思科SAN方案的优势。在过度阶段，有可能出现与第三方SAN共存的阶段。在设计上，尽量采用双SAN架构的设计，即思科SAN与第三方SAN各自独立，这样，即避免了兼容性的问题，又可以相互备份。在上述方案的基础上，逐步扩大思科SAN环境。第一步将新的系统接入到思科SAN环境，让客户初步尝试思科SAN的好处；第二步将现有的一些核心业务迁移到思科SAN环境中；最终完成所有核心生产系统的迁移。这样，能充分发挥思科SAN的优势，让客户满意。思科有相关的服务部门提供SAN迁移的服务。在博科FOS6.4.0后，博科封闭了对第三方SAN交换机的连接！这意味着客户选择博科，那么将被迫与博科的未来绑定，这及其不符合开放市场竞争的原则，希望客户慎重考虑。相对来说，思科的SAN交换机设计更符合开放的标准，可以给客户更多的选择。策略二：灾备与生产独立建设在客户建立生产中心的SAN环境，同时考虑到灾备中心的建设时；或客户稍后考虑灾备中心建设时，是思科SAN很好的切入点。一般情况下，灾备中心的SAN环境可以独立于生产中心的SAN环境，可以在灾备中心让客户采用思科的SAN方案，这样，避免了兼容性问题。同时，可以向客户推荐思科的远程SAN连接方案，作为整体灾备方案的一部分。此远程SAN连接方案，尽量只涉及存储之间或服务器与存储之间的连接，这样也避免了与第三方SAN的兼容性问题。MDS在国内的主要客户SP:中国移动(16省)中国联通(10省)中国电信(14省)GovernmentandEnterprise:

铁道部国家电网部分省公安厅／局部分省财政厅／局国税总局部分地方税务局FSI:中国银行中国建设银行中国农业银行中国人民银行交通银行招商银行民生银行华夏银行中信银行广发银行中国银联广发银行

CCTV青岛海尔一汽大众上海汽车东风汽车首都机场浦东机场中国人民保险公司中国人寿上海证交所国泰君安证券中信证券海通证券MDS9000系列产品中国区联系人NameTitlePhoneE-mail王放PSS(010)8515588013331017637fawang2@刘劲春（Jerry)CSE(010)8507786813801222962jerrliu2@黄大川DCArchitect(010)8515595713701269364dachuhua@黄学军（Jason)CSE(010)8515582213910330200jahuang2@Backupslides8Gb环境下的性能测试Miercom测试BrocadeDCX带有2块32端口板，16个单一方向数据流，

1个8G数据流，31个4G数据流Miercom报告“CiscoMDS可以通过所有混合速率环境的的测试，但是在某些条件下，Brocade却显示出一定的性能下降，最多高达50％！当31个端口并发混合速率4G模式被应用时，一个8-Gbps连接的吞吐量从840-Gbps降低到420-Gbps。

DCX是有阻塞的交换机

8G只能达到4G的传输带宽.CiscoMDS与Brocade本地交换的对比测试（1）373839401314151633343536910111229303132567825262728123445464748212223244142434417181920混合数据流，8个initiator,1个target每个initiator应该有105MB带宽到target数据流吞吐量时延Port3toPort1105MB12usPort9toPort1105MB14usPort15toPort1105MB12usPort21toPort1105MB14usPort27toPort1105MB15usPort33toPort1105MB15usPort39toPort1105MB13usPort45toPort1105MB16usTotaltoPort1840MB测试:结果:SANtester有固定的，随机的和增加的OXID队列任何流量都不受影响–一致的公平的性能Cisco测试结果CiscoMDS与Brocade本地交换的对比测试（2）混合流量从4个initiator到1个target每个initiator应该得到210MB的带宽TrafficFlows:端口15到端口31–本地交换端口30到端口31－

本地交换端口7到端口31－

背板交换端口23到端口31－

背板交换Condor2ASIC(40x4G)88x8GunusedCondor2ASIC(40x4G)321068x8Gunused7121314151918171622232829303191011242526275421208x8G8x8G8x8G8x8G282930311213141524252627891011202122234567161718190123Brocade测试结果CiscoMDS与Brocade本地交换的对比测试（3）FlowThroughputLatencyPort30toPort31110MB154usPort15toPort31110MB154usPort23toPort31310MB383usPort7toPort31310MB383usTotaltoPort31840MBSANtester使用随机OXID队列本地交换流量受到影响SANtester使用固定OXID队列本地交换不受影响FlowThroughputLatencyPort30toPort31240MB69usPort15toPort31240MB69usPort23toPort31180MB230usPort7toPort31180MB230usTotaltoPort31840MBBrocade本地交换或非本地交换都无法实现线速，且相互干扰Brocade测试结果BrocadeDCX并不阻止损坏的数据沉默的数据损坏总是会发生的，这对业务来讲是灾难性的DCX在SAN中转发损坏的帧这将导致消耗故障排除的时间和精力偶尔发生的性能问题必须要追踪数据损坏CiscoMDS检测并丢弃损坏的帧，防止fabric阻塞和数据损坏，并可根据事先定义好的阈值关闭损坏的端口FCFrameFramewithbadCRC…FCFrameBadCRCisforwardedthroughDCXBadCRC*DataCorruptionatNetflix:/2008/08/shipping-delay-recap.html坏帧测试(1)Brocade交换机向全fabric转发有CRC错误的帧Brocade交换机依赖于相连的设备来丢弃收到的坏帧Brocade交换机对进入fabric的坏帧没有保护机制，这个坏帧可能来自：一个损坏的HBA卡一个损坏的SFP模块一条损坏的线缆客户为什么要接受这样的处理方式？CiscoMDS会自动丢弃损坏的帧坏帧测试(2)Initiator101/1Initiator101/2Initiator101/3Initiator101/4Initiator201/1Initiator201/2Initiator201/3Initiator201/4Initiator301/1Initiator301/2Initiator301/3Initiator301/4Target102/1Target202/1Target302/148000DCX9509坏帧测试(3)Initiatorx01/1Initiatorx01/2Initiatorx01/3Initiatorx01/4Initiatorx01/1-没有错误Initiatorx01/2-没有错误Initiatorx01/3-CRC错误Initiatorx01/4-丢弃帧尾

Targetx02/1交换机坏帧测试(4)Initiator错误结果48000Initiator101/1无错误Passedframes传输帧Initiator101/2无错误Passedframes传输帧Initiator101/3CRC错误Passedallframes

传输所有帧Initiator101/4丢弃帧尾

Passedallframes传输所有帧DCXInitiator201/1无错误Passedframes传输帧

Initiator201/2无错误Passedframes传输帧

Initiator201/3CRC错误Passedallframes传输所有帧

Initiator201/4丢弃帧尾

Passedallframes传输所有帧MDS9509Initiator301/1无错误Passedframes传输帧Initiator301/2无错误Passedframes传输帧Initiator301/3CRC错误丢掉所有帧

－当到达阈值时关闭端口Initiator301/4丢弃帧尾

丢掉所有帧

－当到达阈值时关闭端口PortChannel测试(1)服务器IBMpServer配置两块HBA卡操作系统版本：AIX5.3TL11存储EMCsymmetric主机上配合EMC的Powerpath多路径软件交换机CiscoMDS9509和MDS9513各一台，配置FC模块测试环境拓扑结构SingleFabricDualFabricPortChannelTest(2)测试方法通过SMIT在其上创建的ciscovg，然后创建了两个文件系统。在其中一个文件系统（源文件系统）中预先拷贝了11GB左右的文件。在测试中，通过cp的方式，将这些文件拷贝到另一文件系统（目标文件系统），来模拟应用系统的并发的读写I/O。在测试中，通过在服务器上的iostat命令查看HBA卡和磁盘的I/O状况。PortChannelTest(3)测试结果测试步骤服务器I/O的表现交换机端口表现1Shutdownfc2/2服务器I/O