Brocade博科SAN网络设计实施方案

Brocade博科SAN网络设计实施方案————————————————————————————————作者：————————————————————————————————日期： Brocade网络项目设计方案

Contents一. 文档目标 3二. SAN网络设计原则 3三. SAN网络架构拓扑建议 4四. SAN总体架构介绍 5五. 设备选型 6六. 交换机高端功能简介 7七. 数据中心SAN的组成及扩展 8八. SAN网络配置规范 10九. Firmware建议 12文档目标为了配合数据扩展特制定本技术指引。本指引将会包括以下内容：更好地规划、合理地使用SAN架构及相关资源针对未来业务发展带来的SAN架构扩展提出原则对现有的设备端口资源以及未来可能投入的新资源进行合理的配置规划对SAN设备相关的安全策略和监控管理提出相应规范SAN网络设计原则对于金融服务环境等要求最高可靠性、性能和弹性的任何基础架构来说，存储网络架构都是基本的组成要素。事实多次证明，如果在这些方面投机取巧走捷径，那么将来发生本可避免的故障时，企业将付出更大的代价。一旦产生故障除了极高的宕机成本以外，还会导致生产率下降、法律和监管合规性影响、信心和信任度的下降、市场声誉受损等后果。所以博科对于SAN网络架构非常重视，根据博科20多年的存储网络经验，建议按以下原则设计存储网络。最小化所管理Fabric架构的数量-Fabric架构越少就越容易管理。最小化每个Fabric架构中交换机数-使用如大型导向器可简化管理，将可能的Fabric架构中断情况降至最低。限制Fabric架构规模-Fabric架构规模应加以限制使用高可用性高的交换机-即使SAN拥有冗余架构可用于故障切换，也没有人希望其中一条数据路径出现问题。避免大负载比，防止造成拥塞或性能降低-任何负载比都应适当地加以设计。大型环境采用核心-边缘模式-核心-边缘设计模式可支持更大型多Fabric架构的创建，有助于简化日常管理任务，便于解决问题。针对存储流量进行设计-在SAN环境中响应时间是以毫秒甚至纳秒及进行衡量的，牢靠的SAN设计必须提供可靠且一致的I/O响应。资源就近访问原则-主机访问存储或存储间访问因采用就近原则，即使用尽可能少的跳数完成访问。SAN网络架构拓扑建议SAN网络架构拓扑包括网络边缘的设备、网络核心的交换机以及将它们连接起来的线缆。拓扑结构一般根据交换机互连方式进行描述，如环状、核心-边缘、边缘-核心-边缘或全网状。边缘-核心拓扑边缘-核心拓扑将Initiator（服务器）部署在边缘层，将存储（目标）部署在核心层。服务器和存储设备位于不同的交换机上，这种拓扑可提供管理简便性和出色的性能，从边缘到核心的流量只通过一跳。边缘-核心-边缘拓扑边缘-核心-边缘拓扑将Initiator部署在一个边缘层，将存储设备部署在另一个边缘层，将核心用于交换机互连或连接全网络范围的设备，这种架构允许独立扩展计算和存储资源，流量只需要经过两跳就可以从边缘通过核心传输到另一个边缘设备。全网状拓扑全网状拓扑可以将服务器和存储设备部署在任何地方，因为任意源和目的地之间的通信只需要一跳。Brocade推荐使用核心-边缘拓扑。这种拓扑提供了以存储为中心的可扩展基础设施，Fabric的核心端通常是由一个或更多导向器级交换机组成，提供了集中化的存储连接。边缘端是由Fabric架构交换机或导向器组成，通过ISL连接到核心端。见下图：如图所示，存储端口是由核心导向器提供支持，同时边缘交换机提供多台服务器到核心资源的扇入。这种设计允许路径上不同级别服务器进行连接，满足了不同应用的带宽需求。架构特点：主机访问存储跳数为1跳，延时较低可实现按需横向扩展（Core或边缘）存储可接入在不同的核心上，实现最大的负载均衡流量分布在不同的核心及边缘降低的级联线的需求，有效的提升了ISL的使用效率网络中无单点交换机故障SAN总体架构介绍为了适应新一代业务的增长，在新一代SAN架构设计时，以保证未来五年内的业务增长为前提，为公司定下了核心-边缘的SAN架构，同时兼顾未来的同城灾备中心，为将来的扩展奠定基础。当前架构为双机房架构，其中A机房和B机房又分布在同一楼层，存储会分布在2个机房内。数据中心SAN网络架构生产SAN网络架构为的核心架构，当前使用的设备为博科的6510交换机且为单机应用，无论从性能还是功能上均无法满足用户的业务增长需求。依据最佳实践，Brocade提出以核心-边缘建设生产数据中心的SAN网络，以满足的业务扩展，见以下拓扑图（单边）：从整个拓扑来看，核心-边缘架构在提供了极佳的应用冗余性外，SAN网络同时实现了集中存储到应用体系的转换，使主机和存储各自的设计和扩展变的相对独立。设备选型鉴于机房的设备布局及业务需求，决定使用6520来作为整个SAN网络的核心交换机。6520硬件Brocade6520交换机可交付市场领先的16Gbps光纤通道技术和支持高度虚拟化环境的先进功能，进而满足超大规模私有云存储环境的需求。Brocade6510设计用于实现最高的灵活性和最有效的投资保护，支持48，62，96端口配置，而且可在高效的2U高度下支持2、4、8、10或16Gbps的速度。交换机高端功能简介生产设备将会分布在A机房与B机房，因此数据传递可靠性尤为重要，Brocade传输功能保证数据快速准确的在数据中心中传递，业界首屈一指的FabricVision功能提供了多种工具保证双数据中心的SAN网络监控及管理更简单，更智能，更有效，确保数据安全无忧。FabricVisionSAN管理的目标是希望构建灵活的存储区域网络，灵活满足高密度虚拟化、闪存和云基础架构动态多变的可扩展性和性能要求。为实现这些目标，需要全新的工具来帮助确保不停机运行，快速识别潜在拥塞点，最大限度地提高应用性能并简化管理。BrocadeFabricVision技术是对第五代光纤通道技术的扩展，可提供无与伦比的存储网络洞察力和可视性，利用强大的内置监控、管理和诊断工具帮助企业。提供强大的内置监控、管理和诊断工具，简化管理、延长正常运行时间并降低成本通过OneTouch方式利用15年的SAN最佳实践经验，借助预先定义的基于阀值的规则、操作和策略简化监控解决方案部署利用主动监控和高级诊断工具避免50%的常见网络故障。通过自动化测试和诊断工具消除近50%的维护成本。通过内置监控和诊断功能消除对昂贵的第三方工具的需求，帮助节约大量的资本支出。数据中心SAN的组成及扩展SAN网络的组成SAN架构由核心（Core）交换机、边缘（Edge）交换机及相关线路组成。根据最佳实践，我们先定义每个SAN网络遵循的规模限制：交换机个数<=10端口数<=2000SAN网络的规模限制是为了保证网络的稳定性以及更好的进行运维管理服务。SAN网络的扩展性下图是目前设计的单边SAN网络内最大规模交换机数连接示意图，可以看到：网络内交换机采用冗余链路设计，每个SAN网络最大有2台核心Core交换机（按需扩展）和8台边缘Edge交换机（按需扩展）。SAN网络的扩展原则SAN的设计是按5-7年设计，但是SAN的建设是按需扩展的，随着未来业务的发展可能会带来SAN网络的扩展需求，对此Brocade有着如下定义：在既定SAN网络内某体系需要扩展时，如果某SAN网络仍有相应扩展空间则进行纵向扩展；如某SAN网络已达规模上限时则采取横向扩展。以下为扩展基本原则即流程图：总结根据以上内容，以下是对SAN网络扩展的总结：当端口需要扩展时，依据接入设备（存储/主机）选择接入核心还是边缘交换机。当核心/边缘交换机端口不足时首先选择扩展板卡方式进行扩展当核心/边缘交换机无纵向扩展选择时，通过横向扩展方式进行扩展，即新增交换机。所有核心/边缘交换机接入需采用双路冗余接入方式。SAN网络配置规范管理网络的界定为了统一起见，我们对管理网络进行如下界定：管理网络是指专门开辟一个用于管理的网络，主要用于SAN网络设备的管理和调试、SAN存储设备的管理和调试等,包括BNASAN网络管理系统均使用管理网络，地址段为X.X.X.X的某个网段。管理网络区可以设置有多个网段。SAN网络设备的管理和调试、SAN存储设备的管理和调试、BNASAN网络管理系统可以分别使用不同的网段。如果网段之间设备需要相互通信，则需要相关的网段能互连互通。SAN网络设备管理IP地址规划推荐如下管理IP地址规划：在同一个SAN网中光纤交换机的管理端口设在同一个网段内。使用SAN网当地的私有管理网络的IP地址，地址段为X.X.X.X的某个网段。对于普通的SAN交换机，一台交换机分配1个管理IP地址；对于导向器设备，每台导向器需要3个管理IP地址，2个分配给CP板，1个分配给chassis。在导向器实际管理中，我们使用分配给chassis的IP地址作为管理地址。

SAN交换机级联端口利用规划SAN交换机端口连接规划需要充分考虑过载比和实际使用环境。所谓的过载比，是指边缘交换机所连接的服务器的数量与边缘交换机到核心交换机的ISL数量比值，简称ISL过载比，或边缘交换机所连接的服务器的带宽综合与边缘交换机到核心交换机的ISL带宽总和的比值，简称为带宽过载比，还有一种过载比是服务器与存储端口数量的比值。下面我们以ISL过载比进行SAN交换机端口连接规划。一般情况下，边缘交换机到核心交换机之间按7:1过载比进行规划。对一般数据库和应用服务器以及文件服务器等，其过载比一般建议7:1。带宽要求不高的按15:1过载比进行规划，一般服务器以及使用FC的客户端，15：1一般都能胜任。个别带宽要求较高的按3:1过载比进行规划，例如核心数据库和存储端口的过载比一般建议3:1。别名的规划为了日常管理的清晰和方便推荐使用别名赋予别名名称一定的含义，如服务器SVR,存储SG，物理磁带库LIB等别名名称的规定和ZONE的名称的规定相同ZONE的规划以下是依据ZONE划分的最佳实践提出如下ZONE的设置规范：对于每台主机的（initiator）1个端口，对应1个或数个存储端口（target）一起构成1个ZONE。采用硬件分区技术，ZONE的成员要么都是PWWN，要么都是FC端口(DomainID,PortIndex)。推荐在核心交换机上配置ZONE。推荐FOS（FabricOS）版本最高的交换机上配置ZONE。不同的FabricZONE的配置信息可以相同，相互独立。推荐将交换机的DefaultZONE设置成NoAccess。博科交换机的ZONE的命名为英文字母、阿拉伯数字和下划线，必须以英文字母开头，总长度不能超过64位，要区分英文字母大小写。ZONE命名原则如下：Zone名称由前端设备名称别名、后端设备名称2部分构成。名称依次连接，不留空格，其表示形