SAN讲义4-SAN拓扑+光纤通道

作为存储和文件组织应用的SAN和NAS连接、存储和文件组织层的结构存储网络中的连接、存储和文件组织层的集成排列存储网络的构件2023/2/41存储网络是一种应用就象运行于各种网络的客户端/服务端应用和分布式应用，存储是一种基于多种网络技术的独特的应用。2023/2/42连接层存储网络连接的优点最小的错误率成功的缓冲：流量控制全双工传输低延迟顺序提交数据独立于存储和文件组织层的连接层多路通信和复合协议2023/2/43文件组织层文件组织层的功能有两个作用：向用户端和应用表示抽象对象，以及在真实或虚拟的存储设备上组织数据层，它被称为表示层和数据结构层。文件系统和数据库提供存储网络文件组织层的主要功能。表示层数据结构层文件组织层2023/2/44一个简单的关于SAN/NAS的悖论SAN企业存储（EnterpriseStorage）的概念提出了存储子系统的自适应问题，如果存储子系统要管理数据对象（如文件、数据库表、元数据等），它就必须决定哪些数据块对应于这些数据对象。因此，我们需要的似乎是一些能将数据对象与存储位置夏天关联的风嵌文件组织功能。这样，具有该功能的存储子系统通常被认为是NAS产品。SAN和NAS不是明显独立的单元，连接、存储和文件组织层才是可以分开说明的部分。2023/2/45存储网络中的连接、存储和文件组织层的集成存储层和文件层之间的层次联系独立于存储层/文件组织层结构的连接层NAS作为文件组织层的应用SAN作为存储层的应用2023/2/46存储层和文件层之间的层次联系文件组织层存储层连接层应用层商业和桌面应用表示层 用户的数据和应用、文件、（文件组织层）目录、文件夹的逻辑视图数据结构设备和子系统中存储和保留的数据（文件组织层）的结构和逻辑块存储指令、数据传输、存储位置传输（存储层）和设备虚拟化总线/网络层寻址和命名服务、路由、桥、虚拟网（连接层）络和分区介质访问层仲裁、会话协议、流量控制（连接层）物理层线缆连接、网络端口、连接驱动器（连接层）2023/2/47独立于存储层/文件组织层结构的连接层存储层文件组织层连接层2023/2/48NAS作为文件组织层的应用NAS服务器文件组织层存储层到客户端的连接到服务器的连接2023/2/49排列存储网络构件文件组织层存储层连接层存储层文件组织层连接层文件组织层802.3(连接层)FC(连接层)存储层文件组织层NASNAS客户端NAS服务器文件组织层NASSCSI存储层连接层802.3(连接层)连接层SCSI连接层传统的存储系统结构NAS的具体结构NAS和SAN采用的结构2023/2/410排列存储网络构件文件组织层NASNAS客户端NAS服务器文件组织层NAS存储层（SAN）通用连接层文件组织层NAS客户端NAS服务器文件组织层存储层连接层设备存储层连接层理想的存储系统结构通用连接层，但分离了用于文件组织层和存储层的网络2023/2/411连接层技术的竞争光纤通道的存储优势以太网在存储方面的努力InifiniBand

正在蠢蠢欲动通用连接层的重大意义文件组织层（NAS）存储层（SAN）评价以太网需要本地安装域支持多个发起者，产品有限需要进一步细化在存储方面的努力光纤通道支持，但很少被布署最先用于市场，已经处于领先地位关键应用不足以动摇以太网的优势InfiniBand还未实现，最初将通过一个适配器来实现未实现，最初将通过一个适配器实现将开发本地连接能力的VIA群2023/2/412

SAN结构和拓朴使用SAN转换网络存储通道SAN的网络拓朴结构SAN结构的变化和扩展2023/2/413直连式与网络连接服务器服务器存储存储总线总线服务器服务器存储存储存储网络2023/2/414可扩展的结构使用级联交换机进行扩展交换SAN的性能扩展优势SAN的远距离扩展优势2023/2/415使用级连交换机进行扩展

核心交换机边缘交换机边缘交换机2023/2/416交换SAN的性能扩展优势共享总线连接交换连接2023/2/417SAN的距离扩展优势地板机架服务器服务器存储机架存储SAN本地磁盘子系统远程磁盘子系统服务器建筑1建筑22023/2/418可用性结构存储更新升级和布署新的服务器集群配置的高可用FAILOVER2023/2/419SAN的网络拓朴结构—传输帧结构结束标志奇偶校验和数据负载协议元数据源地址目的地址开始标志2023/2/420SAN的网络拓朴结构—交换网络发起者：用于发起I/O操作的是发起者，其目标为目标单元，交换机将由发起者发起的一个连接传输到目标连接。缓存：通常情况下，交换机中的任一端口可以和其中的另外任何一个端口通信。交换机端口通常有缓存，用于临时存储由它传递的数据。SwitchNodeNodeNodeNodeNode缓存缓存缓存缓存缓存骨干网2023/2/421交换机阻塞阻塞：虽然交换机骨干网具有很高的速率，但也会发生阻塞。当这种情况发生时，数据必须被存在缓存中，直到目的单元被它先前的会话释放。地址映射：交换机“映射”它的端口到某些地址，并使用这种映射通过内部端口的连接来连接发起者和目标单元。存储转发与直通交换干线2023/2/422ArbitratedLoop（AL）一个节点的TX连接到下一个节点的RX可操作的顺序:Arbitrate环路控制打开目标的环路数据传送关闭最大带宽-当前100MB/secNode1Node3Node2TxTxTxRxRxRx2023/2/423Arbitrated环路技术2023/2/424Arbitrated环路技术集线器网络的团队特性环中的独立I/O控制器必须基于帧的内容作出各种决定，并且它们需要担当中继器的角色，处理每个帧，重新产生帧的信号并把它们顺序发送到另一个控制器环网的寻址环中的单个网络节点必须产生其自己的地址表，并维护自己的地址和路由。扩展环环网能通过端到端的连接添加额外的集线器扩展端口的数量。HubNodeNodeNodeNodeNode2023/2/425Arbitrated环路技术访问环在任一时刻，环上的每一个存储控制器都知道环的状态。当帧流经每个控制器时，控制器检查帧的协议元数据以决定传输是否在此处开始或已经结束。当一个控制器发现当前环上的I/O操作将要结束时，它会准备参加竞争以夺得环的控制权。当环上的一个I/O操作结束时，环产生某个特定的帧以标识环处于空闲状态，该帧被具有最高优先级的控制器修改，插入自己的地址，表示已经获得了环的控制权。管理环中的失效控制器旁路失效的控制器2023/2/426Arbitrated环路技术交换的环拓朴结构的组合环路1环路2NodeDNL_PortNodeBNL_PortNodeANL_PortSwitchFL_PortFL_PortF_PortNodeEN_PortNodeCNL_Port2023/2/427SAN的分区多端口存储子系统中的端口分区LUNmasking和WWN(WorldWideNode)2023/2/428SAN交换机中的分区SAN交换机中的分区交换分区的不同实现使用网络地址实现软分区硬分区SwitchNodeNodeNodeNodeNodeZoneXZoneY2023/2/429交换机中软分区的操作过程端口读分区成员数据地址匹配丢弃帧发送帧帧到达地址决定否是2023/2/430多端口存储子系统中的端口分区输出卷D分区C输出卷D输出卷C输出卷B输出卷A分区B分区A服务器3服务器2服务器12023/2/431LUN掩码服务器主机I/O控制器地址001-阻塞地址052-可视地址076-阻塞地址103-可视地址104-阻塞2023/2/432存储区域网的变更管理SAN（存储区域网）变更会经常导致错误的产生，并且SAN中的大多数问题都由它引起，其中一些问题在整个存储区域网中都是最难发现和解决的。SAN变更管理软件在实行变更期间和之后通过识别和分析以前的差错和漏洞来管理SAN的变化和发展。该软件可使管理人员更快地识别和修正SAN中的差错，在实行变更前预测所计划的变更效果，监控变更的实行以确保其准确无误和对整个变更过程进行更佳的控制，从而可以协调负责从事变更工作的各分散小组的活动。通过使这些过程自动化，用户能在降低其SAN环境的风险和费用方面获得极大的改进。2023/2/4332023/2/434光纤通道技术2023/2/435光纤通道SAN的理想传送通道方式支持多协议网络能力和功能异构互连带宽--可用性--可靠性--集成--伸缩性2023/2/436封闭的,结构化的高性能容错大量数据传送硬件加强网络开放的，非结构化的容错不重要层到层（Peertopeer）数据、声音和视频软件加强附加连接处理器内存磁盘通道12023/2/437Channel封闭的,结构化的高性能容错大量数据传送硬件加强Network开放的，非结构化的容错不重要层到层（Peertopeer）数据、声音和视频软件加强光纤通道光纤通道连接2023/2/438SAN拓扑结构点到点100MB><100MB

ArbitratedLoop100MB交换式光纤100MB100MB100MB2023/2/439点到点技术100MB/sec100MB/sec2023/2/440Arbitrated环路一个节点的TX连接到下一个节点的RX可操作的顺序:Arbitrate环路控制打开目标的环路数据传送关闭最大带宽-当前100MB/secNode1Node3Node2TxTxTxRxRxRx2023/2/441Arbitrated环路技术2023/2/442Node

光纤交换式光纤最大节点数=16百万最大带宽=200MB/secx节点数节点(N-端口)登录到光纤(F-端口)由光纤管理的内部路由和地址解析由N—端口管理的端到端连接N-PortF-PortF-PortN-PortNode

TXRXRXTX2023/2/443交换式光纤技术10Km2023/2/444混合

环路和Fabrics一个环路可以且只能连接一个FL端口一个节点可以是公用的也可以是私有的私有节点只能在环路内部进行通信环路1环路2NodeDNL_PortNodeBNL_PortNodeANL_PortSwitchFL_PortFL_PortF_PortNodeEN_PortNodeCNL_Port一个fabric可以连接多个环路2023/2/445分区（Zoning)分区可以将FC连接的设备逻辑上划分成组SwitchNodeNodeNodeNodeNodeZoneXZoneY2023/2/446分区操作区中的成员只能看到该区中的其它成员设备可以是多个区中的成员FC-AL分区可以在单个HUB上创建私有环好处安全的设备访问允许操作系统共存2023/2/447FC协议结构ATMFC-ATMIPFCLinkEncapsulation

FC-LEULP(UpperLevelProtocol)SCSI-3SCSI-3CommandSetMappingFC-4IPI-3CommandSetMapping(IPI-3STD)FC-3CommonServicesFC-0FC-1FC-2FibreChannelPhysical&SignalingInterface

(FC-PH,FC-PH2,

FC-PH3)PhysicalVariantEncode/Decode FramingProtocolFC-AL8B/10BEncodingCopper,OpticalFC-AL-2HPQuickFrameReferenceat/HP-COMP/io/tech/index.html2023/2/448OSI参考模型和FC光纤通道分层模型的比较

2023/2/449FC幀类型类型1AcknowledgedConnectionServiceFullbandwidthw/guaranteeddeliveryDedicatedpathbetweenports类型2AcknowledgedConnectionlessServiceIndependentlyswitchedframesNon-dedicatedpathbetweenports类型3UnacknowledgedConnectionlessServiceSameasClass2withoutacknowledgementsInvalidframesarediscarded.ULPprovideserrorcorrection/handling2023/2/450光纤通道的有关参数速度Xferrate: 1.062Gbit/sec (2x,4xalsodefined)MaximumUserPayload: 2112bytesBitErrorRate: 1x10-12距离Copper: 10’smShortwaveLaser(MMF): ~500m(850nm)LongwaveLaser(SMF): ~10km(1300nm)连接点到点: 2ArbitratedLoop: 126交换式光纤: 16百万(224)2023/2/451总结与问题光纤通道最佳通道和网络结构拓扑结构点到点Arbitratedloop交换式光纤混合方式支持分区（Zoning）有利于管理和安全不同的结构和幀类型速度、连接和距离都比较令人满意2023/2/452FC与SCSI的比较2023/2/453线缆信号质量与线缆线缆长度速度与距离传输速率9um50um62.5um100MB/s10km500m300m200MB/s2100m300m150m400MB/s2100m175m90m2023/2/454线缆连接器与收发器光纤铜线2023/2/455FC-1中的编码和错误发现8B/10B编码方法在物理网络上使用10位信息传输8位数据

2023/2/456光纤通道的端口类型N端口——在系统和子系统连接到光纤网络中常见。L端口——在系统和子系统连接到环型网中常见。NL端口——在系统和子系统连接到光纤网络和环型网中，包括通过环连接到光纤网。F端口——连接到N端口的交换端口。FL端口——在环中连接到NL端口的交换端口。E端口——连接到其他交换端口的交换端口。G端口——可以是F、FL和E端口的通用端口。

2023/2/457光纤通道的端口类型—N端口N端口在光纤通道SAN的通信中代表存储发起者和目标。它们有管理帧的责任。没有N端口网络上就没有流量。

和其他光纤通道端口一样，N端口是一个严格的连接设备，因为它们不执行任何基于逻辑块地址或文件信息的操作。实现N端口的HBA或子系统控制器将提供一些存储或文件归档功能，但N端口自身只严格执行连接操作。

2023/2/458光纤通道的端口类型—F端口F端口是在光纤通道交换机中实现的，是为与之连接的N端口提供连接服务的。N端口和F端口经常互相通信，而不管是否发送数据。在不进行传输时间，N端口向交换机上相应的F端口发送IDLE字符串。IDLE字符串在N端口和F端口之间建立“心跳”，使链路上的问题能被立即发现。

2023/2/459光纤通道的端口类型—L端口环上使用了另一种类型的端口，叫做L端口。对应于N端口设计用于在光纤网中发起和控制通信，L端口设计为用于在环形网中发起和控制连接。

2023/2/460光纤通道的端口类型—FL端口在光纤通道拓扑结构加入环时，必须容许光纤网络中的N节点与环形网络中的L节点互相通信。FL端口和NL端口用来完成这个功能。

2023/2/461光纤通道的端口类型—NL端口NL端口是一种既有N端口功能又有L端口功能的端口。它可以发起和管理光纤和环形网之间的通信，容许存储发起者和目标互相进行通信。环中的NL端口也可以访问光纤网提供的网络服务。NL端口和交换机的FL端口一起提供构建公共环的基础。

2023/2/462光纤通道的端口类型—E端口用于交换机之间通信的交换机端口叫做E端口。E端口为交换机之间的干线链路提供连接。E端口提供使用多个交换机构建光纤网的方法。

E端口不仅仅用于为交换机之间的数据提供I/O路径，也用于在交换机之间传输关于网络服务的信息。

2023/2/463光纤通道的端口类型—G端口交换机端口通常可以自动配置它们的功能，这是通过识别链路另一端端口类型来实现的。这种类型的端口称为G端口，即通用端口。

2023/2/464光纤通道的端口类型—B端口B端口是为了使用其它网络，如ATM或以太网，从一个本地SAN运载光纤通道存储I/O流量传输到一个远程站点而设计的。B端口是FC-BBW描述的一部分。2023/2/465光纤通道的端口类型—示例环路1环路2NodeDNL_PortNodeBNL_PortNodeANL_PortSwitchFL_PortFL_PortF_PortNodeEN_PortNodeCNL_Port2023/2/466光纤通道中的流量控制缓冲区信用卡（BufferCredits）

端到端的流量控制

缓冲区到缓冲区的流量控制

2023/2/467服务等级—等级1等级1是一个面向连接的服务，它对两个N/NL端口之间连接的可获得性提供保证。等级1是一个运行在光纤上的虚拟端到端的链路。其他流量无法干涉等级1的连接。在等级1连接上发送的流量在目的端口上按次序到达。这给目的节点省去了很多时间，因为它不必对传输的帧重新排序。2023/2/468服务等级—等级2等级2是一个面向无连接的服务，它提供具有对传输帧进行确认的多元通信。多元通信是指在一对发送者和接收者之间没有专有路径的通信。该服务允许N、L及NL端口和SAN中一系列其他的N、L及NL端口进行通信。每个想要通信的N、L和NL端口必须向交换机或环中其他端口表示自己的意图，才能建立连接。2023/2/469服务等级—等级3等级3是光纤通道网络中最常使用的服务等级。它是多元的、无连接的数据报服务。数据报服务是指不包含传输确认的通信。等级3可以认为是等级2的子集，但不提供发送数据是否被接收正确接收的机制。2023/2/470流量控制与错误恢复的独立光纤通道技术是一种独立于存储功能的网络技术。光纤通道中的流量控制机制独立于错误恢复。流量控制在FC-2层进行管理，错误恢复由高层协议实施管理。对于SAN存储流量，错误恢复是由SCSI-3实现中的FCP协议的任务。等级2中的错误恢复开始较早，因为等级2中的流量控制确认可以比等级3所基于的SCSI超时处理更快地识别问题。其它类型的流量，如视频传输实时流量的自动重传帧由上层协议而不是由发送端口决定是否重传。2023/2/471等级2和等级3的比较对特定的类型的存储流量，如事务过程或备份，是否需要使用等级2是争论的焦点。一种观点认为端到端流量控制提供了更少的差错和更快的错误恢复，因而网络更稳定；另一种观点认为端到端流量控制消耗的网络带宽比它节约的还要多。解决的方法是根据具体的配置确定使用等级2或是使用等级32023/2/472等级2和等级3的比较事务过程中的流量控制对错误恢复的影响使用等级2可以更快的识别传输错误，更早地开始错误恢复维持高传输速率的流量控制帧的丢失导致重传更频繁光纤通道中的链路数量增加会导致SAN中总的错误率的增加。端到端的流量控制会有助于SAN维护稳定的传输速率。等级3适用于简单的SAN，且已经成熟，等级2适用于复杂的SAN2023/2/473光纤通道中的名字和地址编址方案决定它的扩展能力，分配和访问方法决定使用的难易程序，而命名使网络实体更易于识别。光纤通道中的名字和地址元素有：全球名字（WWN）端口地址仲裁环物理地址（ALPA）2023/2/474WorldWideName(WWN)64位存储在非易失内存中由IEEE编号规范决定2023/2/475端口地址一个24个位的端口地址由三个部份所组成:Domain(从23到16位)

Area(从15到08位)

Port或仲裁环物理地址－AL_PA(从07到00位)2023/2/476仲裁环物理地址AL_PA环上的每个结点地址分配一个8位仲裁环位置地址（ArbitratedLoopPhsicalAddress，简写为AL_PA）。该地址在环上的每一个NL端口或FL端口进行环初始化时设置。2023/2/477公共环和私有环AL_PA用于设置端口的低8位地址，如果端口为NL端口，并且连接至FL端口，则高16位由交换机设置（公共环），否则为0（私有环）。私有环不能被环外的节点访问。公共环上的单个设备可以设置成私有的，如此，它只能与环上的节点进行通信。公共环路1公共环路2NodeDNL_PortNodeBNL_Port私有设备L_PortSwitchFL_PortFL_PortF_PortNodeEN_PortNodeCNL_Port2023/2/478在光纤通道网络中建立连接—光纤登录光纤登录当一个N端口不传输数据时，向链路另一端相关的F端口发送IDLE控制。当N端口想初始化一个数据传输时，它就执行光纤登录，在交换机上有一个登录服务进程在运行。N端口使用保留的地址FFFFFE，F端口认为它是一个登录请求，并路由到交换机的登录服务进程。光纤登录建立要在光纤网中使用的服务等级和其他通信参数。一旦登录在交换机的特定F端口完成。

节点登录在光纤登录完成后，网络中发起和接收的N端口通过第二个名为节点登录的进程互相进行通信。一些通信参数再次交换，两个节点可以开始传输了。

进程登录（可选）另外端口使用进程登录来选择要使用的上层协议。对于光纤通道来说，就是FCP串行SCSI协议。

2023/2/479在光纤通道网络中建立连接—环仲裁AAAAA未仲裁未仲裁未仲裁第1步：仲裁开始：端口被写至帧第3步：看到较高优先级并发送帧较低优先级地址发送帧第2步：较高优先级端口地址写至帧较低优先级地址发送帧较低优先级地址发送帧第4步：当端口识别出自己的地址时仲裁结束端口9端口9端口5端口7端口2端口1端口42023/2/480NL端口接受光纤中的N端口的访问过程存储子系统SwitchFL_PortFL_PortF_PortN_Port公共环路2服务器NL_Port1）对环进行仲裁并获得权限2）使用交换机中的FL端口打开一个环回路3）进行交换机FL端口的光纤登录4）进行到目的N端口的节点登录5）进行到目的的N端口的进程登录2023/2/481光纤通道的通信机制—帧光纤通道网络中最小的通信单元是帧。光纤通道帧和其他网络技术中的帧类似：它们有起始标记、头部、地址域、应用数据、差错检测域以及帧终止符。帧格式如