《存储技术基础》课件第6章

第六章网络存储6.1直连式存储

6.2网络连接存储

6.3光纤通道

6.4存储区域网络

小结

6.1直 连 式 存 储

数据量的不断增长与存储需求的不断变化，促使计算机存储技术快速发展。特别是随着网络技术的发展，各种海量数据信息遍布于网络的每个角落，那么我们如何保存这些数据？将数据保存在哪里？如何快速定位和访问保存的数据？这一系列问题都急需解决。

在网络发展的初期，数据大多局限于由PC机或服务器构成的局域网中，存储结构较为简单，存储设备直接通过总线挂接在PC机或服务器上，服务器管理多个大容量磁盘，通过卷管理器为客户端呈现一个统一的逻辑存储设备，以方便数据的访问，如图6.1所示。图6.1传统的客户端/服务器存储模式我们通常将这种磁盘与服务器的连接模式称为直连式存储(DAS)。直连式存储又可分为内直连式存储和外直连式存储。内直连式存储是指存储设备与服务器通过串行或并行SCSI总线接口电缆直接集成在一起，但SCSI总线自身有传输距离和挂载设备的限制。外直连式存储通过SCSI或光纤通道将服务器和外部的存储设备直接连接，与内直连式存储相比，外直连式存储可通过光纤通道克服传输距离和挂载设备的限制。对于少量PC机或服务器，使用直连式存储连接简单、易于配置和管理、费用较低，但这种连接方式下，因每台计算机单独拥有自己的存储磁盘，所以不利于存储容量的充分利用和服务器间的数据共享，而且存储系统没有集中统一的管理方案，也不利于数据的维护，因此直连式存储不适合作为企业级的存储解决方案。

6.2网络连接存储

随着网络的发展、数据量的增大和客户端的增多，对服务器的存储能力和访问性能提出了新的挑战。这种情况迅速导致了服务器的专一化，并且进而导致了服务器与存储设备的分离。

NAS通常称之为“网络连接存储”或“网络附加存储”。NAS的核心思想是将存储设备从服务器上分离出来，在网络中提供更具效率的专门负责文件服务的服务器，从而减轻网络其他服务器的负担，如图6.2所示。传统服务器并没有对文件I/O方面进行特别的优化，并且有许多诸如其他服务程序、图形显示等开销，其可扩展性和可维护性等方面也比较差。与传统的文件服务器不同，NAS将文件服务和存储设备从传统服务器中分离出来，其操作系统和相关软件专注于提供文件存储、文件存取等文件相关服务，并且NAS提供了对多种文件协议的支持，可为不同文件协议客户端提供集中式文件服务。

在NAS构成的存储网络中，传统服务器不再兼任文件服务功能，文件服务功能由专门的高性能、高速度的NAS设备所取代。这种方式为解决存储挑战和数据访问提供了一个新的途径。图6.2网络连接存储模式6.2.1NAS的硬件构成

NAS是一种专业的网络文件存储备份设备，它基于局域网，通过TCP/IP协议进行通信，以文件I/O方式进行数据传输。

NAS的硬件包括NAS头和存储设备两部分。NAS头主要负责响应文件请求。通过网络接口，NAS头的一端通过以太网接口连接到前端局域网，另一端通过ATA、SATA或FC等存储设备接口与后端存储设备相连，如图6.3所示。存储设备通常由高性能的专有RAID磁盘阵列组成，大多NAS存储设备都通过对RAID的支持来实现数据保护和冗余，包括RAID0、RAID1、RAID5、RAID6等。图6.3NAS的构成根据NAS头和其后端存储设备的连接方式，NAS可分为集成式(NASServer)和分散式(NASGateway)两种结构。图6.4描述了集成式结构，NAS头与存储设备集成为一个统一的整体，后端存储设备直接连接NAS头。由于这种结构一个NAS头对应一个存储设备，故其结构和管理都比较简单。图6.4集成式NAS在图6.5所示的分散式结构中，NAS头与存储设备通过光纤网络连接，其后端存储设备可被NAS头和其他服务器所共用，或多个后端设备由一个NAS头来管理。这种模式一般会和我们后面将要提到的SAN网络共同构成存储网络。这种模式下，网络设备比较多，网络结构也比较复杂，管理方面牵扯到后端整个存储网络，因此比集成结构要复杂得多。图6.5分散式NAS

NAS设备通常带有缓存来缓存网络与磁盘交互的数据。小型的NAS缓存范围一般为128～256MB，企业级的NAS可提供高达几吉字节的缓存。

NAS设备是即插即用的，在网络中的物理位置比较灵活，既可放在靠近数据中心的应用服务器，也可放在其他地点通过物理链路与网络连接起来。6.2.2NAS的软件构成

NAS的软件构成主要包括操作系统、文件协议及存储管理软件。

1. NAS操作系统

NAS操作系统是通用操作系统的裁剪版，我们通常称之为“瘦”操作系统，它只保留了操作系统的文件服务功能和相关文件通信协议，负责管理NAS设备的硬件和软件资源。

NAS操作系统种类繁多，主要有各种Windows版、FreeBSD/Linux版，VxWork版以及实时操作系统RTOS。FreeNAS是一套基于FreeBSD操作系统核心的开放源代码的NAS服务器系统，它对FreeBSD操作系统进行了精简，支持CIFS、NFS、FTP、iSCSI等多种协议，也支持RAID0、RAID1、RAID5软件磁盘阵列，整个FreeNAS系统总共只需约128MB的空间。

2.网络文件系统

网络文件系统建立在TCP/IP网络协议的基础之上，用来提供远程文件访问服务。主要有NFS和CIFS两种。

1) NFS

NFS(NetworkFileSystem)一般称之为网络文件系统。最早由Sun公司于1984年提出，其目的是让网络上具有不同硬件、不同操作系统的各种机器可以访问彼此的文档。NFS主要用于类UNIX系统中，我们后面还会提到另一种应用于Windows系统的网络文件系统CIFS。NFS的版本有NFSv2(rfc1094)、NFSv3(rfc1813)、NFSv4(rfc3530)，最新版本是NFSv4。NFSv1是实验性质的，Sun并没有对其进行公开发布。NFSv2最初建立在UDP之上，UDP的网络开销小，性能上有较好的表现，在可靠性较好的局域网中工作良好。由于UDP不能完全胜任可靠性较差的广域网，在NFSv3推出之初，许多厂商为了增加传输的可靠性，纷纷在NFSv2加入了对TCP的支持，这使得Sun公司在NFSv2和NFSv3中也逐步加入了基于TCP的NFS，进一步增强了NFS的传输可靠性。

NFS处于OSI七层模型的应用层。其相关支撑协议有XDR、RPC、TCP/IP、UDP等。RPC和XDR是实现NFS的基础，RPC和XDR分别处于ISO七层模型的会话层和表示层，其下有TCP/IP传输层和网络层协议作为支持，如图6.6所示。图6.6NFS、XDR、RPC在OSI中所处位置

NFS提供了在目录中查找文件、列出目录中的文件、管理目录、取得文件属性、文件的读/写等服务。客户端可将远程服务器的共享文件目录挂载到本地目录进行读/写操作。从客户端的角度看，访问远程服务器文件与访问本地文件操作一致，具体访问的是本地文件还是远程服务器文件，对客户端而言是透明的。图6.7的服务器上设置了可供客户端访问的共享目录/home/share/，客户端A将其目录/home/clientA/挂载到服务器目录/home/share，客户端B将其目录/home/clientB/也挂载到服务器目录/home/share/，此时客户端访问自己本机的目录/home/clientA/或/home/clientB/，看到的是服务器端的/home/share/目录内的文件内容，客户端可如同操作本机目录文件一样对服务器端的文件进行相关操作。当然，客户端应有相应的读写访问文件的权限。图6.7访问服务器目录

RPC是RemoteProcedureCall(远程过程调用)的简称，该协议允许一台计算机像调用本地服务一样调用另一台计算机的服务。当客户端请求服务器端文件时，RPC主要负责将服务器端NFS服务端口号返回给客户端，以便客户端和服务器端取得通信。NFS中不同的功能有不同的服务端口号，服务器在启动NFS时，会随机分配1024以内的端口号给NFS的不同功能，同时向RPC注册对应的端口号，使RPC知道每个端口号提供的对应NFS功能。RPC用自己固定的端口号111监听客户端的NFS服务请求，并将相对应的NFS服务端口号返回给客户端。整个过程如图6.8所示。图6.8RPC将服务器端NFS服务端口号返回给客户端的过程

2) CIFS

CIFS(CommonInternetFileSystem)是一种主要应用于Windows系统的网络文件系统，提供网络内计算机共享文件、打印机、串行端口和通信等资源。

SMB协议是CIFS的核心，全称为服务信息块(ServerMessageBlock)。最初由IBM在20世纪80年代中期研发，用于将DOS的本地文件接口INT21H转换为支持网络的文件系统。之后，微软对SMB做过多次改进，加入了许多新功能，并于1996年将其改名为CIFS。最初的SMB运行于NetBIOS协议上，微软的Windows2000操作系统则实现了SMB直接运行于TCP协议上。2006年，微软的WindowsVista操作系统引入了SMB2.0，对SMB的性能进行了改进。如图6.9所示，SMB通常建立在NetBIOS协议上，而NetBIOS建立在TCP/IP上，故常将建立在NetBIOS上的SMB称为NBT，而将另一种基于NetBEUI的SMB称为NBF。图6.9SMB在OSI中所处位置如图6.10所示，SMB使用基于客户端/服务器的请求应答模式来实现通信。客户端负责发送SMB请求，SMB请求包含对文件的操作，例如打开文件、读文件、关闭文件等。服务器端接收到客户端的SMB请求后，会先检查请求的合法性，验证客户的相关权限，最终执行请求，并返回SMB应答。SMB请求应答模式可分为两大步，首先，客户端和服务器建立连接，主要包括建立NetBIOS会话，协商客户端和服务器端使用的具体协议，验证用户名和口令等。其次，客户端对服务器端的文件进行操作。图6.10SMB请求应答模式根据图6.11，以下将SMB请求应答模式的具体步骤加以详述。

(1)建立NetBIOS会话。建立NetBIOS会话是客户端和服务器端通信的基础。由于NetBIOS基于TCP协议，因此客户端和服务器首先会建立一个TCP连接，在此基础上，客户端会发送NetBIOS会话请求包，其中包含了服务器的NetBIOS名称和自身的NetBIOS名称及一些其他的信息。当服务器收到客户端的NetBIOS会话请求包，并检验其NetBIOS名称和包结构完好后，发送NetBIOS会话确认包给客户端，至此NetBIOS会话建立完毕。图6.11SMB请求应答模式具体步骤

(2)协商协议。为了应对日益复杂的网络环境，SMB协议衍生出了许多版本，它们具体的实现也不统一。客户端与服务器要正确无误地通信，则需要双方协商使用一个大家都能懂的协议来进行交流。客户端首先向服务器端发送包含SMB_COM_NEGOTIATE协商命令的协商协议请求包。服务器收到请求后，选择一种双方都能够理解的协议，将选择结果反馈给客户端。

(3)客户端登录。客户端发送用户名和密码给服务器，请求服务器验证。服务验证为合法用户后，返回给客户端用户识别号(UID)。用户识别号将在以后所有对服务器发送的包中使用。至此，客户端完成了登录到服务器的过程。

(4)请求共享目录。客户端发送请求包，告诉服务器需要连接的目录，在前几步都正确合法的基础上，服务器会返回给客户端相应的目录识别号(TID)。在之后对文件操作中客户端均要使用TID。至此，客户端可以访问服务器目录中的文件。

(5)打开服务器端文件。首先客户端向服务器端发出打开文件请求包，其中包括了要打开文件的名称及打开模式(读)等，还包括我们上面提到的UID和TID。服务器通过TID检查确认文件在目录中，并通过UID验证客户端的权限。在这些条件均满足的情况下，服务器发送请求文件识别号FID给客户端。

(6)读服务器端文件。当客户端得到FID后，通过FID向服务器发出读文件请求包，服务器检查请求包中的UID、TID和FID，在确认无误后，发送文件内容给客户端。6.2.3NAS产品介绍

EMC公司的NAS设备一般由两部分组成，即NAS机头和NAS存储设备，两者通过冗余光纤通道连接。NAS机头又可分为以下两部分：

(1)数据移动器(DataMover，DM)。DM一般配有Intel处理器、多端口网卡，自身并不具有存储设备，主要用来提供NFS和CIFS协议的文件传输。

(2)控制中心(ControlStation)。控制中心是一台具有Intel处理器，运行专有Linux操作系统的计算机，主要用于管理和配置DM。控制中心通过内部以太网冗余连接DM。

NAS的连接可分为集成式(NASserver)和分散式(NASgateway)两种，如图6.12所示。图6.12NAS的连接方式6.2.4其他新技术

1. DAFS

DAFS(DirectAccessFileSystem)是一种基于远程直接内存存取(RemoteDirectMemoryAccess,RDMA)技术的协议。在传统的硬件和软件架构下，数据传输必须在内核和应用程序间进行复制操作，加重了服务器CPU的负担，RDMA通过网卡提供内存到内存的直接传输路径，使数据块的复制工作不需要经过应用服务器和文件服务器的CPU，实现了数据的零拷贝，如图6.13所示。可以通过类比我们熟悉的DMA来理解RDMA。DAFS协议规范1.0于2001年9月完成并提交给IETF协会。图6.13DAFS

2. NASD

NASD(Network-AttachedSecureDisk)是卡耐基-梅隆大学的网络存储项目，如图6.14所示。它是一个类似NAS存储设备的智能磁盘驱动器，通过访问验证等存取控制权限由单独设立的文件管理器负责及存储设备直接传输数据给客户端，从而减轻文件服务器的压力。图6.14NASD 6.3光纤通道

光纤通道协议分有FC-0、FC-1、FC-2、FC-3、FC-4五层，FC-0、FC-1、FC-2主要是对光纤通道物理结构的描述，定义在FC-PH标准中，FC-3和FC-4用来描述与上层协议的接口及一些协议相关信息。图6.15是光纤通道协议栈的层次结构。图6.15光纤通道协议栈的层次结构其具体功能如下：

(1) FC-0层是光纤通道协议中的物理链路层。它定义了光纤通道最底层的物理特性，包括传输介质、连接头、发送器、接收器及传输速率等。

(2) FC-1层的主要功能是字节传输。它定义了串行传输的8B/10B编码和解码，有序集等。8B/10B编码可实现传输比特流的DC均衡和差错控制。

(3) FC-2层是光纤通道中最复杂的一层。它定义了光纤通道的帧结构、各种服务类及流量控制等。FC-2层还定义了光纤通道的物理构成，包括节点、端口、登录和注销、拓扑结构等。

(4) FC-3通用服务层仍在研究开发之中，包括了数据加密和压缩等功能。

(5) FC-4层定义了光纤通道和上层协议(UpperLayerProtocols，ULP)之间的接口映射，包括IP、SCSI、HIPPI、ESCON等。

光纤通道协议的制定最初始于1988年，1994年纳入ANSI标准。与光纤通道协议相关的标准文档主要有，FC-PH(ANSIX3.230-1994，FibreChannel-PhysicalandSignalingInterface)，FC-PH-2以及最新的FC-PH-3。仲裁环网在制定FC-PH标准时并未考虑，后来单独形成了文档FC-AL(ANSIX3.272-1996,FibreChannel-ArbitratedLoop)、FC-AL-2和FC-AL-3。6.3.1传输介质

物理链路层定义了四种传输介质：单模光纤、多模光纤、同轴电缆和屏蔽双绞线。由于光线对噪声不敏感，故光纤是最好的传输介质，但铜介质相关设备比光纤便宜，故也得到了广泛的应用。

光纤的结构包括纤芯、包层和外皮。多模光纤纤芯直径有50µm和62.5µm两种，包层厚度为125µm，包层将光全反射到纤芯，使得光在纤芯内传输。多模光纤传输的是由数百种模的激光组成的短波激光，这使得信号的传输距离受到了限制。纤芯50µm的多模光纤传输距离约为500m，纤芯为62.5µm的多模光纤的传输距离约为175m。单模光纤纤芯直径为9µm，包层厚度为125µm，单模光纤内传输长波激光，由于单模光纤纤芯很细和传输单模光源，其传输距离比多模光纤长很多，可达到10km。两种光纤如图6.16所示。图6.16两种光纤的结构表6.1描述了光纤通道的多种传输速率。100MB/s的传输速率称为全速，其他还有1/8速为12.5MB/s、1/4速为25MB/s、半速为50MB/s、双速为200MB/s、四倍速为400MB/s。最常见的是全速和双速，我们通常也称之为1Gb/s和2Gb/s传输。表6.1光纤通道传输速率表6.2给出了光纤通道的一些技术方案，其发展趋势主要是提高传输速率和延长传输距离。图6.17给出光纤缆线具体参数的详细解释。表6.2光纤缆线技术方案图6.17光纤缆线参数详解6.3.2连接器

FC-0层还定义了光纤通道四种传送介质的连接器(Connector)，如图6.18所示。连接器是端对端的，负责发送的一端称为发射机，负责接收的一端称为接收机。通信双方中一方的发射机连接到对方的接收机，另一方的接收机连接到对方的发射机，实现一个全双工通信。图6.18(c)所示的9针接头DB9用于屏蔽双绞线，中间的五个脚已被禁用，1、6脚用于发射，5、9脚用于接收。图6.18(d)所示的同轴电缆连接器中BNC用于发射，TNC用于接收。图6.18光纤通道四种传输介质的连接器对于光纤介质来说，发送端的电信号需要转换为光信号而进行传输，接收端接收到光信号后，再将其还原成电信号。光纤收发器(transceiver)正是用来完成这一功能的。

GLM(GigabaudLinkModule)是一种使用较早的光纤收发器。GLM除了提供FC-0一层的功能外，还将时钟和数据恢复及串行化、解串行化等功能模块整合在一起。GLM可支持光纤或铜缆的全双工通信，但其不可热插拔，为设备的维护和替换带来了不便。作为GLM的替代品，GBIC(GigabitInterfaceConverter)是一种使用广泛的光纤收发器。GBIC并未同GLM一样集成串行化、解串行化功能模块，但其支持热插拔，并且在配置和使用方面较GLM简单。GBIC所支持的传输速率(transferrates)也远高于GLM。另有一种小型化的mini-GBIC，一般称为SFP(SmallForm-FactorPluggable)，可在同样的底板上提供更高的端口密度。

MIA(MediaInterfaceAdapter)收发器可将同轴电缆接口连接到光纤通道交换机，将同轴电缆的电信号转换为光纤光信号。MIA一般在一端提供一个DB-9连接器，在另一端提供一个双口SC光纤连接器。MIA只能在短波激光(SW)方案下使用，且不支持热插拔。6.3.38B/10B编码

光纤通道上，高速比特流串行传输。串行传输仅有发送和接收两条物理线路，不存在单独的线路来实现时钟同步，只能通过编码技术，将时钟“嵌入”比特流内部，故在串行传输中对所传送的比特进行编码十分重要。对数据进行编码，不但可以提高接收机实现时钟恢复和比特同步，而且易于检测和纠正数据错误。

光纤通道FC-1层采用了8B/10B编码算法，通道上传送的信息以每8比特为一组被编码为一个10比特的传送字符，接收端收到数据后再将10比特字符解码还原为8比特代码。

8B/10B编码算法由IBM公司的A.X.Widmer和P.A.Franaszek在20世纪80年代初期提出。该算法的基本思想是将一个8位字节划分为5位和3位两部分，对5位部分进行5B/6B编码，对3位部分进行3B/4B编码。相对于一次编码一个8位字节，分为两部分进行编码使得硬件上能更有效地对更小的子块进行编解码。通过两部分分别编码，最终8位字节被编码为10位字符。编码后的10位中所有1或0的个数不会超过6个，并且连续的1或0的个数不会超过4个。通过上述描述不难推断出，最终生成的10位字符值只可能出现以下几种情况：

(1) 10位中含有4个0和6个1，称之为正不均衡性(positivedisparity)。

(2) 10位中包含6个0和4个1，称之为负不均衡性(negativedisparity)。

(3) 10位中包含5个0和5个1，称之为中性不均衡性(neutraldisparity)。所谓不均衡性(disparity)，是指10位中0和1的出现次数之差。对应上述情况，8B/10B编码不均衡性只有三种可能：

(1) “+2”(4个0和6个1)

(2) “－2”(6个0和4个1)

(3) “+0”(5个0和5个1)例如，我们要将8位字节00111111(0x3F)进行8B/10B编码。首先，将其划分为001和11111两部分，并交换位置。8B/10B编码通常将这两部分数据表示为带点的十进制形式，即D31.1，其中D代表数据，我们后面还会提到另一类特殊字符，用K来代表；接着，对5位的11111进行5B/6B编码，得到010100和101011。对3位的001进行3B/4B编码，得到1001；最后将两部分组合，得到具有负不均衡性的编码0101001001和均有正不均衡性的编码1010111001。整个过程如图6.19所示。

如图6.19所示，编码后的数据其中一个称为RD－，表示“1”的个数比“0”多2个，另一个称为RD+，表示“1”的个数比“0”少2个。图6.198B/10B数据编码

8B/10B编码通过检测前一个字符的不均衡性来决定后一个字符的编码选择。如果前一个字符是正不均衡性字符，则后一个字符就应该选择负不均衡性。这种连续不均衡机制(runningdisparity)使得整个比特流中尽量保持了0和1的平衡。

10位传送代码可以支持所有256种8位组合，并且光纤通道利用剩余组合中的一些编码构成特定的控制码。K28.5是光纤通道中使用的控制码，如图6.20所示，其编码具有正不均衡性0011111010和负不均衡性1100000101两种。在两位相同的二进制数字后紧跟着五位与前两位不同的二进制连续串，这种特殊的格式使其与一般的数据编码区分开来。图6.208B/10B控制码K28.5编码将原本8位的字节用10位来表示，会使8B/10B编码的带宽利用率并不高。表6.3列出了目前几种低开销编码，这些编码以提高硬件设计复杂度为代价，换取了较低的带宽开销,由于对硬件的要求较高，因此还未得到广泛的应用。表6.3其他编码

8B/10B编码不只应用于光纤通道，目前在许多高速串行总线，如1394b、SATA、PCIE等也有广泛的应用。表6.4和表6.5分别是5B/CB与3B/4B编码表。表6.45B/6B编码表表6.53B/4B编码表6.3.4有序集

光纤通道中唯一的信息是传输中的比特流，我们必须采用一种方法来区分数据比特和各类控制比特，在光纤通道中用有序集来完成这一功能。有序集由4个编码后的字节共40位组成，开始字节为控制码K28.5，其后紧跟3个数据字节用来定义该有序集的功能，图6.21所示为SOF有序集的结构。图6.21SOF有序集结构通常，有序集可分为以下三类：

(1)帧定界符：用来标识数据帧的帧头和帧尾，例如K28.5D21.5D22.2D22.2有序集可用来标识帧头，称之为Start-of-Frame(SOF)；K28.5D21.4D21.6D21.6有序集可用来标识帧尾，称之为End-of-Frame(EOF)。光纤通道定义了11种类型的SOF有序集和8种类型的EOF有序集。

(2)原语信号：用来表示传输过程中的动作或事件。主要的原语信号有IDLE原语信号和R_RDY原语信号。IDLE表示为K28.5D21.4D21.5D21.5，用于在没有数据发送期间保持链路的激活。R_RDY表示为K28.5D21.4D10.2D10.2，用于表示准备在链路层传送帧。

(3)原语序列：用于指示或初始化传输中的状态变化。原语序列包括LIP、OLS、LR、LRR等。6.3.5光纤通道帧格式

上层协议传下来的数据块必须被组织成帧，以便网络传输。由图6.22所示可知，帧结构由大五部分组成，具体如下：

(1)帧起始定界符SOF(StartofFrame)。帧的最前面是4字节的帧起始定界符。SOF是一个有序集，用来分割帧与帧，不同的SOF可定义不同类型的帧。

(2)帧头是紧跟在SOF后的24字节。主要包含了目的地址和源地址信息，控制字段及序列和交换标识。在同一时间不存在两个帧头完全相同的帧，每个帧通过帧头中的SI_D、D_ID、OX_ID、RX_ID、SEQ_ID和SEQ_CNT值来唯一标识帧。

(3)紧跟帧头之后的数据字段是帧的净荷，其长度为0～2112字节，但必须是4的倍数，因为光纤通道帧是4字节对齐的。数据负载字段的最前面可插入可选帧头，供一些特殊的应用使用。帧头中的DF_CTL字段可指示是否存在可选帧头。由于可能有可选帧头的存在，故光纤通道的净荷部分为2112字节减去可选帧头长度。通过净荷部分与帧的整个长度之比，我们可以简单估算数据帧的有效载荷。

(4)CRC是4字节循环冗余校验。在8B/10B传送编码前和解码后，根据帧头和数据字段计算CRC，循环冗余校验计算和验证中不包括帧起始定界符和帧结束定界符。

(5)帧结束定界符EOF(End-of-Frame)是4字节帧尾定界符。EOF有序集用来标识帧的结束，同SOF相似，EOF也有多种不同类型可供选择。图6.22数据帧结构图6.23所示为一个24字节的帧头结构，通过帧头可唯一标识帧。帧头内部一般包括以下字段：

(1) R_CTL(RoutingControl)：1字节路由控制字段。前4个比特称为路由比特(RoutingBits)，后4个比特称为信息种类(InformationCategory)。

(2) S_ID(SourceID)和D_ID(DestinationID)：3字节目的地址标识符和3字节源地址标识符。

(3) Type：数据结构类型。

(4) F_CTL(FrameControl)：帧控制标识符。帧控制标识符长3个字节，是控制帧处理的最重要字段，24个比特各有其特定含义。例如，第11比特用来表示帧是否以压缩形式传送，置“0”表示未压缩，置“1”表示压缩。光纤通道数据压缩采用ALDCLZ-1(自适应无损数据压缩LempelZiv-1)；第10比特用来表示帧是否以加密形式传送，置“0”表示未加密,置“1”表示加密。光纤通道数据加密的形式未作具体规定。

SEQ_ID(SequenceID)：序列标识符。

DF_CTL(DataFieldControl)：可选帧头标识符。

SEQ_CNT(SequenceCount)：序列计数。

OX_ID(OriginatorExchangeID)：发送端交换ID。

RX_ID(ResponderExchangeID)：接收端交换ID。图6.23帧头结构6.3.6序列和交换

帧是光纤通道FC-2层数据传送的基本单位，一个帧的最大数据负载为2112字节。

序列是从序列发送端单向传送到序列接收端的一个或多个相关的帧。每个序列由序列标识符SEQ_ID唯一标识，同一个序列中各个帧由SEQ_CNT来区别，序列中第一帧的SEQ_CNT值根据不同的情况可能是前一序列的最后数据帧的SEQ_CNT值加1，也可能用0初始化，后续每帧的SEQ_CNT值依次加1，从而保证了序列中各个帧的唯一性。光纤通道的差错处理策略以序列为单位。如果某个帧的CRC校验失败，则需重新发送帧所在的整个序列。交换由一个或多个非同时相关且与一些高层操作有关的序列组成。交换可以是单向的，仅由交换发起端初始序列；也可以是双向的，交换发起端和接收端两者均能非同时初始序列。每个交换由OX_ID和RX_ID来标识，OX_ID由发送端分配，RX_ID由接收端分配。帧、序列、交换的关系如图6.24所示。图6.24帧、序列、交换之间的关系6.3.7服务类型

光纤通道通过提供不同的服务类型来满足不同数据传输需求。

第1类服务在发送端和接收端之间建立了一条专用通道。一方面，专用通道使得两端的通信不受其他端口的影响，保证了所有帧能按照发送的次序被接收，接收端收到帧后向发送端发出确认帧；另一方面，交换机必须负担起在端与端之间专用通道的维护工作，且不允许其他端口占用。第2类服务类似于TCP/IP，不需要在发送端和接收端之间建立专用通道，通过提供无连接服务达到较好的链路利用率。数据帧经由不同的中间节点到达接收端，接收端发送确认帧确认是否收到。第2类服务不保证接收次序和发送次序一致。

第3类服务与第2类服务一样是无连接的。不同的是，为了降低开销提高性能，接收端收到数据帧后不发送确认帧，类似于UDP/IP。其传输错误依靠上层协议来恢复。

第4类服务是面向连接的虚电路服务，它并不为通信双方分配全部带宽，而是给每条连接分配部分带宽和不同的Qos参数。第5类服务目前还没有定义。

第6类服务提供组播服务，主要应用于视频数据传输。

混合(Intermix)服务综合了第1类和第2、3类服务的优点，允许第2类和第3类服务的帧使用第1类服务没有完全使用的专用通道带宽。

另有一种ClassF服务，用于交换机到交换机之间的通信。 6.3.8流量控制

流量控制通过控制端口间的数据帧流量来避免端口的数据拥塞。接收端通常有缓存用于存放接收到的数据帧，直到这些数据帧有序组合后交给上层协议。在TCP协议中，用滑动窗口来实现流量控制。

光纤通道的流量控制通常可分为两类：端到端(End-to-End)的流量控制和缓存到缓存(Buffer-to-Buffer)的流量控制。我们通常将端口可缓存数据帧的数量称为信用(Credit)，根据流量控制类型的不同可分为EE_Credit和BB_Credit；发送端发出还未被接收端确认的数据帧数目称为信用数(Credit_CNT)，分为EE_Credit_CNT和BB_Credit_CNT。流量控制通过信用和信用数的配合来实现。端到端的流量控制中，EE_Credit_CNT值首先被初始化为0，发送端每发送一个数据帧，EE_Credit_CNT值增加1。当发送端收到接收端发来的ACK确认帧时，EE_Credit_CNT值减1。一旦EE_Credit_CNT值达到EE_Credit值时，发送端停止发送数据帧，等待接收端处理数据帧。

缓存到缓存的流量控制中，BB_Credit_CNT值首先被初始化为0，发送端每发送一个数据帧，BB_Credit_CNT值增加1。当发送端收到接收端发来的R_RDY原语信号时，BB_Credit_CNT值减1。一旦BB_Credit_CNT值达到BB_Credit值时，发送端停止发送数据帧，等待接收端处理数据帧。第1类服务是面向连接的，它仅使用EE_Credit进行端到端的流量控制。第2类服务可使用两种流量控制机制。第3类服务在接收端收到数据帧后不发送确认帧，它仅使用BB_Credit缓存到缓存的流量控制。

在整个流量控制机制中，需要有足够的缓存来实现发送端和接收端的不间断帧传输。例如，在1Gb/s的光纤通道中，一个数据帧的物理长度可能是75m～4km不等。假设光纤通道长100km，帧长度4km，在第一帧从发送端传到接收端之前，光通道上共有25个数据帧，之后接收端需将确认信号R_RDY或ACK传回发送端，这段时间发送端又可以发送25个数据帧，所以接收端需要至少50个单位大小的缓冲区才能实现不间断的帧传输。

6.4存储区域网络

6.4.1拓扑结构

存储区域网络由三部分构成：服务器、网络设备、存储设备。服务器和存储设备可被抽象为节点，每个节点通过多个端口与其他节点物理连接交互信息。节点是全双工模式的，每个端口有传送(Tx)和接收(Rx)两个接口，如图6.25所示。图6.25存储区域网络端口存储区域网络有三种基本的拓扑结构：点到点(Point-to-Point)、仲裁环网(ArbitratedLoop，FC-AL)和交换网(SwitchedFabric，FC-SW)。

1.点到点

点到点是在两台设备间建立专用的、直接的连接，是一种最简单的拓扑结构，如图6.26所示。上一章中提到的DAS是一种点到点的连接。这种连接方式中光纤通道两个节点利用连接的全部带宽，光纤通道是全双工的，对于1Gb/s的光纤通道每个方向上都是100MB/s，对于2Gb/s的光纤通道每个方向上都是200MB/s。点到点的拓扑结构只能连接两个节点，当需要构成更为复杂的网络拓扑时，就要使用仲裁环结构和交换结构。图6.26点到点拓扑

2.仲裁环网

仲裁环网是由集线器和通信节点构成的星形拓扑结构，如图6.27所示。同点对点结构相比，仲裁环网的端口地址为1个字节，能支持多达127个节点设备(126个NL端口和1个FL端口)。环可以由节点间直接相连或由集线器连接构成。当仲裁环网上的两个节点设备进行通信时，两个节点将独占环的全部带宽。当多个节点间需要同时通信时，仲裁环需要通过仲裁协议来决定先让哪两个节点通信，其优先级与端口地址的大小有关。仲裁环网上的所有设备共享通信带宽及其最多127个节点设备的限制，决定了仲裁环网只适用于中小型存储系统。图6.27仲裁环网拓扑

3.交换网

交换网是由一个或多个光纤交换机和通信节点构成的网络，如图6.28所示。与仲裁环网最大的不同是，交换网允许多对节点同时通信，并为每对节点提供全带宽。向仲裁环中添加新设备会分割共享带宽，而向交换网添加新设备却会增加总的带宽。交换网端口地址为3字节，通过光纤交换机的级联，交换网最大可支持65000多个节点设备，有很好的扩展性，适合大型存储系统。图6.28交换网拓扑6.4.2端口类型

光纤通道上的节点用电缆进行连接，作为光纤通道节点间的连接点，端口起着重要的作用。我们通常将光纤通道端口分为以下几种基本类型：

(1) N端口：存储设备或服务器与光纤交换机连接的端口。

(2) L端口：存储设备或服务器与仲裁环连接的端口。

(3) NL端口：存储设备或服务器与光纤交换机或仲裁环网连接的端口，NL端口具有连接交换网和仲裁环网的双重功能。

(4) F端口：光纤交换机上与存储设备或服务器连接的端口。

(5) FL端口：光纤交换机上与仲裁环连接的端口。通常FL端口会连接NL端口，构成公有仲裁环网。

(6) E端口：光纤交换机和光纤交换机连接的端口，即级联端口。

(7) G端口：光纤交换机上的通用端口。

以上几种类型中，N端口、L端口和NL端口是光纤通道网络的终端节点上的端口；F端口、FL端口、E端口和G端口是光纤交换机上的端口。表6.6列出了各个端口的详细信息，图6.29示例了各个端口的连接方法。表6.6端口类型图6.29端口的连接6.4.3端口地址

光纤通道每个设备都有一个64位的唯一标识，称为WWNN(WorldWideNodeName)。并且，多端口设备的每个端口还有各自的64位唯一标识，称为WWPN(WorldWidePortName)。同IP网络的48位MAC地址机制类似，WWNN和WWPN一般固化在硬件设备中，如果制造商已向IEEE注册了地址范围，那么它们就是全球唯一命名，统称为WWN(WorldWideName)。WWN的格式一般有三种，包括两种旧的格式和一种新格式，如表6.7、6.8、6.9所示。表6.7WWN格式一表6.8WWN格式二表6.9WWN格式三与IP网络MAC地址不同的是，WWN并不用于网络中的帧传输，帧的路由由端口登录光纤网时动态分配24位端口地址负责，存储在光纤通道帧帧头的S_ID(SourceID)，D_ID(DestinationID)字段中。交换网和仲裁环网24位端口地址的格式不同，并且私有环和公有环的地址格式也不尽相同。

交换网24位端口地址格式如图6.30所示，域标识符中的17个地址预留给特殊服务，其余239个地址可动态分配给光纤交换机；区标识符可用来标识一组相关的F端口；端口标识符用来标识同一组中的F端口。理论上讲，交换网最多可标识239×256×256 =15663104个端口地址空间。图6.30交换网端口地址格式仲裁环网中，私有环24位端口地址的高两个字节初始化为0，低8位字节用来标识NL端口的仲裁环物理地址(AL_PA)，如图6.31所示。公有环端口地址的高两个字节一般称为环标识符，其值由交换机动态分配，用来区分交换机连接的多个环网，处于同一环网的NL端口地址高两个字节值相同，如图6.32所示。理论上讲，仲裁环网最多可标识127个地址空间，仲裁环物理地址(AL_PA)的值越小，其仲裁优先级越高，全零字段预留给交换机的FL端口。图6.32共有环端口地址格式图6.31私有环端口地址格式假设一个交换网由三台服务器，两台交换机和一个磁盘阵列组成，其拓扑结构如图6.33所示，每个端口的端口地址如表6.10所示。我们可以看到，服务器1的A端口和B端口的WWNN相同，而WWPN不同；磁盘阵列的A端口和B端口的WWNN相同，而WWPN不同；服务器2和3的端口同服务器1的A、B端口的高八位均为“01”，表示其在同一个交换机域中；磁盘阵列的A、B端口高8位均为“02”，表示其在同一个交换机域中。图6.33交换网端口地址举例表6.10交换网端口地址举例6.4.4存储区域网络设计

企业的生产和经营越来越依赖IT系统，系统平稳运行和数据的可靠直接关系到企业的业务能否正常运转。系统长期运行积累的大量与企业各种业务应用息息相关的生产信息及经营数据是企业独一无二的资产，企业在建设高性能服务器平台的同时，还需要建立一套完善的数据存储和备份机制。

表6.11列出了某企业所有服务器的详细信息。主要包括：企业应用服务器1、2两台用来提供不同的企业服务、邮件服务器负责企业邮件服务、Web服务器负责企业门户网站、测试服务器供企业内部开发测试使用，Oracle数据库服务器主要提供企业应用服务器1和2的数据库访问。表6.11某企业服务器信息针对上述服务器的情况，我们设计了一套完整的存储备份方案并对方案未来的扩展性做出了规划。

1.需求分析

1)服务器

企业应用服务器1和2的共同特点是：Windows操作系统，Oracle数据库服务器，I/O请求数据量小、请求次数。针对其数据访问特点，存储系统单位时间应能够达到较大的吞吐量，较好的随机访问性能。考虑企业应用服务器1和2为该企业关键服务，为保障其可靠性，应采用双机互备，在主应用服务器崩溃后，短时间内自动切换到备用服务器。

2)集中核心存储

集中核心存储平台使用存储区域网络全光纤架构。集中核心存储平台的磁盘阵列具有全冗余、热插拔模块化结构，能够消除任何单点故障。每条光纤通道和交换机都是冗余的，各光纤通道间实现负载均衡，最大化光纤通道利用率，平均分配数据流到各个光纤通道。对于不同的数据类型，实施同一磁盘阵列内配置不同硬盘的存储策略，对数据库结构化数据，采用光纤硬盘，保证客户端并发在线处理的I/O存取性能；对文档型非结构化数据，采用SATA硬盘，提供海量空间，有效节省资源。

3)数据备份

数据备份是指将文件系统或数据库系统中的数据加以复制，一旦发生灾难或错误操作时，可方便及时恢复系统的有效数据，保证系统正常运作。备份可分为：

(1)全部备份：把硬盘或数据库内的所有数据作一次性的复制。

(2)增量备份：对上一次全部备份后更新的数据进行备份。

(3)选择式备份：对系统的一部分进行备份。使用数据备份可进一步增强整个存储平台的可靠性。通过光纤通道存储区域网络直接从集中核心存储备份数据到备份设备。使用LAN-Free备份，避免占用IP网络带宽。备份系统通过授权方式，在集中的管理控制端服务器上，通过便捷的操作，实现整个备份系统的设置和监控。对于不同的数据类型，采用不同的备份优化策略进行定期全部或增量的备份，最小化服务器资源占用。对数据库结构化数据，备份策略设置较为频繁；对文档型非结构化数据，在保证拥有一份完整备份的前提下，可适当调整备份次数。

2.软/硬件选型

1)服务器

对两台企业应用服务器采用RoseHA双机软件进行双机互备，在主应用服务器崩溃后可自动切换到备用服务器。

双机软件的基本原理是两台服务器，一台处于Active状态，称为主用服务器；另一台处于Standby状态，称为备用服务器。在正常情况下，由处于Active状态的主用服务器提供服务，当主用服务器出现故障时，处于Standby状态的备用服务器被激活，接替主用服务器继续提供服务，整个过程无需人工干预。

RoseHA双机软件分别安装在两台企业应用服务器上，两台服务器之间通过心跳网络连接。每台服务器上的RoseHA软件都可监控另一台服务器的状态。正常状态下，两台服务器应用各自运行，两台服务器均部署有对方的全部应用服务，处于备用状态，一旦其中一台发生故障，心跳信息就会产生变化，通过私用心跳网络被RoseHA软件捕捉后，RoseHA将部署在另一台上的应用服务自动启动，控制系统进行服务器切换，使两个业务系统同时运行未发生故障的服务器上，并进行报警，提示管理人员对故障服务器进行维修。当维修完毕后，可以根据RoseHA的设定自动或手动再切换回来，双机系统继续工作。在进