专题3 《存储协议基础》-V10

存储协议基础作者：刘果工号：04912课程目的了解NFS和CIFS协议了解SCSI和FC协议了解iSCSI、iFCP、FCIP、infiniband

和AoE协议掌握上述几种相关协议的优劣目录NFS和CIFS协议介绍SCSI协议介绍FC协议介绍iSCSI、iFCP、FCIP、infiniband和AoE协议介绍总结存储体系架构--NASNetworkAttachedStorage（NAS）基于NFS、CIFS文件级共享存取，支持HTTP存储设备功能上独立于网络中的主服务器，不占用服务器资源扩展较容易，广泛支持操作系统及应用，安装简单方便数据备份及恢复占用网络带宽NFS协议NetworkFileSystem，网络文件系统最初由Sun微系统开发，现为IETF协议可用于不同类型计算机，操作系统，网络架构和传输协议运行环境中的网络文件远程访问和共享服务器消息块协议（SMB）和国际互联网普通文件系统（CIFS）是NFS的类似协议，在MicrosoftWindows平台中，拥有着对等的网络文件系统应用NFS协议发展说明NFSV2NFS最早被广泛应用的版本，起初完全运行于UDP之上，并且不保留状态NFSV3整合了TCP传输，支持更大的文件和64bits寻址，安全性也得到了加强NFSV4提高了经由Internet进行访问的性能；将许可条款内置到协议之中，安全性得到了极大的加强；良好的平台互操作性；支持扩展协议NFSV4是V2和V3的进一步修正版本，它不仅保留了前面版本的基本特征，还被设计为易恢复、与传输协议、操作系统和文件系统无关和良好的性能NFS通信架构客户端服务器端NFS传输协议客户端程序服务器端程序NFS传输协议用于服务器和客户机之间文件访问和共享的通信，该协议还支持服务器通过输出控制向一组受到限制的客户计算机分配远程访问特权CIFS协议Microsoft服务器消息块协议（SMB）的增强版本微软的一种私有协议定义了一种与应用程序在本地硬盘和网络文件服务器上共享数据的方式相兼容的远程文件访问协议在TCP/IP上运行，可扩展至Internet，为慢速拨号连接优化利用重定向包可以通过网络发送至远端设备，而重定向器也利用CIFS向本地计算机的协议栈发出请求CIFS关键特点文件访问的完整性：CIFS支持一套通用的文件操作：打开、关闭、读、写以及搜索。也支持文件和记录的锁定和解锁。CIFS允许多个客户端访问和更新同一个文件，它通过提供文件共享和文件锁定功能来避免发生冲突为慢速连接优化：为使用调制解调器访问Internet的用户改善性能安全性：CIFS服务器既支持匿名传输，也支持对于指定文件需要验证的安全访问。同时，也易于管理文件和目录的安全策略。高性能和可扩展性：CIFS服务器和操作系统高度集成，为最大系统性能而优化使用统一码（Unicode）文件名：文件名可以使用任何字符集，而不局限于为英语或西欧语言设计的字符集全局文件名：用户不必挂载远程文件系统也直接查阅到全局的有效名称，而不是只有本地意义的那些名称CIFS协议结构CIFS不足“喜欢唠叨”：完成一次请求需要来回传送大量的事务。传送一个大小为30MB的文件时，CIFS必须在客户端与服务器之间往返数百次。在典型的LAN上，传输过程只需要几秒钟，而在时延为300ms的2MbpsWAN链路上则需要7.5分钟通常情况下，在客户机与服务器之间的一次往返中，CIFS最多只能传送61KB数据，每个CIFS请求都需要应答，然后下一个请求才能传送给CIFS服务器。性能随着时延的增加而下降。目录NFS和CIFS协议介绍SCSI协议介绍FC协议介绍iSCSI、iFCP、FCIP、infiniband和AoE协议介绍总结80MB1998SCSI-3SP2160MB1999SCSI-3SP3320MB2001SCSI-3SP4??SCSI-3SP520MBMid1995SCSI-3SPISCSI发展简史

1993-SCSI-3SPI1995(SCSI并行接口)SPI-21998SPI-31999SPI-42001SPI-5终止SCSI:Small

Computer

System

Interface小型计算机系统接口

SCSI架构分层模型特定设备命令集：包括磁盘设备的“SCSI块命令”等基础命令集：所有SCSI设备都必须实现的“基础命令”SCSI传输协议：比如iSCSI，FCP物理连接：比如光纤通道，internet架构模型：定义了SCSI系统模型和各单元的功能分工SCSI主要实体介绍SCSI是客户端-服务器架构在SCSI术语里，客户端叫initiator，服务器叫targetInitiator通过SCSI通道向target发送请求，target通过SCSI通道向initiator发送响应SCSI通道连接的是SCSIPort：SCSIinitiatorport和SCSItargetport。由ServiceDeliveryProtocol（服务传输协议，如FCP、iSCSI等）建立和维护。Target包含一个SCSIport，任务分发器和逻辑单元SCSIport用来连接SCSI通道，任务分发器负责将客户端的请求分到到适当的逻辑单元，而逻辑单元才是真正处理任务的实体通常一个逻辑单元都支持多任务环境，所以需要包含一个任务管理器和真正响应请求的服务器initiator至少必须包括一个SCSIPort，和一个能发起请求的客户端Initiator用一种叫做CDB(CommandDescriptorBlocks)的数据结构封装请求SCSI域initiator：包括至少一个SCSIport和一个客户端，客户端用来发起SCSI命令target：包括至少一个SCSIport和一个任务路由器（taskrouter）、一个或多个逻辑单元LULU：逻辑单元（LogicUnit），处理命令的真正实体，包括一个任务处理器（taskmanager）和一个设备服务器（deviceserver），每个LU都有一个逻辑单元号（LUN）targetinitiator客户端SCSIportSCSI通道SCSIport任务路由器逻辑单元LU任务管理器设备服务器SCSI域Target端组件：任务路由器：target的组件，负责将发送到target的任务分送到目标LU任务管理器：LU组件，负责管理到达LU的任务，包括初始化任务，管理任务对列和维护任务状态等设备服务器：LU组件，任务的真正执行者。处理操作和并将其指向特定的LUN任务在target的执行过程：1.Initiator发起任务，由SCSI通道传输到target2.Target端由任务路由器将任务分送到指定的LU3.LU的任务管理器接管任务，将任务初始化，并放置到任务队列4.任务队列的任务获得执行权限，交由设备服务器，由设备服务器执行具体操作targetSCSIport任务路由器逻辑单元LU任务管理器设备服务器任务SCSI通信模型Initiator的应用层封装好SCSICDB后，调用SCSI传输协议接口……Target的应用层收到SCSICDB后，根据CDB内容进行相应处理，封装好SCSI响应后，调用SCSI传输协议接口……iSCSI正是SCSI传输协议的一种SCSI特点及应用特点：应用范围广、多任务、带宽大、CPU占用率低，以及热插拔，但价格较高应用场合：中、高端服务器和高档工作站。磁盘、光驱、磁带机、硬盘存储SCSI必须要有专门的SCSI控制器，也就是一块SCSI控制卡，才能支持SCSI设备SCSI-3架构协议簇与SCSI分层架构相对应，每个框都是一个协议单元；而FC、infiniband和iSCSI只是它的物理连接和传输协议而已目录NFS和CIFS协议介绍SCSI协议介绍FC协议介绍iSCSI、iFCP、FCIP、infiniband和AoE协议介绍总结FC简介FC-AL(光纤通道仲裁环FibreChannelArbitratedLoop)，是一种基于SCSI协议设计的双端口的串行存储接口，支持全双工工作方式FC为上层协议(SCSI,IP等)提供一个通用硬件传输平台。光纤通道不是一种新的协议FC是一种高速度、高可靠、低延迟、高吞吐量的串行数据传输接口40-pinMaleFC-SCAIIConnectorFC存储特性比较

SCSI-命令集-物理传输光纤通道第一代(4Gb/s下)ArbitrationLoop光纤通道第二代交换式Fabric节点连接能力15126(28)(光纤通道集线器)1千6百万个(224)(光纤通道交换机)距离限制12米10公里10公里(可扩展)最大带宽320MB/秒

(半双工共享带宽)400MB/秒(全双工共享带宽)800MB/秒(全双工独占带宽)多协议支持否是是管理支持能力否是先进

(telnet,SES,SNMP,GUI,API)错误隔绝否最低程度是FC基本架构FC各层功能简述FC-0（物理接口层）：主要由传输介质、发送端、接收端以及它们之间的接口组成；FC-1（字节编码层）：定义了包括串行解码、编码及差错控制的传输协议；FC-2（数据分发层）：指明了传输规则，并提供了进行端到端数据块传输时所需的传输机制；FC-2的功能包括：几种服务类型、帧格式定义、顺序分解和重组、交换管理、地址分配、别名地址定义、广播管理和堆栈连接请求；FC-3（通用服务层）：提供了一系列通用服务：LinkServices和HuntGroups；FC-4（高层协议映射）：FC标准集的最高层，定义了FC底层和高层之间的协议映射关系。比如将光纤通道性能映射为IP,SCSI或ATM等协议连接线和接口部件介质种类速度距离(m=米)9µm单模光纤(长距离)100MB/s200MB/s2m–10km50µm多模光纤(短距离)100MB/s200MB/s2m–500m电信号(铜介质)100MB/s0m–24m1Gbps光纤使用SC接口,2Gbps使用LC接口(SFP)光纤通道不只等于光纤铜缆和光缆光纤通道端口类型设备(节点)端口N_Port =“Fabric直接连接设备”NL_Port=“Loop连接设备”

交换机端口E_Port =“扩展端口”(交换机到交换机)F_Port =“Fabric端口”FL_Port =“FabricLoop端口”G_Port =“普通(Generic)端口—可以转化为E或F”U_Port =“通用(Universal)端口”(用于描述自动端口检测的术语)端口链接输入输出

点对点

ArbitratedLoopFabricFabric端口状态Fabric节点N_PortF_PortF_PortE_PortE_PortFL_Port节点N_Port交换机2交换机1节点NL_Port节点NL_PortU_Port点对点拓扑结构主机ProcessorMemoryI/OBusN_Port0BridgeTXRXRXTX磁盘柜N_Port1控制器Transmit(TX)信号发射Receive(RX)信号接收仲裁环拓扑结构TXRXNL_port0TXRXNL_port3RXTXNL_port1RXTXNL_port2最大连接126的节点FC-ALPronounced“F-kal”交换拓扑结构FabricTXRXN_port0TXRXN_port1TXRXN_port2TXRXN_port3TXRXN_port4224=16millionnodespossibleF_portAF_portEF_portDF_portCF_portBFC的三种拓扑结构点对点只能连接2个设备(直接连接)交换式Fabric最多支持1千6百万个设备(光纤通道交换机)ArbitratedLoop

(仲裁环)最多支持126个设备(光纤集线器)普及!FC的优势

速度非常高。FC通常在2Gb/s的速率上运行，4Gb/s已经开始普及，10Gb/s出现，正朝着100Gb/s的方向迈进传输距离远。长达10km的光纤连接使远程镜像和备份成为可能，即便是采用铜缆也可以达到30米以上的传输距离可扩展性和高可靠性。可以根据系统的需求灵活地扩展整个系统；其高效的编码和错误校验机制大大提高了数据传输的可靠性具有多方面的灵活性。可以载送多种协议的数据，包括SCSI、IP、ATM等高层协议的数据；可以支持点到点、专有环结构和交换结构等拓扑结构；可以在单一的拓扑结构中采用光纤、铜缆等多种媒介；通过桥接设备可以实现早期SCSI与以太网的兼容SCSI与FCSCSIFC接口类型并行串行寻址空间1616million线缆长度12m10km连接引脚数68铜缆或光缆双端口否是双工方式半双工全双工拓扑连接总线环路或交换式最多连接设备数16127-环路/2^24-交换式适用场合中型企业服务器大型企业服务器主要优势性能较高高性能，高可靠性主要劣势并行技术的弊端价格较高目录NFS和CIFS协议介绍SCSI协议介绍FC协议介绍iSCSI、iFCP、FCIP、infiniband和AoE协议介绍总结存储体系架构--SANIPSAN的三种协议iFCP中FC-2层被替代iSCSI概述由IBM，CISIO，HP发起；2000-2为IETF草案，2004-4作为正式的IETF标准现在的iSCSI协议对应SAM2，而最新的SAM是SAM4主要由RFC3720描述涉及的RFC还有：3721（iSNS），3722（命令规范），3723（安全），3347（设计），3783（IP上的有序命令传送），3385（错误估计）用TCP/IP作为SAN的基础设施iSCSI是构建在TCP之上，而不是IP；是面向连接的，而不是无连接的。（一个iSCSI命令可能分在几个IP报文中）需要禁用TCP的NAGLE算法（见TCP/IP详解V119.4节）iSCSI的主要功能是在TCP/IP上封装，并可靠的传输SCSI命令iSCSI协议是SCSI远程过程调用模型到TCP/IP协议的映射SCSI协议层负责生成CDB，并将其送到iSCSI协议层，然后由

iSCSI协议层进一步封装成PDU，经IP网络进行传送iSCSI协议栈TCP头iSCSI头SCSI命令IP头iSCSI帧iSCSI帧格式iSCSI各层介绍SCSI层：根据应用发出的请求建立SCSICDB(命令描述块)，并传给iSCSI层；同时接受来自iSCSI层的CDB，并向应用返回数据iSCSI层：对SCSICDB进行封装，以便能够在基于TCP／IP协议的网络上进行传输，完成SCSI到TCP／IP的协议映射。这一层是iSCSI协议的核心层TCP层：提供端到端的透明可靠传输IP层：对IP报文进行路由和转发Link层：提供点到点的无差错传输iSCSI层次模型Client/Server模型NetworkEntity：可以访问IP网络的设备或者网关iSCSINode：即InitiatorNode或者TargetNodeNetworkPortal：NetworkEntity的一个组件，有IP地址，iSCSINode通过它来建立会话和连接PortalGroup：NetworkPortal的集合iSCSI

体系结构模型NetworkEntity有一个或者多个NetworkPortal每个NetworkPortal可以被多个iSCSINode访问一个会话可以包含跨多个

NetworkPortal的多条连接一个或者多个PortalGroup

可以提供到同一个Node的访问iSCSITargetNode（WithinNetworkEntity）

iSCSISessionTSIH＝56

iSCSISessionTSIH＝48PortalGourp1PortalGroup2NetworkPortalNetworkPortalNetworkPortaliSCSI

体系结构模型iSCSI优点高容量高可靠高扩展良好的标准化易管理灵活的安全性和QoS保证很低的安装成本和维护费用：建立在TCP/IP上减少了异构网络和电缆：不需要特殊的FC交换机零距离限制，远程存储（广域网）异地间数据交还异地间数据备份及容灾FCPSCSI的光纤版本支持点到点，共享环路及网络交还拓扑结构采用光纤通道协议节点之间的互连可以是光纤，也可以是铜缆或其他材料的导线不足：传输距离：最多只能传输10公里；如果需要扩展，需使用其他相关协议需要构建专门的存储网络、专门的FC交换机安装和维护成本非常高FC协议与iSCSI协议的比较流量控制超时重传加密和认证CPU负担iSCSI协议基于窗口的发送机制使用自适应重传算法允许多种加密和认证方式，如IPSec数据包的分段和重装由CPU来完成FC协议基于信用的流量控制使用静态的超时重传机制基于逻辑上的数据通道绑定数据包的分段和重组操作在网卡中实现比较说明iSCSI对网络的适应性更好，尤其在网络传输延迟较大的网络中iSCSi更加适合目前的网络情况iSCSi安全性更好iSCSI协议增加了CPU的负担。数据块越小，CPU负担越大对于传统的基于LAN的SAN来说，因为FC的分段重组机制大大减轻了CPU的负担，加快了数据的处理，它是比iSCSI更好的网络互连协议。对于需要远距离传输的存储网络来说，由于iSCS在流量拥塞控制机制、发现和地址机制、超时重发机制、安全机制等方面的优势，它比FC更适合。FCIPFCoverTCP/IP，将FC协议封装到TCP/IP包中，从而使FC通过网络进行传输。由博科、Gadzoox网络、朗讯科技、Mcdata及Qlogic共同提出FCIP是一种隧道协议，只能用在位于IP网络终点的FCIP隧道设备中连接广域的FCSAN，能够通过IP网络将各个孤立的光纤信道存储区域网络连接起来，从而形成一个统一的存储区域网络解决了FC的传输距离问题，即SAN之间的互连互通应用场合：已经应用了光纤通道技术并且想克服距离限制的企业TCP头FCIP报头SOFFC帧SOFIP头FCIP帧FCIP帧格式FCIPFCIP不足：只能在FCIP设备之间建立单点到单点连接，并且无法提供两个独立存储设备之间的IP连接是一种不透明的传输协议，在FC层没有错误检测，错误将被传播FCIP设备有可能是瓶颈：FC和IP网络之间的线速不匹配或者低效的FCIP引擎FCIP通道崩溃，两个远程FC交换机之间的连接也不会自动恢复，商业应用较难。原本连接而成的单一的逻辑存储区域网络将分割成两个单独的存储区域网络，各自进行本地数据交换由于FC帧在不透明的管道中传输，IP网管工具不能穿透FC会话层，因此在网络管理方面，FCIP网络的运维需要IP和FC两套管理系统TCP头FCIP报头SOFFC帧SOFIP头FCIP帧FCIP帧格式iFCP由NishanSystem倡导，Mcdata开发了其产品为TCP/IP网络上的FC端设备提供FC网络服务主要目标是使现有的光纤信道设备能够在IP网络上以线速互联与组网也是为了解决FCSAN远程传输问题应用场合：还没有实施光纤通道技术，并且希望从非光通道环境扩展和移植的企业TCP头iFCP报头FC帧IP头iFCP帧iFCP帧格式iFCP特点InternetFiberChannelProtocol是一个网关到网关的协议，可以直接替代FC架构通过iFCP存储交换机建立连接的同时能够建立网关分区，可以将出现问题的区域隔离起来，并克服了点到点隧道的限制错误不会传播：利用TCP保障可靠传输的机制替代了FC-2的相关功能只需要单一的网管系统实现了SAN的路由故障隔离、安全及灵活管理，具有比FCIP更高的可靠性TCP头iFCP报头FC帧IP头iFCP帧iFCP帧格式IP存储网络融合FCIP、iFCP与iSCSIInfiniBand总线共享体系结构与开放式体系架构简称IBA，是一种把网络技术引入I/O体系之中的高级互连技术，它主要用于连接服务器、网络设备和存储设备。InfiniBand贸易协会（IBTA）于1999年成立。2000年下半年，IBTA公布InfiniBand。至此，该组织的成员已经发展到180家公司，其中包括Dell、HP、IBM、Intel、Mocrosoft和Sun。是一种是以通道（Channel）为基础的双向、串行式传输，在连接拓朴中采用交换式结构技术的通用I/O规范，并把I/O控制的责任从处理器移到了智能的I/O引擎。InfiniBand用一个支持并行数据和多种I/O链接进行转换的I/O交叉网来替换传统的总线系统是FIO（FutureI/O，Compaq等）和NGIO（NextGenerationI/O，Dell等）的融合在硬件上提供高可靠的传输层级别的数据传输，在导线上支持消息传递，基于IO通路共享InfiniBand体系结构InfiniBand标准定义了一套用于系统通信的多种设备，包括信道适配器、交换机和路由器。信道适配器用于同其它设备的连接：主信道适配器（HCA）和目标信道适配器（TCA）。交换机是InfiniBand结构中的基本组件。点到点的交换结构：解决了共享总线、容错性和可扩展性问题。物理层的低功耗和具有箱外带宽连接能力InfiniBand协议分层结构物理层：定义了三种速率的连接，分别为1X、4X和12X，其信号单倍传输速率分别为2.5、10和30Gb/s。链路层：链路层与传输层处在

IBA的核心位置。提供了局部子系统中的信息包设计、点到点连接操作以及包交换等功能。网络层：提供了信息包从一个子结构到另外一个子结构的路由机制。传输层：传输层主要负责信息包的按序分发、分割、通道多路技术以及传输服务等；也负责处理数据包分段的发送、接收和重组。物理层链路层网络层传输层高层5层结构Infiniband组网图子网图Infiniband特性分层协议3种连接速度，高速远距离：使用铜缆可达17m，单模光纤可达10Km支持PCB、铜缆、光纤互连子结构管理协议远程DMA支持，无须CPU干预，直接存取文件或设备支持多播以及广播可靠的传输方法：消息队列机制通信流控：链路层及终端到终端高可靠、传输层的连接极低延迟：1～3ms，标准的以太网是50ms左右避免了总线的单点故障10GbE与InfiniBandIBA需要与机内连接方式，如PCI、PCIe、RapidI/O等争抢地盘，也需要与机外连接方式，如FC、Ethernet争抢以太网标准规定了Windows、Linux、Unix系统以及大型机如何联网和被访问；而在高性能计算、集群技术这个小圈子中，InfiniBand将会更合适AoEATA-Over-Ethernet：利用标准的以太网传输ATA磁盘命令只需要三层协议栈优势：存储费用低廉传输效率比较高不足：安全性只能在LAN