存储协议介绍

存储协议介绍第1页，共34页，2023年，2月20日，星期一学习目标

了解各种存储协议了解各种存储协议的主要区别iSCSI协议是存储未来的发展之路123第2页，共34页，2023年，2月20日，星期一主机适配器SCSIID7SCSI总线SCSI阵列ID0SCSI阵列ID5LUN0LUN1LUN2LUN0LUN1数据/地址总线控制信号常见SCSI接口有50、68、80针SCSI（SmallComputerSystemInterface，小型计算机系统接口）是一种为小型机研制的接口技术，用于主机与外部设备之间的连接。SCSI的定义第3页，共34页，2023年，2月20日，星期一SCSI-3是所有存储协议的基础，其它存储协议都用到SCSI的指令集SCSI-11986年ANSI标准，采纳了SASI接口（1979）；定义了硬盘、磁带和其它存储设备的物理接口、传输协议和标准指令集；SCSI-21994年ANSI标准，SCSI-1的后续接口；提高了速度和总线带宽，支持多线程指令，增加了更多存储设备类型指令集；SCSI-3更高的速度类型：Ultra-2/Ultra-160/Ultra-320；物理接口、传输协议和SCSI指令集分层。SCSI历史第4页，共34页，2023年，2月20日，星期一SCSI架构模型特定设备指令集：包括磁盘设备的“SCSI块指令(SCSIBlockCommands)”等基础指令集：所有SCSI设备都必须实现的“基础指令(SCSIPrimaryCommands)”SCSI传输协议：譬如iSCSI，FCP物理连接：譬如光纤通道，internet架构模型：定义了SCSI系统模型和各单元的功能分工特定设备指令集基础指令集SCSI传输协议物理连接架构模型第5页，共34页，2023年，2月20日，星期一SCSI标准框架BlockCommands

(e.g.,diskdrive)

(SBC,SBC-2)

ReducedBlockCommands(e.g.,diskdrive)

(RBC)

StreamCommands(e.g.,tapedrive)(SSC,SSC-2,SSC-3)

MediaChangerCommands(e.g.,jukebox)

(SMC,SMC-2)

Multi-MediaCommands(e.g.,DVD)(MMC,MMC-2,MMC-3,MMC-4)ControllerCommands(e.g.,RAID)

(SCC-2)Object-BasedStorageDevice

(OSD)Management

ServerCommands

(MSC)PrimaryCommands(foralldevices)

(SPC,SPC-2,SPC-3)ArchitectureModel(SAM,SAM-2,SAM-3)SCSI

ParallelInterface

(SPI-2,SPI-3,

SPI-4,SPI-5Relatedstandardsandtechnicalreports(SDV,PIP,SSM,SSM-2,EPI)SerialBusProtocol

(SBP-2,SBP-3)IEEE1394FibreChannelProtocol(FCP,FCP-2,FCP-3)FibreChannel(FC)SSASCSI-3Protocol

(SSA-S3P)SSA-TL2SSA-PH1orSSA-PH2SCSIRDMAProtocol(SRP,SRP-2)InfiniBand(tm)iSCSIInternetSerialAttachedSCSI

(SAS,SAS-1.1)EnclosureServices(SES,SES-2)特定设备指令集共享指令集架构模型传输协议物理接口第6页，共34页，2023年，2月20日，星期一SCSI-3物理接口SCSI-3

ClassDriver

(TapeDeviceDriver)

SCSI-3

ClassDriver

(DiskDeviceDriver)

Interface-IndependentSoftwareProgrammingInterface(MiniportInterface,CAM,ASPI,IO)SCSI-3FCP

PortDriverSCSI-3Parallel

PortDriveriSCSIIP

PortDriverSAS

PortDriverSCSISerialBusProtocol(SBP-2)

PortDriverFibreChannel

PortSCSIParallel

PortEthernet

PortSASSerial

PortIEEE-1394(Firewire)PortFibreChannel

PhysicalI/FSCSIBUS

Fast/Wide/Ultra/etc.EthernetSerialAttachedSCSI

PhysicalI/FFireWire

PhysicalI/FInitiatorI/OSystem物理接口第7页，共34页，2023年，2月20日，星期一SCSI应用SCSI传输协议SCSI物理连接SCSI应用SCSI传输协议SCSI物理连接Initiator设备Target设备互连协议应用协议传输协议传输服务接口互连服务接口应用层传输协议层互连层SCSI发起端-目标器模型第8页，共34页，2023年，2月20日，星期一

特点描述优点与主机无关工作在逻辑层而不是在设备层：支持数据块类型的逻辑地址；数据以字节为单位进行传送；采用通用指令集取代了专用的控制线多设备并行具有总线仲裁、设备选择功能，设备与设备、设备与主机之间是一种双向对等关系，不是主从关系；对多任务操作系统如Unix、Linux、WindowsNT，可以获得更高性能高带宽目前最快可以提供320MB/s的带宽低系统开销具有独立处理芯片，占用CPU资源的比例相当小缺点单I/O控制器两个和多个I/O控制器无法共享一条SCSI总线，不能实现多链路聚合，存在单一故障点地址短缺SCSI总线地址只有8或16个，无法接入更多的设备传输距离短单端SCSI传输距离6米，差分SCSI传输距离25米。所有连接设备只能放在统一地点SCSI的特点第9页，共34页，2023年，2月20日，星期一SCSI允许连接设备数量较少SCSI连接设备距离非常有限

？基于网络的SCSIFCSANIPSANFCPiSCSI如何解决基于网络的SCSI第10页，共34页，2023年，2月20日，星期一公共服务传输协议（编/解码）信号协议和连接服务介质和接口FC-1代码层FC-0物理层FC-2协议层FC-3服务层FC-4映射层IPI3SCSIHIPPIIPSBCCS802.2ATM通道网络光纤通道是构建FCSAN的基础，是FCSAN系统的硬件接口和通信接口。FC可以通过构建帧来传输SCSI的指令、数据和状态信息单元。FC（光纤通道）第11页，共34页，2023年，2月20日，星期一FC的三种拓扑结构点对点只能连接2个设备(直接连接)交换式Fabric最多支持1千6百万个设备(光纤通道交换机)ArbitratedLoop

(仲裁环)最多支持126个设备(光纤集线器)普及!第12页，共34页，2023年，2月20日，星期一Fabric节点N_PortF_PortF_PortE_PortE_PortFL_Port

节点N_Port交换机2交换机1

节点NL_Port

节点NL_PortG_PortFC端口类型服务器或存储设备：N端口NL端口FC交换机：F端口FL端口E端口G端口第13页，共34页，2023年，2月20日，星期一FC特点不足构建维护成本高，时间长互操作性不强，FC协议具体实现上各个厂商有所不同FCSAN缺少统一管理标准FC理论上最长传输距离10公里左右，在互联网存储应用中会形成信息孤岛优势连接设备比SCSI多高带宽，低时延实现光纤和铜缆的无缝连接

连接距离远远超出并行SCSI存储设备第14页，共34页，2023年，2月20日，星期一SCSI应用（文件系统、数据库）SCSI块指令SCSI流指令其他SCSI指令SCSI指令、数据和状态iSCSITCPIP以太网等iSCSI协议栈iSCSI（InternetSCSI）把SCSI命令和块状数据封装在TCP中在IP网络中传输iSCSI作为SCSI的传输层协议，基本出发点是利用成熟的IP网络技术来实现和延伸SANiSCSI第15页，共34页，2023年，2月20日，星期一iSCSI发起端-目标器模型发起端（Initiator）SCSI层负责生成CDB（命令描述符块），将CDB传给iSCSIiSCSI层负责生成iSCSIPDU（协议数据单元），并通过IP网络将PDU发给target目标器（Target）iSCSI层收到PDU，将CDB传给SCSI层SCSI层负责解释CDB的意义。必要时发送响应iSCSITCPSCSIIPLinkiSCSITCPSCSIIPLinkInitiatorTarget第16页，共34页，2023年，2月20日，星期一iSCSI的报文格式以太网头(14)IP头(20)TCP头(20)iSCSI（TCP数据）FCS源端口目的端口序列号确认号首部长度保留APRSF窗口大小校验和紧急指针基本报头段(BHS，48字节)附加报头段（若有）头部校验（若有）数据段（若有）数据校验（若有）U第17页，共34页，2023年，2月20日，星期一iSCSI优点高可靠高扩展良好的标准化易管理，IP技术成熟，具备IP知识的专业技术人员多很低的安装成本和维护费用：建立在TCP/IP上减少了异构网络和电缆：不需要特殊的FC交换机无距离限制，远程存储：异地数据交换、备份及容灾灵活的安全性和QoS保证第18页，共34页，2023年，2月20日，星期一FCSAN孤岛如何连接，并跨越WAN？通过IP网络隧道方案FCP路由方案FCIPiFCPFCSAN的连接第19页，共34页，2023年，2月20日，星期一应用场合两个FCSAN孤岛通过IP连接成一个大的FCSAN特点基于IP的FC隧道协议，将FC帧封装在TCP/IP上FCIP连接对IP网络是透明的，整个传输中只有FCIP网关需要知道FCIP的封装FCIP报文IP头TCP头TCP数据FCSSOFFC帧头SCSI数据CRCEOFFCIP头封装FCIP（FCoverIP）第20页，共34页，2023年，2月20日，星期一应用场合光纤通道设备（无FC交换机）将该设备直接连接到IP网络上特点FC消息和路由服务在iFCP网关处终结。网关将每个FC地址映射到一个IP地址具有故障隔离功能部署时需要iSNS服务器（通常集成在iFCP网关上）iFCP报文IP头TCP头FCSSOFFC帧头SCSI数据CRCEOFiFCP头映射FC地址映射到IP地址iFCP(InternetFC)第21页，共34页，2023年，2月20日，星期一FCIPFCIP隧道iFCPiFCP多个SANFabric单个SANFabricFCIP和iFCP比较第22页，共34页，2023年，2月20日，星期一Ethernet头IP头TCPFCIP头SOFFC帧头Payload:SCSICommandinIUCRCEOFFCSFCIPSOFFC帧头Payload:SCSICommandinIUCRCEOFSCSI-FCPEthernet头IP头TCPiFCP头SOFFC帧头Payload:SCSICommandinIUCRCEOFFCSiFCPEthernet头IP头TCPiSCSI头FC帧头Payload:SCSICommandinIUFCSiSCSI几种存储协议报文结构比较第23页，共34页，2023年，2月20日，星期一iSNS，即Internet存储名称服务，将光纤通道的即插即用功能引入到IP存储网络中，可以容易地在TCP/IP网络上实现iSCSI和光纤通道设备的自动发现、管理和配置。存储资源发现发现域和登录控制服务状态变化通知服务光纤通道和iSCSI设备开放映射iSNS主要功能iSNS协议iSNS客户机iSNS服务器iSNS数据库iSNS组成结构iSNS第24页，共34页，2023年，2月20日，星期一其它存储协议？InfiniBandAoE……其它存储协议第25页，共34页，2023年，2月20日，星期一InfiniBand诞生背景传统的集群系统以计算节点为核心，性能差，结构复杂，扩展能力差需要一种开放、高带宽、低延迟、高可靠以及满足集群无限扩展能力的以交换为核心的体系架构InfiniBand应运而生第26页，共34页，2023年，2月20日，星期一InfiniBand发展历程：两次浪潮1999首次提出2004年调整定位得到主流服务器生产链上厂商的一致追捧，但由于协议、软件支持、最初定位问题等，导致应用受到限制，包括Intel等厂商一度撤出投资调整定位于存储网络、计算网络的应用，软件方面成立开源的OpenIB组织，甚至推出了IPoverInfiniBand的协议转换，InfiniBand又开始得到欢迎第27页，共34页，2023年，2月20日，星期一InfiniBand体系架构InfiniBand标准定义了一套用于系统通信的多种设备，包括信道适配器、交换机和路由器信道适配器用于同其它设备的连接，包括主机信道适配器（HCA）和目标信道适配器（TCA）交换机是InfiniBand结构中的基本组件点到点的交换结构：解决了共享总线、容错性和可扩展性问题具有物理层低功耗特点和箱外带宽连接能力CPU链路网络链路链路链路链路目标TCA交换机内存

控制器系统

内存主机内部互联CPUTCA目标HCAxCA路由器xCA路由器CPUxCA=HCA或TCA第28页，共34页，2023年，2月20日，星期一InfiniBand协议分层结构物理层：定义了多种速率的连接，目前已有产品信号传输速率最高达60Gb/s链路层：链路层与传输层处在IBA的核心位置。提供了局部子系统中的信息包设计、点到点连接操作以及包交换等功能网络层：提供了信息包从一个子结构到另外一个子结构的路由机制传输层：传输层主要负责信息包的按序分发、分割、通道多路技术以及传输服务等；也负责处理数据包分段的发送、接收和重组物理层链路层网络层传输层应用层5层结构第29页，共34页，2023年，2月20日，星期一基于标准的协议由InfiniBandTradeAssociation共同设计了该开放标准高速度目前Infiniband主流技术为DDR技术，所支持的吞吐量为5、20或60Gbps。下一代采用QDR，带宽最高可达120Gbps远程直接内存存取功能该功能对于集群来说很适合，因为它可以通过一个虚拟的寻址方案，让服务器知道和使用其他服务器的部分内存，无需涉及操作系统的内核。

传输卸载远程直接内存存取能够帮助传输卸载，后者把数据包路