UIT-存储基础培训---网络存储课件

1、UIT 存储基础UIT 存储基础第五章 网络存储SAN存储区域网iSCSINAS第五章 网络存储SAN存储区域网SCSI允许连接设备数量较少SCSI连接设备距离非常有限？基于网络的SCSIFC SANIP SANFCPiSCSI如何解决基于网络的SCSISCSI允许连接设备数量较少？基于网络的SCSIFC SANWhat is a SAN?Storage DevicesBlock AggregationFile/Record SubsystemDevice InterconnectStorage InterconnectDiskArrayVirtualArrayTapeDisk ArrayTa

2、peLibrarySANHP/UXLinuxAIX/MontereyWindowsNT/2000SolarisSAN ServicesSource: SNIAWhat is a SAN?Storage DevicesB基于FC-SAN 的网络存储块存储应用程序使用专用的光纤通道网络更高的性能专用带宽较高的总体成本基于iSCSI的网络存储适中的性能连接成本低现有的 IP 网络和技能共享带宽基于用 NAS的网络存储基于文件的共享应用程序使用共享 IP 网络适中的性能共享带宽较低的总体成本网络存储类型iSCSI(IP)服务器和应用程序分层存储SAN（光纤通道）NAS(IP)基于FC-SAN 的网络存

3、储网络存储类型iSCSI服务器和应DAS的局限 存储需要网络化LAN直接附加内置存储磁带库JBODJBODSCSIFCSCSIFCRAIDRAIDDAS的缺点：每台服务器都有其自己的存储部件 ($)管理困难，降低了生产效率备份很昂贵浪费的存储空间难于共享数据DAS的局限 存储需要网络化LAN直接附加磁带库JBODSAN存储区域网计算（主机）、传输（交换机）、存储（RAID/Tape）分离主机可以访问任何存储设备，存储设备之间可以互访主机、存储设备可以独立扩展SAN磁带库存储阵列存储阵列LANSAN存储区域网计算（主机）、传输（交换机）、存储（RAIDNAS基于文件的网络存储提供网络文件共享功能

4、 支持的协议包括 CIFS， NFS异构平台文件数据的共享安装和使用较简单LAN网络服务(TCP/IP)卷管理文件系统CIFS/NFSRAID控制器disks管理NASNAS基于文件的网络存储提供网络文件共享功能 LAN网络服务FC-SANIP-SANServerInitiator HBAFC SwitchTarget DevicesTargetHBAServerInitiator HBATarget DevicesTargetHBAGig SwitchiSCSIFiber ChannelFibre ChannelEthernet什么是IP SAN？IP SAN是采用iSCSI协议构建的SAN

5、存储区域网：优点：低成本iSCSI协议本身没有距离限制灵活的拓扑结构易于使用和扩展10Gb时代很快到来（iSCSI通道速率将超过FC）FC-SANIP-SANServerInitiator FCNAS SAN iSCSISAN偏指计算平台和存储平台间采用数据块进行传递的网络模型，而NAS狭义地定义计算平台和存储平台间采用文件的方式进行数据传递的网络模型。iSCSI的诞生更加说明了网络模型的实现究竟使用光通道协议还是以太网协议是相对次要的环节。这只是承载数据块的工具而已。因此，SAN和NAS的区别在于传递的内容是数据块还是文件，更根本上来说是文件系统所处的位置。NAS SAN iSCSISAN偏

6、指计算平台和存储平台间采用DAS、NAS、SAN剖析 主机DASFC SAN应用文件/操作系统I/O 重定向器TCP/IP 协议栈NFS/CIFS网络接口卡 主机文件处理 I/ONAS IP Network网络接口卡TCP/IP 协议栈NFS/CIFS文件系统+ 逻辑卷管理器数据管理系统RAID块处理 I/O设备驱动应用逻辑卷管理器 裸卷SCSI 设备驱动块处理 I/OIP SAN应用逻辑卷管理器 裸卷iSCSI LayerTCP/IP Stack网络接口卡 主机块处理 I/O块处理 I/O IP Network FC Network网络接口卡TCP/IP协议栈数据管理系统RAID块处理 I/

7、OFC总线卡FC协议栈数据管理系统RAID块处理 I/O应用逻辑卷管理器 裸卷SCSI 设备驱动FC协议栈FC总线卡设备驱动设备驱动SCSI 设备驱动 主机文件/操作系统数据库文件/操作系统数据库文件/操作系统数据库RAIDSCSI/FC 总线卡DAS、NAS、SAN剖析 主机DASFC 光通道数据块存储区域网SAN（FC SAN）FC SAN（Fibre Channel Storage Are Network）光纤存储局域网络是允许存储设备和服务器之间建立直接的FC光纤连接，通过这种连接实现只受光纤线路长度限制的集中式存储。SAN可以被看作是存储总线概念和DAS（Direct Attache

8、d Storage）直连存储的一个扩展，通过FC光纤通道，前端的服务器象使用本地硬盘一样使用后端的存储。FC-SAN的存储设备使用连接主机的文件系统，传输协议是FCP (Fibre Channel Protocol)，交换机是Fibre Channel Switch，数据存取的协议是SCSI。光通道数据块存储区域网SAN（FC SAN）FC SAN（F公共服务传输协议（编/解码）信号协议和连接服务介质和接口FC-1代码层FC-0物理层FC-2协议层FC-3服务层FC-4映射层IPI3SCSIHIPPIIPSBCCS802.2ATM通道网络光纤通道是构建FC SAN的基础，是FC SAN系统的硬

9、件接口和通信接口。FC可以通过构建帧来传输SCSI的指令、数据和状态信息单元。FC（光纤通道）公共服务传输协议（编/解码）信号协议和连接服务介质和接口FC光纤通道协议映射ATMFC - ATMIPFC链路封装FC - LESCSI-3SCSI 3命令集映射 IPI - 3 命令集映射 (IPI-3 STD)FC-4FC - AL -2FC-3通用服务FC-0FC-1FC-2光纤物理与信号接口 ( FC- PH， FC-PH2， FC-PH3 )物理变换编码 / 解码结构协议FC - AL8b/10b 编码铜， 光连接光纤通道协议映射ATMFC - ATMIPFC链路封装F并行与串行接口之间的比

10、较光纤通道基于核心SCSI协议设计，光纤通道通过将并行接口转换为串行接口极大的提高了SCSI的性能Data 1Control 1Data 2Control 2Data 3Control 3SCSI的并行接口多条连接线光纤通道的串行接口Data 3Control 3Data 2Control 2Data 1Control 1单连接线并行总线难以保证在远距离上数据的传输顺序 (电磁干扰)并行与串行接口之间的比较光纤通道基于核心SCSI协议设计，光光纤通道的优点为上层协议(SCSI， IP等)提供一个通用硬件传输平台。高速: 现在可以提供4Gbit(400MB)/秒的数据传输速率， 全双工专有连接，

11、未来可升级至10Gbit/秒无阻塞数据传输最大10公里连接距离(通过扩展器可连接上千公里，非常适于灾难恢复应用)先进的流控制系统保证数据按顺序传输.不存在无线电信号散射 (RFI)，从而消除了电磁信号串行数据传输， 每传输一位需要0.94纳秒(极小的时间延迟)使用8b/10b编码方式将8位转换为10b格式进行串行传输(内置时钟信号)最多可以连接1千6百万个节点(交换Fabric模式)强大的错误更正能力(位错误率 = 1x10-12)， 比原有铜连接网络强大1000倍光纤通道的优点为上层协议(SCSI， IP等)提供一个通用硬光纤通道网络 SAN魔术般的扩展能力SAN及数据管理SAN应用SAN网

12、络级联SAN信息基础结构WAN光纤通道网络 SAN魔术般的扩展能力SAN及数据管理SA配置灵活的拓扑结构点对点只能连接 2个设备(直接连接)交换式 Fabric最多支持1千6百万个设备(光纤通道交换机)Arbitrated Loop (仲裁环)最多支持126个设备(光纤集线器)配置灵活的拓扑结构点对点只能连接 2个设备交换式 Fabri光纤通道主机接口卡(HBA)为服务器或客户机内部总线(PCI和SBUS等)提供与光纤通道网络的接口HBA软件驱动为操作系统提供所须存储信息对I/O进行操作I/O同时对正常请求进行控制铜/光介质支持 (可能是双接口卡)光纤通道主机接口卡(HBA)为服务器或客户机内

13、部总线(PCI光纤通道交换机连接多个端口 (8， 16， 32， 64， 128 口)支持交换Fabric和传统loop设备2Gbit/秒和4Gbit/秒传输速率(自适应)全双工性能， 使用cut-through路由算法交换机间提供8Gbit/秒逻辑干线合并拓扑结构自动协调， 自动配置 (自恢复)端到端性能监控光纤通道交换机连接多个端口 (8， 16， 32， 64， 光纤网络通道端口类型Fabric节点 N_PortF_PortF_PortE_PortE_PortFL_Port节点N_Port交换机 2交换机 1节点NL_Port节点NL_PortU_Port设备 (节点)端口N_Port

14、= Fabric直接连接设备NL_Port = Loop连接设备交换机端口E_Port = 扩展端口 (交换机到交换机)F_Port = Fabric端口FL_Port = Fabric Loop端口G_Port = 普通(Generic)端口 可以转化为E或F”U_Port = 通用(Universal)端口 (用于描述自动端口检测的术语)光纤网络通道端口类型Fabric节点 光纤通道的帧格式帧SOF4数据载荷最大 2112EOF4CRC4帧头242148 字节 一个帧是在光纤通道连接中数据包的最小单位 (上层协议不可见). FibreChannelFrame SCSI Request IP

15、Request光纤通道的帧格式帧S4数据载荷最大 2112E4C4帧头24光纤通道地址OSI模型应用层表示层会话层传输层网络层数据链路层物理层以太网和TCP/IP应用层(i.e. POP3， SMTP， DNS， DHCP，FTP， WWW 协议)TCP / UDP动态 IP 地址7固定 MAC 地址x00-00-0E-21-17-6B物理接口光纤通道高层协议 (ULP)FC-4: ULP MappingFC-3: 通用服务动态 Native 地址 (8/24-bits)固定 World-Wide Name (64-bits)FC-1: 8b/10b 编码FC-0:物理接口光纤通道可以在没有任

16、何高层协议支持的条件下生成所有网络地址(固定与动态) 智能!光纤通道地址OSI模型应用层表示层会话层传输层网络层数据链路固定与动态地址格式固定地址 (64-位)WWN (类似于出生证明编号)每个fabric设备 (HBA， 交换机， 存储)都拥有一个(或多个)WWN地址使用IEEE分配的地址格式动态地址 (8/24-位)本地生成 (类似于家庭住址)注册到光纤通道网络时动态获得FC-AL = 8-位 (例如xE0) = 126 AL_PA地址FC-SW = 24-位= 16，000，000 Fabric地址DomainID8 BitsAreaID8 BitsPort ID8 Bits24位地址空

17、间 10:00:00:60:69:00:60:02 N_Port/F_Port可用范围:x01 0000到xEF EFFFIEEE 格式节点 WWN: 1 = b0001 000 000 000端口 WWN: 2 = b0010 000 000 000厂商定义固定与动态地址格式固定地址 (64-位)DomainArea先进的Fabric流控制为何要流控制? 确保没有端口会因为接收了超过其极限的数据而导致崩溃. 光纤通道中，我们先行检查! (在TCP/IP中， 包在发送时并不考虑接收方是否已经准备就绪)节点 N_PortF_Port交换机基于缓冲到缓冲信用的流控制可用传输_端口缓冲缓冲缓冲buf

18、ferbufferbuffer智能 ASIC缓冲每端口信用数量 动态缓冲池 完整和微型缓冲当一个帧到达接收端口后， 端口会首先将其储存在共享动态缓冲池之中! 先进的Fabric流控制为何要流控制? 确保没有端口会因为接FC SAN孤岛如何连接，并跨越WAN？通过IP 网络 隧道方案 FCP 路由方案FCIPiFCPFC SAN的远程扩展？通过IP 网络 隧道方案 FCP 路由方案FCIP应用场合两个FC SAN孤岛通过IP连接成一个大的FC SAN特点基于IP的FC隧道协议，将FC帧封装在TCP/IP上FCIP连接对IP网络是透明的，整个传输中只有FCIP网关需要知道FCIP的封装FCIP报文

19、IP头TCP头TCP数据FCSSOFFC帧头SCSI数据CRCEOFFCIP头封装FCIP （FC over IP）应用场合FCIP报文IP头TCP头TCP数据FCSSOFFC应用场合光纤通道设备（无FC交换机）将该设备直接连接到IP网络上特点FC消息和路由服务在iFCP网关处终结。网关将每个FC地址映射到一个IP地址具有故障隔离功能部署时需要iSNS服务器（通常集成在iFCP网关上）iFCP报文IP头TCP头FCSSOFFC帧头SCSI数据CRCEOFiFCP头映射FC地址映射到IP地址iFCP (Internet FC)应用场合iFCP报文IP头TCP头FCSSOFFC帧头SCSSCSI应

20、用（文件系统、数据库）SCSI块指令SCSI流指令其他SCSI指令SCSI指令、数据和状态iSCSI TCPIP以太网等iSCSI协议栈iSCSI （Internet SCSI）把SCSI命令和块状数据封装在TCP中在IP网络中传输iSCSI 作为SCSI的传输层协议，基本出发点是利用成熟的IP网络技术来实现和延伸SANiSCSISCSI应用（文件系统、数据库）SCSI块指令SCSI流指令iSCSI Initiator & TargetUser layerKernel layeriSCSI TargetiSCSI InitiatorFile SystemSCSI DriveriSCSI Ini

21、tiator DriverDiskTransport NetworkNetwork StackNetwork StackSCSI DriveriSCSITarget DriverSCSI HBA Driver/RAID ControllerUser Application发起端InitiatorSCSI层负责生成CDB（命令描述符块），将CDB传给iSCSIiSCSI层负责生成iSCSI PDU（协议数据单元），并通过IP网络将PDU发给target目标器TargetiSCSI层收到PDU，将CDB传给SCSI层SCSI层负责解释CDB的意义。必要时发送响应iSCSI Initiator &

22、TargetUser liSCSI优点高可靠高扩展良好的标准化易管理，IP技术成熟，具备IP知识的专业技术人员多很低的安装成本和维护费用：建立在TCP/IP上减少了异构网络和电缆：不需要特殊的FC交换机无距离限制，远程存储：异地数据交换、备份及容灾灵活的安全性和QoS保证iSCSI优点高可靠高扩展良好的标准化易管理，IP技术成熟，Ethernet头IP头TCPFCIP头SOFFC帧头Payload: SCSI Command in IUCRCEOFFCSFCIPSOFFC帧头Payload: SCSI Command in IUCRCEOFSCSI- FCPEthernet头IP头TCPiFC

23、P头SOFFC帧头Payload: SCSI Command in IUCRCEOFFCSiFCPEthernet头IP头TCPiSCSI头FC帧头Payload: SCSI Command in IUFCSiSCSI几种块存储协议报文结构比较EthernetIP头TCPFCIP头SFC帧头Payloa以太网文件系统存储区域网NASNAS（Network Attached Storage）网络存储，简单的说，NAS是通过TCP/IP以太网络连接的存储设备。NAS存储设备通过标准的网络拓扑结构（Ethernet）连接到一群计算机或者服务器上，而不象FC SAN那样需要昂贵复杂的光纤交换机，NAS

24、使用普通的以太网络交换机，即插即用。NAS所使用的是存储设备自己的文件系统，数据传输协议是TCP/IP over GbE，交换机是Ethernet Switch，资料存取的协议则有NFS、CIFS、HTTP、DAFS。NAS构造第一是接口部分，包括网络接口 (GbE-Fiber/Copper， TCP/IP Offload Engine) 和光纤接口 (2Gb-Fibre Channel)。第二是通讯协议部分，包括File Protocol (NFS， CIFS， HTTP， DAFS) 和Block Protocol (FCP， iSCSI)。第三是文件系统和整合式RAID磁盘阵列系统以太网

25、文件系统存储区域网NASNAS（Network AttNAS产品主要用两种网络协议NFS和CIFS，NFS是由Sun公司开发的，用于在UNIX系统之间通过网络共享文件。CIFS是由微软开发的，用于在Windows工作站之间共享文件。NFS与CIFS之间存在着一些主要的差异，特别是锁定机制方面，两者之间的一些基本差异：1）系统登录的安全机制在系统登录时，NFS是在客户端验证用户，而CIFS是创建能被授权用户访问的共享，CIFS的安全性要高于NFS的安全性。2）有状态连接与无状态连接NFS是一种无状态的协议，这意味着NFS不记录和保存客户和服务器之间的历史关系。与NFS不同的是，CIFS是一种面向

26、会话的有状态的协议。 3）目录和文件的安全UNIX文件级安全机制定义了3个级别的ID：用户、组和其他。CIFS安全机制采用访问控制表（ACL），ACL的内容涉及到共享、目录、文件等。 4）锁定机制包括DOS在内的PC操作系统，已经建立了相当健壮的锁定体制，PC应用可以通过系统界面打开一个文件，并可指定对该文件进行的I/O操作。不仅如此，在这些文件打开请求内部，还可以包含另一种用于决定是否允许别的应用打开同一个文件的请求。NAS产品所用的网络协议NAS产品主要用两种网络协议NFS和CIFS，NFS是由SuDAFSDAFS的基本原理，就是通过缩短服务器读写文件时的数据路径，来减少和重新分配CPU的计算任务。它提供内存到内存的直接传输途径，使数据块的复制工作不需要经过应用服务器和文件服务器的 CPU，而是在两个物理设备的预先映射的缓冲区中直接传输。也就是说，文件可以直接由应用服务器内存传输到存储服务器内存，而不必先填满各种各样的系统缓冲区和网络