存储网络技术与应用

存储网络技术与应用第1页，共46页，2023年，2月20日，星期四学习完本章节后，您将能够：

熟悉存储系统基本构成和各组件功能熟悉FC-SAN和IP-SAN关键技术和基础知识

熟悉NAS系统基本结构和相关概念熟悉多路径技术和主机连接相关基础技术和应用掌握存储系统与网络技术，具备典型存储网络规划与部署的技术能力目标第2页，共46页，2023年，2月20日，星期四目录存储网络的产生与发展存储系统技术FC-SAN技术IP-SAN技术FC-SAN与IP-SAN融合NAS技术主机多路径技术FC交换机/HBA卡/光纤第3页，共46页，2023年，2月20日，星期四存储遇到的问题在存储网络出现之前，存储遇到的问题：硬盘成为整个系统的性能瓶颈有限的硬盘槽位，难以满足大容量需求单个硬盘存放数据，数据可靠性难以保证存储空间利用率低本地存储，数据分散，难以共享可扩展性不够总线结构，而非网络结构可连接的设备受到限制，增加容量时，需停机传统内置存储接口接口接口处理器硬盘内存硬盘第4页，共46页，2023年，2月20日，星期四存储网络出现与发展第5页，共46页，2023年，2月20日，星期四存储网络形态存储网络几种常见类型DAS(DirectAttachedStorage)NAS(NetworkAttachedStorage）SAN(StorageAreaNetwork)第6页，共46页，2023年，2月20日，星期四目录存储网络的产生与发展存储系统技术FC-SAN技术IP-SAN技术FC-SAN与IP-SAN融合NAS技术主机多路径技术FC交换机/HBA卡/光纤第7页，共46页，2023年，2月20日，星期四存储系统基本组成存储软件存储管理软件（ISM）快照、镜像软件备份软件存储硬件外置存储系统磁盘阵列NAS磁带库虚拟磁带库存储连接设备FC

HBA卡FC交换机以太网交换机连接线缆存储方案备份、容灾第8页，共46页，2023年，2月20日，星期四SCSI协议与存储系统SCSI协议是主机与磁盘通信的基本协议SCSI（SmallComputerSystemInterface，小型计算机系统接口）是一种为小型机研制的接口技术，用于主机与外部设备之间的连接。主机适配器SCSIID7SCSI总线SCSI阵列ID0SCSI阵列ID5LUN0LUN1LUN2LUN0LUN1数据/地址总线控制信号第9页，共46页，2023年，2月20日，星期四SCSI协议的常见类型接口模式传输率（MB/s）数据频宽（bits）可连接设备数SCSI-1588SCSI-21088SCSI-32088Ultra-160SCSI401616Ultra-320SCSI3201616Ultra-640SCSI6401616第10页，共46页，2023年，2月20日，星期四SCSI的控制器接口和电缆第11页，共46页，2023年，2月20日，星期四目录存储网络的产生与发展存储系统技术FC-SAN技术IP-SAN技术FC-SAN与IP-SAN融合NAS技术主机多路径技术FC交换机/HBA卡/光纤第12页，共46页，2023年，2月20日，星期四FC-SAN典型组网FC－SAN典型组网方式有以下几种：应用服务器光纤卡存储设备应用服务器应用服务器应用服务器应用服务器光纤交换机光纤交换机光纤交换机存储设备存储设备直连单交换双交换第13页，共46页，2023年，2月20日，星期四FC-SAN的组件服务器FCHBA接口卡存储设备LAN用户A用户B服务器FCHBA接口卡存储设备光纤通道光纤网络第14页，共46页，2023年，2月20日，星期四FC拓扑结构与应用点对点只能连接2个设备(直接连接)交换式Fabric最多支持1千6百万个设备(光纤通道交换机)ArbitratedLoop

(仲裁环)最多支持127个设备(光纤集线器)普及!第15页，共46页，2023年，2月20日，星期四FC协议简介FC-0：物理层，定制了不同介质，传输距离，信号机制标准，也定义了光纤和铜线接口以及电缆指标；FC-1：定义编码和解码的标准；FC-2：定义了帧、流控制、和服务质量等；FC-3：定义了常用服务，如数据加密和压缩；FC协议FC-4：协议映射层，定义了光纤通道和上层应用之间的接口，上层应用比如：串行SCSI协议，HBA的驱动提供了FC-4的接口函数，FC-4支持多协议，如：FCP-SCSI，FC-IP，FC-VI。第16页，共46页，2023年，2月20日，星期四FC与SCSI协议FC与SCSI协议的关系FC通道并不是SCSI的替代，FC可以通过构建帧来传输SCSI的指令、数据和状态信息单元。SCSI是位于光纤通道协议栈FC4的上层协议，SCSI是FC协议的子集。第17页，共46页，2023年，2月20日，星期四目录存储网络的产生与发展存储系统技术FC-SAN技术IP-SAN技术FC-SAN与IP-SAN融合NAS技术主机多路径技术FC交换机/HBA卡/光纤第18页，共46页，2023年，2月20日，星期四IP-SAN典型组网IP－SAN典型的组网方式有以下几种：应用服务器以太网卡存储设备应用服务器应用服务器应用服务器以太网交换机存储设备存储设备直连单交换双交换以太网交换机应用服务器以太网交换机第19页，共46页，2023年，2月20日，星期四IP-SAN的组件服务器iSCSIHBA卡iSCSI存储设备LAN用户A用户B服务器以太网卡iSCSI存储设备以太网卡以太网卡第20页，共46页，2023年，2月20日，星期四iSCSI连接方式硬件TOE网卡+initiator软件方式以太网卡+Initiator软件方式

iSCSIHBA卡实现方式IP-SAN根据主机与存储的连接方式不同，可以分为三种第21页，共46页，2023年，2月20日，星期四iSCSI协议SCSI应用（文件系统、数据库）SCSI块指令SCSI流指令其他SCSI指令SCSI指令、数据和状态iSCSITCPIP物理层(以太网)iSCSI协议栈iSCSI（InternetSCSI）把SCSI命令和块状数据封装在TCP中在IP网络中传输，基本出发点是利用成熟的IP网络技术来实现和延伸SAN；第22页，共46页，2023年，2月20日，星期四发起端与目标端发起端（Initiator）SCSI层负责生成CDB（命令描述符块），将CDB传给iSCSIiSCSI层负责生成iSCSIPDU（协议数据单元），并通过IP网络将PDU发给target目标器（Target）iSCSI层收到PDU，将CDB传给SCSI层SCSI层负责解释CDB的意义。必要时发送响应iSCSIInitiatorTargetiSCSITCPIPLink第23页，共46页，2023年，2月20日，星期四目录存储网络的产生与发展存储系统技术FC-SAN技术IP-SAN技术FC-SAN与IP-SAN融合NAS技术主机多路径技术FC交换机/HBA卡/光纤第24页，共46页，2023年，2月20日，星期四FC-SAN与IP-SAN比较描述FC－SANIP－SAN网络速度1Gb、2Gb、4Gb、8Gb1Gb、10Gb网络架构单独建设光纤网络和HBA卡使用现有IP网络传输距离受到光纤传输距离的限制理论上没有距离限制管理、维护技术和管理较复杂与IP设备一样操作简单兼容性兼容性差与所有IP网络设备都兼容性能非常高的传输和读写性能目前主流1Gb，10Gb正在发展成本购买（光纤交换机、HBA卡、光纤磁盘阵列等）、维护（培训人员、系统设置与监测等）成本高与FC－SAN相比，购买与维护成本都较低，有更高的投资收益比例容灾容灾的硬件、软件成本高本身可以实现本地和异地容灾，且成本低安全性较高较低第25页，共46页，2023年，2月20日，星期四FC-SAN与IP-SAN在产品上的融合如磁盘阵列上控制器上即包含FC端口、又包含iSCSI口，能同时满足FC-SAN的组网需求，也能满足IP-SAN的组网需求，这是不完全的融合。S5000T第26页，共46页，2023年，2月20日，星期四FC-SAN与IP-SAN解决方案的融合校园网服务器用户群Secoway防火墙FC交换机FC交换机IP交换机LANIP连接FC连接OceanStorN8000IP交换机应用服务器群第27页，共46页，2023年，2月20日，星期四FC-SAN与IP-SAN融合－协议融合目前FC与TCP/IP协议的真正融合主要有两种趋势：TCP/IP网络承载FC信道iFCPFCIPFCOE以FC信道承载TCP/IP数据IPFC

从现有的情况来看，以太网技术和FC技术都在飞速发展，IP-SAN和FC-SAN会在很长的一段时间内都将是并存且互为补充的。第28页，共46页，2023年，2月20日，星期四目录存储网络的产生与发展存储系统技术FC-SAN技术IP-SAN技术FC-SAN与IP-SAN融合NAS技术主机多路径技术FC交换机/HBA卡/光纤第29页，共46页，2023年，2月20日，星期四NAS的产生与发展非结构化数据的需求

共享的需求成本的需求扩展性的需求支持协议的需求支持业务类型的需求（随机高并发小IO）Linux/Unix用户Windows用户文件服务器应用服务器NAS存储设备TCP/IP网络NFS协议CIFS协议第30页，共46页，2023年，2月20日，星期四NAS的硬件结构处理器内存网络接口磁盘阵列接口（FC）PCI总线……NAS控制器存储子系统NAS设备客户机客户机……100/1000/10000Mb/s第31页，共46页，2023年，2月20日，星期四NAS文件传输协议控制器微码RAID软件NAS文件系统NTFS或FAT32文件系统，Windows计算机UFS文件系统，UNIX工作站UFS文件系统，UNIX工作站NTFS或FAT32文件系统，Windows计算机NTFS或FAT32文件系统，Windows计算机CIFS或NFS协议NAS设备TCP/IP微内核操作系统CIFS或NFS协议CIFS或NFS协议第32页，共46页，2023年，2月20日，星期四NAS与SAN比较描述SANNAS适用场景普通SAN存储的应用，基于数据块适用于非结构化数据（如文件、语音、图象等数据）的存储，对性能和可扩展性要求高的应用支持协议FC，iSCSINFS，CIFS，FTP，HTTP扩展性扩容通常需要新增存储，成本较高扩容通过在线添加引擎和后端存储单元，形成一个整体的存储池，进行空间分配数据共享不支持数据共享对业务服务器实现数据共享，同一文件被多服务器同时访问组网方式在现有的以太网基础上新建光纤网络，组网方式较复杂直接在现有的以太网上接入就可，组网简单建设成本新增服务器，需要昂贵的HBA卡和光纤交换机，成本较高通过现有GE网络即可访问存储资源，成本较低第33页，共46页，2023年，2月20日，星期四目录存储网络的产生与发展存储系统技术FC-SAN技术IP-SAN技术FC-SAN与IP-SAN融合NAS技术主机多路径技术FC交换机/HBA卡/光纤第34页，共46页，2023年，2月20日，星期四多路径的可靠性没有多路径软件会有以下问题存在的：混淆–操作系统看到几倍真实数量的磁盘没有冗余–没有多路径切换软件，操作系统将不知道何时它该使用多余的路径危险–多路径导致操作系统认为看到的多份磁盘是独立的，这将导致数据毁坏或IO错误左图中没有使用多路径，右图为使用多路径后LUN磁盘驱动LUNLUNLUN

虚拟LUN多路径驱动磁盘驱动第35页，共46页，2023年，2月20日，星期四多路径failover技术A控制器LUN2LUN1HBA1HBA2LUN3LUN3B控制器存储设备Failover功能Failover功能当主路径出现故障后自动将业务路径切换到备用路径上，避免了因单点故障而造成的业务中断。物理路径I/O路径第36页，共46页，2023年，2月20日，星期四多路径failback技术Failback功能当主路径的故障解除或修复后自动的将I/O传输路径从从路径切换回主路径上。A控制器LUN2LUN1HBA1HBA2LUN3LUN3B控制器存储设备Failback功能物理路径I/O路径第37页，共46页，2023年，2月20日，星期四目录存储网络的产生与发展存储系统技术FC-SAN技术IP-SAN技术FC-SAN与IP-SAN融合NAS技术主机多路径技术FC交换机/HBA卡/光纤第38页，共46页，2023年，2月20日，星期四FC交换机相关概念光纤通道交换机，它使用光纤网络路由直接连接的方式，发起者和目标设备可以通过光纤通道交换机中的路由软件建立直接的连接以独享光纤的所有带宽。与以太网交换机相比，一个用于构建光纤网络，一个用于构建以太网络；光纤交换机中使用的是FC协议，以太网交换机使用的是TCP/IP协议。光纤通道交换机第39页，共46页，2023年，2月20日，星期四FC交换机端口节点N_PortF_PortF_PortE_PortE_PortFL_Port

节点N_PortFC交换机2FC交换机

节点NL_Port

节点NL_PortG_PortFL_PortFL_PortFL_PortFC集线器第40页，共46页，2023年，2月20日，星期四GBIC封装FC交换机模块常见的纤连接器FCTypeSCTypeSC2TypeFDDType常见的光模块SFP封装SFP封装第41页，共46页，2023年，2月20日，星期四光纤基础知识纤芯core：折射率较高，用来传送光；包层coating：折射率较低，与纤芯一起形成全反射条件；保护套jacket：强度大，能承受较大冲击，保护光纤。纤芯包层保护套光纤结构示意图光纤实物图第42页，共46页，2023年，2月20日，星期四常见的光纤连接介质介质类型发射器速率距离9µm单模光纤1550nm长波光激光器1Gb/s2m－50Km2Gb/s2m－50Km1300nm长波光激光器1Gb/s2m－10Km2Gb/s2m－2Km4Gb/s2m－2Km50µm多模光纤850nm短波光激光器1Gb/s0.5m-500m2Gb/s0.5m-300m4Gb/s0.5m-