存储产品技术基础 技术交流

1、存储产品技术基础存储产品技术基础 issue 5.1 日期： 杭州华三通信技术有限公司 版权所有，未经授权不得使用与传播 网络存储技术 主要内容主要内容 网络存储概述网络存储概述 ip san存储技术基础存储技术基础 ip san基本组网介绍基本组网介绍 n 引言引言 n 网络存储行业应用网络存储行业应用 n 存储体系架构存储体系架构 n 网络存储技术趋势网络存储技术趋势 网络存储概述网络存储概述 引入引入 “以计算为中心”向“以数据为中心”发生转变 数据存储、管理方式从以服务器为中心向以网络为中心发生转变， “数据持续时间增加” 积累的数据越来越多，呈现“爆炸性的增长 ” 多样化、孤立、分散

2、、难以管理的海量数据是 “应用的巨大障碍” 关键业务的数据丢失对企业带来“毁灭性打击” 业务连续性、数据共享、数据备份恢复、信息生命周期管理等需求 推动存储技术巨大发展 5 引言引言 网络存储将存储设备从应用服务器中网络存储将存储设备从应用服务器中 分离出来，进行集中管理分离出来，进行集中管理 6 网络存储行业应用网络存储行业应用 数字化校园、图书馆平安工程（监控） 省会城市每月3pb 十二金工程 各级数据中心 容灾系统 国家标准 媒体行业 （电视台节目编辑） 气象、勘探、高性能计算 idc 整合优化 中小企业 医疗pacs 7 网络存储行业应用网络存储行业应用 l 对数据安全性安全性要求很高

3、的企业 典型行业: 电信、金融和证券 典型业务: 计费 l 对数据存储性能存储性能要求高的企业 典型行业: 电视台、交通部门和测绘部门 典型业务: 音频/视频、石油测绘和地理信息系统等 l 在系统级方面具有很强的容量容量( (动态动态) )可扩展性和灵活性可扩展性和灵活性的企业 典型行业: 各中大型企业 典型业务: erp系统、crm系统和决策支持系统 l 具有超大型海量存储海量存储特性的企业 典型行业: 图书馆、博物馆、税务和石油 典型业务: 资料中心和历史资料库 8 l 对具有本质上物理集中、逻辑上又彼此独立的数据管理数据管理特点的企业 典型行业:银行、证券和电信 典型业务:银行的业务集中

4、和电信的运营支撑系统(bossboss)集中 l 实现对分散数据高速集中备份分散数据高速集中备份的企业 典型行业:各行各业 典型业务:企业各分支机构数据的集中处理 l 数据在线性要求在线性要求高的企业 典型行业:商业网站和金融 典型业务:电子商务 l 实现与主机无关的容灾容灾的企业 典型行业:大型企业 典型业务:数据中心 网络存储行业应用网络存储行业应用 9 l das ： direct attached storage，直接连接存储 （以服务器为中心） l nas ： network attached storage，网络附加存储 （以数据为中心） l san ： storage area

5、network，存储区域网络 （以网络为中心） 存储体系架构存储体系架构 10 存储体系架构存储体系架构-das 概念：概念：通过ide、scsi以及光纤（fc） 接口或线缆与服务器直接相连，以服 务器为中心。 优点：优点： 磁盘与服务器分离，便于统一管理 缺点：缺点： 1.每个服务器都需要独立的存储设备 2.连接距离短，连接数量有限 3.数据分散，共享、管理困难 4.存储资源利用率低，单位成本高 5.扩展性差 ,新增服务器需单独配置 存储设备 direct attached storage（das） （以服务器为中心） 11 存储体系架构存储体系架构-nas network attached

6、 storage（nas） 概念：概念：使用一个专用存储服务器与网络 直接相连，通过nfs或cifs对外提供文 件级访问服务。 优点：优点： 1.基于nfs、cifs文件级共享存取，支 持http和ftp 2.存储设备功能上独立于网络中的主服 务器，不占用服务器资源 3.扩展较容易，广泛支持操作系统及应 用，安装简单方便 4.即插即用 缺点：缺点： 1.相比san架构，存取速度慢 2.访问需要经过文件系统格式转换，不 适合block级应用 3.数据备份及恢复占用网络带宽 （以数据为中心） 12 存储体系架构存储体系架构-san storage area network （san） （以网络为中

7、心） 概念：概念：将存储系统、服务器和客户端 都通过网络相互连接的架构。 优点：优点： 1.设备整合，多台服务器可以通过存 储网络同时访问后端存储系统 2.数据集中，易管理 3.高扩展性，存储硬件功能的发挥不 受lan的影响 4.高可用性，复制、备份、恢复数据 和安全的管理，容错能力强 5.适用于存储量大的block级应用 缺点：缺点： 1.系统的安装和升级方面效率不高 2.相比nas成本较高 13 存储体系架构存储体系架构-san fc san ip san fc san 兼容性差兼容性差 成本高昂成本高昂 扩展能力差扩展能力差 异构化严重异构化严重 光纤网络和光纤协议光纤网络和光纤协议 i

8、p san 以太网和以太网和iscsi协议协议 fc storage ip storage fc switchlan switch 14 san-提高企业信息的可用性提高企业信息的可用性 l 存储区域网络(san) nt nt unix 80% l 直接连接存储(das) 50%50%50% ntunixnt ntunixnt “让我们的存储设备发挥更大作用让我们的存储设备发挥更大作用” l 需超过50%的备用空间 l 存储容量不易扩展 l 管理成本5至6倍于购买 成本 l 仅需20%的备用空间，有效减 少备用空间 l 可立即按需提供存储容量 l 整和unix与nt存储增长需求 15 san-

9、提高企业信息的可用性提高企业信息的可用性 l 存储区域网络(san) l 直接连接存储 (das) 信息的可用能力保障业务的正常运行 ntunix lanlan ntunix备份服务器备份服务器 备份服务器备份服务器 l 备份传输堵塞企业局域网 l 备份/恢复时间冗长 l 在备份/恢复期间，服务需要中断 l 与基于网络或直接连接式的备份， san可令备份操作更快完成 l 企业应用程序可更快速恢复服务 l 缩短意外服务中断时间，尽快恢复 遗失或损坏的数据 l 提高企业生产力 16 san-提高对应用系统的保护提高对应用系统的保护 l 存储区域网络 (san) l 直接连接存储 (das) 降低高

10、可用关键业务应用的构建成本 pspsps ppps l 三台重要应用软件服务器需要三 台备用服务器 l 1:1故障切换，成本高昂 l 基于san群集提供高可用解决 方案，明显降低成本 l 一台备用服务器可支持多台工 作服务器 l n:1切换 l 减少维护开支 17 存储体系架构的发展存储体系架构的发展 direct-attached storage (das) scsiinitata ufsext2ntfs and /or block / cache / raid network-attached storage (nas) intelligent ip storage fc storage

11、area network (san) nfscl ethernet ethernet cifs nfssercifs tcp/ip tcp/ip scsiinitata ufsext2ntfs and /or block / cache / raid ip network scsiinitfc and /or block / cache / raid ext2 fc-4 fc-1,2 fc-0 fc-3 fc-0 fc-1,2 fc-3 fc-4 ufsext2ntfs block fabric ethernet ata tcp/ip iscsi ethernet scsiinitfc rai

12、d tcp/ip iscsi and /or iscsi ufsext2ntfs ethernet tcp/ip block ethernet raid tcp/ip iscsi storage servicesengines ip network ip network 18 存储体系架构的融合存储体系架构的融合 应 用 2 3 4 1 19 存储体系架构的融合存储体系架构的融合 应用主机通过应用主机通过ip san访问存储资源访问存储资源 应用主机通过应用主机通过cifs或或 nfs访问访问nas共享资源共享资源 nas和和san资源共用同一存储池资源共用同一存储池 l 通过ip san供给

13、san资源，通过cifs 和nfs共享nas资源 l 最大限度利用存储资源，在同一存储 池中同时分配san 和 nas 资源 l 为san和nas同时提供存储服务 镜像、快照、复制、时间标记及动态 容量申请等存储功能 l 统一的硬件和软件的管理 iv5000 san 访问访问nas 访问访问 san网络网络 san和nas的统一 l san 和 nas的融合解决方案 20 存储体系架构的融合存储体系架构的融合 data center 1 gbps ethernet ip connectivity 1/2 gbps fc ultra 320 scsi ip san l ip san 和 fc s

14、an 融合解决方案 fc san ip san extension 21 网络存储技术趋势网络存储技术趋势 第一代 das 连接方式：服务器直连 第二代 fc san 连接方式：fc网络 第三代 ip san 连接方式：ip网络 经历经历fcfc的痛苦，业界再次选择了的痛苦，业界再次选择了ipip！ 1986scsi1986scsi协议协议1997fc1997fc协议协议2003iscsi2003iscsi协议协议 标准化是存储发展的方向！标准化是存储发展的方向！ 22 网络存储技术趋势网络存储技术趋势 sansan和和nasnas的比较的比较 体系架构发展主线：体系架构发展主线： dasda

15、s-san(san(各厂家兼容性差)-opensan()-opensan(各厂家互为兼容)- )- soip(iscsi/fcip/ifcp/ip/ethernet)soip(iscsi/fcip/ifcp/ip/ethernet) 我司目前专攻我司目前专攻ip san ip san 解决方案解决方案 23 l 存储管理的自动化与智能化 l 提高存储效率 l 减少总体拥有成本(tco)，增加投资回报(roi) 网络存储技术趋势网络存储技术趋势 n ip san标准、技术的支持标准、技术的支持 n scsi技术技术 n iscsi技术技术 n raid技术技术 ip sanip san存储技术及

16、协议标准存储技术及协议标准 25 存储网络的体系结构存储网络的体系结构 存储网关设备需要支持物理层是光纤通道物理接口及以太网的技术体系。 26 ip san标准、技术的支持（一）标准、技术的支持（一） l ip存储技术包含：iscsi、fcip、ifcp等，光纤通道技术包 含fc-ph、fcp、fc-sw、fc-fs、fc-fg等。 l fcip（ fibre channel over ip）：是ietf与ansi共同提 出的基于ip的光纤通道方案，采用这种模式，光纤通道数 据帧被压缩为ip帧传输,在两个san之间通过ip网络建立点 到点的隧道，构成一个统一的san环境。 ip头头tcp头头f

17、cip头头eoffibre channel 帧帧sof fcip 帧封装 sof（帧起始定界符）、eof（帧终止符） 27 ip san标准、技术的支持（二）标准、技术的支持（二） ip头头tcp头头ifcp报头报头fibre channel 帧帧 ifcp 帧封装 d_id:01xxxx s_id:02xxxx d_ip:01xxxx s_ip:02xxxx l ifcp：在fc与ip之间建立网关到网关的连接，使fc帧可 以路由到正确的目的地址，为tcp/ip网络上的fc端设备 提供fc网络服务，也就是可以实现端到端的ip连接。它可 以允许每一个互联的san都拥有自己独立的命名空间。实 现起

18、来也比fcip复杂。 28 ip san标准、技术的支持（三）标准、技术的支持（三） l iscsi （internet small computer systems interface） ： 一种纯粹意义上的ip存储网络技术，它不包含任何fc的内 容，ietf提出的基于ip协议的技术标准，scsi 命令和数据 帧压缩为ip帧传输，实现了scsi和tcp/ip协议的连接 （scsi在tcp/ip上的传输）。 ip头头tcp头头iscsi头头scsi命令命令 iscsi 帧封装 29 ip san标准、技术的支持（四）标准、技术的支持（四） 三种ip网络存储技术对比表： fcip ifcp is

19、csi 包含的ip的内容 最少 居中 最多，无fc内容 终端设备 fibre channel fibre channel iscsi/ip 网络服务 fibre channel ip ip 协议栈 原封不动使用fibre channel协议层次 高层使用fc-4层底层使用 ifcp代替fc-2层 自己的串行scsi实 现 是否支持fc san的 合并 支持 不支持 网络管理 复杂，需要fc和ip两套 网管 简单，单一网管 简单，单一网管 安全性 一般 利用磁盘分区增强安全性 对安全有专门定义 服务质量 使用ip qos 一般 使用ip qos 技术实施复杂度 简单 复杂 简单 30 scsi概

20、述概述 lscsi：smallcomputersysteminterface 小型计算机系统接口 lscsi是客户端-服务器架构 在scsi术语里，客户端叫initiatorinitiator，服务器叫targettarget initiator通过scsiscsi通道通道向target发送请求，target通过scsi通道向 initiator发送响应 scsi通道连接的是scsi port，scsi initiator port和scsi target port initiator至少必须包括一个scsi port，和一个能发起请求的客户端 target也需要包括一个scsi port ，

21、以及任务分发器和逻辑单元， target initiator 客户端 scsi port scsi通道 scsi port 任务分发器 逻辑单元 任务管理器 服务器 31 scsi通信通信 linitiator用一种叫做cdb 的数据 结构封装请求(command descriptor blocks) linitiator的应用层封装好scsi cdb后，调用scsi传输协议接口 ltarget的应用层收到scsi cdb 后，根据cdb内容进行相应处理， 封装好scsi 响应后，调用scsi传 输协议接口 liscsi正是scsi传输协议的一种 scsi应用 scsi传输协议 scsi物理连

22、接 scsi应用 scsi传输协议 scsi物理连接 initiator 设备target 设备 互连协议 应用协议 传输协议 传输协议接口 互连协议接口 32 iscsi概述概述 l由ibm，cisio，hp发起；2000-2为ietf草案，2004-4作为正式的ietf标准 现在的iscsi协议对应sam2，而最新的sam是sam4，sam5 l主要由rfc3720描述 涉及的rfc还有：3721（isns），3722（命令规范），3723（安全）， 3347（设计），3783（ip上的有序命令传送），3385（错误估计） l用tcp/ip作为san的基础设施 iscsi构建在tcp之上，

23、不是ip；是面向连接的，不是无连接的。（一 个iscsi命令可能分在几个ip报文中） liscsi命名规范 liscsi的主要功能是在tcp/ip上封装，并可靠的传输scsi命令及数据 33 iscsi协议栈协议栈 linitiator scsi层负责生成cdb，将 cdb传给iscsi iscsi层负责生成iscsi pdu （含cdb），并通过ip网络将 pdu发给target。注意，iscsi 层并不知道cdb的内容，只是 简单的将整个cdb封装在pdu 中。 ltarget iscsi层收到pdu，将cdb传 给scsi层 scsi层负责解释cdb的意义。 必要时发送响应。 34 is

24、csi报文封装报文封装 liscsi报文格式报文格式 以太网头(14)ip头(20)tcp头(20)iscsi（tcp数据）fcs 源端口目的端口 序列号 确认号 首部 长度 保留 uaprsf窗口大小 校验和紧急指针 iscsi的知名端口是： 3260 基本报头段(bhs，48字节) 附加报头段（若有） 头部校验（若有） 数据段（若有） 数据校验（若有） 35 iscsi会话会话 l两种会话类型（一） dicovery session 用于发现用于发现target，只支持三，只支持三 种种iscsi报文报文 login req / rsp textreq(send target) / rsp logout req / rsp l建立tcp连接 报文报文1，2，3；三路握手；三路握手 l拆除tcp连接 报文报文12，13，14，15；四次握；四次握 手手 initiator:0target:0 discovery session 1 syn 2 syn,ack 3 ack 4 login req: discovery session 5 login rsp 6 login req: parameter negotiate 7 login rsp 8 text req: sendtarget 9 text r