（计算机应用技术专业论文）iscsi协议研究与实现.pdf

硕士学位论文 摘要 随着以电子商务为代表的网络服务的飞速发展，人们对信息量的需求呈爆炸 式的增长。这使得网络数据的高速存取与共享显得尤为重要，并逐步成为信息高 速公路中亟待解决的关键问题。i s c s i 是一种新兴的网络存储技术，将i p 网络技 术集成到存储i o 之中，融合了网络和i o 的特性，在构建异构的存储网络方面 有着其它数据访问协议所无法比拟的优势。 i s c s i 同f a b r i cc h a n n e l ( 光纤隧道) 等其它类型的网络存储技术相比，其传输 效率较低，c p u 占用率较高。另一方面，i s c s i 协议的实现往往与具体应用紧密 结合在一起，其重用性与移植性较差。因此，设计实现一个高效、可重用的协议 原型系统对i s c s i 的应用具有重要的意义。 本文首先研究了i s c s i 网络存储体系结构，从会话管理、命名与寻址、协议 数据单元格式、错误恢复机制等方面对i s c s i 协议进行了详细地分析。针对i s c s i 校验算法低效率问题，运用有限域理论，对i s c s i 摘要消息多项式进行分解，以 替换i s c s i 串行c r c 算法为并行c r c 算法。并针对i s c s i 协议数据单位格式的 特点，对并行c r c 算法的具体实现加以改进，形成i s c s i 快速并行c r c 校验算 法，从而减小协议的c p u 占用率。 在上述分析与改进的基础上，设计并实现一个i s c s i 协议原型系统，该系统 运行于l i n u x 内核空间，通过采用层次化模块结构，最大程度地保证了原型系统 的设备无关性，它是对协议实现的高度抽象，具有结构清晰、占用系统资源少、 可移植性强等特点。 论文的最后使用测试工具i o m e l e r 对原型系统的吞吐量、c p u 利用率和延迟 三项性能指标进行了测试。测试结果表明：在读取的数据长度小于8 k 和写数据 两种情况下，i s c s i 的性能优于s a m b a 和n f s ；改进后的c r c 算法降低了原型系 统对c p u 的占用率。 关键字：i s o s i ：网络存储：循环冗余校验：有限域；1 0 m e t e r i s c s i 协议研究与实现 a b s t r a c t w i t ht h e r a p i dd e v e l o p m e n t o fn e t w o r ks e r v i c e s r e p r e s e n t e db y e l e c t r o n i c c o m m e r c e ，t h ed e m a n d so fi n f o r m a t i o nk e e po ni n c r e a s i n ge x p l o s i v e l y i tm a k e st h e h i g h s p e e da c c e s so fn e t w o r kd a t am o s ti m p o r t a n t ，a sw e l la sh o w t os h a r ei ni t a sa r e s u l to ft h a t ，i tb e c o m e st h ek e y p r o b l e m t ob u i l du pi n f o r m a t i o ns u p e r h i g h w a y a sa n e w t e c h n o l o g yo f n e t w o r k s t o r a g e ，i s c s ig e t sas p e c i a lt o w p l yc h a r a c t e r o fn e t w o r k a n di o b yi n t e g r a t i n gs t o r a g ei 0 w i t hi pn e t w o r k i ns e t t i n gu pah e t e r o g e n e o u s s t o r a g en e t w o r k ，i s c s ih a sa n e x c e l l e n tm e r i ti n c o m p a r a b l yt oo t h e rp r o t o c o l s c o m p a r e dw i t ho t h e rn e t w o r ks t o r a g et e c h n o l o g i e s ，s u c ha sf a b r i cc h a n n e le t c ， i s c s is h o w sl o w e re f f i c i e n c ya n dh i g h e ru t i l i z i n gr a t eo fc p u i na d d i t i o n ，t h e i m p l e m e n t a t i o n so f i s c s ip r o t o c o lf a l ls h o r to fr e u s a b i l i t ya n d p o r t a b i l i t y ，b e c a u s ei t a l w a y sh a sat i g h ta s s o c i a t i o nw i t ha c t u a la p p l i c a t i o n s f i r s t l y , t h i sp a p e rs t u d i e st h ea r c h i t e c t u r eo fi s c s i n e t w o r ks t o r a g e w ea n a l y s e s i s c s ia t l e n g t h f r o ms e v e r a l f a c t s ，s u c h a ss e s s i o n m a n a g e m e n t ，n a m i n g a n d d i s c o v e r y ，p d u ，e r r o rr e c o v e r y f o rt h el o we f f i c i e n c yo fi s c s ic r ca l g o r i t h m ，w e d e c o m p o s e t h e d i g e s t i n f o r m a t i o n p o l y n o m i a l t o r e p l a c eo r i g i n a l s e r i a lc r cb y p a r a l l e l c r ca l g o r i t h m ，b yu s i n gt h et h e o r yo fg a l o i a sd o m a i n a c c o r d i n gt ot h e c h a r a c t e r so fi s c s ip d u ，w ei m p r o v et h ei m p l e m e n t a t i o no fp a r a l l e lc r ca l g o r i t h m i no r d e rt og e tan e wf a s tp a r a l l e lc r cc h e c k o u ta l g o r i t h mo fi s c s i ，s oa st od e c r e a s e t h eu t i l i z i n gr a t eo fc p u b a s e do na l la b o v e a n a l y s i sa n di m p r o v e m e n t s ，t h i sp a p e rd e s i g n s a n di m p l e m e n t s ap r o t o t y p eo ft h ei s c s ip r o t o c o l ，w h i c hr u n si nl i n u x sk e r n e ls p a c e b ym e a n so f h i e r a r c h a lm o d u l es t r u c t u r e ，i ta s s u r e st h el e a s ti n d e p e n d e n tt op h y s i c a ld e v i c e s i ti sa m o s ta b s t r a c ti m p l e m e n t a t i o no fi s c s i ，w h i c hh a st h ec h a r a c t e r so fd i s t i n c ts t r u c t u r e ， l o w e rr e c o u r s eo c c u p a t i o na n d p r e f e r a b l ep o r t a b i l i t y a tl a s t ，w et e s tt h r e ep e r f o r m a n c em e a s u r e s ，i e t h et h r o u g h o u t ，t h eu t i l i z i n gr a t e o fc p ua n dd e l a y , b y t a k i n gi o m e t e r a st h et e s t i n gp l a t f o r m t h et e s t i n gr e s u l t ss h o w t h a tt h ep e r f o r m a n c eo fi s c s lw i l lb eb e t t e rt h a nt h a to fs a m b aa n dn f s ，w h e nw r i t i n g d a t ao rr e a d i n gd a t aw h o s es i z ea r en ol a r g e rt h a n8 k , a n da p p l y i n gt h ei m p r o v e d c r cc o u l dd e c r e a s et h eu t i l i z i n gr a t eo fc p u k e yw o r d s ：i s c s i ；n e t w o r ks t o r a g e ；c y c l i cr e d u n d a n c yc h e c k ；g a l o i a sd o m a i n ； 1 0 m e t e r l i 湖南大学 学位论文原创性声明 本人郑重声明：所呈交的论文是本人在导师的指导下独立进行研究所 取得的研究成果。除了文中特别加以标注引用的内容外，本论文不包含任 何其他个人或集体已经发表或撰写的成果作品。对本文的研究做出重要贡 献的个人和集体，均己在文中以明确方式标明。本人完全意识到本声明的 法律后果由本人承担。 作者签名：局昨日期：沙中年孑月叩日 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意 学校保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文 被查阅和借阅。本人授权湖南大学可以将本学位论文的全部或部分内容编 入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇 编本学位论文。 本学位论文属于 1 、保密口，在年解密后适用本授权书。 2 、不保密圈。 ( 请在以上相应方框内打“4 ”) 作者签名：励号日期：矽牮年弓月矽日 导师签名。痧 日期：胛砷年弓月节日 第1 章绪论 信息处理、信息传输和信息存储是i t 业的三大支柱。过去，人们的目光似乎 过多地关注着以中央处理器( c p u ) 为代表的信息处理和以i n t e r n e t 为代表的信 息传输两大领域。现在，随着互联网环境下企业数据的爆炸性增长、企业商务模 式的转变和以数据为本的企业知识产权价值的体现，传统的信息存储方式已不能 满足新的需要，存储的网络化成为i t 技术的新亮点【1 ，2 1 。 1 1 课题来源 本研究课题来自湖南省科学技术厅制造业信息化示范工程项目 ( h n m i e - a 一0 2 6 ) 。 1 2 研究意义 信息技术的发展使计算环境正在从以服务器为中心向着以数据为中心转变， 数据存储量每年翻一番以上，而且这一趋势有愈演愈烈之势。尽管单元存储技术 的发展也符合摩尔定律，但其发展速度远远落后于数据的爆炸式增长。 信息量的迅速增长，使得数据的高速存取与共享至关重要，并逐步成为信息 高速公路中的关键问题。网络存储把网络技术集成到存储i o 之中，融合了网络 和i o 的特性，特别是网络的可寻址能力、即插即用、远距离、连接性和灵活性 1 3 1 ，以及存储i o 的高性能和高效率等特性。网络存储设备为信息系统提供了信 息存取和共享服务，具有超大存储容量、大数据传输率、极好的扩展性、高可用 性、集中管理和方便备份等优点。网络存储技术的优良特性必将使其广泛应用于 数据中心、电信、出版、教育、银行、政府等行业中，具有广阔的市场前景。 网络存储技术分为附网存储【4 , 5 1 ( n e t w o r k a t t a c h e ds t o r a g e 简称n a s ) 和存储 区域网f 6 - 7 】( s t o r a g e a r e an e t w o r k 简称s a n ) 两种体系。附网存储依托于n f s 与 c i f s 等文件共享协议；而存储区域网技术则基于光纤通道( f i b r ec h a n n e l 简称 f c ) 、i s c s i 等设备共享协议。s a n 技术由于其在可扩展性、传输效率、传输距 离等方面的固有优势，成为高端网络存储领域的主导技术。但是基于光纤通道的 s a n 过于昂贵，普通用户通常难以负担。新兴的i s c s i 协议以广泛部署的以太网 f r c p i p 为基础平台，在构建i ps a n 、整合原有的f cs a n 与n a s 、构建异构的 存储网络方面有着光纤隧道所无法比拟的优势。 海量数据存储、高速i o 通道和高效数据共享是网路存储必须具备的三个基本 要素，提供高效可靠的数据共享机制是网络存储系统的必然趋势和内在要求。千 i s c s i 协议研究与实现 兆以太网的发展为i s c s i 应用提供了充分的带宽保证【酊，使得研究焦点从带宽获 取转移至延迟、可靠性和c p u 处理能力等问题上。i s c s i 协议在继承t c p i p 廉 价、简单易用等特性的同时，也引入了它的低效率：i s c s i 数据经过协议栈时需 要进行几次内存拷贝，差错恢复和流量控制的算法作为软件进程在主机系统中运 行，这些都占用了大量的c p u 资源，对延迟等性能造成了附加的影响。如何减小 i s c s i 协议对计算资源的占用成为目前研究的重点【8 1 。c r c 检错机制是i s c s i 协 议中重要的也是使用最频繁的检错机制，传统的c r c 算法计算效率低、资源消耗 大，对于协议的执行效率有很大的影响。因此，提高c r c 校验的效率，建立一个 抽象、高效且结构清晰的协议原型无论在理论研究上，还是在实际应用中都具有 重要的现实意义。 1 3 研究背景 1 3 1 小型微型机接口 在开放系统领域，小型微型机接口 9 1 ( s m a l lc o m p u t e rs y s t e mi n t e r f a c e 简称 s c s i ) 是最主要的存储i o 技术。该技术具有设备无关性，允许把不同的设备通 过一组菊花链总线连接到计算机系统中。总线上的每个设备被分配唯一的地址 s c s ii d ，通过s c s ii d ，系统来决定总线上各设备的相对优先权。为了满足设备 寻址的需要，s c s i 还使用了一种子i d 级的设备编址，称为逻辑单元( 1 0 9 i c a lu n i t n u m b e r 简称l u n ) ，每个s c s ii d 可以拥有8 个l u n 地址。操作系统通过 三元组来描述物理设备。s c s i 标准已经历了三个发展阶段，在发 展中逐步具有了支持设备端命令排队、允许多任务叠加操作、支持双向接口等特 性，这些特性缓解了c p u 与外围设备速度不匹配的矛盾。但最具历史意义的变化 莫过于s c s i 3 标准的推出。 s c s i 一3 f , o l = j i 入了一种对s c s i 的新观点，即其重点不再放在并行接口的物理连 接和协议层上，而是放在设备类型和它的命令集上。基于这一目标，s c s i - 3 采取 类似于o s i ( o p e s y s t e mi n t e r c o n n e c t i o n 开放系统互连) 网络模型一样的分层结 构，a n s i ( 美国标准委员会) 把s c s i 3 分为四层：命令集层、设备模型层、传 输协议层和物理传输层。 同时，在s c s i 3 标准中出现了一系列新的串行接口协议。传统的观点认为并 行总线比串行总线速度快，一个n 位的并行总线应该比串行总线的运行速度快n 倍。如果并行总线与串行总线使用的是同一种信号方法，那么事实确实如此a 然 而，大部分并行总线使用分离的时钟与信号，该时钟速度不可能无限期的增长而 达到更高的数据传输率，在某些点上，该时钟与信号畸变和失真，以致不能进行 可靠的传输。大部分串行接口使用带有嵌入式时钟信号的数据。即时钟信号由数 2 硕士学位论文 据信号编码，这样就不会有限制速率的畸变延迟。串行s c s i 接口的出现印证了 存储网络化这一趋势。 串行s c s i 接口包括i e e ep 1 3 9 4 、s s a 等。p 1 3 9 4 是为了满足低消耗、适当传 输速率和延迟的目的而开发的一种外围总线，其数据传输是半双工的。s s a 1 1 】所 代表的含义是串行存储结构( s e r i a ls t o r a g ea r c h i t e c t u r e ) ，最初是由i b m 公司作 为一种i o 通道而设计的。它采用点对点的存储转发拓扑结构，在几乎不产生额 外开销的情况下提供了全双通讯能力，在数据帧级别上的多路复用使得接口可以 在几个并发操作上有效地共享，并允许各外围设备向主机同时进行数据传输。这 种体系结构适应性强，支持串行、环行及交换三种不同的拓扑结构，能方便地建 立冗余独立磁盘阵列( r e d u n d a n ta r r a yo fi n d e p e n d e n td i s k s 简称r a i d ) 等大 型存储系统。 s c s i 一3 具有如下主要特点： ( 1 ) 更高的数据传输率和更低的系统开销。 ( 2 ) 连接设备的距离可达千米，而不是几米。 ( 3 ) 同一个总线上可扩展寻址，允许连接的设备数几乎不受限制。 ( 4 ) s c s i 接口具有更高的通用性 ( 5 ) 更高的系统可靠性和强壮性 1 3 2 网络存储体系结构 为了描述新的存储网络技术和应用中的角色，网络存储工业协会( s t o r a g e n e t w o r k i n gi n d u s t r ya s s o c i a t i o n 简称s n i a ) 制定了一个共享存储体系结构模型 p 2 1 。该模型将复杂的技术抽象成最基本的组成部分，对于网络存储而言，这一特 性尤其重要，因为作为一项新技术它囊括了全新的概念、结构、应用和底层结构。 图1 1s n i a 共享存储模型 s n i a 共享存储模型如图1 1 所示，它从底层存储域中抽象出应用层。存储域 分为几个不同的层次，包括一个组织数据的文件记录子系统、块聚集层和块子系 3 i s c s i 协议研究与实现 统。块聚集层主要用来批量组织数据，块子系统则泛指用来存放数据的物理设备。 辅助服务子系统为上层应用系统提供设备发现、管理、安全性、可用性以及存储 计划。 在最抽象的层次上，所有的存储网络实现都归纳在一个公共标题下一存储域。 这强调了与上层应用程序相关的面向文件和面向数据块的底层结构的通用性。在 实际基于i p 网络的存储中，文件访问方式和块访问的差别是非常重要的，其区别 在于文件访问方式接收的是由数据块组成的文件，而块访问方式则是直接接收数 据块。面向数据块的访问更靠近磁盘阵列和操作系统底层，可以确保高性能，而 面向文件的访问则确保了其它更高层次的功能，如在不同操作系统之间的跨平台 访问。 依据访问方式的不同，大多数网络存储系统都可以归为两类：附网存储 ( n e t w o r ka t t a c h e ds t o r a g e ，n a s ) 和存储区域网( s t o r a g ea r e an e t w o r k ，s a n ) 。附 网存储采用面向文件的访问方式，其实现的关键在于网络文件系统性能。存储区 域网采用面向数据块的访问方式，因此保障网络连接的可靠和高效成为关键1 8 j 。 在存储区域网的连接方式上，串行s c s i 协议既可以替代协议栈中的t c p i p ，也 可以运行于i p 或者t c p 服务之上，前者如f c t l 引、h y p e r s c s i t l 4 t 15 1 ，后者如f c i p t l 6 l 、 i f c 1 7 】、i s c s i 。对于前一种方式，需要从头设计整个协议栈，并考虑可靠性、流 量控制等机制，实现难度较大，且存在与现有网络兼容的问题。后一种方式仅需 要把相关存储协议简单地映射到t c p i p 之上，借助于t c p i p 的相关机制来保证 传输的可靠性。但这样做的后果是同时引入了t c p i p 的低效率。众所周知，t c p 有很多差错恢复和流量控制的算法作为软件迸程在主机系统中运行f 1 射，这占用了 大量的c p u 资源；另外在数据经过协议栈时，t c p 进程需要进行几次内存拷贝， 这对延迟和性能造成了附加的影响。考虑到目前网络速度的提高和传输数据量的 增大，t c p i p 的上述累积效应确实是一个问题。文献1 1 9 使用c s i m 通过对s a n 建模分析研究了上述性能问题。 文献【2 0 ，2 1 】则在上面所介绍的存储体系结构之外，提出了一个更为自由的存 储概念：海量存储( o c e a n s t o r e ) ，它是加州大学伯克利分校的一个研究项目。它 利用软件方法把数据文件分割成许多微小的加密片断，并给每一个片断分配一个 全球唯一标识( g u i d ) 用以跟踪，然后存储在全球i s p ( i n t e m e ts e r v i c ep r o v i d e r 因特网服务提供商) 拥有的众多w e b 服务器中。其庞大的冗余存储网络可以使人 们在任何地方方便地访问数据，而且能使灾难恢复达到前所未有的水平。如果多 台计算机或服务器崩溃，o c e a n s t o r e 能利用存储在其他服务器上的数据重建信息。 4 硕士学位论文 1 3 3 网络存储访问协议 1 3 3 1 网络文件系统 n f s 2 0 协议于1 9 8 9 年制定，1 9 9 3 年又制定了新的n f s 3 0 协议的标准【2 2 1 。 n f s 实际上是一个分布式文件系统，其目的是使网络用户可以通过网络连接来共 享服务器上的文件和数据资源。通过网络文件系统，服务器导出( e x p o r t ) 一个 或多个本机目录供远程客户端共享。客户端则通过装载( m o u n t ) 服务器上的目 录来实现对服务器文件资源的共享。客户端通过远程过程调用( r e m o t ep r o c e d u r e c a l l 简称r p c ) 对服务器提出服务请求，服务器根据请求作相应的操作并返回结 果。通过上述过程把远地的文件系统以本地文件系统的形式呈现给每一个客户端， 客户端上看到的只是多了一个共享的存储盘。n f s 具有如下特点： 1 网络文件系统是一个无状态的协议，服务器不需要维护任何诸如当前客户端 是谁，哪些文件被打开之类的状态信息，每个r p c 都是自维持的。无状态协 议的最大优势就是健壮性。 2 支持u n i x 文件系统的语法，也支持采用其它操作系统的客户端共享服务器 文件资源，保留了u n i x 文件系统中文件读写、执行的权限设置。 3 n f s 协议可采用面向流的协议( 般为t c p ) 或面向数据报的协议( 一般为 u d p ) ；既可采用i p 协议，也可采用非i p 协议。 1 3 3 2 服务消息块协议 s m b 是s e r v e r m e s s a g eb l o c k 的缩写，它是一个用于在计算机之间共享文件， 打印机以及其它信息的网络协议【23 1 。它最早出现在1 9 8 7 年微软和英特尔公司的 份称之为m i c r o s o f tn e t w o r k s o p e n n e t - f i l es h a r i n gp r o t o c o l 2 4 1 的文档 中，后来被微软和其它一些公司进一步发展，并被广泛的运用于目前比较流行的 w i n d o w s 系列操作系统中，目前最新的s m b 协议称之为c i f s ( c o m m o ni n t e r n e t f i l es y s t e m 公共因特网文件系统) 【2 5 1 。 s m b 协议和n f s 一样，也是采用客户服务器模式。s m b 协议可以运行在多个协 议上，既可以运行在t c p i p 上( 实际上是在t c p i p 上的n e t b i o s 协议层上) ，也 可以运行在n e t b e u i ( n e t b i o se x t e n d e du s e ri n t e r f a c e ) 或者i p x s p x 协议上。 一旦客户机和服务器建立了连接，客户机就可以给服务器发送s m b 命令去读写服 务器上的文件，共享服务器上的打印机等设备。对客户机来说，服务器上的文件 系统，打印机与在本地上一样，唯一的区别就是所有的事情都是通过网络来完成 的。使用s m b 可以将基于m i c r o s o f t 服务器的网络和u n i x 网络集成起来，让p c 能方便地访问u n i x 服务器，就如同访问w i n d o w s 服务器一样。 5 i s c s i 协议研究与实现 1 3 3 3 光纤隧道协议 光纤通道1 2 6 是一种在计算机和海量存储器上广泛应用的高速串行接口，广泛 应用与s a n 中。与其它接口和总线相比，光纤通道兼有i o 通道和局域网的特性， 可以作为i o 通道和局域网的传输介质。光纤通道支持三种基本的拓补结构，点 对点连接、仲裁环结构和星形结构。与传统的s c s i 2 协议相比较，它具有以下几 个特点： 数传率高，传统的s c s i 中最快的u l t r a1 1 只有8 0 m b s 的数传率，而光纤通 道的数传率为1 0 0 m b s ，全双工的情况下可以达到2 0 0 m b s 。 传输距离远。传统的s c s l 数据传输的极限距离是2 5 米，光纤通道连接线既 可以是铜缆也可以是光纤，其中铜缆的传输极限距离是3 0 米，而在多模光纤 上利用短波激光进行数据传输可以达5 0 0 米，单模光纤上利用的长波激光进 行数据传输更是高达1 0 公里。 可连接节点数多，传统的s c s i 协议通常只能挂接7 个或1 5 个节点，光纤通 道可以挂接1 2 7 个节点。 1 3 3 4i s c s i 协议 2 0 0 3 年2 月1 1 日，i e t f ( i n t e r n e te n g i n e e r i n gt a s kf o r c e ，互联网工程任务 组) 通过了i s c s i ( i n t e r n e ts c s i ) 标准【27 1 。与此同时，i e t f 还推出一系列i p 存 储协议：比如i s n s ( i n t e r n e ts t o r a g e n a m es e r v i c e 因特网存储命令服务) 【2 引，是用 于规范i s c s i 的名字服务的，同时规定了i s n s 服务器与客户端直接的自动发现、 管理和配置；i s c s i n a r u i n ga n d d i s c o v e r y l 2 9 1 ，此协议用于规范i s c s l 名字结构， 并讨论i s c s i 资源的发现机制。此外，还有很多专业人士在协议的应用研究方面 做了相当多的工作，比如基于i s c s i 协议的存储对象管理【3 0 , 3 1 】，利用s l p ( s e r v i c e l o c a t i o np r o t o c o l 服务定位协议) 3 2 1 发现i s c s l 目标器和名字服务器。 i s c s i 协议定义的是s c s i 到t c p i p 的映射，即发送方i n i t i a t o r 将s c s i 命令 和数据封装成t c p i p 包，在i p 网络上传输，到达目的节点后，接收方t a r g e t 将 收到t c p i p 包还原为s c s i 命令和数据并执行，完成之后再将返回的s c s i 命令 和数据封装到t c p i p 包中，传送回发送端。i s c s i 的核心任务就是封装c d b 形 成i s c s i 协议数据单元( p r o t o c o ld a t au n i t 简称p d u ) ，并在i p 网络上传输，使 i n i t i a t o r 使用远端的存储设备就象访阀本地的s c s i 设备一样简单。 i s c s i 技术最重要的优势在于其对传统技术的继承和发展上：其一，s c s i ( s m a l lc o m p u t e rs y r s t e m si n t e r f a c e ，小型计算机系统接1 2 1 ) 技术是被磁盘、磁带 等设备广泛采用的存储标准，从1 9 8 6 年诞生起到现在仍然保持着良好的发展势 头：其二，沿用t c p f i p 协议，t c p i p 在网络方面是最通用、最成熟的协议，且 i p 网络的基础建设非常完善。上述两点为i s c s i 的无限扩展提供了坚实的基础。 6 硕士学位论文 与光纤隧道相比，i s c s i 是一个构建在t c p i p 之上的块数据传输协议，网络传输 层以下的各层对i s c s i 协议具有透明性：也就是说，链路层以下无论采用何种方 式连接，只要在传输层和网络层使用t c p i p ，上层就可以使用i s c s i 。i s c s i 的 这一特性为构建异构存储网络提供了极大的方便。 1 4 本文主要工作 本文以设计一个高效、可移植的i s c s i 协议原型系统为目标，围绕i s c s i 差错 校验的低效率问题，从理论、技术及设计实现三方面进行研究，主要工作如下： 1 研究i s c s i 网络存储体系结构，从会话管理、命名与寻址、协议数据单元格式、 错误恢复机制等方面对i s c s i 协议进行详细分析。 2 针对i s c s i 校验算法低效率问题，采用有限域理论，根据i s c s i 协议数据单位 格式的特点，改进i s c s i 串行c r c 算法为快速并行c r c 算法，以减小协议的 c p u 占用率。 3 在上述分析研究的基础上，设计并实现一个i s c s i 协议原型系统，该系统是对 协议实现的高度抽象，具有结构清晰、占用系统资源少、可移植等特点。 4 使用测试工具i o m e t e r ，对原型系统的吞吐量、c p u 利用率和延迟三项性能指 标进行测试。并对校验算法改进前后的系统测试数据进行分析，以验证改进的 有效性。 1 5 论文结构 本论文共分7 部分。第1 章为绪论，主要提出项目来源、目的、意义以及相 关的研究背景，同时介绍了本文所做的主要工作。第2 章分析研究i s c s i 协议。 第3 章对i s c s i 校验算法进行改进。第4 章给出i s c s i 协议原型的设计目标与系 统架构，并对一些关键技术难点进行分析，给出解决方案。第5 章介绍i s c s i 原 型系统的部分实现细节。第6 章对原型系统进行对比测试。结论部分总结本文已 完成的工作，并对下一步工作的进行展望。全文结构如图1 2 所示。 7 i s c s i 协议研究与实现 第1 章绪论 i ， 第2 章i s c s i 协议分析 第3 章i s c s i 校验算法改进 士 第4 章i s c s i 原型系统设计 0 第5 章i s c s i 原型系统实现 第6 章测试 士 结论 图1 2 论文结构图 硕士学位论文 第2 章i s c s i 协议分析 s c s i 3 摆脱了传统的服务器存储系统模式，其命令集将逻辑层转化为基于包 的格式，使得s c s i 协议可以在更灵活的网络结构上传输数据，突破了距离上的 限制，i s c s l l 2 7 】正是网络条件下的s c s i 3 协议。i s c s i 协议融合了小型微型机接 口( s c s i ) 与i p 网络的优点，使得存储服务器可以通过i p 网络同存储设备交换 块数据。面向数据块的访问更靠近磁盘阵列和操作系统的底层，消除了对文件操 作的延迟，确保了系统的高性能，适合于对延迟敏感的应用程序和基于事务处理 的数据库。 2 1i s c s i 协议模型 i s c s i 使用t c p i p 协议在不稳定网络上进行可靠的数据传输。i s c s i 层和标准 s c s i 集在协议栈中的位置如图2 1 所示。i s c s i 层包括了已封装的s c s i 命令、数 据和状态。就是说若操作系统或应用程序需要进行数据写操作，s c s i 的c d b ( c o m m a n d d e s c r i p t i o nb l o c k 命令描述块) 必须被封装以便能够在串行千兆位链 接上传输到t a r g e t 端。 l n i t i a t o r t a r g e t s c s i a p p l i c a t i o n t r a n s p o r t n e t w o r k u n k il；i；i!i!lilii霸nexusdata b r a t 惦 一1 j i i i l ；i l ； l ! 2 i 鬻i旧咖h - 一- 豳o m m n ；h i o u 儿flif 自，墼一 0 量c o m e c t j o ，n ，i 置 匿羹蒌一一p 2 p - 匿塑圈 匿飘藏纛圈一p 2 p + 匿塑鋈鍪l c d 日 p o u s e g m e n t d a t a g r a m f r a f i l e 图2 1i s c s i 协议栈 i s c s i 属于端到端的会话层协议，它定义的是s c s i 到t c p i p 的映射，即i n i t i a t o r 将s c s i 指令和数据封装成i s c s i 协议数据单元，向下提交给t c p 层，最后封装 成i p 数据包在i p 网络上传输，到达t a r g e t 后通过解封装还原成s c s i 指令和数据， 再由存储控制器发送到指定的驱动器，从而实现s c s i 命令和数据在i p 网络上的 9 。，一 。 ：暨! 望堡翌窑主塞墨 透明传输它整合了现有的存储协议s c s i 和网络协议t c p i p ，实现了存储与 t c p i p 网络的无缝融合。 i s c s i 数据包作为t c p 的有效载荷被封装到t c p 包中，在经过了整个网络协 议栈到达物t l 层- o 寸，数据包封装格式如图2 2 所示 图2 2i s c s l 数据包封装格式 i s c s i 协议监测块数据的传输并完成i o 操作，这些需要在i n i t i a t o r 端和t a r g e t 端的t c p 连接上进行。在实际应用中，i p 网内一个i n i t i a t o r 端可以有多个t a r g e t 端资源，所以同时有多个活动的t c p 连接。 2 2 会话管理 会话指的是两个节点通过某一应用进行通讯，i s c s i 会话由一个二元组 标识，它表示i n i t i a t o r 和t a r g e t 之间的联系，该联系在s c s i 协议中称为 i - t - n e x u s ( i t - 联结) 。在i s c s ii n i t i a t o r 端向t a r g e t 端发送i s c s i 命令之前，首先 必须与t a r g e t 端建立一个i s c s i 会话，i s c s i 会话通过一个i s c s i 登录进程来启 动，登录过程中协商双方的变量参数，并调用一个安全例程来对许可的连接进行 认证。i s c s i 会话生存期包括登录阶段和全工阶段，登录阶段又可细分为初始化 阶段、安全认证阶段和参数协商阶段。 2 2 1i s c s i 注册和协商 i n i t i a t o r 端在发起每次t c p 连接时先向系统注册该连接，在连接能够被用于传 输s c s i 命令之前，连接的注册阶段必须完成。i s c s i 注册是一种在i n i t i a t o r 端和 t a r g e t 端之间建立t c p 连接的机制。它将鉴别连接双方，就会话间的各种参数进 行磋商，并设置相应的安全关联，还要为属于相应i s c s i 会话的连接做上标记。 i n i t i a t o r 端通过连接一个已知的t c p 端口开始注册程序，t a r g e t 端也透过这个端 口来监听进入的连接。 一个t c p 连接被建立后，可以用来传输s c s i 命令、数据和状态信息，完成 i n i t i a t o r 端和t a r g e t 端之间的通信任务。在i n i t i a t o r 和t a r g e t 之间可能会产生一个 或多个这样的t c p 连接。具有相同会话标识的t c p 连接就组成了一个会话。这 1 0 硕士学位论文 个会话也可以用来鉴别t a r g e t 端与给定i n i t i a t o r 端的所有连接，t c p 连接可以从 会话中被添加或删除。 i s c s i 登录交换使用文本字段来协商i n i t i a t o r 和t a r g e t 之间的允许参数，如安 全协议、最大数据有效载荷大小、是否支持主动数据、主动数据的长度和超时值 等。作为注册程序的一部分，i n i t i a t o r 端和t a r g e t 端会彼此鉴别对方，并为这个 会话设置相应的安全关联。一旦注册程序结束，i s c s i 会话将进入全工阶段。此 时，i n i t i a t o r 端可以通过已建立的i s c s i 会话将s c s i 命令和数据打包入i s c s i p d u 中，并把它们发送到t a r g e t 端的不同逻辑单元。 2 2 2 会话层中命令的排序 命令从i n i t i a t o r 端传送到t a r g e t 端的i s c s i 层后，顺序可能会发生变化，这 一排序工作由i s c s i 层来完成。顺序信息由i s c s lp d u 中的命令顺序字( c m d s n ) 确定。命令顺序是建立在会话的基础上的，被分配的c m d s n 在会话范围内是统 一的。t a r g e t 端的i s c s i 层必须按c m d s n 中指定的顺序将命令递交给t a r g e t 端的 s c s i 层。一旦s c s i 层接到了命令，c m d s n 就失去意义了。i s c s ip d u 包内的 c m d s n 字段占用4 个字节，所以其范围是0 2 ”一1 ，当其值达到2 ”以上，则通 过对2 ”取模使c m d s n 仍旧在4 个字节的范围内。命令计数从会话内的第一个连 接的第一个l o g i nr e q u e s t 开始。c m d s n 可以被用作在会话范围内进行命令流控 制的一种机制，同时它也是错误发现和错误恢复的重要手段。 i s c s i 协议的命令计数机制用于会话范围内的多连接上命令传输，同时它也提 供了这样几个功能：( 1 ) 保证i s c s i 命令的可靠传递，( 2 ) 确保命令的有序传递， ( 3 ) 增强i n i t i a t o r 和t a r g e t 双方直接的命令流量控制。这些功能是由i s c s i 协议 中的i n i t i a t o r 和t a r g e t 双方共同维持的三个指针实现的，见图2 3 。 发送方 l n l t l a t o r 接收方 t a r g e t 图2 3i s c s i 命令计数机制示意图 发送方i n i t i a t o r 维护着一个发送缓冲区，此缓冲区用于存储那些已发出但尚 未得到确认的命令。接收方t a r g e t 维护一个接收缓冲，用于存储那些已到达的顺 序和错序的命令。三个指针问存在着关系：e x p c m d s n c m d s n m a x c m d s n 。其 工作机制如图2 3 所示。i n i t i a t o r 端的m a x c m d s n 和e x p c m d s n 是由t a r g e t 端通 1 】 i s c s i 协议研究与实现 知的，t a r g e