基于io总线的网络存储体系结构

基于io总线的网络存储体系结构

0直接连接存储-非线网络技术及系统网络接入和其他网络相关应用程序的快速发展表明，网络信息资源的爆炸增长趋势。通过网络传输的信息量不断增加，大量信息必须通过网络传输，这对信息存储系统提出了前所未有的要求。现在许多著名站点每天要接受上千万次的用户访问,这种极高频率的数据访问要求存储系统具有非常快速的响应。如果牵涉到视频会议、视频邮件等多媒体技术,那么对服务器中存储系统的性能要求就会更高。这就迫使用户采用更加昂贵的高性能服务器。传统的存储体系采用直接连接存储方式(DAS,Directaccesssystem),如图1所示。存储设备(磁盘阵列)通过诸如IDE/SCSI等I/O总线与服务器相连。客户机的数据访问必须通过服务器,然后经过其I/O总线访问相应的存储设备,服务器实际上起到一种存储转发的作用。当客户连接数增多时,I/O总线将会成为一个潜在的瓶颈,并且会影响到服务器本身功能,严重情况下甚至会导致系统的崩溃,并且安全性弱,总拥有成本高。所以,这种附属于网络服务器的存储方式已不能适应来自应用的越来越高的要求。因此,探索新的存储体系结构就非常必要。近年来网络存储成为国际上比较热门的一个研究方向。1网络存储设备的现状1.1第三方上传服务在这种新的存储结构中,存储系统不再通过I/O总线附属于某个特定的服务器或客户机,而是直接通过网络接口与网络直接相连,由用户通过网络访问。与DAS系统相比,NAS具有非常好的可扩展性(Scalability),并且由于数据不再通过服务器内存转发(这会引起额外延迟和阻塞),数据直接在客户机和存储设备间传送(即所谓第三方传送),服务器仅起控制管理的作用,因而具有更快的响应速度和更高的数据带宽。另外对服务器的要求降低,可大大降低服务器成本,这样就有利于高性能存储系统在更广的范围内普及应用。1.2存储局域网的可扩展性存储局域网是一种利用FiberChannel等存储协议连接起来的可以在存储资源和服务器之间建立直接的数据连接的高速计算机网络。光纤通道把多个存储设备和服务器连接在一起形成一个存储局域网,其中存储设备共同构成一个存储池,都可以很方便的添加到网络中去,因此具有较好的可扩展性。存储设备从服务器中分离出来,与服务器形成一个多对多的关系,存储设备上的数据容易被其他服务器共享,迁移也变得很容易。采用存储局域网,数据的备份、恢复、迁移都是通过存储局域网本身来完成,而不需要借助于服务器和现有的LAN/WAN,从而大大减少了现有服务器和网络的工作负载。由于采用的是具有高带宽的光纤通道,所以整个存储网络具有较高的数传率,数据访问性能较好。另外存储设备都集中在一个网络上,便于管理,节省了管理开销。1.3控制网络联盟Jini是一种新的网络体系结构,它实现了网络设备的自发组网,即网络中的“即插即用”。Jini平台由Java语言开发环境衍生而来,其核心是只有48KB的Java二进制代码。采用Jini技术的网络设备互连在一起组成一个Jini设备的联盟,每个设备自身都可以为联盟中的其他设备提供服务。为了保证服务的可靠性和兼容性,Jini设备都必需提供一定的接口。Jini技术是用查找服务(LookupService)来注册联盟中的设备以及设备提供的服务,当一个新的设备加入联盟时,它必需先向该联盟中的某个查找服务发送一个代理信息包,该信息包含了设备提供的服务的接口及其他规定属性。当Jini联盟中的客户需要利用联盟中的某一项服务时,它通过联盟中的查找服务代理去寻找相关服务的位置,下载其代理信息的副本,从而得到该服务。2与网络设备相连接基于传统的附属于服务器存储(DAS)的缺点,网络存储应向直接与网络相连、单一功能服务器的方向发展。存储设备与网络设备直接相连,有利于客户机与存储器之间直接传送数据,这里把所有单独的能与高速网络直接相连的存储设备或子系统,包括盘带、阵列以及层次存储子系统称为附属于网络的存储设备(见图2)。根据存储设备与服务器关系的不同,这种附属于网络的存储设备又可以分为以下两种:依赖于服务器的网络存储设备和不依赖于服务器的网络存储设备。2.1存储盘的方案这种结构中存储设备是一个小的盒子,可以直接与网络相连,尽管这种结构已摆脱了SAS间接相连的方式,但其工作仍然依赖于文件服务器的干预,文件服务器上需要安装一个用于在存储设备与文件服务器之间进行通讯的软件模块(如NetWare中的NLM)。在这种存储设备中主要有两种设计方案:第1种方案称为NetworkSCSI,简称NetSCSI,这是一种在原有SCSI接口上作最小改动的附属于网络的存储盘的方案。客户机如需要访问存储器的数据,同样首先必须给文件服务器发送一个请求消息,文件服务器处理请求,然后通过私有网络给NetSCSI盘发送消息,包括解析后的SCSI命令,NetSCSI访问数据,然后通过网络直接传送给客户机,数据传送完毕后给文件管理器返回完成状态信息,最后文件管理器返回客户机完成状态信息。第2种方案与NetSCSI不同,这种结构已经完全摆脱了已存在的SCSI接口,转而考虑如何选择一个能卸载大部分文件管理器的工作到存储盘的命令接口。另外它也抛弃了NetSCSI中的专有网络,文件系统完整性与安全性方面的问题都交由软件管理。2.2存储平台的整合随着网络存储的发展,出现了一种全新网络存储方案,这种方案中存储设备已完全脱离服务器,而是作为与网络直接相连的专用存储服务器出现,通常称为“Networkattachedstorageserver”,也有人称之为“瘦服务器”等。这种专用存储服务器不同于传统的通用服务器,它去掉了通用服务器原有的不适用的大多数计算功能,而仅提供文件系统功能,用于存储服务,大大降低了存储设备的成本。为方便存储到网络之间以最有效的方式发送数据,专门优化了系统硬软件体系结构,多线程、多任务的操作系统内核能更好的支持对存储器的读写。在这种方案中,存储设备在功能上完全独立于网络上的主服务器,客户机与存储设备之间数据访问已不再需要文件服务器的干预,允许客户机与存储设备之间直接的数据访问。从而使服务器从原先的I/O负载中解脱出来。另外,它具有较好的协议独立性,支持Unix,NetWare,Windows95,NT,OS/2的数据访问,客户端也不需要任何专用的软件,安装简易。由于不需要服务器提供更多的硬件及服务,服务器的可靠性大大提高,I/O性能大大提高,专为文件服务进行优化,能充分利用可得到的10～100MB网络带宽,有较大的数据吞吐量。3光纤通道存储局域网SAN是一种类似于LAN的高速网络,用来在存储单元与客户端之间建立直接的高速数据连接。与LAN不同的是SAN针对存储进行了优化,通常使用专用的存储协议,比如SCSI,而不是LAN使用的各种通信协议。这个网络可以把各种不同平台的服务器、工作站、客户机以及各种存储设备连接在一起,改变了传统的附属于特定服务器的存储中存储设备为某一个服务器专用的模式(见图3)。这使存储设备从特定的服务器解脱出来成为自由的存储设备,可以把存储设备通过一些网络设备与网络直接相连。这样连接在网络上的存储设备对于网络上的任何一台服务器都是可见的,存储设备与服务器之间是一个多对多的关系,其不再隶属于网络上某一个特定的服务器,从而为网络上所有的服务器、工作站所共享(见图3)。其中同一个存储设备可以为两个不同的服务器共享,另外两个存储设备之间也可以进行数据的传递。存储局域网消除了附属于服务器模式中的存储瓶颈,大大提高了存储系统的访问性能。SAN是一种可扩充的存储总线,存储局域网把传统的I/O总线的概念延伸到了网络,所以存储局域网又可以看作一种扩展存储总线,当然这个总线的速度比传统的I/O总线要高几个数量级,与传统的以太网ATM一样,存储局域网也可以用HUB,SWITCHES,BRIDGES,GATEWAY等网络设备进行互连,当然这些设备是专门为存储局域网设计的,和以太网上的那些不同,仅功能相似。通常SAN的接口采用光纤通道,光纤通道的采用使得数据传输具有很高的速度,光纤通道是在SCSI-2的基础上发展而来的一种SCSI协议。由于它的出现,使得原来SCSI数据传输25m(差分方式)的限制变为10km,这样用户不仅可以利用它来构造本地的存储局域网,还可以用来构造更大范围的存储局域网。光纤通道为存储局域网的设计提供3种拓扑结构:点对点方式、仲裁环结构、交换开关方式。这3种方式的有效数传率都可以达到100MB/s,全双工时可达到200MB/s。(1)点对点的连接方式是两个设备之间进行互联的最简单的一种专用连接方式,通常用于那些最小的服务器存储设备结构中,两个设备通过光纤通道直接相连,中间不需要集线器的干预;(2)光纤通道仲裁环结构可以连接多达127个节点,这种仲裁环结构类似于令牌环和FDDI的环状结构。这种环状结构同点对点方式一样有个缺点,当环结构中的某个地方断掉,整个系统就会全部瘫痪,为了解决这个问题,出现了一种仲裁环的集成器;(3)Switch方式与仲裁环相比提供更高的带宽,由于在光纤通道仲裁环中保留了一个节点用于连接光纤通道交换开关,所以一个仲裁环可以很方便地用于构造有多个交换开关和环的广播网络。这种环和交换开关的组合方式使得网络在分配带宽,设计存储网络时更加灵活。光纤通道的switch集线器集中了switch和仲裁环两者的优点,它常包括两个以上的仲裁环,这几个物理上的仲裁环再通过switch构造更大的逻辑上的环结构。这样在一个物理环上的节点就可以透明地进行数据传输,并且每个物理环都可以保证较高的带宽。4比较ntan和nasSAN与NAS虽然在功能上有很多相同之处,但它们还是有很大区别的,以下讨论两者之间的相同之处。4.1增强存储的集中管理功能(1)都用于扩展存储容量和性能,都可随大容量存储的增长而逐步扩展,可扩展性较好;(2)二者的拓扑结构都使得用户可以分开采购存储设备和服务器,使得用户可以针对自己的需求量体裁衣,选购自己需要的产品,大大减少了用户的重复开销;(3)不同的用户都可以通过多种操作系统得到所要的数据;(4)由于存储数据不再依赖于某个具体的多功能服务器,使得其具有较高的数据可用性,消除了传统的附属于服务器存储方式中的I/O瓶颈。通过提供对存储的集中管理大大减少了管理开销,用户并不需要把UNIX,或者是NT系统生成的数据分开存储。尽管SAN和NAS有很多共同特征,但二者还是有很大的差异的,其最大的差异是存储局域网是一个网络的概念,而附网存储实际上是指一种可以与网络直接相连的存储设备,它更多的是强调“设备”的概念。存储局域网考虑的是如何利用光纤通道把现有的存储设备和服务器等资源连接成一个共享的网络,而附网存储更多的是考虑如何管理客户机通过网络与存储设备之间数据的存储和流动,它更多的依靠现有标准的LAN/WAN连接。4.2容量和可靠性(1)通过提供光纤通道的连接,提供高速数据访问,特别适合于处理音频、视频这类的大容量数据;(2)具有较好的数据完整性、可用性和可靠性,特别适合于用作备份和灾难恢复的镜像站点,最远可达10km;(3)使用可靠的SCSI协议进行连接,而不是NFS,FTP,HTTP之类的网络协议;(4)强调的是集中的存储服务,而不强调共享存储。4.3工业模式的选择(1)与NAS相比较,安装费用较高,随着网络环的深度、方案的规模和复杂度而增加;(2)由于远距离光纤通道价格昂贵,所以SAN通常情况下局限于局域网;(3)由于SAN考虑的是集中存储,而不是共享存储,所以SAN环境中数据的共享比较困难,需要客户端的操作系统对其他操作系统的数据格式有较好的支持;(4)SAN安装复杂,通常需要定制安装。4.4方案特点的分析(1)对于需要快速、大范围访问数据的用户来说是最简单别致的方案,这个方案不影响用户现有的网络结构;(2)不同操作系统的异质网络环境下的数据共享十分方便;(3)适用于低速连接;(4)数据可以集中管理。4.5数据安全问题(1)安全性问题,由于附网存储设备直接与以太网相连,其安全性存在着一定的问题,通常为了保障安全性,需要设置防火墙;(2)大量数据存储都通过网络完成,增加了网络的负载,特别不适合音频、视频数据的存储;(3)灾难恢复比较困难,通常需要一个专门定制方案。5dan和san的应用5.1数据安全功能。数据库的存储局域网最SAN的应用主要可以归纳为下面集中应用:构造群集环境,利用存储局域网可以很方便地通过光纤通道把各种服务器、存储设备连接在一起构成一个具有高性能、较好的数据可用性、可扩展的群集环境。(1)数据保护,存储局域网可以做到无服务器的数据备份,数据也可以后台的方式在存储局域网上传递,大大减少了主要网络和服务器上的负载,所以存储局域网可以很方便地实现诸如磁盘冗余、关键数据备份、远程群集、远程镜像等许多防止数据丢失的数据保护技术;(2)数据迁移,可以方便地进行两个存储设备之间的数据移动;(3)灾难恢复,特别是远程的灾难恢复;(4)数据仓库,用来构建一个网络系统的存储仓库,使得整个存储系统可以很好地共享。5.2对数据量有较大需求的应用网络存储由于其较好的可扩展性、可访问性、低价位、安装简单、易于管理等优点,广泛应用于电子出版、CAD、图像、教育、银行、政府、法律环境等那些对数据量有较大需求的应用中。多媒体、Internet下载以及在线数据的增长,特别是那