一种基于SAN架构的存储网络系统的设计与实现

1、第卷第期 中南大学学报自然科学版 392 ( V ol.39No.2 2008年4月 J. Cent. South Univ. (Science and Technology Apr. 2008一种基于SAN 架构的存储网络系统的设计与实现张建中1，陈松乔1，方 正2，王书方2(1. 中南大学 信息科学与工程学院，湖南 长沙，410083；2. 中南大学 图书馆，湖南 长沙，410083摘 要：针对数字图书馆对网络存储新的需求，分析传统的DAS ，NAS 和先进的SAN 互联网络存储技术，比较三者的技术差别。运用系统可靠性理论分析SAN 架构的冗余技术及其主要的性能指标体系，论证SAN 的多链

2、路并行交换技术的优越性。以此为基础，提出并设计SAN 架构“双塔型”网络存储解决方案，并根据中南大学数字图书馆资源建设情况，将此方案投入实际上线运行。经过2年运行结果表明，所设计的SAN 架构“双塔型”网络存储解决方案与传统的DAS 和NAS 比较，突破了响应速度、系统安全和系统容量三大瓶颈。 关键词：数字图书馆；网络存储；SAN 架构；可靠性分析；工程设计中图分类号：TP393 文献标识码：A 文章编号：1672-7207(200802035006Design and realization of a network-storage system based on SANZHANG Jian

3、-zhong1, CHEN Song-qiao1, FANG Zheng2, WANG Shu-fang2(1. School of Information Science and Engineering, Central South University,Changsha 410083, China;2. Library of Central South University, Changsha 410083, ChinaAbstract: To satisfy the new demands of network-storage in digital library, the interc

4、onnection technology of Network-Storage for traditional DAS, NAS and advanced SAN, and the differences between them were analyzed and compared. The redundant technology of the SAN construction and its main performance index system were analyzed based on system reliable theory, and the superiority of

5、 the multi-links parallel exchange technology for SAN was given. According to above works, a “twin-tower” type of network-storage on SAN was designed and realized in the library of Central South University. The runs for 2 years show that the frame has the advantages of response speed, system safety

6、and capacity over traditional DAS and NAS.Key words: digital library; network-storage; SAN construction; reliable analyse; project design数字图书馆底部的基础架构是一族运行在高速网络中、软件与硬件协同、可跨库跨平台的数字化文献资源群体。数字图书馆的一般过程是用户通过元数据(对象属性的描述体 来调动有价值的图像、文本、语音、视频、软件和科学数据等多种资源对象，实现文献收集、加工、发布、检索和原文可视服务等功能。这个过程中，网络存储是核心环节。近10年来，数字化文

7、献的持续增长和多元化需求对网络存储的能力提出了新的挑战，传统的存储模式如DAS(Direct Attach Storage 和NAS (Network Attach Storage已经难以适应这种需求，必须研究和开发一种新的网络存储方法，能够对存储设备和数据实行集中的管理，提供一种独立于服务器、统一、高可用性和扩展性的网络存储框架1。因此，存储区域网络(Storage Area Network，简收稿日期：20070729；修回日期：20070913 基金项目：国家自然科学基金资助项目(50374077通信作者：张建中(1955 ，男，河北崇礼人，教授，博士研究生，从事数字图书馆、信息管理研究

8、；电话E-mail: jzzhang第2期 张建中，等：一种基于SAN 架构的存储网络系统的设计与实现351称SAN 便应运而生。1 DAS，NAS 与SAN 的对比分析DAS 和NAS 是传统存储中具有代表性的2种模式。DAS 一般没有内置服务器，受单台外置服务器直接控制，需要占据服务器大量的CPU 时间来处理SCSI 指令和数据块。NAS 将计算与存储合为一体，可以在以太网中独立完成文件级的服务。NAS 在很多方面优于DAS ，某些方面优于SAN 。在许多场合，NAS 与SAN 具有互补性。DAS 和NAS 共有的缺陷在于，同一个以太网环境下的存储设备之间没有直

9、接的通信链路，彼此分立，基本处于单机联网作业方式，自然地形成局域网中的信息孤岛。若DAS 和NAS 通过以太网通信，则又将消耗较大的CPU 和网络带宽资源。此外，DAS 和NAS 不能满足多元化的需求。国内图书馆以往主要采用DAS 和NAS 技术来搭建存储架构，近年来，许多大型数字图书馆项目的核心都采用SAN 技术。SAN 采用集中式存储策略，在服务器与存储设备之间通过交换设备进行连接，将多级存储器合并成一个集中管理的网络存储基础设施，由SAN 取代服务器实施对整个存储过程的控制和管理，而服务器只承担监督工作，这样，减少了对服务器处理时间的占 用，服务器可以腾出更多的CPU 时间去处理客户的服

10、务请求，提高了服务器的吞吐能力，并且SAN 中的存储设备之间可以不通过服务器进行相互备份，减少了因网络备份而对网络带宽的占用量。另外，SAN 是以光纤通道(Fiber Channel，FC 技术为基础的，FC 可以提供高达4 Gb/s的传输速率和长达10 km的传输距离，使SAN 具有良好的网络性能。SAN 可以提供比传统网络存储模式更好的可扩展性、高可用性、容错性以及可管理性等品质，将成为多媒体信息流存储、大数据量的快速网络备份、数据仓库以及决策支持等应用领域中较理想的存储 媒介。 SAN 是一种专注于信息存储、访问、管理的一个高速的子网，是近年兴起的一种全新的存储理念。这个子网中的设备可以

11、减小主网流量，是一种传统SCSI 技术与网络技术相结合的产物。SAN 与服务器、客户机的数据通信是通过SCSI 命令而非TCP/IP，数据处理是“块级”(blocklevel，易于实现对数据库的支持。2 SAN存储系统设计2.1 FC SAN与IP SAN的比较SAN 的主流技术目前为FC SAN与IP SAN 2种模式，FC(Fiber Channel和iSCSI(Internet SCSI是目前搭建SAN 的2个主流协议，二者本质上都是在网络报文中传输SCSI 指令和业务数据来实现数据传输的功能，只是传输方式和介质不一样2。FC 是在SCSI-II 基础上发展起来的一个传输协议，为F 0到

12、F 4 5个层 次，大致对应于OSI 的物理层到运输层。FC 顶端有一个高层映射协议ULP(Upper-layer Protocol，定义了FC 相对于IP 和SCSI 以及其他上层协议之间的接 口3。可见FC 不能直接与IP 通信，需要通过ULP 接口与FC-IP 转换网关进行报文转换。但是，FC 处于OSI 较底层，协议集简洁，减轻了CPU 的占用量，数据处理速度快。对应于OSI ，iSCSI 4可以大致分为5层，最高端为SCSI ，最低端为IP ，具有流量控制机制、地址机制、超时重发机制等功能。但是，iSCSI 包含IP 协议，协议集比较庞杂，数据处理速度比较慢。此 外，FC 的光纤通道

13、受到距离的限制，一般不超过 10 km，而iSCSI 的通信通道(光纤或其他介质 没有距离的限制。显然，对于局域网，FC 是比iSCSI 更好的网络互连协议；存储网络需要跨越远距离时，或许iSCSI 比FC 更合适，IP SAN更有利于在广域网中用较低成本来消除SAN 信息孤岛。显而易见，IP SAN与FC SAN各有自己的长处和短处。目前，2个协议的整合工作正在展开，已经推出的协议和产品主要有FCIP 5(网桥 、iFCP 6(网关 等。SAN 架构具有很多优点，例如，SAN 具有很强的扩展性，不仅内部的容量扩充，多个SAN 之间也具有很好的互联性，甚至IP SAN与FC SAN 2种不同的

14、模式也可以在TCP/IP的基础上互联。再如包容性，SAN 有足够的能力包容DAS 和NAS ，这一方面可以利用原有设备，保护投资；另一方面，也可以在SAN 的统一架构下，充分发挥DAS 和NAS 各自的长处。SAN架构的核心环节是阵列内部的光纤通道和外部的光纤交换设备。2.2 SAN交换并行架构的可靠性分析可靠性是指部件、元件、产品或系统在规定的环境下、规定的时间内、规定条件下无故障地完成其规定功能的概率7。SAN 的性能可以用一组指标来衡量，但是，可靠性是这组指标中最重要的。这里，利用可中南大学学报(自然科学版 第39卷 352靠性R 指标，结合存储设备平均无故障工作时间指标MTBF(Mea

15、n Time Between Failures，对SAN 交换架构进行讨论。FC SAN和IP SAN的典型拓扑分别如图1和图2所示，包含存储、交换、主机和LAN 4个层次，可以看出二者结构非常类似。因为重点是考察存储系 统，并提供为存储交换设计的依据，因此，为了方便讨论，合理地假定系统存在的环境和条件都非常 好，例如LAN 和电源等其他系统的可靠性恒为1，即。存储系统则具有不同的可靠性，即1 (t R i i P t R = (。如果一个系统A 由多个子系统组成，A 的功能由子系统的功能集合完成时，子系统的可靠性分别为概率P i ，则全系统的可靠性取决于子系统的组合方 式。图1和图2中，主机

16、层到存储层，都使用了2台交换机。在计算和数据交换的逻辑过程中，1台主机 图 1 FC SAN 结构图 Fig.1 Structure of FC SAN 图 2 IP SAN 结构图 Fig.2 Structure of IP SAN通过1台交换机访问存储层中任何一套设备，可以看作是串联模型，同时，通过2台交换机访问存储层中任何一套设备可以看作是并联模型。因此，主机层与存储层之间的关系可以简化为任务型的串联和并联模型。这2种方式在概率论和可靠性理论中都有严格的数学推导。对于n 个子系统串联的系统，其可靠性的概率为8： =×××=ni i n P P P P R 1

17、21c L 串。 当各个子系统可靠性为等概率时，串联系统的可靠性。 (2同理，n 个子系统的并联系统，其可靠性为： (1为：n P R =串c= 1( 1( 1(1(1P P P P R L L21c n i 并=ni i P 11(1。 (3子系统可靠性为等概率时，并联系统的可靠性为：c 并n P R 1(1=。 (4111 1(1(1212121c c +=P P P P P P R R 串并。 (5因为11P 与21P 都是大于1的数，故式(5的结果大于 1。可靠性R 指标是时间t ，无论什么系统，表 1 SAN结构的并联与串联方式的可靠性对比 Tab ion可靠性串并c c /R R的

18、函数随着时间的推移，R 将会减小，即可靠性降低。当P 1与P 2都非常大时，式(5比值趋近1，而当P 1与P 2 都比较小时，式(5比值逐渐趋大。可见长期运行之 后，并联的可靠性远远高于串联，而且并联的支数越多，可靠性越高。例如，交换机的可靠性一般高于0.9，若干年后，下降至0.5，假定系统的可靠性为等概率，则SAN 结构的并联与串联方式的可靠性对比见表1。le 1 Comparison between parallel and series connectmodes based on SAN并c R串c RR 0.990.811.22 1=R 20.9 R 1=R 2=0.5 0.750.2

19、53.00从表1可以看出，并联的可靠性均比串联的可靠性高，随着时间推移，这种变化关系更加明显。当系第2期 张建中，等：一种基于SAN 架构的存储网络系统的设计与实现 353统的可靠性为不等概率时同样可得出相同的结论。并联的等效方式还可以称为冗余方式，实践证明冗余技术在保证系统可靠运行方面发挥了很大作用。此 外，并联技术也是一种并行计算的技术，同时也具有流量分配、负载均衡等优点。实际上，网络存储的其他环节，例如磁盘阵列、服务器、电源等设备的内部，也有大量的冗余设计，以提高可靠性。一个阵列光纤通道的实验表明，并联比串联的数据读的传输率提高12%51%，而响应时间下降18%33%。当然，这也并非并联

20、回路越多越好，当并联数增加到一定程度时，由于受PCI 总线的带宽限制，会形成瓶颈，阻碍RAID 的传输率的进一步提高9。设备或系统经常用平均无故障时间来表达总体可靠性，例如EMC 公司某磁盘阵列中端产品的平均无故障时间大于8万h ，高端产品可高达12万h 。当然，不同级别的产品，部件冗余量不同，需要专门的微代码设计，价格差别很大。可见，并联的可靠性恒定大于串联的可靠性。 2.3 系统需求分析馆承担全校教学科研的文献任 务，两类：一类是引的各类电子资源，特别遵循的原则道的光纤技术，可在光纤网长沙市5低于200 MB/s，提升主机率高。要备份的数据通过SAN 的传输速率网络的ZOOMING 功能实

21、所有硬件设备具备冗余结构。全性、信息资源的类型、网络性能和应(其中纤通道硬盘(其中套双存储控制器分别与2台1行过程中，双塔之间的关系是既各负其中南大学图书学校启动了“数字图书馆”建设项目，其目标是要打造一个既能反映学校学科特色、又具有国内一流水平的电子资源管理和运营中心；而实现这一目标的首要任务就是建设一个高水平的存储系统平台，这是由中南大学图书馆特殊的“资源状况”与复杂的“应用需求”等两个方面的因素所决定的。中南大学图书馆的电子资源主要分为进的大量电子书、刊和专业数据库，它们统称为“引进资源”；另一类是自建的各类专业数据库，它们统称为“自建资源”。上述两类资源不仅总量十分巨大，而且增长非常迅

22、猛，有些单一数据库的月增长量就达到几GB ；特别是在自建资源方面，中南大学图书馆有两大独特之处：一是经过20多年的建设，已建立一批具有一定规模、一定学科特色的电子资源文献数据库；二是能够为校外其他专家学者提供快捷方便的服务，为地区和行业提供文献保障。由此可见，总量巨大、增长迅速是其中的自建资源，对中南大学图书馆的后台存储设施提出了严格要求。为此，构架一个快速、安全，为了确保学校教学和科研的文献信息资源需求，具有实际应用需求的存储平台势在必行。 2.4 系统设计2.4.1 系统建设所a. 扩展性好。采用先进通络上增加光纤设备，满足系统扩展需要。b. 传输距离远。由于中南大学图书馆分散在个校区，确

23、保系统有足够的传输距离，单模光纤传输距离不低于10 km，通过TCP/IP协议传输不受距离限制，以便实现异地容灾。c. 传输速率高。环路带宽不系统带宽；由于大量的数据存在于高速的SAN 存储池中，因此，必须减小服务器与客户机之间的通讯带宽。d. 备份效(200 MB/s到其他存储设备，少量的控制信息通过TCP/IP协议传输，以节省TCP/IP网络带宽资源。 e. 配置灵活。通过相应软件可实现基于SAN 的文件共享，文件访问效率高。f. 安全性好。可通过光纤交换机现，交换机端口的访问控制。通过磁盘阵列的LUN masking 实现LUN 一级的安全隔离。通过软件实现文件共享访问控制。g. 硬件的

24、完全冗余。确保2台数据处理小机互为集群，一旦处于活动状态的主机发生故障，另一台主机将自动接管其全部任务，在没有故障的状态下分别执行各自任务。2.4.2 系统设计按照系统的安用方式，不采用磁带库等备份方式。这是由于这种方式对于在线提供服务，不具备及时响应的特点，而且资源还没有达到闲置状态，为此，经过反复分析论证，决定自行设计构建FC SAN“双塔型”存储网络系统(见图3 ，容量达到16 TB，其功能描述如下：第1套(A塔 配载了69块146 GB光纤通道硬盘1块为全局热备盘 ，总存储空间为10 TB。它所存储的资源包括引进资源和自建资源。第2套(B塔 配载了42块146 GB光1块为全局热备盘

25、，总存储空间为6 TB。它专门负责各种自建资源的备份，这些资源包括：有色金属文献库，冶金工程重点学科导航库，楹联数据库，专家学者数据库以及正在筹建中的医学、土木工程、桥梁隧道等专业数据库。在系统连接方式上，每6口光纤交换机相连，再通过2台交换机与前端主机(2台数据库服务器加6台应用服务器 的双HBA 卡分别相连，从而构建了双塔与前端主机之间“完全冗余”的光纤通道。与此同时，双塔之间还设有一条数据线，该数据线不通过光纤交换机，而是直接连通2套存储控制器，从而形成了一路传输速率更高的数据“直通车”。在系统运中南大学学报(自然科学版 第39卷354责，承担着一个独特的“自建资源更新。2.4.3 (见

26、图1 。数据运行及数据备份过程如图3所示。又相互支持。具体而言，一方面，A 塔负责“引进资源”的管理，B 塔负责“自建资源”的管理，前端主机对两类资源的访问被分别指向A 塔和B 塔，从而使巨大的访问量在双方之间均衡负担；另一方面，一旦B 塔发生故障，A 塔将接管B 塔的全部进程，独自承担对两类资源的存储管理任务，并为B 塔的数据恢复提供来源，而一旦A 塔发生故障，B 塔将在继续承担自建资源管理任务的同时，为A 塔内自建资源的恢复提供数据来源。除此以外，A 塔还与备份传输”使命。自建资源是一个不断增长的过程，新的自建资源在前端主机生成后，首先存入A 塔；然后，由A 塔经数据线传输至B 塔，使B

27、塔中的自建资源数据库得到即时更新。上述过程在相应管理软件的帮助下自动完成。软件会对A 塔中的自建资源数据库进行动态监测，一旦发现其中的数据变化达到1 GB的量级，就会自动开启从A 塔向B 塔的备份传输过程。该系统主要设备及管理软件见表2 拓扑结构、数据运行及数据备份过程系统采用3层架构：存储层、存储交换层和应 用服务层 图3 FC SAN 运行系统图 Fig.3 Data flow of FC SAN systemTable 2 Main equipment parts for SAN system产 品述表2 SAN 存储网络系统主要设备 描EMC CX600 (16 TB FC HD 个，

28、容量A 塔10 TB，B 塔6 TB4个2 GB CPU，CX600光纤扩展柜8EMC DS16B 光纤交换机2个2 GB FC Switch,16 ports7台服务器4x1.45 GHz 8 G内存，用于操作系统软件 AIX 5L V5.1 HAMCP4.4 卷管理软件 VERIT备份软件 VERITAS Manager磁盘管理软件 SAN QLOGIC 光纤卡14块 2 GB 光纤通道，用于连接 IBM P650 数据处理服务器元数据装载，数据处理和检索双机切换软件AS V olume Manager Copy第2期 张建中，等：一种基于 SAN 架构的存储网络系统的设计与实现 355

29、分析，最终选择 FC SAN 进行存储网络系统设计。 3 系统实现 上述 CX600 双塔方案在中南大学图书馆正式上 线。到目前为止，该方案已稳定运行了 2 年多，方案 的实施使中南大学图书馆在电子资源的存储和管理方 面一举突破了系统容量、响应速度和数据安全三大 瓶颈。 在系统容量方面， 双塔满配后总空间可达 35 TB， 这为中南大学图书馆各类电子资源的迅猛增长奠定了 坚实的基础。系统上线后，资源引进和自建步伐已大 大加快，过去几个月中陆续引进了一大批中外文电子 期刊、数据库与电子书，并将馆藏的 237 万册图书全 面数字化，以最终实现全部馆藏资源“开放、共享” 的数字图书馆建设目标。 在响

30、应速度方面，存储系统的表现同样很出 色。从设备性能看，单台 CX600 就能够达到 6 万次/s 的 I/O 处理能力并可提供 680 MB/s 的可持续带宽， 双 b. 以中南大学图书馆为例， 根据资源特性和实际 应用需求设计了 FC SAN“双塔型”网络存储系统， 并投入实际上线运行。运行结果表明，双塔方案达到 系统设计要求，突破了系统速度、系统安全和系统容 量三大瓶颈。 参考文献： 1 Gibson G, Meter R. Network attached storage architectureJ. Communication of the ACM, 2000, 43(11: 3745

31、. 2 杨 进, 魏轶伟, 贾惠波, 等. 存储区域网的性能测试J. 计 算机工程, 2003, 29(16: 4344. YANG Jin, WEI Yi-wei, JIA Hui-bo, et al. Performance testing of storage area networkJ. Computer Engineering, 2003, 29(16: 4344. 3 张雪冰, 张延园. SAN 异构存储共享系统实现技术研究J. 计算机工程, 2006, 32(3: 105106. ZHANG Xue-bing, ZHANG Yan-yuan. Study of SAN heter

32、ogeneous storage sharing systemJ. Computer Engineering, 2006, 32(3: 105106. 4 黄建忠, 谢长生, 朱光喜, 等. 一种基于 iSCSI 的对象存储安 全系统的设计与实现J. 计算机科学, 2007, 34(4: 7071. HUANG Jian-zhong, XIE Chang-sheng, ZHU Guang-xi, et al. Design and implementation of iSCSI-based object storage security systemJ. Computer Science, 2

33、007, 34(4: 7071. 5 韩德志, 鄢 让, 傅湘林. iSCSI 协议及 SAN 互联技术J. 计 CX600 分别支持自建资源与引进资源，进一步分担了 访问流量，从而使存储系统对应用指令的响应更加快 捷。从传输通道看，CX600 支持 2 GB 光纤通道技术， 它们与光纤交换机共同构建了一个 2 GB 的光纤 SAN 架构，SAN 内部的带宽资源已经非常充裕，在此基础 上，双塔之间的心跳线使阵列间的数据备份独立于 SAN， 这种设计思路进一步减轻了 SAN 内部的数据传 输压力， CX600 与前端主机之间的数据传输更加畅 使 通无阻。 在数据安全性与系统可用性方面，特别是在自建 资源的安全保护方