网络存储技术在网络中的应用

论高可靠集群技术在网络中的应用PAGEPAGE1XX大学XX学院（课程论文）网络存储技术在网络中的应用学院：班级：学号：姓名：目录一.摘要 1二．正文 12.1网络存储技术的分类 22.2NAS、SAN和DAS的比较 32.3NAS和SAN的比较 42.4网络存储系统的特性要求 6三存储区域网络设计 73.1存储系统设计原则 73.2存储系统架构概述 8四未来趋势分析 84.1.基于InfiniBand的存储系统 84.2．采用DAFS技术。 94.3．NASD技术。 104.4．统一虚拟存储。 10之为瘦服务器(ThinServer)。数据服务器通过局域网的接口和应用服务器连接。由于采用局域网上通用数据传输协议，如NFS，CIFS等，所以能够在异构的服务器间共享数据，这一点在Windows和UNIX混合环境下是十分重要的。（3）存储区域网络(StorageAreaNetwork,SAN)。存储区域网络SAN采用高速数据连接光纤通道(FiberChannel，FC)连接服务器和存储系统。从结构上看，服务器和数据存储系统相互独立。将设备连接到FC集线器或交换机上，便于扩展系统规模。FC的传输速率和可靠性极高，能够满足当前音／视频业务的需求。在SAN中，所有的存储设备和存储数据均可采用中心化管理，使得整个存储系统具有可伸缩性。2.2NAS、SAN和DAS的比较（1）独立性。存储系统的独立性反映了服务器和存储系统间的依靠程度。独立性越强，服务器和存储系统之间的相关性就越小。实际上，独立性强的存储系统可以自成体系，不必考虑和服务器物理连接的细节。（2）带宽和瓶颈。在传统存储系统中，应用程序必须通过服务器访问存储设备。考虑到所有的访问都必须穿透服务器，轻易形成瓶颈，因此要求服务器有很大的吞吐速率。LAN的速率和服务质量(QoS)取决于网络类型。（3）共享性。在传统存储服务器体系中，存储设备并非直接面向网络用户或应用程序，而是以服务器作为访问的人口。作为存储设备，无论是硬盘、还是阵列，都是间接地提供数据共享服务，真正意义上的物理连接只有服务器的连接。NAS具有数据存储独立性，可以通过LAN上运行的NFS、CIFS协议实现数据共享。SAN直接支持服务器和存储系统之间的多对多连接，具有共享特性。（4）可扩展性。DAS体系只能通过增加服务器和磁盘存储量来扩展容量，单一扩展容量几乎不可行；业务增长造成的访问流量增加会使服务器成为瓶颈，而扩展服务器价格过高且管理难度加大。NAS可以通过扩展I／0节点而增加容量，其带宽可以通过新增的网络接口而得以提高。SAN具有可扩展性，可增加存储设备而实现系统扩充。（5）可管理性。传统的DAS造成企业中有大量的服务器和存储系统，其异构型和分布性使管理工作难以展开。NAS、SAN均采用中心化数据管理，便于控制网络上的每一个存储点。（6）存储介质的多样性。虽然DAS可以采用多种存储介质，但是它和服务器之间紧密的物理连接，在使用上受到较多限制。基于SAN的存储系统内，存储设备和文件服务器被有效地分离，使得整个系统可以采用多种存储介质；并且利用不同存储介质和设备的特征，通过统一的中心数据管理，建立多层次的异构存储体系。2.3NAS和SAN的比较NAS、SAN和DAS相比而言，无论是从网络传输带宽、数据共享性还是从存储容量的可扩充性、数据的一体化和平安性等各方面来说，其优越性是不言而喻的。所以，现在众多的用户在对其存储方案进行选择时，实际上也就成为对NAS和SAN的选择了。NAS和SAN有许多共同的特征。它们都提供集中化的数据存储和整合优化，都能有效地存取文件，都能在众多的主机间共享并支持多种操作系统，都能从应用服务器上分离存储。而且，它们都提供数据的高可用性，都能通过冗余部件和RAID保证数据的完整性。NAS和SAN也有着一些不同点。首先，实施和维护的难易程度解不同。上面曾提到，NAS的存储设备和众多访问客户的连接是通过标准的LAN进行的，也就是说，直接将NAS存储设备接入LAN中就可以使用了，管理者所要做的只是来定义网络存取权限或为每个用户定义磁盘限额。而且由于NAS采用了热插拔和即插即用技术，所以在新设备接人时无需关闭数据服务器或进行重新配置，新增的存储空间可以立即为众多的应用服务器和客户机所共享。而SAN的存储设备和客户之间的联系是通过专用FC集线器和交换机来进行的，假如客户端增加，就要对交换机进行级连，这就大大增大了安装和设置难度。其次，二者的设备管理难易程度不同。由于NAS中每一个I／O节点都有自己的存储设备，而这些设备又没有一个统一的管理的界面，所以管理人员就必须逐一管理每个NAS设备，从而使管理成本随网络上的NAS设备的增多而线性增加。而SAN对整个网络中的存储设备的管理，是采用SAN专用管理软件来进行集中式管理的，用户可以通过简单的图形界面来管理不同平台和介质上的数据，也就是说，在SAN中，其整个存储网络成为了一个集中化的存储池，这样，管理人员管理起来就非常简单了。再者，NAS和SAN是管理对象也不相同。SAN管理的是磁盘空间，而NAS管理的是文件，也就是说，SAN是个磁盘工厂，而NAS只是一个文件服务器。最后，也是最重要的一点，那就是二者在性能上有所不同。NAS是基于传统以太网络的存取设备，虽然减轻了服务器所承担的压力，但势必严重增加网络的负荷。2.4网络存储系统的特性要求要达到存储系统独立的数据管理目标，对存储系统的特性有如下几个方面的要求，按照重要性排列分别是：（1）可靠性。数据集中到存储系统中，必然对系统设备的可靠性提出更高的要求。同时需要建立数据备份、容灾系统进行配合，提高数据安全性。（2）可扩展性。网络时代业务发展的不确定性和数据的高速膨胀，对独立于计算系统之外的存储系统，必然提出高可扩展性的要求。这种扩展性并非是简单的容量扩展，同时还必须包括数据处理能力、数据交换带宽和数据管理功能的扩展。（3）兼容性。虽然存储系统已分离于计算系统之外，但今天主机系统对数据的使用方式，仍旧以文件系统、数据库系统为主要手段。存储系统要适应各种主机系统的数据I/O要求，就必须能够兼容各种操作系统、文件系统、数据库系统等各种传统数据管理手段。（4）可管理性。支持各种主流的管理协议和管理架构，能够与网络、计算机等各种设备统一管理和集中管理，能够在各种复杂的环境中实现方便统一的设备和数据管理功能。（5）性能。能够根据不同应用类型要求，提供带宽、IOPS（IOPerSecond,每秒IO操作数）、OPS（OperationsPerSecond，每秒并发操作数）、ORT（OverallResponseTime，总响应时间）等不同指标侧重点的性能服务。高端系统还应能够对系统性能进行动态的扩展和调整。（6）功能。各种数据迁移、数据分发、数据版本管理、数据复制、在线扩容等数据管理功能。三存储区域网络设计3.1存储系统设计原则为了确保存储的现场采集数据和运营数据万无一失，设计方案满足以下几个要求：（1）采用基于SAN的存储网络，保证数据高安全性、高可靠性、高可用性等３个基本要求。支持在任何需要的时候增加存储网络中的相关设备（服务器设备，存储设备等）能力，适应未来的网络结构拓展和容量增加。（2）考虑到由于设备、网络结构单点故障给未来系统运行带来的不可预知的影响，在整体网络设计中硬件设备选型和数据链路设计中全部采用冗余结构：设备选型在关键部件采取冗余结构，部件可以全部做到在线更换设计；数据通路利用软件功能配合硬件的双链路设计，有效消除数据通路的故障隐患。（3）存储系统管理对每台主机的双链路做出统一管理，自动侦测每条链路的完好性，一旦一条数据链路出现故障在没有用户干预的情况下自动切换到健康的数据链路，保证数据访问的实时性；另外,还具备数据流量的负载均衡能力，在每台主机可用的数据链路中根据不同的策略,如应用程序的优先级别，每条链路的队列长度等等，优化数据通路中传输的数据，从而充分利用双数据链路连接的优势。3.2存储系统架构概述存储系统采用存储区域网（SAN）架构，其中硬件设备包括高端小型机、高性能PC服务器、企业级SAN交换机、企业级存储阵列、虚拟带库、磁带库、负载均衡交换机。小型机部分通过划分硬件分区，定制和分配硬件资源来组成数据服务器集群，并在应用环境中进行有效的负载均衡。多个业务应用系统部署在不同的硬件小型机和PC服务器上，每个业务均有应用负载均衡配置，系统访问认证、身份认证服务器通过F54层交换机进行负载均衡。高端存储阵列通过快速的、专用的SAN网络交换机连接，并通过链路冗余提高可靠性，存储阵列根据不同应用系统数据量的需求进行存储空间划分，存储阵列硬件配置有主机柜和扩展柜，存储阵列之间使用LVMMirror（卷管理器）的数据镜像方式来实现本地冗余数据备份，并配置硬件虚拟磁带库来提高数据备份性能，最终数据可通过磁带库使用磁带备份介质进行异地保存。四未来趋势分析在未来，网络存储将在以下几个方面得到发展。4.1.基于InfiniBand的存储系统４InfiniBand是被用来取代PCI总线的新I/O体系结构。InfiniBand把网络技术引入I/O体系中，形成一个I/O交换网络结构，主机系统通过一个或多个主机通道适配器（HCA）连接到I/O交换网上，存储器、网络通信设备通过目标通道适配器（TCA）连接到该I/O交换网上InfiniBand体系结构把IP网络和存储网络合二为一，以交换机互连和路由器互连的方式支持系统的可扩展性。服务器端通过主机通道适配器（HCA）连接到主机内存总线上，突破了PCI的带宽限制，存储设备端通过终端通道适配器（TCA）连接到物理设备上，突破了SCSI和FC-AL的带宽限制。在InfiniBand体系结构下，可以实现不同形式的存储系统，包括SAN和NAS。基于InfiniBandI/O路径的SAN存储系统有两种实现途径：其一是SAN存储设备内部通过InfiniBandI/O路径进行数据通信，InfiniBandI/O路径取代PCI或高速串性总线，但与服务器/主机系统的连接还是通过FCI/O路径;其二是SAN存储设备和主机系统利用InfiniBandI/O路径取代FCI/O路径，实现彻底地基于InfiniBandI/O路径的存储体系结构。4.2．采用DAFS技术。作为一种文件系统协议，直接存取文件系统DAFS可以在大量甚至过量负载时有效地减轻存储服务器的计算压力，提高存储系统的性能。DAFS把RDMA的优点和NAS的存储能力集成在一起，全部读写操作都直接通过DAFS的用户层——RDMA驱动器执行，从而降低了网络文件协议所带来的系统负载。DAFS的基本原理是通过缩短服务器读写文件时的数据路径来减少和重新分配CPU的计算任务。它提供内存到内存的直接传输途径，使数据块的复制工作不需要经过应用服务器和文件服务器的CPU，而是在这两个物理设备预先映射的缓冲区中直接传输。也就是说，文件可以直接由应用服务器内存传输到存储服务器内存，而不必先填充各种各样的系统缓冲区和网络接收器。DAFS可以直接集成到NAS存储服务器中，一方面实现高性能的数据传输，另一方面也可以更好地支持数据库管理系统，如Oracle数据库等。4.3．NASD技术。NASD（Network-AttachedSecureDisk）是CMU大学目前正在研究的网络存储项目，它是一个类似NAS存储设备的智能磁盘驱动器，但将管理、文件系统语义和存储转发相分离，仅实现基本的存储元语，由文件管理器实现文件系统的高层管理部分。它对外提供以太网、ATM等数据通信接口与IP网络相连，或者通过FC接口连接到SAN上。NASD设备嵌入了低层的磁盘管理功能并提供了可变化长度的对象存储接口。客户端可以直接存取NASD设备中的存储资源。文件管理器负责每个客户对NASD设备存储资源的存取控制和检查工作。存储管理器则负责NASD存储资源的映射管理和RAID管理等工作。因为网络通信可以通过公用数据网络采用普通的通信协议完成，因而NASD需要提供安全机制，目前采用的是基于私钥/公钥验证技术的安全机制。4.4．统一虚拟存储。统一的虚拟存储将不同厂商的FC-SAN、NAS、IP-SAN、DAS等各类存储资源整合起来，形成一个统一管理、监控和使用的公用存储池。虚拟存储的实质是资源共享，因此，统一虚拟存储的任务有两点：其一是如何进一步增加可共