虚拟存储技术及其应用

虚拟存储技术及其应用随着围绕数字化、网络化开展的各种多媒体处理业务的不断增加，存储系统网络平台已经成为一个核心平台，同时各种应用对平台的要求也越来越高，不光是在存储容量上，还包括数据访问性能、数据传输性能、数据管理能力、存储扩展能力等等多个方面。可以说，存储网络平台的综合性能的优劣，将直接影响到整个系统的正常运行。为达到这些要求，一种新兴的技术正越来越受到大家的关注，即虚拟存储技术。其实虚拟化技术并不是一件很新的技术，它的发展，应该说是随着计算机技术的发展而发展起来的，最早是始于70年代。由于当时的存储容量，特别是内存容量成本非常高、容量也很小，对于大型应用程序或多程序应用就受到了很大的限制。为了克服这样的限制，人们就采用了虚拟存储的技术，最典型的应用就是虚拟内存技术。随着计算机技术以及相关信息处理技术的不断发展，人们对存储的需求越来越大。这样的需求刺激了各种新技术的出现，比如磁盘性能越来越好、容量越来越大。但是在大量的大中型信息处理系统中，单个磁盘是不能满足需要，这样的情况下存储虚拟化技术就发展起来了。在这个发展过程中也由几个阶段和几种应用。首先是磁盘条带集（RAID，可带容错）技术，将多个物理磁盘通过一定的逻辑关系集合起来，成为一个大容量的虚拟磁盘。而随着数据量不断增加和对数据可用性要求的不断提高，又一种新的存储技术应运而生，那就是存储区域网络（SAN）技术。SAN的广域化则旨在将存储设备实现成为一种公用设施，任何人员、任何主机都可以随时随地获取各自想要的数据。目前讨论比较多的包括iSCSI、FCOverIP等技术，由于一些相关的标准还没有最终确定，但是存储设备公用化、存储网络广域化是一个不可逆转的潮流。一、虚拟存储的概念所谓虚拟存储，就是把多个存储介质模块（如硬盘、RAID）通过一定的手段集中管理起来，所有的存储模块在一个存储池（StoragePool）中得到统一管理，从主机和工作站的角度，看到就不是多个硬盘，而是一个分区或者卷，就好象是一个超大容量（如1T以上）的硬盘。这种可以将多种、多个存储设备统一管理起来，为使用者提供大容量、高数据传输性能的存储系统，就称之为虚拟存储。二、虚拟存储的分类目前虚拟存储的发展尚无统一标准，从虚拟化存储的拓扑结构来讲主要有两种方式：即对称式与非对称式。对称式虚拟存储技术是指虚拟存储控制设备与存储软件系统、交换设备集成为一个整体，内嵌在网络数据传输路径中；非对称式虚拟存储技术是指虚拟存储控制设备独立于数据传输路径之外。从虚拟化存储的实现原理来讲也有两种方式；即数据块虚拟与虚拟文件系统。具体如下：1．对称式虚拟存储图1图1对称式虚拟存储解决方案的示意图在图1所示的对称式虚拟存储结构图中，存储控制设备HighSpeedTrafficDirectors（HSTD）与存储池子系统StoragePool集成在一起，组成SANAppliance。可以看到在该方案中存储控制设备HSTD在主机与存储池数据交换的过程中起到核心作用。该方案的虚拟存储过程是这样的：由HSTD内嵌的存储管理系统将存储池中的物理硬盘虚拟为逻辑存储单元（LUN），并进行端口映射（指定某一个LUN能被哪些端口所见），主机端将各可见的存储单元映射为操作系统可识别的盘符。当主机向SANAppliance写入数据时，用户只需要将数据写入位置指定为自己映射的盘符（LUN），数据经过HSTD的高速并行端口，先写入高速缓存，HSTD中的存储管理系统自动完成目标位置由LUN到物理硬盘的转换，在此过程中用户见到的只是虚拟逻辑单元，而不关心每个LUN的具体物理组织结构。该方案具有以下主要特点：（1）采用大容量高速缓存，显著提高数据传输速度。缓存是存储系统中广泛采用的位于主机与存储设备之间的I/O路径上的中间介质。当主机从存储设备中读取数据时，会把与当前数据存储位置相连的数据读到缓存中，并把多次调用的数据保留在缓存中；当主机读数据时，在很大几率上能够从缓存中找到所需要的数据。直接从缓存上读出。而从缓存读取数据时的速度只受到电信号传播速度的影响（等于光速），因此大大高于从硬盘读数据时盘片机械转动的速度。当主机向存储设备写入数据时，先把数据写入缓存中，待主机端写入动作停止，再从缓存中将数据写入硬盘，同样高于直接写入硬盘的速度（2）多端口并行技术，消除了I/O瓶颈。传统的FC存储设备中控制端口与逻辑盘之间是固定关系，访问一块硬盘只能通过控制它的控制器端口。在对称式虚拟存储设备中，SANAppliance的存储端口与LUN的关系是虚拟的，也就是说多台主机可以通过多个存储端口（最多8个）并发访问同一个LUN；在光纤通道100MB/带宽的大前提下，并行工作的端口数量越多，数据带宽就越高。（3）逻辑存储单元提供了高速的磁盘访问速度。在视频应用环境中，应用程序读写数据时以固定大小的数据块为单位（从512byte到1MB之间）。而存储系统为了保证应用程序的带宽需求，往往设计为传输512byte以上的数据块大小时才能达到其最佳I/O性能。在传统SAN结构中，当容量需求增大时，唯一的解决办法是多块磁盘（物理或逻辑的）绑定为带区集，实现大容量LUN。在对称式虚拟存储系统中，为主机提供真正的超大容量、高性能LUN，而不是用带区集方式实现的性能较差的逻辑卷。与带区集相比，PowerLUN具有很多优势，如大块的I/Oblock会真正被存储系统所接受，有效提高数据传输速度；并且由于没有带区集的处理过程，主机CPU可以解除很大负担，提高了主机的性能。（4）成对的HSTD系统的容错性能。在对称式虚拟存储系统中，HSTD是数据I/O的必经之地，存储池是数据存放地。由于存储池中的数据具有容错机制保障安全，因此用户自然会想到HSTD是否有容错保护。象许多大型存储系统一样，在成熟的对称式虚拟存储系统中，HSTD是成对配制的，每对HSTD之间是通过SANAppliance内嵌的网络管理服务实现缓存数据一致和相互通信的。（5）在SANAppliance之上可方便的连接交换设备，实现超大规模Fabric结构的SAN。因为系统保持了标准的SAN结构，为系统的扩展和互连提供了技术保障，所以在SANAppliance之上可方便的连接交换设备，实现超大规模Fabric结构的SAN。2．非对称式虚拟存储系统（4）虚拟存储技术可以通过管理软件，为网络系统提供一些其它有用功能，如无需服务器的远程镜像、数据快照(Snapshot)等。五、虚拟存储的应用由于虚拟存储具有上述特点，虚拟存储技术正逐步成为共享存储管理的主流技术，其应用具体如下：1．数据镜像数据镜像就是通过双向同步或单向同步模式在不同的存储设备间建立数据复本。一个合理的解决方案应该能在不依靠设备生产商及操作系统支持的情况下，提供在同一存储阵列及不同存储阵列间制作镜像的方法。2．数据复制通过IP地址实现的远距离数据迁移（通常为异步传输）对于不同规模的企业来说，都是一种极为重要的数据灾难恢复工具。好的解决方案不应当依赖特殊的网络设备支持，同时，也不应当依赖主机，以节省企业的管理费用。3．磁带备份增强设备过去的几年，在磁带备份技术上鲜有新发展。尽管如此，一个网络存储设备平台亦应能在磁带和磁盘间搭建桥路，以高速、平稳、安全地完成备份工作。4．实时复本出于测试、拓展及汇总或一些别的原因，企业经常需要制作数据复本。5．实时数据恢复利用磁带来还原数据是数据恢复工作的主要手段，但常常难以成功。数据管理工作其中一个重要的发展新方向是将近期内的备分数据（可以是数星期前的历史数据）转移到磁盘介质，而非磁带介质。用磁盘恢复数据就象闪电般迅速（所有文件能在60秒内恢复），并远比用磁带恢复数据安全可靠。同时，整卷（Volume）数据都能被恢复。6．应用整合存储管理发展的又一新方向是，将服务贴近应用。没有一个信息技术领域的管理人员会单纯出于对存储设备的兴趣而去购买它。存储设备是用来服务于应用的，比如数据库，通讯系统等等。通过将存储设备和关键的企业应用行为相整合，能够获取更大的价值，同时，大大减少操作过程中遇到的难题。7．虚拟存储在数字视频网络中的应用现在我着重介绍虚拟存储在数字视频网络中的应用。数字视频网络对广播电视行业来说已经不是一个陌生的概念了，由于它在广播电视技术数字化进程中起到了重要的作用，国内各级电视台对其给予极大的关注，并且开始构造和应用这类系统，在数字视频网的概念中完全打破了以往一台录象机、一个编辑系统、一套播出系统的传统结构，而代之以上载工作站、编辑制作工作站、播出工作站及节目存储工作站的流程，便于操作和管理。节目上载、节目编辑、节目播出在不同功能的工作站上完成，可成倍提高工作效率。同时，由于采用非线性编辑系统，除了采集时的压缩损失外。信号在制作、播出过程中不再有任何损失，节目的技术质量将大大提高。在现有的视频网络系统中，虽然电脑的主频、网络的传输速率以及交换设备的性能，已经可以满足绝大多数应用的要求，但其中存储设备的访问带宽问题成为了系统的一个主要性能瓶颈。视频编辑、制作具有数据量存储大、码流高、实时性强、安全性重要等特点。这就要求应用于视频领域的存储技术和产品必须具有足够的带宽并且稳定性要好。在单机应用时，为了保证一台编辑站点有足够的数据带宽，SCSI技术、本地独立磁盘冗余阵例RAID（RedundantArrayofIndependentDisks）技术（包括软件和硬件）被广泛应用，它通过把若干个SCSI硬盘加上控制器组成一个大容量，快速响应，高可靠性的存储子系统，从用户看可作为一个逻辑盘或者虚拟盘，从而大大提高了数据传输率和存储容量，同时利用纠错技术提高了存储的可靠性，并可满足带宽要求。随着节目制作需求的发展，要求2—3台站点共享编辑数据。这时可利用SCSI网络技术实现这一要求。几台编辑站点均配置高性能的SCSI适配器，连接至共享的SCSI磁盘阵列，既可以实现几个站点共享数据，又可以保证每一台单机的工作带宽。光纤通道技术的成熟应用对视频网络的发展具有里程碑的意义，从此主机与共享存储设备之间的连接距离限制从几米、十几米，扩展到几百米、几千米，再配合光纤通道交换设备，网络规模得到几倍、十几倍的扩充。这时候的FC（FibreChannel光纤通道）磁盘阵列——RAID容错技术、相对SCSI的高带宽、大容量，成为视频网络中的核心存储设备。随着电视台规模的发展，全台级大规模视频网络的应用被提出。在这种需求下，就必须将更先进的存储技术与产品引入视频领域。存储区域网（SAN）的发展目前正处于全速上升期，各种概念层出不穷。其中具有划时代意义的是虚拟存储概念的提出。相对于传统的交换机加RAID阵列，主机通过硬件层直接访问阵列中的硬盘的SAN结构，虚拟存储的定位是将数据存储功能从实际的、物理的数据存取过程中抽象出来，使普通用户在访问数据时不必关心具体的存储设备的配置参数、物理位置及容量，从而简化用户和系统管理人员的工作难度。在设计一个视频网络系统的时候，对存储系统的选用，主要考虑如下几个因素：（1）总体