网络存储技术应用

第二讲网络存储技术的根本应用1磁盘镜像(Mirroring)Mirroring:keepingtwoormoreidenticalcopiesofdataonline.

磁盘镜像是一种简单的设备虚拟化技术，产生的每个I/O操作都在两个磁盘上执行，而两个磁盘看起来就象一个磁盘一样。这种简洁的技术具有很好的实用效果，它可把无数的系统管理员和企业从数据丧失中解放出来。1.1磁盘镜像保护数据磁盘镜像把写在磁盘上的数据另做一份拷贝，并将其存储在另一个地方。结果就产生一对孪生磁盘，数据丧失的可能性就会比单个磁盘小的多。主磁盘从磁盘存储I/O总线主机I/O控制器图1磁盘镜像简图〔主从镜像对〕第一次写操作第二次写操作I/O请求I/O总线/网络位于I/O路径中的镜像器镜像磁盘镜像功能图2产生两个镜像、并通过I/O总线传送的镜像器镜像的I/O实现镜像的硬件与软件〔同步、异步〕I/O请求入I/O响应出镜像器镜像I/O镜像磁盘搜集响应独立的I/O过程图3同步镜像I/O请求的操作流程I/O请求I/O总线镜像器镜像磁盘镜像的I/O磁盘错误错误报告响应搜集错误侦测图4同步镜像中的错误侦测图5异步镜像过程返回的第一个响应被传到I/O请求者独立的I/O响应磁盘磁盘镜像器I/O请求入I/O响应出镜像的I/O常用于远程或慢速网络1.2选择磁盘镜像方案运行在主机系统的软件主机I/O控制器外部磁盘子系统1.2.1软件镜像磁盘镜像也存在几种软件实现方法。软件磁盘镜像即可以使用内部驱动器〔效劳器机柜中〕，也可以使用外部JBOD〔JustaBunchofDisks〕机柜中的磁盘。JBOD是一个简单的磁盘子系统，能为外部机柜中的多个磁盘驱动器提供电源和I/O连接。JBOD磁盘驱动器可单独由主机访问，但一般是与软件和基于I/O控制器的镜像协同工作。大多数效劳器的操作系统都提供了根本的磁盘镜像功能。为了易于安装，一般都省略了性能控制、远程管理和配置选择范围。在许多操作系统和文件系统中，卷管理软件也可提供镜像功能。I/O请求文件系统卷管理器设备驱动程序系统总线主机I/O控制器I/O总线设备镜像器镜像的磁盘镜像的I/O单或双主机I/O控制器单或双主机I/O总线I/O路径图6卷管理器中实现磁盘镜像的I/O路径I/O请求文件系统卷管理器设备驱动程序系统总线主机I/O控制器I/O总线设备镜像器镜像的磁盘镜像的I/OI/O路径

子系统图7在磁盘子系统中实现的镜像I/O路径I/O请求文件系统卷管理器设备驱动程序系统总线主机I/O控制器I/O总线设备镜像器镜像的磁盘镜像的I/OI/O路径图8主机控制器中磁盘镜像I/O路径I/O请求文件系统卷管理器设备驱动程序系统总线主机I/O控制器I/O总线设备镜像器镜像的磁盘镜像的I/OI/O路径图9设备驱动程序中使用I/O控制器的磁盘镜像1.3使用磁盘镜像改善存储性能使用附加的主机I/O控制器的目的可以改善存储性能。为了到达最优的性能，应使控制器的性能〔带宽〕超过与连接到I/O总线的磁盘驱动器的总性能的25%。例如，一个带有两个磁盘的SCSI总线，其带宽为40MB/S。两个磁盘驱动器为9GB的高速硬盘，其最大传输率应选为15MB/S。总线带宽应超过需要带10MB/S。-------------------------------------------------控制器磁盘1磁盘2空闲-------------------------------------------------40MB/S15MB/S15MB/S10MB/S-------------------------------------------------磁带驱动器和磁盘镜像混用问题SCSI允许不同速度的设备挂接到同样的总线上，但SCSI主机适配器使用最小公分母的方式设置其速度，即匹配最慢设备的速度。〔也有I/O控制器，如UltraSCSI3，支持不同速度的多条总线〕。当磁盘镜像与磁带混用时，磁带用于数据备份。其传输路径为：从一个磁盘机进入主机，通过应用或驱动程序缓冲区进入主机I/O控制器，最终存放到磁带。图4-9中磁带机速度为3MB/S，一般在空闲〔如夜间〕时执行备份操作，备份期间存储性能会大大降低。主磁盘存储I/O总线磁带驱动器UltraSCSI主机I/O控制器附属磁盘图10接入I/O路径与磁盘镜像混用的慢速磁带设备双主机I/O控制器混用结构及特性为了改善性能，可以采用双主机I/O控制器〔如图4-10所示〕。这样的配置性能数据如下表所示：--------------------------------------------------------------------------控制器磁盘1磁盘2磁带空闲--------------------------------------------------------------------------1〔20MB/S〕15MB/SN/A3MB/S10MB/S2〔40MB/S〕N/A15MB/SN/A25MB/S--------------------------------------------------------------------------该结构为峰值为15MB/S的磁盘驱动器留有充足的带宽。但该结构不适合同步磁盘镜像。在备份期间，磁带机总是运行，系统性能会受到影响。UltraSCSI磁盘驱动器FaSt/WideSCSI磁带驱动器UltraSCSI主机I/O控制器UltraSCSI磁盘驱动器图11双主机I/O控制器的均衡功能及性能I/O总线I/O总线系统I/O总线别离磁带路径的盘带混合结构该结构将两个磁盘控制器都挂到同一控制器上，而把磁带驱动器单独连接在一个别离的控制器。其传输性能由下表所示：-------------------------------------------------------------------------控制器磁盘1磁盘2磁带空闲-------------------------------------------------------------------------1〔40MB/S〕15MB/S15MB/SN/A10MB/S2〔20MB/S〕N/AN/A3MB/S17MB/S-------------------------------------------------------------------------提示：尽量将磁带驱动器放置在属于自己的路径上，以实现与磁盘设备的别离。镜像的UltraSCSI磁盘驱动器I/O总线I/O总线UltraSCSI主机I/O控制器FaSt/Wide主机I/O控制器系统I/O总线图12连接在别离控制器上的磁带驱动器使用磁盘镜像提高I/O性能对磁盘的操作中，写操作占整个磁盘操作的10~20%，大局部都是读操作。因此，提高读操作的速度对改善I/O性能非常重要。一般可认为内存的访问时间为60~80纳秒，磁盘的访问时间是8~12微秒，磁盘驱动器比内存要慢100多倍。而影响磁盘速度的最主要因素是磁头〔磁盘臂〕移动。对于镜像写操作，两个磁盘的臂被定位在各自的磁道上，然后进行写操作。相比之下，读操作那么不必如此，可以分别执行读操作。这样就会使响应速度加倍。读I/O请求请求1请求2镜像器读文件A读文件B

磁盘1磁盘2文件B文件A文件B文件A图13从一对镜像磁盘中的异步读出操作通过增加磁盘轴数量提高性能镜像磁盘的异步读是典型的并行处理范例，通过增加镜像磁盘驱动器的数量〔增加读数据磁盘臂的数量〕，可以大幅度提高I/O性能。大容量磁盘驱动器对并行操作不利，它要求单磁盘臂要读出的数据量更大。它对单用户影响不大，对多用户访问影响严重。磁盘数据块的大小也是影响I/O性能的重要指标。许多文件系统提供配置块大小的功能，根据需要调整块的大小，可提高I/O性能。块太小容易产生磁盘碎片，增加盘臂移动频率。块太大，文件尾的磁盘块浪费严重。不同应用中磁盘块大小选择参考————————————————————————系统活动最优块大小-------------------------------------------------------------------------事物数据4~8K办公室自动化16~32K数据仓库64~256KCAD设计64~128K多媒体512~4M效劳器A效劳器BI/O路径1I/O路径2总的磁盘臂为4总的磁盘臂数为18图14带有36GB容量磁盘的两个效劳器：一个有4个磁盘臂，另一个有18个磁盘臂18GB18GB18GB18GB4GB4GB4GB4GB18GB带有36GB镜像磁盘的两个效劳器I/O控制器I/O路径1I/O路径21.４镜像外部磁盘子系统镜像的磁盘可以容易的由磁盘子系统所代替。对主机来说，RAID子系统就像个大磁盘，通过软件镜像或主机I/O镜像，可实现高容错系统。子系统镜像与效劳器集群有某些相似，其根本思想是：在合理的花费下提供高可用性。它使用了主从概念，如果主效劳器失败，从效劳器可接替工作。但主从效劳器的数据连接仍是一个重要研究课题。存储I/O总线存储I/O总线系统I/O总线主机I/O控制器镜像的磁盘子系统图15镜像外部磁盘子系统2快照〔Snapshot〕前面所述的镜像方法适用于突发的物理灾害，如磁盘损坏、火灾、地震等。但它不适用人为产生的错误。如误删文件内容等，频繁发生的逻辑灾害。快照是指数据在某一时刻的状态、映像。(Snapshot:point-in-timefrozenimageofdata.)快照镜像的根本思想：建立一个别离的可寻址的存储实体，然后在这个实体上执行操作，而不是在真实的数据上执行操作。用途：包括备份、测试、转换及其它的批处理。2.1快照在快速逻辑备份中的应用tT1T2T3T4原数据-1代-2代-3代备份数据主效劳器测试效劳器主机I/O控制器主I/O路径端口主子系统脱钩的I/O路径主机I/O控制器端口1端口2附属子系统主机I/O控制器

图16快照镜像在系统测试中的应用

备份系统主效劳器主机I/O控制器磁带备份装置备份I/O路径镜像的I/O路径脱钩的路径I/O路径主Symmetrix子系统附属Symmetrix子系统第三级Symmetrix子系统图17快照在磁带备份中的应用主效劳器VincaStandby效劳器主子系统附属子系统I/O路径I/O路径主机I/O控制器复制路径100BaSeT双绞线缆NICNIC图18效劳器之间的磁盘镜像主本地磁盘子系统I/O控制器效劳器路径扩展器路径扩展器从远程磁盘子系统图19跨校园环境下的磁盘子系统镜像主效劳器主效劳器TCP/IP网络所选择的文件C:\workfileS\*.*复制的文件D:\workfileS\*.*网络接口卡I/O总线I/O总线图20通过TCP/IP网络的文件系统的复制效劳器1效劳器2复制效劳器被复制的数据复制效劳器磁盘I/O总线以太网图21通过LAN实现多对一复制得体系结构效劳器1的数据效劳器2的数据基于LAN的多对一复制图22通过专用线或WAN的路径扩展I/O总线代理目标代理主机I/O控制器本地扩展器远程扩展器远程磁盘串行+解串器F(SerdeS)F(SerdeS小结镜像是一个很好的、经过时间检验的技术，它不仅提供了冗余，也提供了性能的改善。在未来的假设干年里，很可能继续出现创新的解决方案。快照使近几年开展较快的技术，适合恢复逻辑错误。思考题：异步镜像原理及可能带来的问题第三讲高速缓存技术1.高速缓存技术缓存技术是改善I/O性能的一项根本技术。本章讨论的磁盘缓存方法不仅适合传统的存储总线，也适合于新开展的存储网络。只要系统带多个设备，且性能不同，就存在从慢速设备到快速设备不断更换工作地点以改善系统性能的可能性。缓存的根本思想可以简述为：将数据从一个地点拷贝到另一个地点，使之检索起来更快。访问请求快速提交慢速提交缓存存储常规存储1.1缓存的命中率如果缓存不理想,命中率不高,导致系统性能下降。缓存命中率=由缓存完成的I/O请求次数I/O请求总数1.2缓存与缓冲间的差异对于开放系统，Unix，NT等，通常的命中率不超过50%。大型机系统的命中率可高达90%。缓冲〔buffer〕只起临时存放数据的作用，控制算法简单；缓存(cache)与上相反。3→2→1→123图3-1主机控制器管理的多设备重叠操作主机I/O控制器重叠的请求缓冲内存存储设备存储总线存储设备缓冲内存存储设备设备中的缓冲存储器用于减少访问延迟，以适应主机控制器的性能缓存内存缓存总线

缓存控制器到磁盘系统I/O图3-2带有一个缓冲控制器和缓冲内存的磁盘缓冲缓存算法既可以在主机软件中实现，也可以在存储子系统或在主机控制器中实现1.3磁盘缓存的性能估计产品演示中客户可看到不到原来时间25%的缓存效果。实际上，很好地配置缓存，运行效率可到达原来的2倍。2磁盘缓存的算法磁盘缓存并不是使设备运行的速度加快，而是缩短了I/O路径的距离，尽可能地用内存的性能代替设备的性能。磁盘缓存算法中，对应‘读’和‘写’的算法差异很大。2.1读算法〔常用两种〕最近使用〔LRU：leastrecentlyused〕缓存预先读缓存图3-3LRU装入数据的过程缓存内存在正常I/O操作期间，在读磁盘数据的同时，数据也拷贝到缓存内存响应请求响应请求存储设备或子系统LRU算法的缓存控制器LRU的根本思想：最近读过的数据不久将再次被读。图3-4关系数据库的LRU缓存缓存内存数据库存储子系统数据库效劳器LAN缓存命中LRU缓存缓存未命中数据被读入缓存内存响应请求缓存未命中请求响应LRU缓存控制器3561241.发送到缓存内存的缓存命中

3.发送到存储子系统的缓存未命中5.装入缓存的读缓存未命中2.从缓存内存到效劳器读的缓存命中4.从存储子系统到缓存控制器的读缓存未命中6.到效劳器的读缓存未命中LRU缓存的应用过程LRU算法适用的数据范围ERP和MRP系统Internet电子商务效劳器事物处理系统顾客效劳和支持系统其他多用户数据库应用不适用类型：顺序访问的数据，包括数据仓库，多媒体数据等。预先读缓存预先读缓存的根本思想：已读入的数据将不在需要，而依次需要的是即将读入的数据块。适用范围：文件效劳、备份、数据仓库及多媒体等顺序I/O模式的应用。

图3-5预先读的过程缓存内存缓存命中缓存控制器发出预取请求，将数据写入缓存内存预读取I/O请求+响应缓存未命中采用预先读算法的缓存控制器存储设备或子系统如果数据已经老化，或在近期没有用，就把它从预先读缓存中丢弃图3-6文件效劳器的预先读缓存缓存内存文件存储子系统文件效劳器LAN缓存命中预先读缓存缓存装入预取数据响应请求〔缓存未命中〕请求响应LRU缓存控制器351241.缓存命中

3.缓存未命中5.从存储子系统预读取2.从缓存的读缓存命中数据4.从存储子系统读缓存未命中数据6.缓存装入预取数据预取I/O62.2写数据到缓存设备或子系统缓存写与缓存读技术有很大的不同，它更侧重数据的平安性，如断电时的保证数据不丧失；一致性等题。用LRU方法作例如：假定某个应用正在更新存储子系统的数据，由于在缓存中可能存了过时的数据，当应用修改数据时，缓存中的过时数据也必须修改。否那么，LRU方法将读到过时数据。两种根本的写缓存技术：透写缓存：把数据写入缓存后，立即写入非易失存储器〔磁盘〕回写缓存：为了提供更快的响应，将把缓存中的几个I/O写操作集中起来，然后一次性地把它们写入非易失性存储器。图3.7缓存未命中和缓存命中的写请求过时数据缓存内存写I/O请求可选的写I/O请求写I/O请求过时数据缓存命中I/O请求修改正的数据缓存控制器缓存未命中①②②⊕⊕非易失存储图3.8缓存命中时的透写缓存过程⊕⊕写I/O请求到缓存内存写I/O请求缓存命中写I/O请求非易失存储使用透写算法的缓存控制器⊕⊕写I/O请求到缓存内存写I/O请求缓存命中写I/O请求非易失存储使用回写算法的缓存控制器图3.9

缓存命中时的回写缓存过程注：回写缓存决不能在没有UPS的情况下使用3磁盘缓存的位置与优化主机系统内存设备或子系统主机I/O控制器存储网络中的独立缓存磁盘缓存可能处于不同I/O路径的位置，对系统产生的影响也不同，一般有以下四种情况：3.1在主机内存中实现磁盘缓存用主机内存〔或位于系统内存总线的缓存〕实现，是访问速度最快的一种方式。缺点：占用CPU时间和主机内存，在主机使用频率超过75%时，不适合选用。1〕主机系统的LRU缓存在传输数据并将其装入主机内存的过程中，LRU对系统性能影响很小。在主机内存中实现LRU效率很高。2〕主机系统的预先缓存要消耗更多的CPU周期、存储路径、系统I/O总线和系统存储总线的带宽。3〕主机系统中的透写缓存并可防止数据数据的不一致。4〕主机系统中的回写缓存效率远高于透写，易产生数据不一致。需要UPS支持。对于随机事物处理，LRU与回写缓存可能是最优的组合图3.10效劳器根本缓存效劳器系统磁盘缓存桥控制器主机I/O总线主机I/O控制器存储总线/网络存储设备/子系统图3.11位于内存总线的缓存文件系统接口系统环境文件系统卷处理器磁盘缓存设备接口到非易失存储的设备驱动程序缓存进程系统内存总线分配给磁盘缓存的系统内存图3.12设备/子系统中的缓存实现效劳器桥控制器主机I/O总线主机I/O控制器存储总线/网络存储设备/子系统磁盘缓存3.2在磁盘子系统中实现缓存特点：主机CPU不受缓存操作影响，适用于主机负荷重的系统。因为每个请求都要通过整个I/O路径，所以它比基于主机的缓存操作要慢。1〕设备/子系统中的LRU缓存效率不如在主机内的缓存系统，但它适用主机负荷重的场合〔超过75%〕,或没有适当内存建缓存。2〕设备/子系统中的预先读缓存与在主机内实现不同，它不额外增加主机CPU的负担，及降低竞争主机资源进程的干扰。

3〕设备/子系统中透写缓存对I/O吞吐量要求不高，写操作较少的应用时，透写缓存的效果较好。4〕设备/子系统中的回写缓存在存储子系统中最常用的方法。图3.13使用位于主机I/O控制器上的缓存控制器实现磁盘缓存效劳器桥控制器主机I/O总线主机I/O控制器存储总线/网络存储设备/子系统磁盘缓存3.3在主机I/O控制器中实现磁盘缓存两种实现方法：主机驱动程序；主机I/O控制器上的缓存控制器。后一种方法可减轻主机负担，为大局部系统所采用。特点介于前两者的综合〔4种读写操作〕。图3.14存储网络中的缓存存储网络存储网络端口端口端口端口ABCD到系统A到系统B到目标设备/子系统C到目标设备/子系统D端口/缓存交叉连线目标控制器+虚拟化缓存控制+操作缓存内存池B缓存内存池A4存储网络中的独立缓存

提供多端口、多主机、多目标缓存的能力5配置缓存确定缓存的大小：一般而言，对于带有缓存的磁盘子系统，合理的缓存应占总存储量的0.1%。多级缓存：为了使某些类型的数据和应用到达更好的工作状态，可以同时使用多级缓存。例如，同时使用LRU和预先读两种缓存。一般而言，多级缓存应串接在I/O路径上，并行连接方式所产生连贯性问题，仍然是今天存储领域所面临的难题。应将I/O路径上负担最小的缓存组件放在靠近CPU的位置，如LRU缓存。I/O路径上负担最重的缓存组件应放在离存储子系统的地方。图3.15多级磁盘缓存正常I/O操作期间装入的缓存I/O请求缓存控制器1：LRU+回写缓存控制器2：预先读+透写非易失存储缓存内存1

缓存内存2收集并发送到非易失存储的写有控制器中的预取执行的缓存装入立即发送到非易失存储的写图3.16SSD在I/O路径上的位置效劳器桥控制器主机I/O总线主机I/O控制器存储总线/网络固态磁盘〔SSD〕6固态磁盘〔SSD〕用半导体存储器代替慢速的机电设备特点：速度快，价格贵〔是磁盘价格的100倍〕。非易失SSD：带后备电池的DRAM，闪存〔读操作快，写操作与磁盘差不多〕。图3.17带有一个内部磁盘驱动器的SSDSSD

I/O写入内存存储内部磁盘驱动器镜像控制器图3.18标记命令排队的实现主机I/O控制器设备/子系统命令队列目标设备/子系统7标记命令排队图3.19使用标记命令排队的排序命令序列

接收的请求队列I/O序列号块序列排序10-89-28-37-66-25-14-73-42-81-1重排的请求〔在排序后〕I/O序列号块序列10-82-84-77-63-48-39-26-25-11-1为了最优设备性能而重新排序I/O请求8I/O路径与系统性能平衡CPU与I/O的性能8.1分析CPU和I/O性能增益的影响例，一进程原来的运行时间为10秒钟，其中5秒钟为CPU花费的时间，5秒钟为I/O操作花费的时间。现安装新CPU，其速度是原来的4倍，系统CPU升级后，新CPU花费时间为原来的1/4，1.25秒。新进程时间=改善的CPU性能+I/O性能=1.25+5=6.25原进程时间/新进程时间=10/6.25=1.6倍假设，再用磁盘缓存技术使I/O性能提高一倍，即2.5秒那么,系统总性能的改善为:原进程时间/新进程时间=10/3.75=2.7倍

通过例子可以看出提高I/O性能对系统的整体性能影响很大.

8.3从CPU最大值推测主机I/O总线性能根据1983年以来的PC开展历史，可以推测系统I/O总线性能的最大值约为CPU吞吐量的5%。随着千兆的64位处理器的出现，可期望系统I/O总线的速度能到达400M/s，但常用的64位PCI总线只有256M/s的速度。1999年10月30日新发布的InfiniBand标准的双向I/O传输速度到达500M/s。8.4配置系统使I/O性能最优8.2I/O性能与CPU速度的关联表CPU最大的吞吐量时钟速度〔MHz〕数据宽度理论吞吐量8MHz8位8MB/s16MHz16位16MB/s33MHz32位132MB/s120MHz32位480MB/s200MHz64位