海量存储系统设计

第十二章海量存储系统设计以传统的方式存储和管理日益增长的数据，意味着你需要不断地增加磁盘，投入更多的人力与物力，导致成本上升。以优秀的分级存储软件和自动磁带库系统，即可以轻松实现海量数据存储。12.1海量数据存储系统架构方案考虑到海量存储系统是IT构架的核心模块，这里存储网络架构采用双Fabric网络结构,这种结构一方面带来了高可用性，另一方面提供了更多的数据通信带宽。下面是海量存储系统的双Fabric网络结构图：备檢凰务JfiUT 斟粋 出户曜务痔鮮图12-1双光纤通道结构其中网络核心采用director级别的核心光纤通道交换机1台（端口数＞=128），通过在其内部划分虚拟SAN分别构成两个独立的fabric；为保证高可靠性和提高系统的运行速度，存储工程师在各服务器群的每台主机上都通过两个HBA连接到不同的Fabric网络中，而且存储设备（磁盘阵列和磁带库）也是同时接入两个fabric,这样构成了一个无单点故障的网络系统。双Fabric存储网络设计要点和优势：•主机和存储设备的冗余连接，整体提高系统的可靠性•主机和存储设备的双路连接，工作在Active-Active模式，整体提高系统的性能双网络结构设计，提高网络的可靠性，避免由于意外系统故障造成网络中断双网络结构设计，核心-边缘体系架构，方便未来网络的扩充交换机具有很强的向下兼容性，即可兼容1G的交换机，又可兼容1G的存储设备，如磁带库等设备都可直接连接到交换机中，提高设备的利用率可做LAN-Free备份，减少备份对网络带宽的占用，整体提高数据备份和恢复的速度有利于系统的在线维护和扩展，而不影响系统的正常运行采用硬件实现的网络安全性管理，保证数据的安全性与外部存储网络的互联方案外部存储网络的接入是为了更好的提供基于数据复制（异步或同步）的容灾服务。本着为客户各部门不同容灾需求服务的原则，这里存储工程师设计了采用三种形式的存储网络外部互联方案，即：FCIP接入方案DWDM接入方案SDH接入方案在100Km以内的连接上这三种接入方案的特点如下：表12-1外部网络存储通道比较DWDMSDHFCIP町以St足连接要球.完全満足性能耍求『链豁可以复用F高效率.髙性能Tnu成本$可以满足连接耍求，在带宽许可的条杵F可以満肚性能咚求+宾现同步数据传愉圾肚Z町以淞足连接要求,链路带麗由IP保证」「「Bl条件下只能实现异步数据通倍.TOR.COM

无论是内网还是外网及互联网存储网络，这里在外部接入采用同样的技术和拓扑结构，只是由于内网的数据量较少，采用端口数少的SAN路由器，SAN路由器的数量也应当适当减少。具体拓扑结构如下图所示：DolIfWF歸:11SANi堆札打utSUHV-.piD\AXJ[ITIIM.-SWIniTW-SMfDolIfWF歸:11SANi堆札打utSUHV-.piD\AXJ[ITIIM.-SWIniTW-SMf殳檢昌u饋心丸歼通迥、讥晴illMHSWSAKMlHlramSl\»Etia觸歯川yan™或m)h肚茶SA、料曲為图12-2SAN及扩展IP网络连接注：为了清晰明了的原则，这里将服务器和局域网的连接省略。如图12-2,FCIP接入方案将SAN路由器接入核心交换机，从链路冗余的角度出发，SAN路由器分别接到不同fabric中，同时SAN路由器会接到局域网的千兆交换机上；这样就可以通过SAN路由器的FCIP功能将FC协议转换为IP协议，通过IP网络与远端的某部门计算中心的SAN路由器互联，在通过该路由器的协议转换将FC协议传输到该部门的SAN网络中，从而将容灾中心和该部门的存储网络互联，使得两个存储网络中的设备可以实现基于FC的高速数据通信。如图,DWDM接入方案将SAN路由器接入核心交换机，从链路冗余的角度出发,SAN路由器分别接到不同fabric中，同时SAN路由器会接到DWDM设备上；这样就可以通过DWDM设备的波分复用功能将多条FC通信，通过裸光纤传输到远端的某部门计算中心的DWDM设备，通过它的解复用功能，再通过SAN路由器将容灾中心和该部门的存储网络互联起来，使得两个存储网络中的设备可以实现基于FC的高速数据通信。如图，SDH接入方案与DWDM方案类似，将SAN路由器接入核心交换机，从链路冗余的角度出发，SAN路由器分别接到不同fabric中，同时SAN路由器会接到SDH设备上；这样就可以利用FCoverSDH技术，通过SDH网络将数据传输到远端的某部门计算中心的SDH设备，进而再通过SAN路由器将容灾中心和该部门的存储网络互联起来，使得两个存储网络中的设备可以实现基于FC的高速数据通信。这里之所以采用SAN路由器，主要是在不同的fabric间提供路由服务功能。路由服务功能正是可以将不同的Fabric网络逻辑地连接在一起，在不同的Fabric网络上共享存储资源，这一功能可以充分利用分离Fabric的种种好处，提供误隔离和方便管理的能力。路由服务可以隔离SCN和RSCN等功能。如在一个Fabric中产生的RSCN，可以通过路由服务隔离，不会传到另外一个网络中，可以避免由于RSCN造成的FabricReconfiguration；另外，也可以隔离由于设备原因，造成主机之间的相互影响，提高系统的运行效率。对于远程连接网络，这一点尤其重要。方案中将不同应用的数据备份到容灾中心的磁带库之中，而又不影响两个系统的相对独立，所以采用SAN路由器将不同的Fabric网络互连。连接到SAN路由器的Fabric被称为边缘Fabric，由于SAN路由器可以有效隔离不同Fabric网络之间的相互干扰，这就允许用户建立更大规模的SAN网络，确保系统具有更为强大的扩展能力。通过路由服务，每个边缘Fabric都保留自己独立的Fabric服务：名称服务器、分区数据库、路由表、域ID空间，等等。这就是说，假如一个Fabric有一个域ID1交换机，另一个Fabric也有一个域ID1交换机，但没有该多协议路由器，这些Fabric就不会合并，除非这些冲突得到解决。在生产环境中，解决这些冲突是一个非常耗时和危险的过程。有了多协议路由器，这些冲突就成了无关的问题。在SAN路由器平台上，其他Fabric通过路由功能与路由器相连接。这可以防止WAN链路上的故障转化为影响整个容灾中心SAN或某部门计算中心SAN的事故。这个优点很重要，因为一般的远距离连接链路（裸光纤/DWDM/SDH/IP）的都有一定的不稳定性。一条不稳定的远程连接链路可能会干扰数据中心的SAN应用，但是路由器可以将这些干扰与数据中心的Fabric隔离开。12.1.1磁盘阵列存储设施海量存储的核心对象是数据，因此数据的存储设备是海量存储系统的核心设备。如前所述，采用SAN网络，可以将海量存储系统存储的数据实现集中存储，实现集中存储的存储设备形成存储池。本处描述海量存储系统基于磁盘的存储实现。根据对该海量存储系统的需的分析，以及根据“按需扩展”的原则，这里初步设定海量存储系统的存储池容量50T。该容量可以基本满足未来一段时间内的需要，随着容灾业务的发展，更多的容量可以通过扩展更多的存储磁盘阵列来实现。根据海量存储系统服务用户数量众多，数据访问IO频繁的特点，选择的磁盘阵列应该具有如下特点：应该选择性能较好的光纤磁盘阵列，保证良好的读写性能和可靠性。磁盘容量应该尽可能的大。考虑到主流磁盘阵列的容量、经济型、以及磁盘阵列的集中管理的便利性，尽可能采用大容量配置的磁盘阵列机柜。目前建议采用磁盘阵列的最大容量大约为30T的产品。。磁盘阵列应该附带有强大的磁盘管理软件，实现磁盘阵列的分区、访问控制、容量扩展等功能。存储设备支持广泛的服务器平台。光纤磁盘阵列应该支持目前所有流行的主流UNIX和NT/2000、Linux操作系统和服务器，并且应该允许尽可能夺得服务器同时连接到光纤磁盘阵列上。海量的扩展能力。可以仅仅通过增加磁盘，就达实现容量的扩展。应该支持不同容量的磁盘混合共存在同一盘阵内，为用户今后容量的扩展打下基础。在实际应用时，应该留出富裕的盘柜位置，以便在同一盘柜中较方便地实现扩展具备强大的数据复制功能。光纤磁盘阵列应该支持快速磁盘拷贝、远程容灾等先进功能，为将来功能的进一步扩展打下基础。磁盘阵列支持支持多种RAID处理，和保留HotSpare硬盘的功能。关于磁盘存储池的设计实现，以下是一些考虑：为了实现海量存储系统内网应用容灾的安全性，海量存储系统内网的数据存储设备将和其他数据存储设备分开。根据内网数据的大小，可以选择容量小一些的磁盘阵列，或者减少磁盘阵列柜的数量，但存储设施的架构基本相同。为了便于管理，建议先期采用同一厂家和型号的产品。建议先不考虑对存储池做虚拟存储管理。因为虚拟存储会影响数据存储的性能，其优势在于管理众多异构的存储盘柜。可以在将来容量快速增长之后，考虑虚拟存储管理技术的应用。为了便于充分使用，每个磁盘阵列需要分成不同的卷。为了实现不同数据的安全，可以将不同的卷加入到不同的SAN网络的“分区”中，实现数据卷的逻辑隔离。考虑到中心需要管理的数据卷较多，可能需要对用户卷信息进行管理，如果磁盘阵列附带软件没有设这一功能，可以通过磁盘阵列管理软件提供的API进行开发。以上磁盘存储池的设计，没有考虑为特殊用户提供的磁盘阵列数据镜像（该方案在后面的章节描述）服务存储能力。该阵列中的数据，主要是通过远程备份、数据文件复制、数据库复制等服务软件，为用户保存的数据。有些部门已经具备某些某种型号的磁盘阵列，如果实现磁盘阵列级的数据复制和容灾，往往需要海量存储系统提供同构的磁盘阵列。在这种情况下，本海量存储系统可能需要根据具体方案提供相对应的磁盘阵列。对这种海量存储系统需求，事先采购大量的磁盘阵列是不经济的，也是没有必要的。因此，对这种需求，应该在海量存储系统的场地和网络设施基础上，设计专门的方案，来实施实现。在本方案设计中，仅仅作为一种扩展考虑，不作为当前实施实现的一部分，也不纳入预算。根据对用户数据量的分析估算，建议海量存储系统一期购置的存储设施为：内网磁盘阵列。容量为10T,包括机柜，机头，磁盘以及相应高级功能和管理软件。外网磁盘阵列。容量为30T,包括机柜，机头，磁盘以及相应高级功能和管理软件。存储管理服务器，中端的PC服务器即可。Ed上心・f呻T'T-'T^r^n'rllEd上心・f呻T'T-'T^r^n'rll■-riarrj-.irrr_|„.manmiui:「1= H・Hililif■恂j■WiiMW.!：If-ld'i'uill^'lfl-ilminiHimrawnn・■s■■ma*«a*a*、、.jiA■ ■■ »■-:昭,，我.】.：曜.■"s・.ric-ici:mw¥iiWh+»Uli111UtHlt!：PP■i■■«tWTIWTt.■IIIIHIIHI14»ktllllllIHHH•mvrm-rrr■'1I«gH^■alr■UJUllJtmaLFHmiIWHft』m ■ri.rii^minutinii■tl■!■I If■・■J・1,LHW・'F ■ ■nXiBir-irrrjr・豪mildiiwh■irrrn■rrrr・・UttlltlUlttf:irni!:■rrr;~5f.■2 "stuniiKirmirtatitllnni:mini\m:si!」：：■:y】:i?Q巳比时■ii；|J.fa，-IIBJJIEJTITrH:mtniiuium：ll曲li:Ji■沁讯.卡!円f°«irnliihftinIltlJJIIUHN:I；来来OfflPMFf列数粧犠爛力義 [容灭屮心生屮心储逊擢阵列组!: 讪紳讪 :容灭屮心生屮心储逊擢阵列组图12-3海量存储系统扩展磁带存储设施数据备份是海量存储系统的核心业务，因此数据备份最终存储设备是海量存储系统的核心设备之一。如前所述，采用SAN网络，可以将海量存储系统存储的数据实现集中存储，实现集中存储的存储设备形成综合存储池。本处描述海量存储系统基于磁带的存储实现。根据对海量存储系统需求的分析，以及根据“按需扩展”的原则，海量存储系统的磁带库存储容量按照100个单位，每个单位600GB备份量，备份周期为1周，2周轮换磁带，至少需要200GB磁带600盘，考虑到冗余和其他因素，初步设计海量存储系统的磁带库存储容量为1000盘。该容量可以基本满足未来一段时间内备份的需要，随着容灾业务的发展，更多的容量可以通过增加扩展柜和磁带槽位，或采用更多的磁带库来实现。根据海量存储系统服务用户数量众多，数据访问I/O频繁的特点，选择的磁带库应该具有如下特点：即时、按需提供存储空间特性，使海量存储系统可以立即增添所需要的存储空间，并只为所需要利用的存储空间付费。成熟的存储网络互操作能力，意味着无缝集成到新的、或现有的SAN网络当中。集成的存储网络资源管理，为用户提供SAN设备和网络视图和设备级SAN安全控制机制。可以同时装载大量磁带机驱动器，以获得最高的性能和配置的灵活性。支持LTO、AIT、SDLT/DLT8000和3590等磁带机技术，通过方便的技术迁移和升级途径。同时支持混和磁带介质管理和操作。拥有众多高可用性特点，包括支持热更换电源、双磁带库控制器、热插拔磁带机驱二4竺殆动器等。拥有每秒钟清点5盘以上磁带的高性能机械手；可以快速自动发现新配置、自动校准所有部件。智能存储管理工具包含远程监控、自动报警和虚拟磁带库等功能。关于磁带库的设计实现，以下是一些考虑：为了实现政务内网应用容灾的安全性，政务内网的数据存储设备将和其他数据存储设备分开。根据内网数据的大小，可以选择容量小一些的磁带库，或者减少磁带槽位的数量，但存储设施的架构基本相同。为了便于管理，建议先期采用同一厂家和型号的产品。建议远程的数据服务首先将数据备份到磁盘阵列上，再将数据导入磁带库；磁带库除了完成对外服务（如远程备份）外，需要对内的数据备份提供服务。为了便于充分使用，每个磁带库可以按需要分成不同的虚拟磁带库（分区）。为了实现不同数据的安全，可以将不同的虚拟磁带库加入到不同的SAN网络的“分区”中，实现数据逻辑隔离。磁带库部署图请参见存储网络设计。介质存放设施介质存放设施在海量存储系统中需要保存各种移动数据存储介质，由于这些介质的数量会随着海量存储系统的运作和时间的推移而变得越来越多，所以有必要为这些介质设计和建设存放场所和空间一一介质仓库，一方面便于介质的保护，一方面便于介质的查找。海量存储系统介质仓库的系统功能如下：入库管理海量存储系统介质入库的环节尤为重要。要求能够按照容灾计划做到即时确认、及时补充。库管理员根据手中的手持终端（HandheldTerminal,简称HHT），调用后台资料，与容灾计划资料进行实时比照，并可通过终端无线驱动打印机打印对照表；库管理员根据实时对照表，现场决定介质是否缺失，通过终端调用后台数据库通知容灾用户，以最快速度取回需要入库的介质；保证介质库中介质的可恢复性。上架将介质存放到架位上，要求介质价位应当可以保存各容灾部门所使用的所有格式磁带、光盘等介质。架位管理通过条形码及后台数据库系统对介质存放的架位进行统一的管理，确认哪个介质存放在哪个架位；可定时由库管理员实时检查介质存放的正确性。通过终端或管理控制台实时地查看架位的存储情况、空间大小及介质最大容量/可用容量，管理仓库的区域、容量、体积和仓储限度。系统可以支持介质和架位的反复排定和追踪管理；避免实际现场的错误堆放；使之有序、易于比较和修正现场与系统管理的信息差异；显示、查询介质和架位的使用历史资料。查询管理在任何时间和地点，都可以通过终端进行查询；查询内容包括：介质信息、存储情况、有效期等等；每次查验可以包括该项诸多信息的逐一核对，并反馈给系统有效结果。现场实时查询和容灾恢复的现场实时指挥工作变得方便容易。介质追踪管理在介质的整个生命周期中，从产生、入库保存、调用、归档直到销毁，对每个介质的信息进行追踪管理。调用管理完成调用要求检查、所有须用介质的查询和发送等工作维护管理对介质定期做防霉、防粘等维护工作，防止介质的损坏。安全管理设置介质库门禁和监控系统，防火、防盗。介质存放设施管理系统架构介质存放管理系统拓扑结构示意图如下：CrD件J7：首檢購CrD件J7：首檢購応外那鴛霸筑来巧A勺」■I-IItk'iln垃脑晋＜n臂图12-4介质存放管理系统拓扑结构如上图12-4所示，整个介质存放管理系统分为计算机管理系统和人工介质存放库两部分组成，其中介质管理系统主要通过条形码对介质进行统一的管理，为快速的查询和自动化的管理提供基础平台；介质库主要负责介质的存放，为数据存储介质提供安全的、防范各种危害（霉变、火灾等）的存储空间。而对外服务系统为容灾单位提供网上查询功能。注：内网和外网需要各建立一套管理系统和介质库。12.2备份系统设计针对海量存储系统的备份实现，以下图示（图12-5）的是统一的实现架构。

jt：“齐觀切hm加晒也jt：“齐觀切hm加晒也QhMiMMMHEIf：KSV$.i」H剧说整则|JMI：JNUQPT2IT址轴:*图12-5统一实现架构远程备份容灾远程备份(e-vaulting)级别容灾满足哪种需求针对对于恢复时间要求较高，而且有可能还没有在本地实施备份系统的的部门，通过远程网络直接将数据备份到海量存储系统的存储池中，可以大大提高容灾系统的RTO和RPO,由于海量存储系统具备最为妥善的介质保存措施，不但可以将这些备好数据的介质安全的保护起来，而且可以最大程度地保证介质的数据可恢复性。采用这种容灾方式，一般要求恢复的数据时间点在灾难发生前的几十分钟到几个小时；而从灾难发生后，需要完成从恢复系统、恢复数据、直到实现对外提供应用服务这么一整套的恢复工作，所需要时间大约为几小时到一天。工作流程远程备份级别容灾的工作流程如下图所示：ip'fift■j□I百圧#和论星輯U思咸丄嫩的出卡氐佔搐笛9窑法中心枱ip'fift■j□I百圧#和论星輯U思咸丄嫩的出卡氐佔搐笛9窑法中心枱□I阖阙逕吐怖餵口峥弘笔齐曲暫黒:丸iF电咿;［备t?：r#油1取怕出阶號裁就试n-'il.：i^rr:%□JWB梅戏鶴◎陰骨•対wawtwI：'Wnx缶册親常".UA^磁i】仙i2曲頤JKMi昌引If爵呂ITHnf詹匸士乍打TM.i/jdl耳Ml. &!fc*［片ff：血曲雷因卜JrKll丙单抽.歌好:・F腐叽出、品：V；號心i；:'»、、图12-6远程备份级别容灾的工作流程首先海量存储系统按照事先和各部门协商所制定的容灾计划，定期（每天的某个时刻）自动启动各部门的备份工作，将数据备份到海量存储系统的存储池中。备份数据会按照部门、日期、保存时间、数据类型等关键信息分类地存放在存储池中，同时会再空闲时备份到磁带中，并被保存到温湿环境适当、门禁严格、可防范多种灾害（如火灾、水灾等）的安全区域，海量存储系统还为这些数据建立了完善的数据库及其应用管理系统，以便快速的存取，并提供网上的数据备份查询服务。而当出现故障或自然灾害等灾难时，在出现灾难的部门的本地数据备份完全丢失的情况下，海量存储系统可以按照该部门的要求将完成数据恢复所需的所有数据通过网络恢复到该部门指定的备用服务器上，由该部门的技术人员（或在海量存储系统技术人员的协助下）完成应用的重新启动和对外开放；海量存储系统也可以按照该部门的要求将将完成数据恢复所需的所有物理介质通过人工运输到该部门指定的地点，由该部门的技术人员（或在海量存储系统技术人员的协助下）完成数据恢复工作。整个备份恢复的过程如果完全采用网络传输，甚至在本地不需要做备份；所以如果该部门技术人员甚至不需要掌握备份和恢复技术，在实施时可以大大加快进度。上述是一种原理性的容灾实施步骤，简化的标准可实施的流程如下：和相关需要远程备份级别容灾的部门的技术及业务一起制定详细的DRP计划，包括备份策略、恢复策略、双方指定联系人等；必要的话，海量存储系统可以对该部门人员（技术和业务）进行容灾知识培训，并帮助其完成DRP计划；海量存储系统协助该部门完成远程备份系统客户端及安全通信网络的搭建；海量存储系统和远程备份部门按照DRP计划，按期执行远程备份工作；在海量存储系统将数据保存在存储池中的同时，制作一份磁带拷贝副本，并将其分门别类地存放在具备良好存放条件的远程备份区，同时要建立完备的数据备份数据库和管理系统；数据保存期间，海量存储系统负责监控数据的安全性；而备份的磁带介质在存放期间，海量存储系统一面要按照保存的时效完成介质的更换或归档；一面定期对介质进行倒带、防霉等维护操作，各远程备份部门可以通过海量存储系统对外开放的服务系统，完成诸如查询数据备份记录，更改DRP计划等工作；海量存储系统应当配合远程备份部门定期实施DR演练，确保DRP计划在灾难真正来临是起到真正的作用；当灾难来临时，按照预先制定的DRP计划，快速实施数据恢复工作。系统架构远程备份/容灾系统在海量存储系统的总体逻辑拓扑结构如下图所示：D内网SAYI远程备份/容灾系统在海量存储系统的总体逻辑拓扑结构如下图所示：D内网SAYI』1L Ioa远敦需协砲用迟片祥盼險用图12-7远程备份/容灾逻辑图整个系统主要由备份服务器、备份用磁盘阵列和磁带库三部分组成。此外备份客户端安装在远程的各部门服务器上，而网络主要完成数据的可靠和安全传输。为了保证7x24的备份服务，无论是内网、外网还是互联网都是各由多台服务器组成一个备份服务器集群，当集群中某台服务器出现故障时，可以由其他服务器接替它的的工作。而备份服务器的主要工作有：在执行远程备份操作时，指引远程传输过来的备份数据流向备份用磁盘阵列；而在空闲时（没有远程备份操作时），再将磁盘阵列的数据备份到磁带库中。磁盘阵列是远程备份的近线存储，主要是为了提高备份的速度，最好地利用网络带宽。磁带库负责最终保存备份的数据。而远程备份管理应用系统主要负责远程备份的自动化管理；在数据到备份到存储池中时，海量存储系统的远程备份管理应用系统就会及时地将备份数据的相关信息保存起来。这样远程备份管理应用系统中就会保存有所有远程备份的相关信息，一方面供海量存储系统内部管理使用，一方面可以允许用户可以通过Web浏览器查询自己的相关容灾信息。同样为了安全起见，这里建立了内网和外网两套管理应用系统。远程备份容灾系统的特点容灾的RTO和RPO时间较短，可以满足大部分应用容灾需求•要求各部门在本地服务器安装软件连续的在线备份方案数据可以获得最为安全的保护可靠性和可恢复性更高投资成本较高远程备份容灾系统需要考虑的要素：为了有效的提供远程备份服务，不能简单的将现有的本地备份技术应用于远程备份，因为这样将使得远程备份的成本、效率和服务质量非常低下，从而严重阻碍远程备份服务的开展。因此在建设远程备份系统时，需要在现有的备份技术基础上着重考虑以下几个因素：减少存储投资一方面是解放硬件资源，降低实现同一任务所需要的设备要求；另外一方面是资源的充分利用，解决如何降低磁盘容量需求，提高磁盘利用率等因素，降低客户在享受该服务时需要支付的设备成本。减少网络带宽需求带宽对于本地备份而言不是关键问题，但如果需要实现异地备份，则是非常重要的一个成本因素，如果用户为了享受该服务而必需支付昂贵的带宽租用费的话，那将是一个非常高的成本。因此需要采取一切措施减少远程备份所需要的带宽资源。提高服务质量，保证服务级别提供远程备份服务的目的是保证用户系统在出现故障后能够恢复、并且能够在规定的时间内恢复。降低管理费用对普通的存储系统而言，按照GartnerGroup的报告，其管理费用是购置成本的8倍。对几种存储系统而言，管理变得更复杂，对服务的要求更高，这一比例相应更大。管理费用分为两个部分：对设备的维护管理和提供的服务。先进的技术，规划良好的系统结构和专业人员队伍能极大地降低维护费用。客户端的多样性和服务平台的统一性由于备份客户端会因为不同部门的不同应用而不同，但在海量存储系统可以采用统一平台的备份服务器为各种备份客户端提供服务。外网/互联网与内的区别外网/互联网的数据大、服务多，所以采用的服务器数量较多，内网的服务器数量较少。12.2.2存储资源监控存储管理和监控对于了解、监控与管理规模较大的存储网络是十分必要的。对于容灾系统，这些管理可以有效的帮助位于数据中心与管理中心的管理人员从网络、系统层面上进行全面集中的监控，为将来的发展以及整个存储网络的管理搭建管理框架，并且进一步保证各子系统的管理与维护。存储资源管理（SRM）是一组互为补充的产品、标准和进程，用来对物理及逻辑存储在可用性、容量、配置和性能等方面进行报告,分析和自动管理.--引自Gartner简单地说，SRM提供了一个有关存储网络中的存储容量及其使用状况的动态视图，从而使管理员可以从一个中心管理控制台监控其所有存储设备的状态。即存储资源管理负责管理存储网络上的各种系统，包括数据库、邮件系统、磁盘阵列、NAS、备份系统等对硬盘空间、磁带库空间的使用管理；监控、预测、分析并以各种报表的方式呈现。其主要功能包括：空间管理 搜集空间的使用信息，监控空间的使用，实现配额管理、预警、空间回收、数据迁移容量规划 收集容量消耗的历史信息，提供容量消耗速率报表，从而辅助完成容量的规划资产管理 收集存储资产信息，提供额外的元数据输入事件管理 监控、诊断以及在必要时修复存储性能管理 收集存储资源的性能数据，提供性能分析报表，在物理的极限内提高存储资产的性能配置管理 决定如何对已有的物理存储资源作出最好的安排用于将这些多种多样的功能串接起来的公用线索是 它们都是元数据驱动的。元数据（Metadata,关于数据的数据）汇集了每个被管理的存储对象的信息，包括数据文件（大小、创建日期和属主）和物理存储系统（容量和性能特征）。这些信息可以被那些负责存储的管理员、数据库管理员，IS规划人员以及IS执行人员用来辅助决策。SRM是对许多具体的存储管理功能的新的分类方法 例如容量规划和空间管理（这些功能已经出现很长时间了）。这种在SRM下的重新分类简化了自动化的任务并隐藏了这些管理任务的复杂性，因而可以帮助IS向存储公用设施方向发展。12.2.3存储网络管理负责发现、监控与管理整个存储网络，以及网络的连接性、每个节点的状态、网络可用性、系统性能等等，完善的事件管理可以将事件及时地以各种方式报告给管理员。同时，还可以对光纤交换机等网络设备进行配置管理。更具体地说，对各交换机经常查看其所处SAN架构的运行状况，及早发现潜在问题并自动向网络管理员报警，从而消除了隐患，避免了故障的进一步升级。通过跟踪广泛的fabric事件，为SAN解决方案传递出了最有价值的信息。例如，它应该监控：Fabric资源，包括fabric重新配置，zoning变化和新的设备登陆/退出，ISL的状态变化或中断等交换机等存储网络设备的环境功能如温度，电源和风扇状态以及高可用性的度量值既可以监控多端口级别的端口状态转换，错误和流量信息，并指定端口性能的监控范围，也应该监控所支持的FINISAR的“智能”SFP模块的各种状态。监控SAN网络的安全性，记录非法登陆的时间和次数在监控到各种要素发生规定范围外的变化，应自动、及时地通知管理员，通知的方式应有如下几种：通过向指定e-mail地址发送信息的方式提供事件通知通过简单网络管理协议(SNMP)发通知事件记录(EventLog)条目记录事件通过锁定端口记录通过UNIX的标准系统记录和事件接口集成在一起的SYSLOG发通知同时，网络监控的参数应可快速配置，并可将监控功能集成到一些企业级管理软件中。系统监控管理系统管理软件能够帮助IT管理部门持续的监控分布式的异构系统和网络设备的运行状态，它可以支持OS/390、z/OS、UNIX、Linux、Windows、OS/400、TandemNSK、OpenVMS、PalmOS、MVS等几十种操作系统确保管理的扩展性，并且提供非常灵活的体系架构从而有利于管理范围的伸缩行。海量存储系统系统要求系统管理软件具有内置的智能包括高级事件关联AdvancedEventCorrelation(AEC)可以提供根源分析的能力，快速隔离非根源事件并迅速发现故障原因。服务管理服务水平管理海量存储系统实际上是一个数据存储，备份和再处理中心，为各种用户提供高质量的IT服务；为此需要海量存储系统具有很高的服务水平(ServiceLevel)。以往一般是依靠严密的数据中心管理制度等人为方法来保证，但多年的实践经验说明需要采用可视化的、量化的管理方式和手段，所以容灾在制定完善的服务水平管理规范的同时，也要采用高效的管理软件实现计算机化的管理，提高服务响应速度和水平。服务水平要求是一个综合的、基于Web的解决方案，能够管理跨越整个海量存储系统基础架构的预定义的服务目标。它能够直接从各种不同来源包括基于SNMP的应用程序和网络服务如SMTP、POP、NNTP和HTTP等方面收集可用性和性能数据，其高级配置工具应当允许管理员设置批量报告产生的时间间隔。服务报告基于这些数据产生。运维管理运维管理包括运维规范和辅助的运维管理系统。运维规范在《运行维护》一节做详细阐述。运维管理系统是一个综合的、集成的智能服务台解决方案，它可以接受通过CallCenter或Web界面手工提交的问题，也可以自动接收事件管理平台转发的问题，并且按照规范的处理流程完成问题请求、变更管理以及服务水平管理，科学的自动的完成人力资源分配，确保每个问题及时解决。基于运维管理系统建设的IT服务支持系统是整个系统管理体系的核心。它把用户、各级支持人员、被管理IT系统和监控管理软件有机的结合起来，通过服务台提供的标准化管理模式协同工作，使整体IT服务支持体系达到高效、有序、迅捷的预期目标，从IT服务支持的基础方面保障各项业务系统的高效运行。12.3海量存储系统扩展能力分析在本方案的设计中，必须足够重视IT环境系统建设的可扩展性，导致海量存储系统IT环境可能需要扩展的原因包括：•用户数量的增加；•本方案的实施需要分期进行，初期方案必须考虑未来的扩展性需求不明确的情况下，逐步发展用户的需求的不断变化，新的关键应用的出现。容灾级别需要升级，以抵御更大范围的风险需要。以上需求的变动将可能导致海量存储系统如下方面的扩展需要：数据扩展能力：海量存储系统存储数据容量和能力的变化应用扩展能力：海量存储系统增加新的用户容灾功能，满足用户新的容灾需要网络扩展能力场地扩展能力管理扩展能力下面就以上各方面的扩展实现能力进行论述。数据扩展能力随着用户数量的增加，以及用户积累数据的增加，海量存储系统的数据将不断增长，因此海量存储系统需要首先具备数据扩展的能力。由于采用了海量存储系统SAN网络存储结构，因此数据容量的扩展相对比较容易实现，只要购买新的存储设备，直接接入光纤交换机，经过配置管理软件的恰当设置即可。数据扩展需求一般表现在如下2个方面同一用户原来设置的容量不能满足用户使用，需要扩展容量（包括减少容量）。对这一需求，一般可以通过存储管理的管理软件，进行动态扩展即可。为新的用户提供存储容量（包括取消老用户的存储容量，以便重用）通过存储管理软件，可以进行容量的增减。为了更好地实现海量存储系统地数据扩展能力，需要在扩展数据存储能力时，注意如下几个方面：•尽可能为用户一次提供合理地空间。虽然通过存储设备的管理软件可以实现数据容量的动态调整，但动态调整后，磁盘的重构需要的时间一般较长。注意光纤交换机端口数的变化。尽管目前接入交换机的端口数量够用，但要避免随着海量存储系统的发展，导致交换机端口数太少，使得存储设备的接入困难。一般来讲，出现交换机端口数太少的情况，表明SAN网络中需要增加新交换机，要合理设置交换机之间的连接，避免出现数据传输瓶颈。每个存储磁盘阵列在规划时都应该预留存储扩展能力。在同一盘阵中进行容量的动态扩展，相对容易一些。一般而言，存储容量接近总物理容量的70％时，就需要考虑购买和添加新的存储设备。新的存储设备容量应该尽可能比较大，一方面减少单位存储容量的成本，另一方面也便于管理。在购置新的存储设备时，采用同一系列的存储设备，采用同样存储设备管理软件，可以减少管理复杂度和管理成本。同时注意购置存储设备的相关性能指标（例如支持的主机数等），建议先期先不采用虚拟存储软件对存储设备进行同一管理。在将来有必要时，可以考虑采用虚拟存储管理软件降低存储容量管理的复杂度。应用扩展能力由于用户需求的不断增长，以及新的容灾技术和方案的出现和发展，海量存储系统的应用扩展将是不可避免的。本海量存储系统在设计时充分考虑了容灾应用的扩展能力，可能的扩展需要和实现策略分析如下：1）通过原有容灾设施的配置来满足相同用户端应用容灾的数量扩展在设计和采用容灾技术和方案时，注重了容灾技术和方案的开放性，容灾方案中的架构和产品尽可能采用开放式平台，通过“一对多”的模式，以少量的设施为同时众多的用户端应用和数据提供容灾服务。这样，当仅仅是拓展相同的用户端应用时（利用相同的数据库、相同的操作系统等），可以通过简单的设置来实现应用的增加。满足相同应用容灾需求的扩展。为了实现“一对多”的服务模式，在选择中心的技术和产品时，还应尽可能考虑对用户端操作系统的开放性。尽量避免由于用户端操作系统平台的不同，海量存储系统不得不重新布署新的设施和产品。但考虑到海量存储系统是一个服务对象数量总多的公共中心，因此，在采用“一对多”的模式下，也可能性能、操作系统平台的不同等原因，一套通用容灾平台和设施无法满户足够数量的要求，在这种情况下，就需要考虑增加新的容灾设施来扩展容灾能力。2）通过增加新的容灾应用满足新的用户端容灾需要在如下情况下，需要考虑增加新的容灾设施满足新的用户端容灾需要：a）原有容灾设施由于性能的原因无法满足众多用户的需要；b）由于原有的容灾设施无法满足用户端操作系统的需要；c）用户端有新容灾需要海量存储系统采用新的容灾方案、部署新的容灾设施（例如iSCSI技术等等）；等等。这时，可以通过在海量存储系统直接设计新的容灾方案、部署新的容灾设施来实现。这依赖于海量存储系统网络扩展能力和场地扩展能力。因此海量存储系统应用扩展能力的实现，一方面依赖于原有容灾方案和部署产品的开放性，一方面依赖于海量存储系统的运行维护和技术支持能力。归根结底，海量存储系统的扩展能力还取决于海量存储系统的网络、场地等基础平台的扩展能力。网络扩展能力海量存储系统网络直接影响海量存储系统数据的传输性能，网络扩展能力是保证容灾网络数据传输可用、可靠和性能扩展的需要。具体来说，需要的网络扩展能力包括如下用户的接入能力的扩展首先要保证用户接入多路由的可能性，由于海量存储系统服务对象、以及政务专网结构的特殊性，需要从政务专网来实现。设定目前政务专网运行的高层协议是IP协议。为了保证用户端到海量存储系统端数据传输的用户的接入性能及扩展，采用网络结构，海量存储系统的扩展容易实现。在最初设计时，在充分考虑当前的基础上，考虑未来的网络能力的需求。在本海量存储系统，不论是LAN网，还是SAN网，都采用了核心一边缘交换结构，这是一种容易扩展的架构。需要关注核心交换机的富余端口的数量，做适时的扩展。必要时升级网络设备，较少数据传输瓶颈。场地扩展能力场地扩展能力包括系统的物理空间，地理空间等等，它为海量存储系统提供最后的扩展能力。管理扩展能力随着海量存储系统的逐步扩展，海量存储系统的场地基础设施、网络设施、存储设施、服务器设施等规模会逐步扩大，其中运行的容灾应用规模也会越来越大，为了更好地支持海量存储系统的管理，需要管理能力相应地得到扩展。管理能力的扩展主要通过管理软件的选择实现，必要时通过开发门户管理软件来实现应