NetApp MCC解决方案 NetAppNetApp MCC解决方案 NetApp

TableofContents1 用户需求分析 41.1 背景概述 41.2 客户需求 42 方案设计原则 53 本项目实施的重点 74 NETAPP存储系统特点 85 整体架构设计 96 NetAppMCC方案描述 106.1 NetApp双活数据中心设计方案 106.2 第一阶段，建立双活数据中心 116.2.1 数据中心双活架构可行性分析 116.2.2 风险和影响分析 156.2.3 双活建设方案 166.3 第二阶段规划，完善异地容灾，实现完整的“两地三中心”架构 186.3.1 容灾验证和演练 196.4 第三阶段，利用存储集成数据保护机制完善数据保护机制 206.4.1 逻辑故障防范–秒级备份和恢复 216.4.2 D2D备份设计规划 227 MCC方案布线连接示意图 248 NetApp的双活数据中心架构技术优势 248.1 NetApp双活数据中心架构在中国金融行业的部分成功案例 268.2 同城容灾系统与双活数据中心架构的比较 318.3 双活数据中心架构的优势和设计思路 328.4 主备数据中心升级为双活数据中心 338.5 双活数据中心架构实现方式比较 349 存储虚拟化平台技术方案 359.1 双活存储虚拟化平台设计方案 359.2 双活存储虚拟化平台故障切换场景 379.2.1 NetApp存储双活站点故障切换场景1 379.2.2 NetApp存储双活站点故障切换场景2 389.2.3 NetApp存储双活站点故障切换场景3 399.2.4 NetApp存储双活站点故障切换场景4 409.2.5 仲裁站点设计方案及实现方式、功能说明 409.2.6 双活数据中心的扩容升级 4110 NetApp一体化平台面向私有云架构的优化管理 4211 MCC架构与VMware虚拟化平台的结合 4411.1 NetApp一体化平台与服务器虚拟化的整合 4411.2 虚拟化环境中的性能提速技术 4511.3 虚拟化环境中的数据保护和灾备 4711.4 NetAppFAS和VMware的深度集成 4811.5 VSC存储管理插件 4911.6 NFSPlug-in插件 4911.7 SRA插件 5011.8 VAAI插件 5011.9 VASA插件 5011.10 内置消重功能，降本增效 5011.11 vSphereHA实现的VM自动切换 5211.12 vSphereDRS组双活架构设计原则 5211.13 VMwarevSphereHAforNetAppMetroCluster 5311.14 VM失效场景 5411.15 ESXihost失效 5411.16 ESXihost失联 5611.17 磁盘扩展柜整盘柜故障 5711.18 控制器节点故障 5811.19 站点间心跳网络失联 5811.20 站点完全失效 6112 MCC架构与OracleRAC结构的结合 6112.1 架构对Oracle故障及灾难场景应对 6112.2 Oraclenode单节点故障 6212.3 OraclehostHBA失效 6312.4 aggregate单个磁盘失效 6312.5 diskshelf磁盘柜失效 6412.6 MetroClustercluster控制器故障 6412.7 MetroClustercluster后台FC交换机故障 6512.8 ISL心跳级联线故障 6512.9 siteAtositeB主动站点级切换 6612.10 siteAtositeB被动站点级切换 6613 NetApp一体化存储平台在石油行业的广泛应用 6714 NetAppNAS系统在石油行业勘探开发领域的优势 6715 NetApp一体化平台在国内勘探开发领域应用案列 6916 NetApp存储资源池的划分方案 7016.1 NetApp存储目标架构 7016.2 存储架构的分层设计 7216.2.1 与前端高端存储的接口设计 7216.2.2 存储交换网络设计 7217 存储资源池的数据安全与隔离方案 7617.1 数据安全设计 7617.1.1 RAIDDP 7617.1.2 本地Snapshot 7717.2 数据隔离设计 7717.2.1 应用数据的逻辑隔离 7717.2.2 网络隔离 7817.2.3 存储数据卷隔离 7818 存储资源池的监控与管理 7918.1 NetAppOnCommand监控工具 7918.2 存储产品监控方法 8118.2.1 容量管理 8118.2.2 性能管理 8118.2.3 状态管理 8218.3 存储资源池内部和跨存储资源池的数据迁移方案 8318.3.1 资源池内部数据迁移设计 8318.3.2 跨资源池的数据迁移设计 8318.4 资源调度和调整自动化方案 8418.4.1 存储资源调度功能设计 8418.4.2 存储资源池管理流程 8518.4.3 存储自动化脚本编写 8718.5 存储配置标准化设计 88用户需求分析背景概述华北油田是中国石油天然气股份有限公司华北油田分公司的简称，主要从事石油天然气勘探和生产、石油天然气储运、石油天然气勘探开发工艺研究及规划研究等石油勘探开发核心业务。目前华北油田勘探开发研究院平稳运行两部分私有云平台，分别为企业IT信息化应用平台私有云和高性能计算地质云，两个云平台彼此物理分离，独立运营维护，分别满足勘探开发采集数据的存储，高性能计算和企业门户，管理平台，数据库及OA等业务系统。客户需求目前需要针对企业IT信息应用平台私有云进行升级改造，建立满足企业未来发展需要的IT基础架构平台，建立IT基础架构资源池，提供满足各种服务响应级别要求的IT资源服务。企业私有云的存储平台作为整个IT基础架构的最底层基础平台，将决定整个IT基础架构私有云平台的可靠性、可用性和资源使用效率。存储平台作为企业私有云共享基础架构平台，需要满足为前端各种类型的应用平台提供数据共享存储服务，存储平台的可靠性和可用性直接影响到私用云平台的可靠性和可用性，目前最可靠的容错和容灾架构就是能够达到RPO=0，RTO≈0的数据中心双活基础架构。建立数据中心双活基础架构可实现业务连续性的量化指标如下：情景解决方案业务系统运行情况单一组件故障全冗余系统架构零影响单一生产存储故障双活数据中心RPO=RTO=0，零影响数据中心瘫痪双活数据中心RPO=RTO=0，零影响生产数据逻辑故障快照结合日志恢复RPO~0（恢复到出现故障前）RTO<30分钟区域性灾难异地灾备系统RPO<5分钟，RTO<60分钟存储平台作为企业私有云共享基础架构平台，前端各种类型的应用平台所需的数据类型和访问模式也不尽相同，既有需要满足高并发、高IOPS的结构化数据块型应用类型，如Oracle数据库，又有满足高并发、共享访问、协同工作需求的NAS文件类应用需求，如大部分的非结构化文件系统类的数据访问需求。特别是面向VMware虚拟化平台，由于VMware虚拟化平台的特殊架构，既有数据块类型的访问需求，又有大量的NAS文件系统类型的访问需求，所以存储平台必需是采用一体化架构的基础平台，可以提供各种类型的最新一代高速访问接口，如16GbpsFC接口，10GbpsIP接口或FCoE接口，同时提供FCSAN、IPSAN、NAS等多种存储连接能力，可以根据应用平台需求，按需提供各种服务响应级别的存储服务，最大化资源共享和资源复用能力，最大化IT基础架构的使用效率。同时双活基础架构平台也需要同时满足一体化平台的双活能力，既能够提供SAN类型数据的双活，也同时能提供NAS类型数据的双活架构。方案设计原则整体方案设计将遵循以下基本原则：先进性：先进的设计思想、网络结构、开发工具，市场覆盖率高、标准化和技术成熟的软硬件产品。灵活性：由于存储系统的数据量非常大，如何与VMware虚拟化结合，管理大量的数据，包括数据备份/恢复，都对存储系统的管理提出了巨大的挑战。系统管理人员需要有高效的方法实现全面的存储系统监控，包括实时数据性能监视、错误监测、错误状态识别等等。另外作为集中的存储平台，由于前端需要连接的服务器数量很多，如何在多个服务器平台之间对容量进行灵活的划分和调度也将为存储系统的管理提出了巨大的挑战。采用积木式模块组合和结构化设计，系统配置灵活，满足用户逐步到位的建设原则，使存储及网络具有强大的可增长性和强壮性。可靠性：本次存储系统数据的集中管理，属于关键业务，对系统的高可靠性有着很高的要求。由于采用了集中存储方案，存储平台的任何故障均会造成巨大的影响。因此存储平台的数据安全性和系统高可靠性尤为重要，我们设计的整体系统软、硬件设备具有高可靠性，具备长期稳定工作的能力，可实现系统冗余功能，并具有防止误操作等行为对系统造成的破坏。实用性：方案设计符合国际相关标准和技术规范，并且容易使用、操作简便。充分考虑利用各种资源，人机界面友好，能使用户最方便地实现各种功能。高性能：存储系统要存储大量的在线/离线数据信息,支持更多服务器的数据存储要求。由于总的数据量较大,如何在大数据量情况下满足多客户机的并发访问，整个存储系统的性能也是一个非常关键的要求。发展性：考虑到将来业务的增长，数据量还会持续增加，客户机的数量也会继续增加，系统的性能还应能很好的适应未来的扩展需要。存储系统规划设计满足用户发展在配置上的预留，满足因技术发展需要而实现低成本扩展和升级的需求。扩展性：作为集中存储的基本要求，存储系统应能支持巨大的存储容量，可以集中存储不同平台的应用数据。随着时间的推移、技术的发展以及环境的变化，业务系统的数据量会飞速增长，许多新业务系统会不断产生，因此对存储系统的可扩展性有很高要求。这主要表现在对存储系统容量的平滑扩充以及对新的主机系统的平滑连接，以尽量减少对已有正常业务的影响。我们设计的系统具有开放的、可扩展的系统架构，在中石油相关业务发生变化时，可以方便地进行系统升级与扩展。兼容性：同时连接不同的服务器平台，以满足数据集中存储的需要系统建设具有良好的兼容性，充分考虑系统向下、向上的兼容，将系统建设和现有的系统资源以及未来的系统规划充分结合。本项目实施的重点从云计算的定义出发，借鉴业内的云计算项目的经验，我们认为，要成功设计并实施云存储系统，必须考虑如下要点：存储能够灵活地扩展性。存储平台云化后应该类似于对虚拟服务器做的事情，需要能够迅速且以最少的开销分配、增加、减少并重新分配存储。而在中石油架构中，由于NetApp存储需要通过高端存储网关向主机提供容量空间。存储的扩容、监控、调整等带来的天然的复杂性，如何处理存储的日常调整是项目设计与实施中需要重点考虑的内容。能够自动化存储管理流程。进行配置、备份和复制等常规操作的自动化程度越高，环境的可扩展性就越强。能够测量和汇报使用情况。为了实施云服务，必须将资源理解为满足各部门和各业务系统服务需求的一个要素，能够汇报该要素实际的使用情况，并且现在或将来能够按照资源的使用情况进行审计。能够自由移动数据。如果数据束缚在缺乏灵活性的存储里，有效性和可用性将变差。能够在确保资源足够安全的时候建立多租户，达到安全隔离要求。允许多个业务单元或独立应用系统分享同一存储硬件是有效云存储的一个必要条件。能够提升存储效率。第一步是提高利用率，除此之外，削减开销、自动精简配置和消除冗余都有助于提高效率。能够有效保护业务数据。成功实现云的一个关键是集成所有的流程，让它们变得简单、可重复和有效。具有合适的策略级别、覆盖所提供的每项服务的一致数据保护和灾难恢复流程是基本的。存储环境支持存储虚拟化。存储虚拟化将是云架构的一个关键组成部分，需要存储与现在正在使用和将来很可能采用的任何虚拟化解决方案紧密集成在一起。NETAPP存储系统特点统一存储平台，一体化设备，同时支持FCSAN、IPSAN、NAS、FCoE，FCSAN和NAS在同一个管理界面下进行管理，存储空间管理方式完全相同，管理简便，可靠性高，易于维护。NetApp一体化存储平台集成存储虚拟化和存储双活解决方案，无需任何外置的控制器，与VMware与OracleRAC架构的紧密结合，提供应用级双活解决方案，全球有超过8000个双活结构案例，广泛应用于金融行业的核心业务系统及制造行业的ERP系统。NetApp存储产品完全模块化设计，产品包括从底端6块磁盘到最高端4800块磁盘，扩容和升级简便，产品延续性好，管理方式也完全相同，具有良好的扩展，易于保护投资。NetApp存储产品全部采用RAID6磁盘容错技术，数据保护级别最高，容错能力最强，磁盘利用率远远高于RAID0+1，产品性价比好。NetApp存储产品提供副本消除技术，节省存储空间的耗费，最大可以比同类产品节省30-50%的存储空间耗费。NetApp存储产品可以提供一整套完善的存储集成数据备份和容灾解决方案，解决数据管理的所有问题。NetApp存储产品具有同类产品的最优性能，包括FCSAN性能和NAS性能，以及IPSAN性能。NetApp存储产品同时支持SSD、SAS磁盘和SATA磁盘，可以达到性能、空间以及电力耗费的最优配比。配置复制备份软件、应用程序管理套件解决数据备份、应用程序数据备份恢复。NetApp存储产品结构最简单，对于中石油项目涉及的控制器数目最少，需要的管理平台也最少，对电力和空间的耗费最小。容量扩展简单命令、一秒钟即时见效，独到的Qtree概念方便空间的管理，同时真正实现“所买即所需”的升级模式，最大程度保护投资，不存在任何重复购买现象。最优的整体拥有成本（TCO）。集群架构，彻底避免单点故障。数据大集中，有效利用存储空间，磁盘利用率最高。存储设备有业界领先的快速响应时间（NetApp是业界第一个提供低于1ms响应时间的存储厂商）。专业DataONTAP操作系统，高度可靠，免于病毒侵袭感染。秒钟级的备份和恢复，减少宕机时间，充分提高数据和系统的可用性。Unix和Windows可以实现真正文件级的数据共享，节约投资、简化管理；整体架构设计本次项目配置2套NetAppFAS8060一体化存储系统平台构成双活体系架构，NetAppFAS8060一体化双活架构，含4个控制器节点，每节点64GB缓存，合计256GB缓存，配置无容量限制存储虚拟化许可FlexArray，支持连接第三方存储设备，合计配置32个16GbpsFC端口，配置双活架构光纤连接设备，含4套Brocade6505交换机，4个ATTOSAS-FC桥接器，配置336块1.2TB10krpmSAS磁盘NetAppMCC方案描述NetApp双活数据中心设计方案统拓扑示意图如下：第一阶段，建立双活数据中心前面已经讨论过，双活数据中心是当前成熟的部署方式，相对于传统主备容灾，有很多优点。但首先需要分析的是，双活数据中心如何落地？数据中心双活架构可行性分析完整的双活数据中心需要以下几个层面的支持：双活的存储架构。支持一个数据库实例在两个数据中心之间互为镜像，任一损坏都不会影响应用运行。跨数据中心的存储网络互连（ExtendedFabric），Oracle官方建议RAC之间的链路延迟低于1ms（Round-Trip）。跨数据中心的主机高可用跨数据中心的应用双活跨数据中心的应用网络互连，要求延迟低于1ms（同样是OracleRAC的要求）因此，首先需要确认可以获得低延迟的裸光纤链路，用于存储的最低要求是4对裸光纤：用途连接设备光纤(对)服务器到存储原有SAN交换机互联2双活存储互联(心跳)MC内部SAN交换机互联4（建议）主机高可用方面，无论是IBMPowerHA、HPServiceGuard、MSCS、VCS等都支持长距离的高可用集群。因此这个条件也是具备的。应用方面，主要应用是OracleRAC。OracleRAC在这种远距离距离的实施，早在2006年就有大量的安装案例了。可参考Oracle白皮书《OracleRealApplicationClustersonExtendedDistanceClusters–UpdatedforOracleRAC10gRelease2》，发布日期是2006年10月。OracleRAC在NetAppMetroCluster上的应用是非常成熟和可靠的，早在2008年，Oracle官网就介绍了RAC和NetAppMetroCluster的案例，见：/us/solutions/custstory-rac-gottwald-177716.pdf下图描述了OracleRACExtendedCluster基于NetAppMetroCluster技术上的实现(两地三中心)：值得指出的是，当前其他应用平台都能够支持双活技术了，如DB2、vSphere等。VMware的白皮书“VMwarevSphereMetroStorageClusterCaseStudy”就以NetAppMetroCluster为例，阐述了VMware如何实现双活数据中心。

综上所述，现有生产环境升级到双活数据中心完全是可行的。升级之后，同一个应用可以同时跑在两个数据中心，两个数据中心对客户端提供统一的接入接口。可以这样讲，逻辑上的一个应用，物理上分布到两个数据中心，均衡负载，互为备份。发生任一单点故障，均不会影响应用运行。请参见下图：风险和影响分析由于双活数据中心的各个组成方面，或者是已经具备条件，或者采用成熟解决方案，如果实施计划周密，风险完全可控。两个数据中心之间采用可采用运营商裸光纤，同时也可利用xWDM设备实现线路复用（南充商行将部署DWDM设备），满足双活的基本要求。如有将来有条件，可考虑增加不同的运营商或者物理路径，从而实现链路的物理冗余。另外一个需要考虑的因素是长距离OracleRAC的性能是否会降低。根据Oracle官方文档的评估，在20KM距离下，OracleRAC在两个数据中心上运行的性能，比所有设备在同一数据中心运行的性能，性能低了不到5%：双活建设方案存储方案建议选择NetAppFAS8060统一存储设备作为核心应用持续高可用存储。核心应用存储由两套FAS8060统一存储构成，两套FAS8060之间通过同城DWDM光纤连接，采用光纤链路实现互相的心跳检测及数据传输，存储系统采用物理磁盘组成两份物理镜像通过SyncMirror软件实现磁盘数据同步，利用MetroCluster技术实现存储远程双活集群。借助第三地的Tiebreaker仲裁节点，可以有效地防范双活架构中的“脑裂”（SplitBrain）现象，并实现自动化的故障恢复。

NetAppFAS8060磁盘阵列作为是NetApp公司的最新一代的统一存储架构的磁盘阵列产品，能够为用户提供高性能、大容量存储系统。NetAppFAS8060不论从性能、可靠性和扩展能力都可以满足用户对当前和未来的数据存储系统的要求。FAS8060是一款中高端的企业级存储设备，SAN平台下最大支持8个控制器、512GB一级缓存和32TB二级缓存，最大容量为4800块磁盘、11.5PB，可以支持最多96个16Gb光纤通道口。云平台数据库类型应用数据基本上为结构化数据，可以考虑采用高性能、低延迟的FCSAN网络部署。每个数据数据中心需部署两台SAN交换机，形成冗余的存储网络。云平台文件类非结构化数据，可以采用NAS方式进行部署，网络为IP网络，同样需要建立冗余的访问路径。对于虚拟化平台，可选择部署在NAS的大文件系统上，通过NFS协议访问，非常有利于管理和扩展，也可选择FCSAN方式，利用其高性能、低时延的特点。总结起来，本阶段双活数据中心达到的目标是：针对各类物理故障可实现零数据丢失和零应用影响。所需要具备的条件和设备如下：6对裸光纤链路（其中4对用于存储互联，2对用于主机端SAN网络互联）。对称部署的NetAppFAS8060双活存储NetAppTiebreaker软件NetApp专业实施服务第二阶段规划，完善异地容灾，实现完整的“两地三中心”架构第一阶段云平台双活数据中心完成后，可总结第一阶段的经验，并着手第二阶段的规划实施。在异地灾备中心，可以利用一台NetAppFAS8000，虚拟化利旧的EMC存储，与生产中心的FAS8060MetroCluster双活存储实现远程容灾复制。采用的复制技术是FAS8000内置的SnapMirror远程容灾功能，可直接支持IP链路，支持链路压缩。SnapMirror允许客户选择适当的同步级别（同步、半同步和异步），从而实现了较高的灾难恢复保护级别。其中异步模式复制间隔最低为1分钟。SnapMirror支持数据的增量反向远程复制：在正常情况下，业务数据从主磁盘阵列复制到容灾磁盘阵列上。在主磁盘阵列发生故障无法正常运行的时候，前端主机可以直接访问容灾磁盘阵列上的数据，当主磁盘阵列恢复正常运行的时候，这时可以利用SnapMirror增量反向远程复制功能以增量的方式把容灾磁盘阵列上那些变化的数据复制到主磁盘阵列上，大大缩短了系统恢复到原有状态所需的时间，使得两边的数据再次保持一致，然后就可以恢复SnapMirror的正常数据复制。服务器方面，可利旧原有服务器，应用级容灾。双活系统所需的Tiebreaker，可部署在容灾中心。容灾验证和演练容灾数据的验证和测试，以及定期的容灾演练，是容灾系统建设不可缺少的部分。通过容灾数据的验证测试，以确保容灾中心的数据完整性和可用性；而定期的容灾演练，有利于让维护人员熟悉容灾流程，完善应急预案。使用NetApp独有的精简克隆技术，可利用任一快照，秒级生成克隆，极低空间占用。利用这些克隆可方便地进行容灾系统中必须定期完成的容灾演练、数据验证。请参见下图：第三阶段，利用存储集成数据保护机制完善数据保护机制随着数据量的增加，同时希望故障后对业务的影响降到最低，因此有必要建立多重数据保护机制。前面提到，对于逻辑故障，现有解决方案是采用传统备份软件。但是在恢复速度上满足不了新的要求。解决办法是：使用双活存储设备自身的快照备份功能，实现秒级数据备份和恢复优化原有备份方式，例如采用D2D2T的备份方案，备份和恢复速度上得到一定的提升，同时也可以保留离线归档备份。未来灾备存储也需要建立快照历史备份，有效应对逻辑故障传递建设完成之后，可以达到的效果是：恢复最近的数据，可利用双活存储自身的快照备份，秒级数据恢复，分钟级恢复应用恢复较长时间前的数据，从近线存储（可考虑未来部署一套）恢复，可实现分钟级的数据恢复逻辑故障防范–秒级备份和恢复NetAppFAS8000内置快照功能，提供秒级备份和恢复功能，有效防范逻辑故障(海量文件、数据库和虚拟机的最有效备份恢复方式)利用NetApp卓越的快照技术，对Oracle、DB2、SQLServer以及海量文件系统进行数据一致性的秒级快照备份。备份窗口从原来的几个小时缩短为1~2分钟，仅仅为数据进入热备模式时间+1秒。对于同一个数据库，NetApp支持多达255个时间点的历史备份。如数据库（Oracle、DB2、SQLServer）或文件系统发生逻辑数据错误，可使用SnapRestore进行快速的恢复。数据恢复时间为数秒，再加上日志重做的时间，应用恢复可控制在十几分钟至数十分钟内，远低于其他方案的数个小时。虚拟化平台（如VMware）下，因为备份窗口过长,传统的备份技术更加难以适应。而NetApp的快照技术，不但可以通过秒级备份和恢复解决这一问题，而且还可以实现与VMware在管理上的集成。即备份恢复数据，仅仅需要在vCenter内部调用NetApp的功能即可，无需掌握备份软件、无需掌握存储管理技术，提升应用在线能力的同时，大幅降低了管理的复杂度。D2D备份设计规划在未来，还可利用一套NetAppFAS8000作为近线存储，利用高效的SnapVaultD2D备份，提升应用的可用性。和传统备份模式相比，NetAppSnapVault是Server-Free方式，备份流不通过主机，因此不会影响主机性能；而传统方式为LAN或者LANFree方式，对主机性能有一定的影响。除此之外，NetAppSnapVault和传统备份模式相比，还有如下优点：项目NetAppSnapVault传统D2D备份数据备份很快，秒级更多的备份点很慢，小时级一天一个备份点对生产的影响无较大，且时间较长数据恢复很快，秒级很慢，小时级空间效率高，仅一次全备的方式，加上消重技术较高，仅虚拟带库的消重技术备份验证方便，且不需要空间–降低人力、硬件成本复杂，且需要额外空间–额外人力和硬件成本备份数据利用备份数据为主机可以直接识别和挂接的格式；可方便用于开发、培训以及生产应急，提升投资回报率只能用于数据恢复许可证方式总体很低：仅一次性购买，再多的主机接入、再多的数据量，均不会增加成本总体很高：按主机数量收费，每增加业务主机，需要额外购买备份软许可MCC方案布线连接示意图NetApp的双活数据中心架构技术优势这两年来，大数据行业的应用有以下发展：一是数据量越来越大，数据类型也呈多样化。由于大数据和云技术的应用发展，各行业的沉淀数据量呈几何级增长。我们估计，在不久的将来，很多行业的数据量将达到PB级别。同时，非结构数据和结构化数据在各应用中将并存，而且数据增长方向主要在非结构化数据。如何管理海量的数据，对传统存储来说，是巨大的挑战。二是应用要求越来越高。这既体现在应用对“不中断运行”的要求上，同时也对应用系统性能的需求。两者其实可以归为一个目的，保证应用正常运行，减少宕机时间。三是应用种类越来越多，对管理维护也提出更高要求。新需求不断地提出，也会产生新的应用。那么对于存储系统最大的挑战是，如何满足新应用需求的同时，降低管理维护的复杂度。四是突破不同系统、不同行业、不同地域之间的信息壁垒，实现充分的信息资源共享、互备。利用传统的存储技术，要实现以上目标，必须付出很大的代价。而NetApp的创新技术可以帮助用户轻松实现，而且这些技术全部“统一”到一个平台上了：统一存储

NetApp发明了统一存储，它可以同时整合不同类型的数据，统一管理。同时，单套NetAppFAS存储可以管理超过50PB的数据量，轻松应对新的业务带来的海量数据––这正是我们擅长的。

弹性扩展

从较小的型号起步，后期也可以灵活地对性能和容量进行扩展和升级，没有数据迁移的阵痛，而且可以保护原有投资。

业务连续性

NetApp存储内置了丰富的数据保护措施，足以应对各类故障。如“双活”、容灾、秒级快照备份、D2D备份…这些功能全部内置于存储本身，不需要额外购买软件。

高效率存储技术，应对海量数据

针对日益膨胀的数据量，NetApp免费提供了压缩、消重等技术，可以大幅降低磁盘购买量。NetApp还提供性能加速技术，各项性能测试表明，相同硬件配置下，NetApp可以提供最好的性能，保证核心业务的最低延时目标。

面向虚拟化、云计算的共享式架构

NetApp最初设计就是按照共享式的IT架构来做的。共享式架构，也是虚拟化和云计算的基础。不但可以打破应用、地域之间的信息壁垒，同时还可以提升硬件资源利用率，降低维护复杂度。更重要的是，面对新的应用需求时，可以做出更快的反应和调整。NetApp双活数据中心架构在中国金融行业的部分成功案例NETAPP在金融行业部分成功案例客户名称产品型号及台数应用SnapMirror灾备距离是否为MetroClusterSAN/NAS中国银行FAS6040A*2CallCenterY同城NSAN/NASFAS3240A*2分行级核心应用Y同机房NNAS中国建设银行总行数据中心FAS6280AMC*1数据交换平台N同城YNASFAS6280*42+FAS3200*6虚拟化云平台+非结构化数据云平台N

同机房YFCSAN+NAS招商银行总行数据中心FAS3040A*2邮件系统Y深圳-南京NFCSANFAS3040A*2DB2/MSSQL数据库,通用系统Y深圳-南京NFCSANFAS3040A*2网银日志Y深圳-南京NNAS招商银行总行数据中心FAS6040AMC*2VMwareY深圳-南京YFCSANFAS3040AMC*1VMwareN同城YFCSANFAS6240AMC*1招商银行信用卡中心FAS6240AMC*1WindowsSQL，一卡通网关，第三方支持平台N同机房YFCSAN深圳发展银行总行（现平安银行）FAS3240AMC*1VMware/OAN同机房YiSCSI/NASFAS3240AMC*1ODS应用系统，IBM小机＋OracleN同机房YFCSANFAS3240AMC*1Oracle报表系统N同机房YFCSANIBMAIX+OracleRAC内蒙古银行FAS3140*1，FAS3040*2核心系统，两地三中心Y两地三中心NFCSAN乌鲁木齐商行FAS6220（V）*2前置整合，储蓄，国债，支票影像，OA，城商联盟，黄金系统，信贷，基金，银联，VM虚拟化Y同城（10KM）NFCSAN四川省农村信用社FAS2040*16后督系统N无NNAS成都银行FAS6240*1，FAS3220*5流程银行Y同城NFCSAN南充银行FAS6220*1流程银行，数据仓库N无NFCSAN/NAS上海农商银行FAS6240*2虚拟化平台部署及容灾Y同城YFCSAN/NAS曲靖商行FAS3240MC*2核心业务系统Y同机房+曲靖/昆明双中心YFC浦发银行信用卡中心FAS3040*2文件服务Y同城NFC浦发银行数据中心FAS3020*2文件服务Y同城NNAS交通银行数据中心FAS6240AMC*1VMwareN同机房YFCSAN交通银行数据中心FAS6030A*2VMwareY同城NNAS文件服务民生银行外汇交易中心FAS6280AMC*1SAPN同城YNASFAS3270AMC*1VMwareN同机房YFCSAN柳州银行1xFAS3020C银行核心，OracleRACY200公里NFCSAN2xFAS270C1xFAS2040A桂林银行1xFAS3160A银行核心，OracleRACY同城NFCSAN1xV3140A南海农信FAS3140/FAS2050VMwareY同城NFCSAN/NAS影像/日志恒生银行FAS2040*2文件服务Y同城NNAS汇丰银行FAS3240*2文件服务Y同城NNAS瑞穗银行FAS3140*2文件服务Y同城NNAS存储虚拟化光大银行FAS3140/FAS2040备份Y北京-上海NNAS中登北京FAS3270A*2文件存储/服务器虚拟化Y同城/北京-上海NSAN/NAS中登上海FAS3170A*2桌面虚拟化Y同城/上海-北京NSAN/NAS/iSCSIOA服务器虚拟化报文上海证券交易所FAS3210*4文件服务Y同城NNAS信诚基金FAS3210*2核心应用Y上海-北京NSAN/NAS安诚保险FAS3250*1（MC），FAS2240*2全部核心应用+虚拟化Y两地三中心（重庆-北京）YFCSAN、NAS太平洋保险FAS3210A*2文件服务Y同城NNAS太平洋保险FAS3160AMC*1VMwareN同机房YNAS同城容灾系统与双活数据中心架构的比较在同城这一环节，双活技术是优于传统同步容灾技术。传统容灾技术有以下局限：故障后切换时间太长，对业务影响很大目前同城灾备模式一般为“主备”模式，虽然同步容灾技术可以实现RPO=0的目标，即零数据丢失，但是由于同步复制的原理，导致容灾库数据平时完全不能够被主机访问和使用。即下图中，源端存储实时地将生产库的变化，复制并更新到目标端的容灾库。因为这个更新是底层存储发起的，并非通过上层的数据库软件完成，所以容灾端的数据库必须保持关闭状态。只有断开容灾复制关系，才能在容灾主机端重新设备和导入存储设备，挂接和打开数据库。再加上灾难后的网络切换、数据检验时间，导致整个容灾切换过程通常以小时来计算。具体的过程一般如下：同城容灾中心断开容灾复制关系容灾库挂接到灾备主机上，启动容灾库检验容灾库数据有效性将业务请求重定向到容灾中心，接管生产

主备关系的容灾模式，容灾中心设备闲置率高

由于前面提到的技术原因，容灾库实际上一直只能够处于关闭状态，因此所有的业务全部在生产中心处理，而容灾中心设备利用率很低，无法分担生产任务。逻辑故障应对能力较弱

由于生产库和容灾库为实时同步，因此当生产端出现逻辑故障，如误删除一张表、误删除一个数据文件（OracleDatafile）、Oracle出现bug导致无法启动，容灾端也会出现同样的故障。

目前应对此类故障主要依赖于备份软件。但恢复数据和业务时间通常都是以小时来计算，对业务影响较大。管理复杂度较高由于容灾库平时都是关闭状态，如何保证其数据的有效性和可用性？而且容灾切换大部分都是人工操作，如何确保应急预案可以顺利地执行？因此在容灾系统建设中，都存在以下的制度和规定：常态化的数据验证和定期的容灾演练。这样无疑给运维带来巨大的管理和人力成本。对于以上的情况，双活数据中心具有更好的技术和解决手段。接下来，我们将对这些技术进行介绍和分析。双活数据中心架构的优势和设计思路为解决前面提到的问题和挑战，本方案提出以下几点建设目标：同城灾备升级为同城双活，消除严重故障对业务的影响全面提升业务连续服务能力均衡负载，资源利用更充分和合理优化管理，降低运维成本为实现以上建设目标，可按照以下设计思路，逐步建设和完善。主备数据中心升级为双活数据中心业界对于双活数据中心解决方案进行了深入的研究和发展。2006年开始，主机厂商、存储厂商和数据库厂商逐渐将该技术推向市场。目前，双活数据中心已经非常成熟，而且得到了广泛的应用。主备数据中心升级为双活数据中心，并在此基础上进一步完善为“两地三中心”模式。这个阶段始于2012年。双活数据中心实现后，可以达到以下目标：极大提升业务连续服务能力

发生重大故障后，业务运行不受影响，消除了现有环境中“容灾切换”带来的停机时间。核心业务系统得到最完善和最充分的保护。我们预计，对于物理故障，双活数据中心可以实现RPO=0和RTO=0的理想目标。业务负载分摊到两个数据中心，避免了资源闲置故障后可实现自我修复，大幅降低了人为因素无需常态化的容灾数据检验和容灾演练，降低运维压力和成本情景解决方案业务系统运行情况单一组件故障（较高概率）全冗余系统架构零影响单一生产存储故障（低概率）双活数据中心RPO=RTO=0数据中心瘫痪（低概率）双活数据中心RPO=RTO=0生产数据逻辑故障(低概率)快照结合日志恢复RPO~0（恢复到出现故障前）RTO<20分钟区域性灾难（极低概率）异地灾备系统RPO<5分钟RTO<1小时双活数据中心架构实现方式比较双活数据中心架构主要由基于数据Oracle数据库的应用解决方案、基于专门的存储虚拟化双活网关解决方案、以及存储系统内置双活解决方案，NetAppFAS8000一体化存储平台就是采用的存储系统内置双活解决方案。基于数据库的解决方案基于专门的双活存储网关的解决方案NetAppFAS8000核心业务数据库的同城双活很好，但有数据库品牌的限制很好很好文件服务双活不提供不支持支持异地灾备很好，但有数据库品牌的限制需要增加CDP平台支持数据备份慢，应用一致性实时，但非应用一致性很快，应用一致性数据恢复速度慢一般快系统扩展性依赖于底层硬件网关和后端盘阵必须同时扩展，投资较大很好，支持横向扩展和纵向升级优化运维管理N/A本身由双活网关、盘阵、CDP三个产品组合而成，管理复杂度增加大幅简化管理。仅一种平台，且提供丰富的自动化管理手段，与应用和虚拟化平台实现深度的集成加速应用研发无无精简克隆，极低空间，生成多个数据副本，支持并发测试原有存储利旧支持支持VMware环境多协议支持仅FCSAN全部协议VMware环境热点数据加速双活网关无法提供二级缓存自动识别加速热点数据VMware双活架构支持支持VMware备份不支持必须引入备份软件内置，且优于备份软件VMware远程容灾不支持必须依赖CDP平台内置存储虚拟化平台技术方案 双活存储虚拟化平台设计方案存储虚拟化平台是建设虚拟数据中心的核心与关键，本次NetApp双活数据站点虚拟化方案设计可满足两个最远200公里以外的数据中心的虚拟化数据应用，同时可实现存储后端统一管理其它品牌光纤存储设备（NetApp存储虚拟化兼容列表内的其它品牌存储设备），前端满足虚拟化应用的需求。存储虚拟化平台负责按需提供满足要求的存储资源，以及对异构产品的统一管理、保障数据安全等基础服务。如图：本次方案中每套存储虚拟化网关后端配置168块1.2TB10KSAS磁盘，两个虚拟化网关最远位于200km以外的两个数据中心，为了保证两个存储虚拟化数据中心的数据双活，本次方案采用NetAppMetroCluster技术，在每个数据中心配置一份本地数据及另一个数据中心的镜像数据，保证数据的统一性和完整性，保证本地硬件设备故障时，可通过访问异地数据中心的备份数据来保证数据的高可用性，同一个虚拟卷可供两个数据中心主机同时进行读写访问，并且访问请求由主机所在数据中心的虚拟化网关/控制器响应。同时为了节约成本，方案可通过采用NetAppFAS8060存储虚拟化网关整合环境中现有存储设备，可整合包括IBM、HP、EMC、HDS、3PAR、FUJITSU多家的FC存储设备，本次配置的存储设备是经过Vmware认证的存储设备，可与Vmware完美结合实现存储平台上的虚拟化应用，为应用层提供透明的存储服务。双活存储虚拟化平台故障切换场景NetApp存储双活站点故障切换场景1如图：场景1为SITEA数据中心虚拟化网关发生故障，在此虚拟化网关后端的存储空间应用无法通过此虚拟化网关访问，通过第三方仲裁站点仲裁后自动启用存储Failover功能启用，存储空间应用此时可通过SITEB数据中心的虚拟化网关进行访问SITEA数据中心的A_LOCAL数据，数据访问不中断。此时可通过更换故障虚拟化网关后数据访问链路恢复正常。此场景中数据访问不中断。同理，SITEB数据中心虚拟化网关发生故障同样适用。NetApp存储双活站点故障切换场景2如图：场景2中SITEA数据中心的部分Shelf发生故障，用户通过存储虚拟化网关无法正常访问本地故障Shelf，第三方仲裁站点无任何操作，存储MetroCluster功能发现SITEA数据中心A_LOCALShelf故障后自动访问SITEB数据中心的A_LOCAL的镜像数据，数据访问不中断。此时可通过更换故障存储设备后数据访问链路恢复正常。此场景中数据访问不中断。同理，SITEB数据中心部分Shelf发生故障同样适用。NetApp存储双活站点故障切换场景3如图：场景3中其中一个数据中心的光纤交换机发生故障，SITEA端数据无法通过正常链路连接到SITEB数据中心的镜像存储设备，通过第三方仲裁站点仲裁后SITEA端的虚拟化网关通过本地另外一台光纤交换机访问另一个数据中心的镜像数据，数据访问不中断。此时可通过更换故障交换机设备后数据交互链路恢复正常。此场景中数据访问不中断。同理，SITEB数据中心光纤交换机发生故障同样适用。NetApp存储双活站点故障切换场景4如图：场景4中SITEA数据中心的存储完全故障或是本地数据中心电力故障导致本地数据无法正常访问，用户无法通访问虚拟化网关后端的故障存储空间，通过第三方仲裁站点仲裁后数据访问自动切换到SITEB数据中心的镜像数据，数据访问不中断。此时可通过更换故障存储设备或是电力恢复正常后数据访问链路恢复正常。此场景中数据访问不中断。同理，SITEB数据中心存储完全故障或是本地数据中心电力故障导致本地数据无法正常访问时同样适用。仲裁站点设计方案及实现方式、功能说明针对MetroCluster的第三方仲裁是为了应对在MetroCluster环境中发生故障后MetroCluster无法自动进行切换的主动监测，自动切换的仲裁方案。第三方仲裁通过在第三方位置的DFM服务器持续的监测MetroCluster控制器以及网关设备，当仲裁服务器发现MetroCluster控制器达到Failover条件后，则自动执行Failover命令，自动执行Failover操作。如图：在环境中，位于第三方位置仲裁站点服务器上安装有MetroClusterTieBreaker（DFM插件），仲裁站点插件可安装的Windows或Linux服务器客户端，服务器需通过网络与两地双活数据中心部署的NetAppMetroCluster存储节点连接。在仲裁站点需创建自动仲裁切换条件双活数据中心的扩容升级NetApp存储扩容非常简单，只需在扩容前做好容量规划，然后在整套存储设备不断电的情况下串接好扩容设备，按照规划好的容量进行存储扩容配置。如图：NetApp存储扩容前后数据中心的网络架构无任何改变，我方工程师会根据用户现有的存储设备以及用户的扩容需求进行严密的扩容规划，以及做好扩容前的相关准备工作，以保证用户扩容现场工作的顺利实施。存储扩容工作需用户准备足够的电源接口，我方根据用户需求配置相应的存储容量，并根据用户需求进行编制存储扩容规划书，经用户认可后按照规划书具体实施存储扩容工作。存储扩容工作可根据用户需求进行在线扩容或离线扩容。本次方案中配置NetAppFAS8060一体化存储平台，支持存储控制器集群升级，最大可扩展控制器数量8个，本次配置控制器缓存128GB，最大可扩展到512GB缓存，支持FlashCache二级缓存可扩展至96TB以上，NetAppFAS8060一体化存储平台后端配置磁盘168块，NetAppFAS8060一体化存储平台可扩展磁盘1200块；NetApp一体化平台面向私有云架构的优化管理NetApp提供自动化存储服务定制，支持与客户数据中心业务流程管理软件的集成：可利用NetApp管理工具实现存储服务自动化。也可和第三方管理软件进行无缝集成，同时NetApp也开放API和SDK，支持用户自定义云管理平台。通过定制化的自助服务环境，使内部客户在几乎没有或是根本没有管理人员介入的情况下请求和获得适当配置的IT资源，是实现整体业务灵活性和服务快捷性的一个重要步骤。这样一来，可轻松实现：持续满足服务级别快速扩展和添加新应用和IT服务以最少的投入满足不断变化的业务需求高效利用IT资源，最大限度地提高硬件利用率通过自动执行重复性活动来提高生产率借助集成工具和自动化配置流程来简化管理MCC架构与VMware虚拟化平台的结合NetApp一体化平台与服务器虚拟化的整合NetAppFAS存储平台为虚拟化环境进行了专门的优化，以VMware为例，体现在以下几个方面：统一存储，支持VMware三种不同的部署协议NetApp的智能二级缓存技术，针对虚拟化环境中常见的I/O热点数据，提供了实时加速能力,效果明显优于其他厂家的自动分层技术（有SAN标准性能测试SPC-1报告为证）最紧密的特性和管理集成。VMware和存储相关的白皮书，包括双活架构（vSphereMetroStorageCluster），容灾（SRM）和存储集成（VAAI），采用的唯一范例都是NetApp。此外，NetApp还提供了进一步的管理集成：VSC插件允许VMware管理员在权限范围内自由地调配和管理存储资源，从而大幅简化了运维模式针对虚拟化环境下常见的备份难题，NetApp存储内置的备份功能提供了最好的解决手段。例如成都一个央企（东方电气），部署了130个虚机，过去采用VAAI+传统备份软件备份方式，日备时间为6小时，而采用NetApp方案，仅需12分钟。降本增效。NetAppFAS内置消重功能，针对VMware环境中，大量冗余的虚机映像，能够节省90%以上的存储空间。虚拟化环境中的性能提速技术虚拟化平台对存储性能的要求非常苛刻，已成为业界的共识。存储性能的高低，将决定着应用性能的快慢，也决定着用户交易的体验。如何衡量不同存储性能的高低？业界公认的方法是通过第三方的公开性能测试，如代表FCSAN性能的SPC-1，代表NAS性能的SPECSFS2008。值得指出的是，SPC-1性能结果高低，虽然不能代表真实业务环境的存储性能，但是至少提供了一个公平公开公正的比较手段。性能测试结果往往以IOPS的形式展现。但必须注意的是，这个数字和用户购买的存储的性能IOPS，完全是两回事。因为用户购买的存储，和性能测试的存储，在配置上差别很大。性能测试往往都采用满配，以达到最好的结果。但用户配置，往往受容量需求和经费限制，远低于测试配置。因此，我们建议用性能效率来进行衡量，即通过测试IOPS/测试配置，来得到单位硬件能够提供的性能，以比较不同存储之间的性能差异。在相同配置的情况下，性能效率高的存储系统，可以提供更高的性能。提升性能效率的方法，在保证性价比的前提下，除了不同的存储操作系统的算法差异以外，主要有两种：二级缓存技术，如NetAppFlashCache和FlashPool，EMCFastCache。是以闪存作为存储的二级缓存。这种技术不做任何数据迁移，因此对于性能提升的反应速度和效果都非常好。自动分层技术，如EMCFast、IBMEasyTier，HDSDynamicTier，需要在不同的性能层之间迁移数据。对性能提升的反应速度较慢。但如果应用的热点数据分布变化本身较慢，这种技术也有不错的效果。NetApp采用先进的控制器技术，存储具有最领先的性能效率。下图对比了几种主流的SAN存储产品，包括IBM最新的DS8870、HP最高端的P10000(即收购自3PAR的产品)、HDS的VSP(HPOEM的型号是p9500，即XP24000的下一代)，而EMC没有参加SAN性能测试。(数据来源：SPC-1标准FCSAN性能测试。图中反映的是，在SPC-1测试中，单个磁盘可以提供的IOPS性能。显然，更好的技术，可以让同样的磁盘发挥更好的性能)。这意味着，相同的磁盘配置下，NetApp可以为业务提供更多的IOPS性能。例如，在测试中，NetAppFAS6240仅仅需要432块普通SAS磁盘，采用RAID6，可获得25万SPC-1IOPS，而HDS最高端VSP使用了1152块SAS盘，采用RAID10，取得26.9万SPC-1IOPS。试想如果应用容量需求仅仅需要100块SAS盘，那么NetAppFAS6240仍然可以提供6万左右的SPC-1IOPS，而VSP却不到3万SPC-1IOPS。这里面最关键的技术之一就是NetApp领先的虚拟分层和大容量二级缓存技术。其他厂家也具有自动分层，多级缓存技术，但从未经过标准性能测试检验。虚拟化环境中的数据保护和灾备前文已经提及，VMware双活架构vSphereMetroStorageCluster支持NetAppMetroCluster，而且其技术白皮书正是以NetAppMetroCluster为范例。此外，在虚拟化环境中的数据保护具有如下特点：NetApp的快照技术可集成于VMware环境中，提供秒级的数据备份和恢复。NetApp可以提供VM中单个文件的恢复NetApp全面支持VMwareSRM容灾软件NetApp专利的快照技术可轻易地集成到VMware环境中，可实现虚拟主机的恢复、完整的虚拟主机克隆，或者站点复制以及冗灾等。这种解决方案的优点在于它是存储界唯一对系统性能没有负面影响的快照技术。VMware也声明为了达到最佳的性能和扩展性，建议使用给予硬件的快照解决方案而不是软件的快照解决方案。在基于磁盘的备份方案中，包含了从生产系统拷贝虚拟磁盘文件到备份的磁盘系统。尽管和直接将生产系统的数据备份到磁带相比，这种方式提供了非常快速的备份方案，但是每次备份都需要100%的额外空间。某些友商提供了Copy-Out的快照技术，但是Copy-Out快照技术所带来的性能问题，严重地影响了生产，使得这些快照技术也不能被用户所接受。而NetApp的专利的快照技术完全没有传统的基于磁盘备份的固有的问题。而和Copy-Out的快照技术相比，NetApp的快照技术由于不移动数据，从而不会产生对性能的负面影响。同时，NetApp快照技术的开销只是变化的数据块，占用空间更少。NetAppFAS和VMware的深度集成NetAppFAS系列存储和Vmware虚拟化软件实现了深度的集成，可以最大化提升运行效率，简化管理。VMwarevCenter通过调用FAS设备插件，可以驱动FAS执行一系列任务。比如备份、灾备功能，菜单化部署单元功能。FAS存储分别通过VMware的四个插件实现不同的功能。以下是详细的调用关系如下图所示。VSC存储管理插件在云计算架构下，管理不再是存储、服务器、网络等分离式管理，统一的、集成的管理平台是云存储的最佳实践。vCenter是虚拟化平台的管理平台，在vCenter上集中对存储进行配置、监控等是虚拟化平台与云存储结合的一种推荐方式。为此，FAS系统存储拥有专门的vCenter上的存储管理插件VirtualStorageConsole（VSC）。它主要有以下功能：虚拟存储控制台配置和克隆备份与恢复NFSPlug-in插件ESXServer通过NAS的NFSPlug-in插件，可以将NAS文件系统挂载到ESXServer，作为NFSDataStore。通过NFSPlug-in插件，还可以定义虚拟机IO的优先级，保证关键业务的IO的优先级，不受其它业务IO性能影响。SRA插件SRA插件由NetApp提供，部署在SRMServer上，与SRM软件实现无缝连接。在SRM界面，通过SRA插件可以直接调用的SnapMirror（存储复制功能）和FlexClone（虚拟克隆工具），实现灾备功能和虚拟机克隆功能。VAAI插件VAAI（vStorageAPIsforArrayIntegration）是VMware提供存储管理接口，主流的NAS和SAN存储都支持这个接口，并针对VAAI提供专用的插件，部署在vCenterServer。NetApp存储提供的VAAI插件，可以实现虚拟机和存储空间的快照和恢复功能、NFSDatastorge参数调整和配置功能。VASA插件VASA的目的是加强存储资源在VMware的可视化，可以通过vCenter和CapacityIQ工具获得对物理存储阵列的一些细节信息，如RAID信息，磁盘数量等等。内置消重功能，降本增效在VMware环境中，非常流行的部署方式是从预先创建的虚机的模板来快速创建新的虚机。一个虚机的模板通常包含了虚机的配置文件(.vmx)以及一个或多个虚拟磁盘文件(.vmdk)，包含了操作系统，公共应用程序，以及补丁文件或系统更新。从模板来创建新的虚机，通过拷贝配置文件以及虚拟磁盘文件，并注册成为独立的虚机，大大减少了管理上的时间开销。但是，在这种方式下，造成了大量的重复数据。下图说明了在VMware环境下的典型存储开销。NetApp提供了一种重复数据删除的技术，称为FASDedup。通过FASDedup技术，我们能够消除在VMware环境中的重复数据，大大提供存储的总体利用率。FASDedup提供了一种虚拟化的技术，使得多个虚机可以共享在NetApp主存储上的相同的物理数据块。FASDedup无缝的集