存储效率功能简介

1、NetApp存储效率功能简介客户为何越来越关注存储效客户为何越来越关注存储效率率存储增长存储增长 = = 成本增长成本增长美国环境保护局美国环境保护局 数据中心电力消耗数据中心电力消耗 ( (数十亿数十亿 kWh)运营预算 由于许多地方的硬性限制，电力是非常昂贵的 对于紧凑IT设备来说，冷却是比较困难的（例如，刀片服务器） 企业数据中心花费数百万，并需要几年的时间来建设2000% 占比占比2006% 占比占比增长增长服务器的数量8.056.7%20.967.9%161%数据存储设备1.17.8%3.210.4%191%预算 客户将全面的评估整个IT的花费 存储已经是位居成本占比第二位而且是增长

2、非常快的类别网网络设备络设备19%外外围设备围设备9%服务器服务器27%PC/笔记本电脑笔记本电脑22%存储存储23%数据来源: IDCSource: U.S. Environmental Protection Agency “Report to Congress on Server and Data Center Energy Efficiency” Figure 2.23客户面对的挑战：宏观角度客户面对的挑战：宏观角度 管理数据的增长和成本控制依然是2010年IT经理所要面对的最大的问题 存储系统现在越来越占用最大的IT预算*Source: Citigroup Global Markets

3、 Q409 CIO Survey, 1/11/104定义存储效率定义存储效率5存储效率存储效率：用更少的磁盘完成同样的工作存储效率的两个组件： 容量 在更少的磁盘上存储更多的数据（更高的利用率） 性能 从更少的磁盘上获得更高的性能（更高的性能效率）您希望达到的您希望达到的存储效率目标存储效率目标 在不牺牲性能和弹性的前提下，满足容量降低50%要求 达到100%或更大的利用率 达到电力、冷却及空间降低50%消耗的要求 在不增加人手的情况下，增多管理两倍的数据 现有的存储系统的价值最大化（利旧）6NetApp存储效率存储效率相关功能的优势相关功能的优势数据增长存储容量Snapshot 技术SATA

4、/RAID-DP精简配置克隆压缩重复数据删除 Flash Cache存储成本Flash PoolFlash Accel业界领先的业界领先的 IT 存储效率存储效率数据增长存储容量Snapshot 技术SATA/RAID-DP精简配置克隆压缩重复数据删除 Flash Cache存储成本Flash PoolFlash Accel数据精简 重复数据删除 压缩 精简复制提高利用率 精简配置 统一架构减少完整副本数 Snapshot 技术 虚拟克隆：FlexClone 高价值组件 Flash Pool Flash Cache Flash Accel SATA 驱动器 RAID-DP8RAID-DP简介简

5、介D3121D1131D2213D3122P9587DP7121211 这些常见的RAID算法被存储厂商用于在磁盘发生故障时，数据保护。 RAID-DP是是NetApp拥有专利的专有技术。拥有专利的专有技术。RAID 级别传统技术NetAppRAID 10 (条带化后镜像)XRAID 4 (单校验)XRAID 5 (单校验)XRAID 6 (双校验)XRAID-DP (双校验)XRAID 技技术比较术比较Comparison10RAID-DP工作原理工作原理 RAID-DP提供双校验（对角奇偶校验）数据 RAID-DP是SNIA定义的行业标准RAID 6的一种实现形式SNIA的RAID 6定义

6、中包括了NetApp的RAID-DP技术/education/dictionary/r/11RAID-DP 可以在同时两块磁盘故障时保护数据继续有效访问D3121D1131D2213D3122P9587DP7121211RAID-DP比比RAID 0 + 1保护能力更强保护能力更强 RAID 0 + 1 可以在多块磁盘故障时保护数据吗？是的，但是需要看是哪些磁盘故障 但是，如果是这八个倒霉的配对！情况就不同了！ 相反，RAID-DP 可以在磁盘组中任何两个磁盘故障时保护数据继续访问121234567812345678XXXXX条带化组A条带化组AXXX123

7、4567812345678条带化组A条带化组AXXXXXXXXXXXXXXXX一一个个NetApp关键的技术区别关键的技术区别：Write Anywhere File Layout (WAFL)13传统的文件系统(例如, Berkeley FFS, SymantecVxFS, or Windows NTFS)文件1文件3文件2长磁头寻道WAFL文件1文件3文件2短磁头寻道WAFL最大化最大化RAID性性能能14 当WAFL开始优化，去除，合并及安全的推迟写时，非易失性RAM (NVRAM) 保护数据安全缓存在内存中 写入磁盘时行程数序写入，这样在读的时候，就能提供最大磁盘带宽校验磁盘聚集到一个

8、RAID条带中最小化寻道时间数据磁盘一个单校验RAID组一个对于“写入任何地方”来说最好的选择Snapshot技术简介AB1C2副本副本3AB1C副本副本2磁盘上的磁盘上的数数据块据块ABCABCB1B1C2C2ABC副副本本1LUN或或文文件件中的数据块中的数据块快照快照数据数据生产生产数据数据有数据快照的情况有数据快照的情况没有数据快照的情况没有数据快照的情况NetApp基于指针的数基于指针的数据快照技据快照技术术- -SnapShotABCD空闲空间池空闲空间池生产生产数据数据ABC空闲空间池空闲空间池DDD用户最关心的和数据快照相关的两个问题：用户最关心的和数据快照相关的两个问题：数据

9、快照对性能的影响程度数据快照对性能的影响程度数据快照所需消耗的存储空间数据快照所需消耗的存储空间16快照快照数据数据生产生产数据数据有数据快照的情况有数据快照的情况没有数据快照的情况没有数据快照的情况传统传统数数据快照技据快照技术术Copy on WriteABCD用户数据用户数据生产生产数据数据ABC用户数据用户数据数据快照专数据快照专用存储空间用存储空间DDDD1718NetApp快照性能独立验证快照性能独立验证一个单一的快照拷贝时的存储系统的性能测试结果 在快照建立的瞬间，NetApp FAS3070性能下降了10%，之后瞬间恢复到基线水平 在快照拷贝测试建立之后的60分钟，EMC CL

10、ARiiON CX3-80性能下降4050%VeriTest, Nov06: NetApp FAS3070 and EMC CLARiiON CX3-80: Comparison of Performance and Usability完整的报告详见 VeriTest 网站NetApp快照技术提供一致的性能最少的数据丢失时间时间 (2 Hours)“Snapshot” “Snapshot”几几乎无乎无影响影响NetApp Snapshot最低的性能开销传统Copy On Write技术NetApp基于指针的快照技术最高效的备份与恢复性性能影响能影响巨大巨大时间时间 (2 Hours)多个多个

11、Snapshot 备份备份 数据保护性能影响速度与效率17+ 小时小时生产系统生产系统磁带磁带磁带备份磁带备份分钟分钟基于快照的复制基于快照的复制生产系统生产系统NetApp备备份方案份方案“Snapshot” ProcessNetAppNetApp快照技术为用户带来业务收益快照技术为用户带来业务收益19精简配置精简配置技技术简介术简介21应用 2应用 3应用 1存储利用率: 40% NetApp: 70%+ 利用率减少 50 磁盘节省50%电力，空调与空间浪费空间浪费空间应用 2应用 3应用 1共享存储空间8 块磁盘 12 块磁盘 6 块磁盘 6 块磁盘 浪费空间标准卷管理方式NetApp

12、精简配置技术（Thin Provisioning）精简配置精简配置（Thin ProvisioningThin Provisioning）FlexClone技术简介技术简介基基于于Snapshot 快照拷贝快照拷贝的的FlexClone 数据卷克隆技术数据卷克隆技术23Step 1创建创建 Snapshot CopyA工作工作 SystemBCDSnapshot Copy相互独立相互独立的的对对Active File System 和和FlexClone Volume进进行修改行修改在工作卷中将在工作卷中将“D”改为改为 “X” 在克隆卷中将在克隆卷中将 “D” 改为改为 “Y”A工作工作 S

13、ystemBCDSnapshotCopy克隆克隆VolumeXYStep 2基于基于Snapshot Copy 创建克隆创建克隆VolumeA工作工作 SystemBCDSnapshot Copy克隆克隆 Volume独特的技术： 对性能无影响 立即可见,且可写操作,不影响原卷数据FlexClone的空间节省优势的空间节省优势 为那些需要临时，可写的和数据集瞬时副本的应用程序提高存储效率 创建一个原始数据集虚拟的“克隆”副本，并且只存储源卷和克隆卷之间变化的数据6-TB数据库30 TB 存储5 个全拷贝没有FlexClone生产存储系统6-TB数据库具有FlexClone8 TB 存储1 个拷

14、贝，4个克隆生产存储系统开发和测试存储系统开发和测试存储系统24旧的方法新的方法FlexClone 应用案例应用案例： 开发、测试及验证开发、测试及验证25 写复制卷需要消耗空间并且需要时间去建立副本 影响部署时间和质量保证 由于成本原因，许多客户放弃了容灾验证，使得巨额容灾投资处于不确认的状态 FlexClone 副本的空间效率和几乎瞬时可得（秒级） 提高质量和上市时间 充分的验证及演练过的流程管理，使得巨额IT投资得到确认，投资回报得到确认测试 1验证测试 2开发 1开发2生产系统镜像系统测试 1验证测试 2开发1开发2生产系统镜像系统 NetApp FAS 节省空间节省空间NetApp虚

15、拟克隆技术加速虚机的部署虚拟克隆技术加速虚机的部署264个原始VMs每个克隆20 次，获得80个VMs每个虚机分配50GB空间，总共节省4000GB空间空间8000% 的存储空间的存储空间利用率利用率FlexVolVM虚拟克隆在秒级完成，“0”存储空间耗费Datastorewith 84 VMsVMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVM虚拟克隆虚拟克隆可以针对单个虚机

16、完成虚拟克隆可以针对单个虚机完成一次只克隆一个虚机在存储系统上实现单个VM 映像文件的克隆对ESX server性能无任何影响 NetApp FAS ArrayVMDatastoreFlexVolVM27 NetApp FAS ArrayDo not buy this spaceVMDatastoreVMVMVMVMVMVMVM秒级克隆单个VM映像文件通过副本消除技术进一步提高存储空间利用率在VDI环境中可以节省成百上千倍的存储空间虚拟克隆可以针对单个虚机完成虚拟克隆可以针对单个虚机完成28NetApp FAS ArrayAPPOSFlexible VolumeAPPOSDatastoreNe

17、tApp FlexClone 虚机部署示意虚机部署示意29NetApp FAS ArrayAPPOSFlexible VolumeAPPOSAPPOSAPPOSAPPOSAPPOSAPPOSDatastoreNetApp FlexClone 虚机部署示意虚机部署示意30NetApp FAS ArrayFlexCloneAPPOSFlexible VolumeAPPOSAPPOSAPPOSAPPOSAPPOSAPPOSDatastoreVMAPPOSVMAPPOSVMAPPOSVMAPPOSVMAPPOSVMAPPOSDatastore 2NetApp FlexClone 虚机部署示意虚机部署示

18、意31NetApp FAS ArrayFlexCloneAPPOSFlexible VolumeFlexCloneAPPOSAPPOSAPPOSAPPOSAPPOSAPPOSDatastoreVMAPPOSVMAPPOSVMAPPOSVMAPPOSVMAPPOSVMAPPOSDatastore 2NetApp FlexClone 虚机部署示意虚机部署示意APPOSAPPOSAPPOSAPPOSAPPOSAPPOSDatastore 332NetApp FAS ArrayFlexCloneAPPOSFlexible VolumeFlexCloneAPPOSAPPOSAPPOSAPPOSAPPOS

19、APPOSDatastoreVMAPPOSVMAPPOSVMAPPOSVMAPPOSVMAPPOSVMAPPOSDatastore 2NetApp FlexClone 虚机部署示意虚机部署示意DedupeAutogrowAPPOSAPPOSAPPOSAPPOSAPPOSAPPOSDatastore 333重复数据删除重复数据删除与压缩与压缩技技术简介术简介重复数据重复数据删删除技术除技术服务器虚拟化环境中许多虚拟机映像都100%完全相同传统的企业 RAID 阵列 NetApp FAS 系统重复数据重复数据 已消除已消除所有数据副本均能实现节约所有数据副本均能实现节约包括备份、灾难恢复、测试克隆

20、和归档副本包括备份、灾难恢复、测试克隆和归档副本3532DatabaseDatabase1DatabaseNetApp Storage ControllerDeduped NetApp StorageTSCS10:18:16:1DatabaseDatabaseDatabase1:11:11:1智能缓存可感智能缓存可感知重知重复数据删除技术复数据删除技术36重复数据删除技术竞争分析重复数据删除技术竞争分析NetApp vs. EMC EMC现在开始宣称在主系统上可以实现重复数据删除功能 EMC仅能提供文件级重删，NetApp提供数据块级的重删技术 EMC仅使用hash算法，NetApp既使用ha

21、sh算法，也使用byte-to-byte比对算法 NetApp重删技术支持运行在SAN或NAS配置下的服务器虚拟化环境，而EMC不支持 NetApp使用多个重删策略，而EMC未使用数据重删策略 DataDomain是为了备份和归档而设计的 在虚拟化环境EMC在主系统应用上不支持重删技术37NetApp 存储系统在虚拟化环境的优势存储系统在虚拟化环境的优势NetApp 继续引领从传统存储向虚拟存储的演进 引领 IT 行业实现运营高效和自动化的目标38NetApp 数据压缩技术数据压缩技术39 更高的使用效率并支持更多负载 提高写性能原始数据NetApp 数据压缩后基于压缩后的去重复化 关键性优势

22、 进一步提高投资价值 广泛的客户适用性 企业价值在线后期处理NetApp闪存技术闪存技术简简介介高高效效存储存储虚拟存储层虚拟存储层 将缓存方法用作传统分层的替代方案 精细粒度级别“热”数据提升至闪存 热数据的闪存性能 减少存储成本和磁盘轴数 NetApp 的重要组成部分 存储效率 41应用程序数据集SATA驱动器驱动器服务器服务器存储系统存储系统NetApp 闪存产品组合闪存产品组合利用闪存的三种方式阵列级别SSD：缓存并且持久Flash PoolFlash Cache控制器级别基于闪存的缓存存储加速Flash Accel 和服务器缓存合作伙伴服务器级别主机上的 PCI-e 闪存主机上的 S

23、SD已部署超过 28 PB 闪存，加快了超过 2 EB 存储的速度42$性能 (IOPS)8000容量 (TB)201600010$稳定状态上午 8 点高峰负载View 和 NetApp重复数据删除感知的 固态缓存和写入优化的操作系统VDI 存储的定价起点大约为每个桌面 50 美元1优化容量2优化性能（方程式的另一半）$12示例：示例：1,000 个用户个用户每个用户 20 GB每个用户 8 IOPS调整性能和容量调整性能和容量43更高的性能和更低的成本56 个磁盘之前的存储Netapp 解决方案重新启动操作： 4 到 5 个小时的中断 10 分钟的中断启动风暴： VDI 服务器不响应 不存在

24、登录风暴： 交错登录 4 秒完成登录运行 1000 多个 View 桌面的地区性银行，主要性能问题与存储直接相关300 个磁盘解决解决 VDI 性能挑战性能挑战客户示例44精简复制技术精简复制技术简简介介Disaster Recovery SiteCentralizedBackupProtectionManagerSnapMirrorWANOpen SystemsSnapVaultDataFortTape or Virtual LibraryLife Time KeyManagement 精简复制精简复制 SnapMirror和SnapVault简化基于磁盘的容灾和备份 在目标存储系统可有效减

25、少存储空间，最高可降低90% 可以砍掉90%的备份窗口 在数据块级通过虚拟恢复功能，实现完整的，基于时间点的数据恢复，其他人是不能做到的 在生产存储系统上使用重复数据删除（Deduplication ）技术，进一步减少占用空间“Thin”TransfersSecondary SystemPrimarySystemsSnapVaultStored CopiesSnapMirrorStored Copy46SnapVault 的关键点的关键点 只传修改过的数据块 网络传输数据量少，节省了带宽资源 在目的存储系统上节省了存储空间 重复数据删除（Deduplication）技术与 SnapVault

26、功能相结合47将将NetApp存储效率技术存储效率技术延伸到第三方存储系统延伸到第三方存储系统部署：可以为任何协议提供高效存储部署：可以为任何协议提供高效存储Disk DriveData ONTAP Logical ViewRAID GroupAggregateFlexVolLUN 所有NetApp存储效率功能在NAS和SAN环境中同样适用 基于NetApp统一架构，一个系统可以同时提供SAN和NAS的服务，很容易根据客户业务需求重新配置SATARAID-DPThin ProvisioningThin ReplicationSnapshot CopiesVirtual CopiesDedupl

27、icationAbstraction LayerEfficiency Feature49将将NetApp存储效率技术存储效率技术延伸到第三方延伸到第三方SAN存储系统存储系统NetApp V-系列 开放式存储控制器 利用现有的SAN storage存储EMC, HP, HDS, Sun, 等等 通过NetApp存储效率降低成本FlexVol 精简配置精简配置精简复制精简复制SnapshotTM 拷贝拷贝FlexClone 虚拟拷贝虚拟拷贝重复数据删除重复数据删除 灵活的同时处理数据块及文件服务iSCSIFCNetAppV-系列 部门企业SAN企业NAS部门DedicatedEthernet现有

28、SAN存储系统LAN50测量和监控的效率测量和监控的效率看得看得见、摸得着的存储效率管理见、摸得着的存储效率管理Provisioning Manager图形化管理存储效率图形化管理存储效率52重复数据删除触发的信息测量：通过测量：通过My AutoSupport获得检测报告获得检测报告 Web工具使用系统数据评价系统指标 存储效率部分显示成本和节省的容量 提供给所有的接受技术支持的客户53存储效率仪表板存储效率仪表板 跨多个系统的可见性 显示存储利用率和存储效率 操作管理插件（plug-in）54在在Synergy系统里面呈现存储效率系统里面呈现存储效率 http:/ 2. System Re

29、serve Capacity 4. Fixed Reserve Capacity Kernel Overhead RAID Checksum WAFL Reserve FlexVol Space Tax 5. RAID Reserve / Spare Drive Capacity Hot Spare Parity Mirrored 3. Usable Capacity 6. Unused Reserve Capacity Aggregate Snapshot Reserve Volume Snapshot Reserve Volume Fractional Reserve Vol/LUN/File Guaranteed Space 8. Available Capacity 7. Free Capacity LUNs Files qtrees Snapshot copies Clones SnapMirror copies