全面数据备份恢复和归档策略EMC

1、全面数据备份、恢复和归档策略演讲人姓名: 演讲人职务: EMC高级系统工程师1EMC - 全球前10大的软件公司EMC 软件主要组成部分有:EMC 开放存储软件(OSS)LegatoDocumentumSMARTSVMwareRSAAvamarIndigo Stone以及12家以上的中小型软件公司的收购具有规模:2006年营业额达112亿美金全球员工超过31000人每年研发投入超过10亿美金2006年成立中国研发中心2006年后连续5年投入5亿美金到中国市场2007年，EMC将在中国增加4个办事处，5年内在全国的办公点达到20个 Worlds Top 10 Software Companies

2、$613Siebel 10$616Compuware 9$743BMC Software8$1,413Symantec - Veritas7$1,711EMC 6$1,830CA 5$4,788SAP4$7,149Oracle3$7,372IBM 2$19,781Microsoft 11st Half 05 RevenueCompanyRankRanked by 1st Half 05 revenue2客户面临的挑战* 数据来源：存储杂志降低总体拥有成本事半功倍增长*IDC 预测，到 2010 年，“数字世界”将增至 988 EB，比 2006 年增长了六倍多。贵公司预计今年 SAN/NAS

3、容量的年增长率是多少？SANNAS第 4 波第 5 波第 6 波数据保留保存时间更长磁带不可靠 *您依赖哪些技术来遵守数据保留方面的法规？磁带被广泛用于实现法规遵从性磁带归档D2D磁盘WORM无VTL不知道光盘WORM其他保护/恢复*性能问题不符合恢复服务级别协议(SLA) 的要求76% 的受调查者称其业务直接受到过数据无法恢复的影响3管理数据增长典型做法添加更多的主存储容量从主服务器上删除文件和信息 对邮箱和文件共享强制实施配额依靠备份磁带进行长期保留可能的结果 开销大 管理非常耗时不一致的保留增加了业务风险 6许多企业采用被动应付的做法4备份、恢复及归档（BuRA）的新架构 -分层存储分离

4、有用的信息归档提高生产系统的性能通过分级存储改善 TCO 对活动的生产信息备份到磁盘备份窗口减小或消除较高的可靠性，执行全备份的可能性增加从归档重新取回或从备份恢复恢复的速度更快以前离线的信息现在在归档方式下可访问归档流程备份、恢复流程生产环境5备份和归档的差别备份？归档？CopyRestoreProductionBackup EnvironmentUserBackup EnvironmentProduction为了恢复数据ProductionArchive EnvironmentReadReadUserArchive EnvironmentProductionMove用于数据的读取.6EMC

5、 NetWorkerBackup and RecoveryCentera Content Addressed StorageEMC Disk LibraryVirtual TapeBackup Advisor Diagnostics and RecommendationsAssessment ServicesFor Backup and RecoveryArchivingBackup/RecoveryEmailXtender Intelligent Email ArchivingDiskXtender Intelligent AvamarRemote Office / Branch Offic

6、eAssessment7EMC NetWorkerBackup and RecoveryCentera Content Addressed StorageEMC Disk LibraryVirtual TapeBackup Advisor Diagnostics and RecommendationsAssessment ServicesFor Backup and RecoveryArchivingBackup/RecoveryEmailXtender Intelligent Email ArchivingDiskXtender Intelligent AvamarRemote Office

7、 / Branch OfficeAssessment8NetWorker传统的磁带备份和恢复高级备份快照和复制管理磁盘备份NetWorker DiskBackup 选项和虚拟磁带库 (VTL)分层保护下的恢复管理用于备份和恢复的 EMC NetWorker 软件 将保护级别与恢复时间目标 (RTO) 和恢复点目标 (RPO) 对映 简化管理进行监控和分析，以快速解决问题和优化系统服务级别目标9解决方案的特性NetWorker 备份和恢复全面保护关键应用程序、平台和存储可扩展的体系结构256 位 AES 加密和安全认证多语言支持集中式管理图形用户界面可定制报告功能 高级分析功能向导引导的配置和软

8、件分发最佳的性能和可扩展性存储节点数据多路传输和高级索引磁带和磁盘备份、转储、克隆高效的介质管理快照管理磁带/磁盘Linux、UNIX、Windows、Mac 客户机关键应用程序局域网SANNAS(NDMP)广域网远程存储节点/客户机备份服务器存储节点10应用程序操作系统异构支持的优点NovellIBMSunHPIBM InformixDB2Lotus Software11NetWorker Management Console直观的操作和导航可通过 Web 进行管理拖放管理单点管理和监控管理多个 NetWorker 服务器集中式设备安装和管理轻松启动 NetWorker 恢复应用程序和向导基

9、于角色的访问安全性，使用唯一的用户登录名/密码报告备份统计数据、活动审核和其他有用信息（如非活动文件的详细信息）712新特性-可定制的中文视图/易于使用13内置的报告功能14BackupsDay 1 - FullDay 2 - Level 1Day 2 - Full单一备份集恢复！将Level1的备份与全备份合并为一个新的全备份FullDay 3 - FullDay 3 - Level 1独特的备份融合15 并行流从多个客户端的多个数据流备份到一台备份服务器或一个备份节点 交叉备份多个数据流同时写到多盘磁带,提供最大的数据吞吐量Multiple Savesets on Self Describ

10、ing Tapes intermixed atthe Block LevelNetWorker Serveror Storage NodeBufferIndividual NetWorkerClient Savesets64路32台业界领先的备份性能10TB/Hr16PowerSnap 和 VSS 附加模块利用快照技术进行数据的保护和恢复支持 EMC CLARiiON、Symmetrix、Celerra 和第三方解决方案使用时间点快照/镜像进行即时备份和恢复脱离主机进行磁盘/磁带的实时备份基于策略的管理集成的快照管理，以满足 RTO/RPO应用程序服务器代理服务器磁带/灾难恢复生产卷快照上午

11、8:00快照下午 1:00快照下午 6:00操作恢复17NetWorkerUNIX/LinuxNetWorker Windows磁带管理的优点开放磁带格式（OTF）数据流多路传输自包含索引跨平台格式UNIX Windows Linux磁带损坏的影响最小 跳过损坏的介质记录本机库共享动态驱动器共享跨平台磁带驱动器共享按需使用设备降低硬件总体拥有成本18磁带并不是总能够应对这些难题性能有限的吞吐量不能随机存取可靠性RAID 对磁带无效用过几次之后磁带就会“过期”管理复杂性恢复起来很复杂 成本很高管理成千上万盒磁带的工作量非常大1519以磁盘为中心的备份和恢复解决方案的优点性能恢复性能可增加五倍备份

12、性能可增加三倍可用性备份和恢复操作可靠管理效率节省数小时的员工时间提高生产率数据保留可以远程复制磁盘数据，不用依靠运送轻松检索数据 16性能更佳且可预知的备份和恢复20NetWorker DiskBackup 选项更快、更可靠的备份和恢复消除装载、启动和停止、倒带以及快进利用并行操作增强备份/恢复备份、恢复克隆和转储 同步进行多流并行恢复基于策略的转储和克隆自动将磁盘数据迁移至磁带，以辅助保护提速 50%备份作业一完成就克隆减少对磁带驱动器和磁带盒的磨损21磁盘(文件系统)也面临挑战共享文件系统不能被多台机器共享安全性文件系统很容易被误操作性能文件系统很难解决磁盘碎片问题功能文件系统无法自动回

13、收这部分磁盘空间 磁盘作为备份设备，备份系统无法对其进行扫描 无法进行介质复制 1522虚拟磁带库集成磁盘备份的简单解决方案即插即用 犹如磁带库不需要更改操作过程 可靠性和可扩展性具有 NetWorker 存储节点的 EMC 磁盘库系列使用嵌入备份应用程序的 EMC 特定的 VTL 解决方案加快恢复时间减少网络流量 整合的介质管理，对虚拟和物理磁带池实施单点控制磁盘库之间轻松实现远程备份、恢复和克隆EMC磁盘库VTL + 存储节点23EMC HomeBase 裸机恢复 恢复环境生产环境恢复到生产环境重建与原始服务器类似的恢复服务器恢复代理恢复 HomeBase 服务器上在线可用的最新或时间点配

14、置文件HomeBase 服务器用于已捕获配置文件的启用 Web 的存储服务器安全地传输到 HomeBase 服务器最新的配置文件之前的 配置文件配置文件映像配置文件映像配置文件映像硬件配置存储系统调整安全硬件配置存储系统调整安全配置文件映像配置文件映像代理捕获和加密服务器配置文件配置文件映像24新的 EMC NetWorker 功能通过与 EMC Avamar 的集成消除重复数据对全局重复数据消除提供统一管理通过与 EMC RecoverPoint 的集成实现连续数据保护（CDP）提供时间点 CDP 快照以改进数据保护和恢复点添加了对重复数据消除和连续数据保护的支持允许用户在现有的 NetWo

15、rker 环境中方便地部署 Avamar 和 RecoverPoint CDP。425EMC NetWorkerBackup and RecoveryCentera Content Addressed StorageEMC Disk LibraryVirtual TapeBackup Advisor Diagnostics and RecommendationsAssessment ServicesFor Backup and RecoveryArchivingBackup/RecoveryEmailXtender Intelligent Email ArchivingDiskXtender

16、Intelligent AvamarRemote Office / Branch OfficeAssessment26将数据拆分为原子结构（子文件、可变长度的数据段）一次仅发送和存储一个原子结构安全的数据保险存储日常数据缩减率高达 300:1 工作机制在源位置 在通过网络传输数据之前消除重复在目标位置 确保随着时间的推移跨站点、服务器完成协调的消除重复操作粒度 小型、可变长度的数据段可保证最有效地消除重复全局重复数据消除OHOHHOHHOHHOHHOHH27ABCDAvamar 服务器 （存储的备份数据）只有具有 唯一性的数据 段得到备份EEABCD数据已备份， 所以只存储一个具有唯一性 的

17、ID 指针（字节）识别并备份新的数据段全局重复数据消除实例Avamar 的工作机制：应用示例第一个实例ABCDCompany_Overview.ppt重复实例ABCDCompany_Overview.ppt修改的实例ABCDCompany_Overview.ppt28先进的架构独立节点冗余架构(RAIN) 提供服务器节点的冗余和容错在线扩展专利方案 Avamar 服务器节点(2U)内置存储和CPU采用网格计算架构，方便在线扩展和性能升级支持SAN或者内置存储每日完整性检查对磁盘进行RAID保护Avamar Server在所有存储节点上进行奇偶计算应用和冗余节点验证过的检查点29部署示例Avam

18、ar 软件代理GoogleAG广域网（加密）小型远程站点Avamar 代理仅在主要系统上A（加密）大型远程站点主要系统AAvamar服务器G数据中心主要系统AAvamar网格服务器G外部存储（加密）灾难恢复站点主要系统A磁带保险存储“无服务器”Avamar网格服务器G外部存储（加密）30受支持的客户端平台和应用程序平台版本Microsoft WindowsXP、NT 4.0、2000、2003Microsoft Exchange5.5, 2000, 2003Microsoft SQL Server7.0, 2000Oracle9i、10gNDMPData ONTAP 6.3、6.4、6.5、7

19、.0Sun Solaris2.6, 7, 8, 9, 10AIX5.1, 5.2, 5.3HP-UX11.0、11iV2、11iV2Red Hat Enterprise Linux2.1, 3.0, 4.0Red Hat Linux8.0, 9.0SUSE Linux Enterprise Server8, 9VMware受支持的来宾操作系统的所有版本IBM UDB DB28.231实际的用户测试结果用户数据类型重复删除率主数据量 (GB)日备份数据量(GB)AWindows 文件系统586:13,5736.1BWindows, Linux以及UNIX 混合文件系统436:15,09711.7

20、CNAS文件服务器上的工程文件(NDMP 备份)135:13,26524.2D20%数据库，80%文件系统混合 (Windows 和 UNIX)120:19,58380.0ELinux文件系统和数据库混合75:17,831104.2Source: EMC从开始制止数据雪崩: 在数据源进行工作32让您的备份实现更多价值当前的备份充其量只是一种“数据保险”无法利用通常存储在磁带上的“二进制大对象”数据Avamar 让您的备份数据可以提供商业价值聚合起来的备份可以建立索引、编目，并可供搜索文件系统接口 与数据管理工具集成以便执行分类和报告基于策略的保留期管理自动归档到 EMC Centera1733

21、NetWorker 目标通过 NetWorker 实现重复数据消除具有集成的 Avamar 功能的单个 NetWorker 客户端 在单个解决方案中实现文件系统重复数据消除和备份 在现有 NetWorker 环境中方便地部署Avamar Data Store 预配置了 Avamar 软件支持推送客户端，这意味着不需要手动主机部署通过 NetWorker Management Console 集中管理： 备份和恢复任务客户端配置时间安排和策略监控和报告 索引和浏览Avamar 单节点、多节点 Data Store 或 Virtual Edition for VMware存储节点磁盘、VTL 和磁

22、带NetWorker 客户端NetWorker 与 Avamar 集成新增NetWorker 服务器管理控制台硬件 应用程序OS 应用程序OS 应用程序OSVMware34EMC NetWorkerBackup and RecoveryCentera Content Addressed StorageEMC Disk LibraryVirtual TapeBackup Advisor Diagnostics and RecommendationsAssessment ServicesFor Backup and RecoveryArchivingBackup/RecoveryEmailXten

23、der Intelligent Email ArchivingDiskXtender Intelligent AvamarRemote Office / Branch OfficeAssessment35EMC 磁盘库系列DL210 单个 DL 引擎4 个 2 Gb/s 光纤通道端口2 个千兆以太网端口最多 72 个驱动器高达 24 TB（可用容量）高达 72 TB（压缩后容量）高达 1.368 TB/小时DL4106/DL4206/ DL44061 至 2 个 DL 引擎816 个 4 Gb/s 光纤通道端口612 个千兆以太网端口最多 930 个驱动器高达 674 TB（可用容量）高达 1

24、.8 PB（压缩后容量）高达 7.92 TB/小时RAID 6DL6100/DL6300 2 至 4 个 DL 引擎1632 个 4 Gb/s 光纤通道端口1224 个千兆以太网端口最多 2,400 个驱动器高达 615 TB（可用容量）高达 1.845 PB（经压缩）高达 10.8 TB/小时改进备份和恢复的最简单方法可扩展性服务级别新增DL4100/DL4200/ DL44001 至 2 个 DL 引擎816 个 4 Gb/s 光纤通道端口612 个千兆以太网端口最多 930 个驱动器高达 340 TB（可用容量）高达 660 TB（经压缩）高达 7.92 TB/小时RAID 536硬件压

25、缩功能不以性能为代价降低每 GB 的成本更高的系统密度和容量嵌入式技术 无需管理故障时能够切换到软件压缩自动资源调配根据应用程序类型优化性能的能力 备份未压缩备份软件压缩备份服务器磁盘库备份服务器磁盘库备份硬件压缩备份服务器磁盘库1 TB2 TB2 TB50% 性能100% 性能100% 性能372014管理控制台安装向导简单创建虚拟磁带组管理最多可以组合 8 个系统 自动警报和报告功能“Attention required”（注意事项）选项卡磁带模拟最多 1,024 个磁带库最多 4,096 个磁带驱动器最多 256,000 盘盒式磁带命令行界面通过编写脚本自动执行功能EMC Backup

26、Advisor 支持 增强的报告/监视功能3820整合介质管理备份应用程序功能也在集成的介质服务器上运行加快了恢复速度减少了网络通信量 提高了备份服务器性能具有灵活的克隆功能提供管理虚拟磁带池和物理磁带池的单点控制 *需要 NetWorker 7.3 版和 Symantec Veritas NetBackup 5.1 版主服务器是主控制服务器，负责向“存储节点”分发命令；它包含主目录数据库 介质服务器是从属于“主服务器”的模块，负责执行“主服务器”发出的命令 EMC NetWorker 和 Symantec Veritas NetBackup*其他 VTL 产品需要多个不同的控制点磁带EMC

27、磁盘库主服务器 介质服务器SAN3916主动引擎故障切换双引擎共享心跳信号在两个引擎之间自动进行故障切换与应用程序和操作系统的故障切换策略同步EMC Connect 在出现故障时呼叫总部自动回切功能双引擎备份服务器EMC 磁盘库DL4200SAN4017按需分配容量能够在数据写入而非创建时将磁盘存储容量分配给虚拟磁带 磁盘库存储不被空的虚拟磁带所占用虚拟磁带被实际数据增量所占用 (5 GB)虚拟磁带数据量与使用的存储量相符提高 EMC 磁盘库的存储利用率不为空磁带分配空间从而降低成本写入时使用存储量4118EMC磁盘库虚拟磁带数据粉碎功能基于标准的、安全擦除虚拟磁带数据的方法符合美国国防部 (

28、DoD) 的 5220.22-M 标准 经过向磁带三次写入各不相同的位组模式可对虚拟磁带进行数据消除 要消除的数据分为“秘密”、“机密”和“高度机密” 4219远程复制通过 IP 网络将数据复制到远程 EMC 磁盘库 提供快速的本地和远程恢复 本地操作恢复远程灾难恢复可满足保险存储要求消除运送磁带的成本和风险支持加密和压缩高级恢复功能加快本地和远程恢复DL4100远程 磁盘库支持增量复制应用程序/备份主机IPDL4100SAN4320远程备份/恢复可以通过 IP 网络备份到远程 EMC 磁盘库提供远程恢复功能可满足保险存储要求消除运送磁带的成本和风险需要高性能传输设备光纤通道/IP 设备高级恢

29、复功能Edge3000Edge3000备份服务器应用程序/备份主机远程 磁盘库IPSANSAN44业界最广泛的环境支持磁带库ADIC Scalar24 和 100、i500、i2000 系列Sony PetaSiteATL P 系列、ATL 7100STK L 系列、SL500、STK 97xx、ACSLSIBM 3590、3584、3583Overland NEO2000、NEO4100Quantum M1500、M1800磁带驱动器DLT、SuperDLT、AIT、SAITLTO、LTO2、LTO3、IBM 3590、IBM 3592Sun StorageTek 9840、9940备份应用

30、程序EMC NetWorker、EMC Data ManagerSymantec Veritas NetBackup 和 BackupExecIBM Tivoli Storage ManagerBRMS、OS/400 NativeCommVault Galaxy CA ARCserve、BrightStor Enterprise Backup其他供应商：SyncSort、BakBone、Atempo、HP21提供超过三百万种受支持的配置45EMC NetWorkerBackup and RecoveryCentera Content Addressed StorageEMC Disk Libr

31、aryVirtual TapeBackup Advisor Diagnostics and RecommendationsAssessment ServicesFor Backup and RecoveryArchivingBackup/RecoveryEmailXtender Intelligent Email ArchivingDiskXtender Intelligent AvamarRemote Office / Branch OfficeAssessment46DiskXtender工作原理1. 管理员根据以下属性制定数据迁移策略：文件名称、文件大小、文件属性、最近访问时间、最近修改

32、时间和磁盘水线（Watermark）等2. DX扫描一级存储设备，找出符合迁移条件的文件DiskXtender SoftwareCASATATapeOptical3.按迁移策略将数据迁移到二级存储设备NAS/SAN/DAS4. 被迁移文件对用户是透明的，可以按照应用需求回迁至一级存储47NetworkFTP / NFSTape / Optical Drives and RobotDiskData FlowDiskXtender Storage ManagerServer DiskXtender Manager Server Swap: memory disk HSM: disk tape /

33、optical标准DiskXtender UNIX / Linux 配置48提取 始终可供使用DiskXtender 提高了备份和恢复性能 将非活动、最终形式的数据提取到动态存档 提高备份/恢复性能增强生产应用程序的性能回收主存储上的容量减小备份环境大小（如 磁带、保险存储库）之前 完整备份，10 TB活动归档非活动数据之后 备份 4 TB，仅活动数据 主存储10 TB4 TB6 TB生产辅助存储活动数据回收存储49DiskXtender 是与 EMC Centera 配合使用的首要文件归档应用程序DiskXtender 与 EMC Centera 配合：内容真实性遵从管理法规要求仅存储内容的

34、一个拷贝 单实例存储 可扩展到数 PB 的巨大存储容量并容纳数十亿个内容项 自我管理实现了最低的总体拥有成本 复制型配置不需要备份EMC CenteraDiskXtender 与 EMC Centera 配合简单可扩展安全50EMC Centera 产品介绍与功能：EMC Centera 的工作机制：应用示例 数据库存储内容寻址以备将来参考 Centera 执行内容寻址计算并将地址发送回应用程序 应用程序服务器通过 IP 网络将对象发送到 Centera 创建一个对象并将其发送到应用程序服务器局域网CA CA 内容寻址 数字指纹 全球唯一 独立于位置 内容寻址算法 内容寻址算法 51EMC N

35、etWorkerBackup and RecoveryCentera Content Addressed StorageEMC Disk LibraryVirtual TapeBackup Advisor Diagnostics and RecommendationsAssessment ServicesFor Backup and RecoveryArchivingBackup/RecoveryEmailXtender Intelligent Email ArchivingDiskXtender Intelligent AvamarRemote Office / Branch Office52新的 EMC Backup Advisor 功能帮助备份管理员了解：已发生的问题及其原因当前正在发生的问题及其原因将要发生的问题及其原因1010让您全面了解备份环境 53不使用 Backup Advisor 管理备份操作Oracle 日志网络工具磁带诊断Exchange 工具备份报告54Backup Advisor 基本功能报表监