一体化数据管理技术交流(PPT 90页)

,Commvault一体化数据管理,JasonDongjdong,客户LOGO,公司创建于1996年，从ATbyDavidRussell,SheilaChilds,AlanDayley;January28,2011,2012GartnerMagicQuadrantforEnterpriseBackup/RecoverySoftwarebyDaveRussell,AlanDayley,SheilaChilds,PushanRinnen,11June2012,2013GartnerMagicQuadrantforEnterpriseBackup/RecoverySoftware,June2013,MagicQuadrantforEnterpriseBackupSoftwareandIntegratedAppliances;byDavidRussell,PushanRinnen;June9,2014,DCIG虚拟化备份软件评测,-连续两年蝉联冠军,9,国内典型行业用户2000+,数据管理面临的挑战？,主要行业规范及要求,证券期货信息与数据安全相关文件,证券期货经营机构信息系统备份能力标准,证券期货业信息系统安全等级保护基本要求,信息安全技术信息系统灾难恢复规范,访问控制,数据保护,容量规划,生产中心,灾备中心,灾难恢复等级第4级,灾难恢复等级第5级,相关指引和规范总结,证券行业系统分类,证券行业主要数据管理挑战A.C.S.S,脚本dump数据库+FTP异地保存；备份恢复过程往往需要大量脚本操作，过分依赖管理员或DBA技能，难以共享和监控，容易造成误操作；缺少管理者视图，不能提供分权报告。,核心数据保留要求时间长，存有多个副本，导致后端备份存储成本居高不下；大量历史数据在线存储，扩容和存储成本高。,数据同步无法防范逻辑错误和人为误操作；核心数据库要求更高的RPO/RTO，能否快速恢复；数据可用性能否保证：备份的数据能否有效恢复？,备份管理员往往具有Root权限，可以对所有数据做备份，恢复，查看的权限；多人共用同一账号，难以审计。,S,数据管理面临的问题与风险（1）,易用性问题及风险全脚本化，容易误操作；备份策略变更麻烦，工作量大对运维人员的技术水平要求高，依赖程度高技术转移困难：备份管理员自身的转移，需要其他团队参与备份数据可用性问题及风险备份数据的恢复完全依赖审计或应用需求无备份介质检验机制，更无法做到自动化没有按照等保机制，做到备份数据的定期恢复演练；一旦真正做起来需要协调的部门多、工作量大,数据管理面临的问题与风险（2）,安全问题及风险所有人员使用一个具有最高权限的账户，容易误操作，且无法审计？数据保留周期越来越长，设备不断更新换代，如何保证备份介质安全，数据可用？介质出库如何管理？海量小文件数据管理问题及风险备份时间窗口的问题？恢复SLA的问题？历史数据大量占用空间的问题？同城异地传输保留的问题？,数据管理面临的问题与风险（3）,管理问题及风险无法对整个备份恢复的成功率、数据增长情况、介质利用率做及时、全面、易读的了解无法使各级人员掌握各自需要的信息系统越来越多，能否实现主动式运维和自助式服务，减少工作量？功能扩展问题及风险传统备份软件只是专门用于数据备份恢复的一个工具而已轻量级数据复制、重复数据删除、海量文件、虚拟化管理、桌面管理、邮件归档合规等各自需要专门的工具，复杂度越来越大如何把数据在“两地三中心”有效的传输、不同时间的保留、恢复、演练,从一个系统管理员的角度进行分析,目前现状,祈祷小概率事件不会发生,繁杂的日常维护工作,大量的紧急事件需要处理,无法全面统计和预测数据增长,核心交易系统数据库需要恢复到清算前！,融资融券需要增加快照保护某影像数据需要延长保留*本周五财务系统恢复演练,1.备份数据所占存储空间2.目前介质使用情况3.明年存储扩容多少？需要再买多少介质？下周一要给老板！,Commvault解决之道,数据管理最佳实践-四个现代化,整体数据管理方案概览,如何优化备份架构？,生产中心,传统备份系统的架构,索引,双活中心/灾备中心,分布式、两级索引机制,横向扩展,MA,MA,MA,更大范围,中心,分支机构,分支机构,更大规范地扩展：一个管理域能实现对10000台物理机，20000+虚拟机或桌面管理可分布于广域网：单一备份域实现多个数据中心的集中管理数据自描述格式：数据和索引存放在一个拷贝中，便于传输和恢复,集中整合数据资产,任意数据源,任意存储,任意平台和数据中心,CommvaultSimpana,统一备份架构助您整合备份资源,Commvault用户权限控制示例权限控制设计,权限管理分组权限管理建议,图形化实现按照业务组来划分计算机,计算机组用中文标识，容易识别避免字母简称重复,按照职能和业务组划分用户组权限,融资融券组,投资管理组,融资融券浏览用户,融资融券管理员,浏览,融资融券备份用户,融资融券恢复用户,恢复,浏览,如何满足业务系统不同的SLA保护需求？,不同SLA的数据管理策略,证券行业数据多级保护建议,磁带库,本地存储,快速恢复,多级保留,法规遵循,所有业务数据都需要备份保护！,CMD_STR=ORACLE_HOME=$ORACLE_HOMEexportORACLE_HOMEORACLE_SID=$ORACLE_SIDexportORACLE_SID$RMANtarget$TARGET_CONNECT_STRnocatalogmsglog$RMAN_LOG_FILEappend几百GB-TB/H,备份介质,数据卷,影像，数据库dump等文件电销，客服等录音文件,SAN/LAN,卷级/颗粒度恢复：小颗粒恢复、可恢复单个文件可快速恢复整卷可结合数据去重,非结构化数据高性能备份恢复,测试成果与传统备份方式相比快10倍以上,测试环境CPU：16个，内存：14GB，系统版本：windows测试数据量近800GB，平均单个文件大小约20KB，估算文件数4千万,结论：对于海量小文件类型的数据备份，通过块级备份方式，可以将备份时间缩短为文件级备份的十分之一，备份效率显著。,如何对文件进行分层归档？,设定一个时间线，把文件分成常用数据和历史数据两个部分定期进行归档操作,把历史文件存放于归档存储归档后的文件在原处可留下存根用户访问存根，归档文件自动回调归档后，只需要对常用数据进行备份。大大减少备份数据量。只要恢复常用数据，系统就能工作，大大降低恢复时间,历史数据,归档卷,文件存根,常用数据,历史数据,归档,回调,主存储,归档存储,0到1年,1到N年,独家支持将文件直接归档到磁带库，节约文件保存的成本,数据分层存储策略,1年以内,1年3年,3年以上,备份,归档,同步归档,影像，dump文件等在线,近线,离线,在线文件,归档存根,归档存根,备份文件,归档文件,归档文件,数据恢复操作,1年以内,1年3年,3年以上,恢复,回调,近线,离线,在线文件,归档存根,归档存根,备份文件,归档文件,归档文件,回调,影像，dump文件等在线,文件归档,虚拟化生命周期管理一览（VMware/Hyper-v/XenServer/Amazon/Azure）,虚拟机生命周期,RESTAPI,Self-Service,Tenant-based,Costing,Cloud-aware,Cloud-aware,V-Opsteam,MSP,Multi-Platform,Clustered,Simpana10(Now),市场状态,快速部署管理云,虚拟机/云生命周期管理架构,DataStore,虚拟层,物理层,快照/去重备份，永久增量,虚机复制,无需恢复，直接运行,离线归档,在线迁移,AWS,Azure,迁移部署恢复到云上,快速部署管理虚机,跨平台恢复,电源管理,生命周期管理-自动迁移虚拟机来自ESG统计：30-40%VM在生成后很少使用或闲置不用？,备份和恢复,CPU,MEM,空间回收快速恢复减低TCO支持VMware/MSHyper-V/Amazon/Azure,如何实现多中心集中管理和监控？,多中心数据管理现状和问题,CommvaultSimpana多中心数据管理,Commvault数据异地快速恢复-异地快速恢复,本地数据中心,异地数据中心,DatastorePool,DatastorePool,集中报告管理,内置重复数据删除技术,内置第四代重复数据删除功能与硬件设备无关，无需专用设备支持源端、目标端方式重删独家支持将重删后数据写入磁带,Commvault重删技术的优势说明,去重算法大部分厂商采用MD5和SHA-1，Commvault采用SHA-512，安全性更高定长块Commvault采用128K默认定长块，可根据情况在32KB、64KB、128KB、256KB和512KB之间调整自身的高可靠性系统会对重删库（DDB）自动进行定时备份数据恢复不需要查询重删库（DDB），提高数据恢复速度，保证数据的可恢复性其他高级功能去重数据传输（DASHCopy）去重数据合成全备份（DASHFull）去重到磁带（SILO）全局重删,多数据中心数据保留管理统一数据保留,备份数据保留周期在存储策略（SP）中设定,数据中心,同城灾备,异地灾备,Commvault分支机构数据管理,在窄带宽上传输大量备份数据重复数据删除功能、网络带宽控制功能数据中心管理员能随时知道每个分行机构数据备份/恢复情况实时状态、历史数据、发展趋势轻松实现备份数据的异地保存总部数据中心作为分支机构的备份中心充分实现资源共享数据交换；设备共享；管理共享,CS,数据中心,iDa,iDa,iDa,iDa,iDa,iDa,iDa,iDa,iDa,iDa,iDa,iDa,iDa,iDa,iDa,iDa,iDa,iDa,iDa,iDa,MA,iDa,MA,iDa,MA,iDa,MA,iDa,MA,iDa,MA,iDa,MA,iDa,MA,iDa,分行,Commvault的解决方案,一个软件，一个备份域！,全面、完善的磁带介质管理,磁带介质、驱动器等设备在使用过程中，故障次数达到指定的阈值，会自动提示用户通过实时监控磁带介质的使用状态，避免数据备份到有问题的磁带中，保证备份数据的有效性,磁带介质刷新,介质刷新的作用MediaRefresh技术（也可称作：磁带翻录）是可以帮助用户把旧磁带（已达到淘汰阀值）的内容翻录到新的磁带中，或者将老型号磁带（如LTO-4）翻录到新型号磁带（LTO-5）中，实现转存和长期保留的目的介质刷新的方法手工介质刷新利用GUI界面，手工进行磁带刷新操作，刷新对象是指定的磁带批量介质刷新制定好计划策略，自动批量刷新磁带，刷新对象是满足刷新条件的磁带辅助拷贝刷新利用辅助拷贝操作，复制磁带，达到磁带刷新的目的,磁带介质校验,介质校验的作用定期对长期保存的磁带介质进行介质校验，避免磁带介质因为温度、湿度等环境原因造成消磁、粘连，导致数据丢失介质校验的方法可选择全部或指定的介质可配置计划，自动执行,合规管理自动恢复演练,管理,监控,操作,自动演练,操作人员,管理员,经理,脚本操作,其他备份软件,关注数据恢复管理,关注数据备份操作,设计理念：,Commvault,审计,监控,管理,人工演练,磁带数据校验,数据校验的作用当数据备份/归档到磁带介质上后，在数据恢复之前并不能确认数据是否能有效恢复通过数据校验，可检测数据的正确性，确保恢复和辅助拷贝操作成功数据校验的方法数据校验是以存储策略为对象来进行的可选择全部或指定的拷贝可配置计划，自动执行,磁带介质刷新,介质刷新的作用MediaRefresh技术（也可称作：磁带翻录）是可以帮助用户把旧磁带（已达到淘汰阀值）的内容翻录到新的磁带中，或者将老型号磁带（如LTO-4）翻录到新型号磁带（LTO-5）中，实现转存和长期保留的目的介质刷新的方法手工介质刷新利用GUI界面，手工进行磁带刷新操作，刷新对象是指定的磁带批量介质刷新制定好计划策略，自动批量刷新磁带，刷新对象是满足刷新条件的磁带辅助拷贝刷新利用辅助拷贝操作，复制磁带，达到磁带刷新的目的,磁带介质跟踪管理,VaultTrackerVaultTracker是介质运输及仓储管理方案，用于管理和跟踪来回运输及仓储在异地的磁带通过定义跟踪管理策略，可实现自动跟踪管理基本功能按策略识别需要仓储到异地或从异地召回的磁带自动从磁带库中按顺序移动介质，并生成介质提取列表识别并跟踪磁带运输过程记录并跟踪那些不再使用或外部介质当采用容器搬运或仓储磁带时，记录并跟踪容器的信息,CommVault自动化恢复验证平台流程图,基于权限的图形化报告,系统管理报告通过邮件定时分发给不同的管理人员,71,业务人员会收到相关系统的备份摘要报告,管理员会收到所有系统的摘要报告和预检报告,IT经理会收到月度备份和恢复成功率报告,审计部门每季度收到系统的操作审计报告,中文、图形化文件分析图表,完善的中文、可定制、图形化报表,客户端SLA报告,根据实际情况设定合理的SLA:如果低于预设值说明某些客户端没有备份计划或30天内没有成功的作业,短期备份趋势报告:最近2两周的备份统计.,数据增长变化趋势报告,平均流数对应的磁盘和磁带性能统计:(PerStream)周末全量备份能够充分利用磁盘和磁带,体现更好的性能,数据量Top25,存储资源利用率报告,磁盘库使用率,整体去重比率,云存储备份,备份模式：D2D2C，保留本地副本，提高系统性能和RTO架构特点：本地保留去重数据库DDB和备份索引缓存数据传输：去重数据传输至云存储并加密,IndexCache,DDB-1,本地副本,DDB-2,云副本,HTTP/REST-CloudResources,去重数据加密后复制到云存储,介质服务器,备份,归档,快照备份,复制,高性价比的远程灾难备份方案,Commvault支持的云存储接口,连续数据复制（CDR）,CDR捕获写入文件系统的变化字节，存于后台复制队列用异步传输把队列复制到目标端回放，把数据写入到目标文件系统定时在应用上创建应用一致点，当应用一致点复制到目标端时，在目标端启动快照，记录应用一致点数据卷可以选择把快照卷上数据备份到磁盘或磁带或云存储，进行较长时间保留支持应用：文件系统、Oracle、SQL支持OS：Windows，Linux，Unix,CDR,文件系统,复制对,应用,CDR,文件系统,复制队列,应用一致快照,应用一致点,源端,目标端,一个流程实现复制+快照+备份,边缘数据云保护服务,备份/恢复，同步自动保护策略源端去重,同步设备间文件同步共享用户间共享，邮件共享云盘多设备及用户共享,ContentStore去重加密隐私管理内容索引统计分析权限控制,法规搜索,WEB&嵌入式访问Windows&Outlook浏览/发现/读取,随处访问浏览/发现/读取下载作为附件发送,SavetoStore从设备端推送文件,案例和总结,马士基集团简介,130个国家,89,000员工,470