面向运营商的新一代数据中心的备份和存储解决方案20170306

面向运营商的新一代数据中心解决方案

－－备份和存储

售前工程师唐彪新一代数据中心IT基础设施发展的趋势2X86化（U2L、云、分布式计算）大数据（多并发、重复数据）软件定义（SDS、ServerSAN）微服务化（容器）Veritas面向运营商的新一代数据中心解决方案3Veritas新一代数据中心解决方案分布式计算解决方案X86数据跨节点实时共享X86计算能力线性扩展X86故障无缝切换高性能分布式存储解决方案X86内置磁盘取代阵列配合SSD卡，性能优于SAN阵列X86故障数据0丢失端到端云备份解决方案全面支持各类云平台备份支持数据备份到云存储云备份一体机支持备份系统云化端到端云备份解决方案

新的IT环境对数据保护带来的挑战|备份与恢复5传统架构不再适应X86环境下的SAN备份架构要求更多HBA卡和光纤交换机端口X86刀片需要多台交换机级联，将带来更大的运维风险x86新增客户端备份无法做到即插即用，需要繁琐的布线和配置X86以几何级增长，传统SAN架构，硬件成本急剧增加备份性能遭遇天花板数据量几何级增长，备份时间窗有限，要求更高的备份性能。数据类型多样化，多次全备份间数据重复度高，浪费备份空间，降低了备份性能。备份介质不断演进和发展，物理磁带库的机械故障和依赖于driver数量的并发特性已经成为制约备份性能的瓶颈数据需要可见即可用

DevOps的运维模式要求能够快速提供数据源，逻辑错误要求备份快速提供恢复应急传统RMAN恢复，包含restore和recover两个阶段Restore数据阶段一般需要1.5-2倍备份时长传统虚机恢复需要进行restore还原才能被云平台识别NetBackup8.0全面引领新一代数据中心备份新标杆6全新云备份架构重复数据优化删除云平台备份精细化管理文件/虚机备份性能加速数据库备份加速和优化大数据平台备份管理支持备份到公有云备份即服务平台数据级容灾和法律合规云客户端NetBackup端到端“云备份”架构备份客户端层备份网关云数据容灾机房备份一体机磁带库备份介质云备份LAN总线（1GE/10GE）备份SAN总线物理客户端物理磁带库虚拟磁带库FC阵列云存储、分布式存储网关数据总线FC接口1GELAN接口10GELAN接口FCIPS3IP网络优化复制生产机房2生产机房1生产服务器统一运维管理平台备份网关备份网关NetBackup端到端“备份云”的功能实现1、轻量部署：生产客户端无需安装mediaserver软件，无需配置管理备份介质，只需安装普通客户端软件。2、灵活接入：多种数据总线接口，包括1GE/10GELAN网络、FC光纤网络、infiniband网络等3、支持新增客户端的快速扩展4、前端重复数据删除和加速：减少备份传送数据量，提升前端数据备份性能。客户端云备份网关云备份介质云1、创新架构：完全隔离生产和备份，构建专属备份网关区域，为备份云的扩展性和可靠性奠定了架构基础。2、备份资源整合：生产端支持各类LAN/FC接口接入，后端支持各类FC/IP/OST/S3协议的备份介质接入。3、数据智能路由：根据前端数据的重要性和保留级别要求，配置不同SLA级别的数据路由，实现数据的生命周期管理。4、负载均衡分发：根据备份资源池的繁忙程度，将备份任务均衡分发到不同的备份介质资源。单台网关的故障不影响备份任务的运行。5、数据无缝容灾：通过IP网络进行网关设备之间的数据优化传输，实现备份域之间的无缝数据容灾。1、按需使用：无需关心后端备份介质器牌种类和型号，按需选择和使用备份介质。2、灵活可靠：只与备份网关连接，备份介质故障与前端生产服务无关端到端“备份云”的三个环节92､备份到云中（云存储、分布式存储）1､云的备份（私有云、公有云）3､备份在云中（scale-out备份系统）环节1：云的备份

NetBackup采用各种技术全面支持各类云平台备10NBUESX/IHostVMVMVMVMNBUNBU私有云Vmware备份私有云OpenStack备份公有云备份10Vmware/hyper-v私有云平台数据保护功能Kvm/xen/huaweivSphere/Hyper-vnetbackup服务器虚拟机虚拟机数据精减技术优化的重复数据删除技术数据块级优化增量、差异备份一次性备份，满足各种恢复选择要求虚拟机完整恢复文件/文件夹恢复应用程序恢复SymantecV-RayvMware虚拟机防护映像级虚拟机保护无代理直接备份结合VSS进行应用程序一致性保护vMware虚拟化平台数据SAN备份架构ESX/ESXiESX/ESXi代理服务器vCenter服务器备份服务器LAN网络SAN光纤交换机

Vmdatastore备份介质ESXNBUCBTVM利用VMwareChangedBlockTracking(CBT):增量备份的时间实现全备支持文件/文件夹、SQL与SharePoint备份恢复选择：整个虚拟机、文件、SQL数据库、SharePoint、某一文档等VMware的VIR(VMwareInstantRecovery)恢复加速立即启动虚机，无需先恢复虚拟机基于标准的NBU备份image支持所有的NBU磁盘备份（BasicDisk/EnterpriseDisk/PDDO/MSDP)

vmware虚拟化备份与恢复加速器13NBUNetBackupNFSDatastoreESX/ESXiNASSANVMware®策略新VMware策略类型–非FlashBackup-Windows新VMware选项所有VMware设置均整合在一个新选项中14Hyper-V®策略新Hyper-V策略类型–非FlashBackup-Windows新Hyper-V选项所有Hyper-V设置均整合在一个新选项中15虚拟机智能策略：

动态跟随vm的动态漂移，不错过每个vm的备份16新查询构建器变量，包括：Datastore集群：存储动态资源调度(SDRS)的一部分定制虚拟机属性：用户定义vCenter变量17ESXTapeoutvStorageBackupdeduplicationNBU5230虚机备份源域（生产数据中心）目标域（DR数据中心）优化的复制功能复制介质服务器或5230硬件设备ESX/ESXiESX/ESXiSAN存储SAN存储介质服务器或5230硬件设备RPO为小时级RTO为分钟级虚机远程容灾虚机应急恢复Symantec5230备份一体化解决方案NBU5230实现vmware虚拟机环境“备份/应急/容灾”三位一体的解决方案备份重删磁盘介质备份复制服务器备份服务器NBU5230NetBackup备份OpenStack解决方案18存储网络Dashboard管理节点生产网络管理网络ESCloud企业云NovaGlancKeystoneNeutronCeilometerSwiftCinderCentOS6.5业务存储部署管理CentOS6.5CentOS6.5KVM+AgentKVM+Agent计算节点CentOS6.5CentOS6.5…AgentAgent存储节点存储池CentOS6.5CentOS6.5存储池计算存储节点…KVM+AgentKVM+AgentCentOS6.5CentOS6.5…MediaServer(s)MasterServerMasterMediaNBU客户端NBU客户端NBU客户端NBU客户端NBU客户端NBU客户端备份ESCloud云平台备份物理架构定制化对接。基于Openstack版本和发布的厂家较多的特点，当前NetBackup通过服务定制可以支持OpenStack云平台的备份，提升OpenStack云平台的数据安全，协助用户构建基于OpenStack云平台并符合企业环境的数据生命周期管理。

。依托cinder接口提供数据一致性备份。通过定制cinder的配置文件cinder.conf和OpenStack备份API文件nbu.py，使得租户通过cinder在调用cinderbackup-create/backup-restore/backup-delete命令时自动调用NetBackup接口进行Volume卷级的备份，通过快照和流程编排同时可以实现VM级的备份。

。NetBackup对主流大数据平台备份的支持大数据下的备份发展备份历史归档GreenplumTeradataExadataSAP

HanaHadoopMongoDB采用各种方式支持各种海量大数据的备份支持数据归档到云存储特性备份海量云存储或物理磁带库MySQLEnterpriseEditionNetBackup备份hadoop数据

---四川移动云平台详细系统案例NameNode按正常的文件备份规则，执行对namenode元数据文件、日志文件和配置文件目录的备份。Datanode数据备份的部署和运行：备份一体机通过万兆网络接入到hadoop网络。备份一体机，需要作为hadoop云平台的网络客户端，对hadoop云平台的数据进行抽取。

备份一体机获得访问hadoop云平台权限。

备份一体机内置系统采用的是加强的版本的SLES10sp4，完全支持基于JAVA平台的hadoop软件，由亚信提供亚信版本hadoop的客户端，安装到备份一体机，并被赋予访问需要备份的HDFS文件系统的权限。

备份一体机云cache文件系统。

由于hadoop云平台的数据需要再备份一体机做数据转存，所以备份一体机会提供一个云cache的空间，作为数据cache区

备份一体机从hadoop云平台抽取数据到云cache文件系统。通过crontab定期执行抽取数据脚本，从hadoop云平台抽取数据到云cache文件系统的/advdisk/Hadoop/data目录，并记录详细抽取的数据在run.log日志中。备份一体机备份归档hadoop云平台数据过程。备份一体机通过备份归档策略，自动定期把抽取到云cache文件系统的hadoop云平台数据进行处理。

第一阶段：备份云cache中数据

。第二阶段释放云cache空间

。

Oracle大数据备份加速器21101010010010ii抛弃传统备份模式，采用oracle块增量跟踪和自动合成结合的技术实现性能加速备份性能加速10倍以上数据库容量越大，加速效果越明显备份性能提升生产IO优化冗余数据重删备份数据可见即可用采用块增量跟踪技术，每次备份对生产IO负荷极小。结合自动合成技术，以增量备份的IO代价和时间消耗来获取全备份的数据保护效果备份加速只需在首次备份时存储全备空间，后续全备均以增量空间消耗。基于加速存储后的数据，全局智能重复数据删除技术再进行二次空间压缩数据无需restore阶段，挂载到生产服务器recover即可直接打开oracle数据库。单份备份数据可以快照方式共享给多个客户端同时读写使用，避免数据库环境重复准备搭建NFSNFS

NFS

TapeDedupeCloudOff-siteDRSnapshotsRMANcatalogNBUcatalogSLP►BackupWindowAccelerator/IncrementalmergeRestoreoverthebackupnetworkRestoreoverNFSNetBackupOracle加速备份全流程

22图形化界面进行自动化配置。增量合成全备，即优化前端生产服务器的IO压力，也提高了全备份的性能。应急恢复时直接挂载备份数据open数据库，备份数据可见即可用。后端可按需进行磁带出库，云存储归档和异地容灾等应用NetBackupOracle加速全备增量合成DatabaseSystemSnapshotsNFSShareMergeMergeOnlychangedblocksarestoredafterfullTapeDedupeCloudOff-siteDRSnapshotsRMANcatalogNBUcatalogSLPCopilotforOracleByChenzhenyu23自动化增量合成，节约备份时间和存储空间。合成后全备快照，多版本全备份数据的优化存储。单份oracle数据，通过快照同时提供多个生产服务器并行使用，解决不同的的应用使用需求。NBUForOracle大数据备份加速器的优势数据库加速备份不是梦！5.8TB数据库25分钟备份完成，提升近14倍。1TB数据库5分钟备份完成，提升12倍。在恶劣的测试环境也有3倍的速度提升（10TB大库，一个千兆口，只有100MB/s的存储性能）即时恢复（10分钟）快速打开数据库使用copliot的系统，通常是重要系统。重要系统的全库恢复通常依赖容灾系统，而备份是防止更多的逻辑错误。即时恢复可实现快速恢复逻辑错误，无需寻找恢复空间，在备份设备上打开数据库，导出故障前的数据，进行生产恢复。Copyright©2015SymantecCorporation24

数据副本管理CDM，快速搭建业务应急系统25环节2：备份到云中

NBU采用d2d2C架构，实现备份数据的分级存储NBU备份网关＋X86原生磁盘池/分布式块存储池

26NBU分级存储池NBU备份系统Users备份主服务器物理客户端云客户端NetBackupconsoleX86服务器原生磁盘块存储物理带库重删优化NBU备份网关（media

server）“Hot”storagetier“Cold”storagetier备份数据生命周期管理NBU后端介质池支持x86服务器原生磁盘存储和vSAN/Veritas等主流分布式块存储块设备NBU采用D2D2C架构进行备份数据分级，热数据存储在近线的块存储池，冷数据存储在物理磁带库或云存储池NBU备份网关支持近线热数据存储池配置NBU存储单元组的负载均衡和故障切换NBU备份网关支持客户端数据的优化重删和加速备份到近线热数据存储池前端重删处理IPIPvSAN分布式块存储VeritasAccess分布式块存储对象存储/云存储前端重删处理备份到云中关键技术1－基于LAN网络的重复数据删除

（介质池：单台x86服务器2*10coreCPU，128GB内存，12个4TB硬盘，RAID10，raid卡cache1GB/2GB，2*10GB网卡）通过测试和现网运行情况来看，采用重复数据删除技术的备份运行效果如下：降低备份网络传输流量。使用NBU客户端重删功能进行备份，大幅降低client端、media服务器的网络流量，第1次备份平均网络流量都在50MB/S以下，第2次全备的平均网络流量低至20MB/S以下，对生产服务器的网络影响较小。减少备份后端存储IO压力。使用NBU客户端重删功能进行备份，大幅降低mediaserver端写入的磁盘IO流量，第1次备份平均网络流量都在50MB/S以下，第2次全备的平均网络流量低至20MB/S以下。节约备份存储空间。使用NBU客户端重删功能进行备份，大幅节约备份存储空间。根据数据改变量的不同，数据库和文件系统重删率均在50％以上，第2次备份的重删率高达90％以上

。提升备份性能。使用NBU客户端重删功能进行备份，大幅提升备份性能，通过现网运行数据看出，采用重删全备速度在450MB/S左右，比非重删提升1倍性能。备份到云中关键技术2－存储介质池的高可用NBU存储单元组实现NBU备份介质资源的负载均衡和故障切换，保障备份介质池的不间断高可用性。X86服务器RAID/HotSpare采用x86服务器原生磁盘，可以选择RAID5/6/10和hotspare等数据保护模式提高磁盘故障冗余能力vSAN/Veritas分布式存储多副本分布式存储多副本能够在单台x86服务器或者磁盘故障时自动切换，对上层应用透明无感知，数据0丢失NBU备份数据分级存储NBU采用D2D2C架构，根据数据生命周期进行备份数据分级，热数据存储在近线的块存储池，冷数据存储在物理磁带库或云存储池。NBU备份数据多副本存储NBU根据用户定义的数据SLA级别要求，实现数据在同级存储或多级存储之间实现多副本存储。NBU跨域优化容灾复制NBU基于IP网络进行跨备份域优化复制，并自动导入catalog信息，异地备份域直接处于可用状态。实现数据的异地存储和数据级容灾BOSS备份系统架构现状29现有备份采用SAN架构＋物理磁带库为主的模式，面临着极大的挑战：硬件投资成本高。大量x86服务器和刀片服务器的部署，导致HBA卡和SAN交换机端口数量激增，需要为每台生产主机准备HBA卡和SAN交换机端口，硬件成本高。扩展性不灵活，无法横向扩展。新增备份需求，需要为生产主机部署备份HBA卡和SAN交换机端口，在生产主机上识别磁带库，需要花费大量的时间。维护成本高。磁带库机械手和驱动器的物理故障频率较高，需要投入较多的维护人力和资源。移动集团对于物理磁带库的采购政策发生变化。备份性能遇到瓶颈。磁带库物理故障延长备份时间，磁带驱动器数量限制备份并发。虚拟磁带库的使用也未使上述状况得到明显好转。LAN网络SAN交换机SAN交换机BOSS数据库数据库NBU备份服务器SALES数据库物理磁带库虚拟磁带库备份软件为适应互联网架构下的IT系统备份要求，建议试点基于LAN网络传输的云备份架构。建设基于LAN网络＋x86块存储的备份云30基于LAN网络传输的分布式云备份系统，架构分层如下：备份网关云。采用X86服务器作为备份介质服务器使用x86服务器的本地磁盘空间或存储阵列空间作为备份空间X86服务器配置10GE网卡作为数据备份通道。备份客户端层。生产主机上安装轻量备份软件客户端，配置1GE/10GE专用备份网卡接入备份系统。生产主机无需管理备份介质，降低管理风险和对备份生产的影响。物理客户端云客户端NBU备份服务器NBU备份网关LAN网络备份云架构优势：硬件投资成本可控。只需要配置x86服务器和网络交换机，还可以利旧原有磁盘阵列空间。备份横向扩展灵活。新增主机备份，只需生产主机连通备份网络，在生产主机安装轻量备份客户端即可实现数据备份。备份性能提升。充分利用磁盘介质的IO性能和多并发机制，采用重复数据删除技术，将生产主机的唯一性数据片优化传输写入备份介质，节约备份带宽，提升备份性能。架构简单易维护。基于TCP/IP协议进行备份数据传输，架构简单，运行稳定。使用磁盘介质，避免磁带库频繁的机械手和驱动器物理故障。NetBackup数据支持备份到公有云存储

NBU介质服务器或52xx硬件设备NBU客户端

满足block/S3接口支持备份加速环节3:备份在云中

nbu备份域可以置于私有云中32UsersNetBackupconsoleMediaserverNBUinstanceMasterserverEsxivminstancesvmwarevSANDeduplicateddataMSDPpoolBackupstream在vMware云环境中快速部署NBU备份域NBU软件支持对vMware云主机和云存储进行数据保护NBU软件支持使用vMwarevSAN存储作为备份存储介质NBU在vMware云中的备份支持数据重删、备份加速等高级功能Option1:NBUinstancevSphereHypervisor备份在云中：nbu备份域可以置于公有云中Copyright©2016VeritasTechnologiesLLC33Amazon

S3/S3IACustomerVPCUsersNetBackupconsoleMediaserverwithcloudconnectorNBUinstanceMediaserverNBUinstanceEC2instancesMasterserverNBUinstanceEC2instancesNetBackupAMIAmazonEBSCompresseddataDeduplicateddataMSDPpoolBackupstreamBackupstreamFastandeasydeployment在Amazon中快速部署NBU备份域NBU软件支持对AWS云主机和云存储进行数据保护NBU软件支持使用AWSEBS/S3存储作为备份存储介质NBU在Amazon云中的备份支持数据重删、备份加速等高级功能AcceleratorOption1:Option2:Copyright©2016VeritasTechnologiesLLC34CustomerVPCMediaserverNBUinstanceRecoveredinstancesUsersMasterserverMediaserver/ApplianceNetBackupconsoleProtectedphysicalandvirtualserversAuto-Image-ReplicationAmazonEBSDeduplicateddataMSDPpoolDomain:AVPNsecuredSLP,DeduplicationandWANoptimizationMasterserverNBUinstanceDomain:BIndependentNetBackupDomainIndependentNetBackupDomainCustomerdatacenterRecoveryofon-premisesphysicalandvirtualserversinAWS,andvisa-versaRestorephysicalandvirtualserversinAWSandvisa-versaRemovestheneedforseparateDRinfrastructureNorehydrationforD2D2CNoshippingofmediaSeparateNetBackupdomainsCentralizedlocationtomanagethebackupenvironmentregardlessofthedata’sdestination

备份在云中：

本地nbu备份域与公有云中nbu备份域进行数据级容灾复制NBU5230云备份一体机

集成了主机/存储/OS和NBU软件的一体化设备35NetBackup备份一体机多接口支持（1GE/10GE/8GFC）灵活容量支持（单台可用容量4TB-458TB）高效（集成重复数据删除，支持多并发IO）备份数据容灾高性能分布式存储和计算解决方案

分布式存储使用背景X86服务器的计算能力已经接近或超过小型机X86服务器的本地存储资源的单位容量成本比外置阵列更有优势充分利用X86服务器资源，需要考虑的问题去掉外置存储，如何确保单台x86服务器存储数据和应用的高可靠性去掉外置存储，如何保障存储IO性能？

解决方案X86服务器+Veritasinfoscale分布式存储

infoscale分布式存储结合RDMA(RemoteDirectMemoryAccess)实现高性能、高可用、高安全性的分布式存储。实测随机读高达1.5GB每秒，一般高端盘阵速度为500MB/s。37Veritas

infoscale高性能分布式存储方案38灵活存储共享架构无需共享磁盘本地HDD本地SSD/Flash混合磁盘DAS/SAN延续传统存储架构RDMA高速互联,提供无损IOInfiniBand10GEEthernet单台X86故障数据0丢失应用快速切换基于现有技术架构无需应用改造支持任何上层应用如Oracle

RAC分布式存储特性10GE/IBHighlyAvailableApplicationsHighlyAvailableFileSystemsVeritas

infoscale跨多台X86服务器的统一文件系统命名空间使用场景一：多台x86服务器提供高性价比分布式NAS存储服务39LocalSSDLocalSAS/SATAStorageNFSserverNFSserverNFSserverNFSserverVeritas

infoscale管理NFSserver服务和浮动IP的高可用切换NFSclientNFSclientNFSclientNFSclientInfiniBand和10GE交换机1GE/10GE以太网方案配置：多台X86服务配置本地SAS/SATA磁盘，性能要求高的配置SSD磁盘多台X86通过InfiBand网络或者10GE网络连接X86服务器上安装配置veritas

infoscale分布式存储软件，将多台x86的各类磁盘空间整合成一个统一文件系统空间，启用linuxnfsserver将文件空间share出来，前端服务器通过nfs协议挂载文件系统空间veritas

infoscale分布式存储管理各个x86服务上的nfsserver和对外浮动ip地址的高可用场景一下Veritas

infoscale分布式存储主要功能点高可用可扩展文件系统MultiNodeMulti-SiteCampus/WANdistanceAvailabilityPeriodicReplication多种文件和对象访问协议NFSv3/v4(Active-Active)CIFS/SMB3

S3混合云支持OpenStacksupportVMwaresupport集中用户界面SinglepaneofglasstomanagemultipleinstancesSimple&IntuitivewizardsStorageconsumptionreports异构存储硬件支持DirectAttachStorage(DAS)SSDsSANStorageS3basedCloudStorage存储分级支持Tieron-premisetoCloudTierbetweendifferentstoragetypes存储优化

CompressionDeduplicationPB级别命名空间**TechpreviewInfoScaleAccess42硬件需求高性能Pc-Server，2台HDD/SSD/Flash卡（任一种或混合）Infiniband卡或兼容RDMA10GE网卡，2块Infiniband交换机（可1对1直连）业务和oracle心跳网卡软件需求Oracle数据库软件Redhat／SuselinuxVeritas

infoscale工作原理使用infoscale分布式存储将本地存储资源HDD/SSD/Flash卡通过RDMA共享给其它节点创建集群文件系统给OracleRAC使用使用场景二：无共享存储的OracleRAC方案

10GE/IBRDMA心跳网络Node_ANode_B网络交换机2台1GE，业务网络10GE/IB，心跳网络Redhat/SuseSFRAC6.1Oracle11gR2IB交换机2台