云时代数据迁移与容灾技术的应用

1、云时代数据迁移与容灾技术的应用技术创新 变革未来Agenda现状和问题云时代的机会阿里云的新进展应用案例2014年 xx银行核心数据库出现故障，导致存取款、网银、ATM等业务全部中 断长达37小时。2017年 xx游戏数据库故障，30小时无法服务，数据丢失，导致游戏回档2018年 xx著名代码托管服务商数据库故障，24小时无法服务Murphys Law:If something can go wrong, it will.问题3650 3571 3669 3813 39914165 4341 44493238300040005000Revenue in million U.S.dollarsW

2、orldwide revenue from backup and recovery software between 2007 and 2015 (in million U.S. dollars)2000100002007 2008 2009 2010 2011 2012 2013 2014 2015Source: Statista,2017 亚太区400个企业中，超过34%在一年内发生过系统中断，而其中最主要的因素包括自然灾害、硬件故障、电力故障、网络故障、软件故障及人为操作 2015年备份恢复软件收入达到44.49亿美元迁移容灾现状国家标准信息系统灾难恢复规范(GB/T 209882007

3、 )迁移容灾规范逻辑数据复制利用第三方软件或应用系统实现数据复制 利用数据库系统本身实现数据库远程复制 利用备份系统将备份数据异地保存物理数据复制利用操作系统软件或复制设备实现数据远程复制或镜像 利用存储系统实现数据远程复制利用数据库备份工具数据量应用复杂度实时性数据库兼容性目的库可用逻辑复制少透明高好可用物理复制少or多透明低or高差不可用数据复制技术现状云时代的机会云时代的变化由于云，玩法变了场景（上云、合规、出海、多活、混合云、云备份）网络（VPC、专线、网关）技术（劣网传输、秒级RPO、快照技术、备份数据集查询）云服务本地自建库订阅消费XGW互联网私网VPC反向访问边界路由专线VPN网

4、关互联网反向访问ALB公网 VIP私网 VIPVPC VIP云时代的网络架构阿里云管控数据同步数据迁移数据订阅数据备份数据恢复阿里云的思考数据缓存Redis/Memcache文档型数据MongoDB关系型数据库RDSMySQL/SQL Server/PostgreSQL/PPAS分布式扩展DRDS时序/时空数据TSDB海量数据存储HBase在线应用时序/时空数据(IoT、监控、时空信息)实时数据处理关系数据缓存/KV数据云原生数据库PolarDB PolarDB-X图数据GraphDB文档数据图数据DTS数据同步/分发数据上云云外数据库数据库备份DBSMySQL/MariaDBSQL Serv

5、erOracleMongoDBDB2PGRedis分析型数据库:交互式在线分 析AnalyticDB数据湖服务 Data Lake Analytics (for OSS/OTS)多模数据分析HBase+X-Pack数据管理DMS数据库开发者工作台结构设 计数据访问数据分析智能诊断优 化数据库实验 室企业数据库研发管理套件研发规则流程规范引擎管控权限 管控任务 管控数据同步与传输DTS混合云数据库管 理HDM混合云数据同 步数据同步与传输DTS数据高速公路 - DTSDTS核心模块日志解析能力日志解析DReader幂等同步DTS Any To Any 架构解决one to one数据源的开发困境

6、，做到加入一个新的源库解析，到所有目的通道全支持，加入一个新的目的写入，所有源到这个目的通道全支持。分布式解析和同步数据库时光机 - DBS APIPortalNodeFMSIncDBS核心模块HA &MasterPipeline MetaBuilderParquet format MetaBuilder Schema snapshot &NC CRCPipeline &PluginActor modelHot upgrade切片算法 断点续传秒 级 RPO冲突&幂等算法 任意点恢复单表恢复物理备份POP通信热升级DBS gentFullSchemaPhasical backupDBS 秒级备

7、份灵活易用的解决可访问数据库的备份与恢复问题DBS 物理备份双十一大屏阿里云Region单元化基于DTS搭建的银泰新零售混合云某新零售公司异地多活某用户备份数据在线查询某集成商集成DBSECSECSECS集成商服务器端DBSOSSEAIDC集成商AgentDBS AgentDBEAIDC集成商AgentDBS AgentDB集成商AgentDBDBS Agent用户IDC阿里云OPEN API互联网公司缓存更新业务解耦某小视频公司业务数据实时解析场景说明：用户需要实时或定期对线上业务数据进行数据分析，以实现营销决策，业务大屏，实时查询等业务场景解决方案：使用数据同步或者订阅功能，将线上业务变更数据准实时同步到大数据分析产品中，业务实现准实时数据分析，快速抢占商务先机应用（上游