傅翠云--异地多活数据流基础设施DRC V31

1、异地多活数据流基础设施异地多活数据流基础设施DRC- - - - - - 双11支持571亿交易额背后的武器自我介绍 专注于DRC（data replication center） 目前负责产品规划和架构设计 在数据库，高可用，分布式经验比较丰富Agenda DRC介绍 DRC在异地多活 DRC在更多数据架构 DRC在云端如果你是阿里云用户？如果你是阿里云用户？场景1：跨域同步RDS美国美国RDS杭州杭州RDSreplication场景2：接入异构数据迭代、迭代、迭代迭代、迭代、迭代场景3：订阅增量数据APP可扩展性可扩展性 一致性一致性稳定性稳定性 实时性实时性备份、通知备份、通知数据流基础

2、设施数据流基础设施DRCDRC是什么原生复制原生复制卡夫卡卡夫卡标准消息标准消息同步同步 异构异构高可用高可用实时实时分发分发Data Replication Center数据管道层数据管道层Master DBSlave DBMaster DBSlave DBDRC Store（抓取）（抓取）DRC Congo（同步）（同步）DRC SDK（订阅）（订阅）data高可用层高可用层DRC架构DRC distributed data集群管理层集群管理层DRC cluster manager统一接入层统一接入层DRC region managerDRC slave storeDRC Store数据流

3、基础设施DRC 覆盖阿里所有核心业务 服务于淘宝新一代架构淘宝新一代架构的核心组件异地多活的武器异地多活的武器DRCDRC淘宝新一代架构机房1城市1机房2【同城多机房】只能堆机器【跨城多机房】冷备贵且不靠谱， 多写跨城调用延迟大，流量无法切换【阿里异地多活】【阿里异地多活】热拔插应对业务峰值流量实时切换数据实时恢复机房3城市2机房4读读/写写读读只只/ 读读 写写城市3 读读/写写城市4 读读/写写淘宝异地双活支付买家买家卖家卖家商品商品创建 订单中心商品 管理库存优惠物流订单会员单元物流商品 管理库存优惠创建 订单订单会员一致性一致性 实时性实时性单元 100%中心 100%同步架构1 读写

4、分离保证实时性保证实时性 保证一致性保证一致性StoreCongo中心读写单元只读单元100%中心100%同步架构2 单元封闭避免循环复制避免循环复制 避免峰值压力避免峰值压力StoreCongoStoreCongo中心流量1-N%单元流量N%DRC核心能力低延迟低延迟高可用高可用一致性一致性一致性 数据有序 数据不丢 数据不错 事务一致BinlogcommitStoreCongo跨城秒级延迟挑战5100ms15ms 0.2ms150ms低延迟 跨城延迟大 事务相关、DDL影响并发 读历史会影响写实时 热点数据阻塞非热点数据BinlogcommitStoreCongo高可用 源和目的主备切换

5、任务高可用 数据高可用 下游隔离 核心隔离 监控StoreCongoZookeeperCluster ManagerDistributed dataSlave StoreDRC reloader DRC monitorStoreCongo014年双十一处理规模2000+个实例实时增量 抓取了约100TB的数据量峰值每秒每秒处理了30+GB的数据量 数据同步：除了交易限流限流，核心库均无超过秒级延时无超过秒级延时 增量订阅：17000+个实时下游2014年双十一实时性DRCDRC经历经历2次次 双双11成功支撑成功支撑571亿交易亿交易最大延迟最大延迟 不超过不超过1秒秒同步距离同步距离 最长最

6、长10000公里公里申请申请10项项 专利专利DRCDRC支持更多数据架构支持更多数据架构Region2Region1Zone1高可用分布式数据库Zone2Paxos/DRCZone3DRCStoreStoreCongoCongoCongoCongoRegion2Region1数据分发中心StoreStoreStore离线分析离线分析搜索搜索实时计算实时计算增量中心增量中心消息队列消息队列StoreSlave storeStoreSlave storeStoreSlave storeDRCDRC在云端在云端迁移上云 覆盖2014年50%RDS新增实例 全量+增量，无缝迁移升级版 - - - -

7、 - - DTSMySQLmysqldumpmysqlimportOracle25-page document导入/导出SQL LoaderSQL Server7-page document Import/Export向导Bulk Copy ProgramPostgreSQL10-page document pg_dump3-page document某全球知名云计算服务商阿里云Data Transformation Service 一键入云 无缝迁移 兼容异构兼容异构 一致校验跨域同步杭州杭州RDS美国美国RDS10% RDS replication不支持不支持跨域 DRC支持跨域RDS同步或者容灾，对RDS无入侵无入侵 限量公测 杭美RDS实例之间实现7*24小时实时同步DRCRDSDRDS增量订阅 支持RDS和DRDS 通过SDK订阅 单机版 集群版 内部客户： Open search CDP DRDS同步，小表广播 网聚宝等数据搜索 限量公测DRC sto