阿里电商数据库上云实践

1、技术创新，变革未来阿里电商数据库上云实践目录阿里巴巴电商数据库应用场景介绍数据库管控演进数据库上云的选择与思考 未来展望阿里业务特性介绍RDS高可用版Master部分业务使用RDS高可用版，采用一主多备模式实例无法做到RPO=0SlaveRORO阿里业务特性介绍RDS三节点企业版（一）目标解决RPO=0理论依据CAP原则 or BASE理论一致性(C)、可用性(A)、分区容忍性(P)实现方式MySQL半同步MySQL Group ReplicationRDS自研实现协议Paxos协议 or Raft协议?阿里业务特性介绍RDS三节点企业版（二）Why Paxos，No Raft？Paxos角色

2、介绍ProposeAcceptLearnRDS三节点角色转换Propose LeaderAccept Follower/LoggerLearn LearnerLeaderFollowerLoggerLearner阿里业务特性介绍业务异地多活异地多活具备Region级别逃逸能力用户可以在任意单元进行交易意义：水平扩展能力异地容灾能力问：RDS如何应对？中心单元1单元2中心DB单元DB1单元DB21.按照规则分流2.单元自封闭3.呈星装复制阿里业务特性介绍一数据库异地多写阿里业务特性介绍数据库异地只读异地只读Learner全量数据Learner不影响Pasox协议每个Learner都有灾备节点基于

3、数据库原生复制一致性高展望MaxScale数据库管控平台定义系统性复杂性可用性阿里数据库管控平台架构演进(一)2003年从系统管理员(SA)中渐渐细分出数据库管理(DBA)职业DBA手工运维2006年开始使用Nagios、Cacti等开源工具2009年阿里开始自主研发第一代运维系统“北斗”，替换Nagios、Cacti等开 源工具阿里数据库管控平台架构演进(二)2010年阿里巴巴开始进行去IOE工作阿里第一代MySQL运维系统诞生“天机”，主要面向监控、可用性、 备份2013年随着业务规模不断扩大阿里第二代MySQL运维系统诞“DBFree”主要面向自动化MySQLMySQLMySQL控制台M

4、ySQL阿里数据库管控平台架构演进(三)2016年阿里第三代数据库运维系统“DBPaaS”诞生，满足异地多活、混合 云等业务需求2018年底层IaaS上云，使用云资源2020年阿里电商数据库全面开始上云，使用云管控核心数据库（交易、购物车、商品、优惠等）及核心链路采用云数 据库专属集群（MyBase）模式，基于云原生数据库构建上万个节点 RPO=0上云方案选择数据上云方案选择数据上云方式对比最终选择物理迁移方式上云逻辑迁移物理迁移方式Mysqldump/DTSXtraBackup效率低高数据对象平滑性中高数据一致性中高权限低高上云方案选择网络方案选择网络特性对比思考数据双向流动、性能结论ENI

5、+MyBase胜出方案优点缺点ALB成熟方案经过ALB，不符合极致性能要求NGLB解决ALB痛点1、首包经过XGW，在0点场景可能会有问题；2、暂时不支持ECSENI标准云产品，性能好不支持物理机ENI+RDS暂无产品ENI双向联通存在安全风险ENI+MyBase1、应用、数据库在同一网络平面2、中间没有代理层效率高管控和用户是两个IP，管控需要实现上云方案选择网络拓扑图上云方案选择裸金属服务器（一）上云方案选择裸金属服务器（二）分钟级交付， 资源弹性兼容VPC/SLB/RDS等云盘启动+挂 载云盘兼容虚拟机 镜像物理机的性 能+隔离性虚拟机VNC/ 控制台/OpenAPI体 验宕机迁移恢 复

6、免人肉自动 运维上云方案选择机器对比功能分类功能裸金属物理机虚拟机KVM运维自动化分钟级交付YNN计算无性能损失/无资源争抢/无特性损失YYN存储完全兼容云盘使用云盘启动/系统盘快速重置/免安装OS/任 意OS 镜像物理机和虚拟机之前相互冷迁移 免本地RAIDYNY网络兼容ECS经典网络/兼容ECS VPC网络YYY物理机集群和虚拟机集群VPC无通信瓶颈YNYECS管控完全兼容ECS现有管控 VNC等用户体验保持一致 带外网络安全YNY上云方案选择存储选择功能扩展性云盘本地盘磁盘上限32T6T分钟级备份YN分钟级实例CloneYN分钟级实例跨Region CloneYN数据在线扩盘YN磁盘IO

7、PS可配置YNMySQL原子写YN可靠性高中分布式存储PODES S DPODES S DECS上云方案选择异地只读(GDN）现状各Region独立解决方案Global Database Network上云方案选择充分利用MyBase特性分布式存储FollowerLeaderLearnerLeaderFollowerLeaderFollowerLearner分布式存储分布式存储分布式存储分布式存储分布式存储分布式存储分布式存储BinlogBinlog亲和、交叉、超卖、弹性计算节点计算节点Binlog上云方案选择最终形态特性描述自建数据库RDSMyBase高可用数据库主备架构，高可用性保障，宕机

8、自动切换、修复有门槛支持支持高可靠数据库多副本保障、数据同步可调一致性保障（RPO优先）、三节点企业版RPO=0保障不支持支持支持高性能内核性能提升：相比开源版本MySQL（1.5x)Redis(3x)不支持支持支持高安全SSL链路加密、TDE落盘加密、审计日志体系等，保障事前，事中，事后的数据库安全有门槛支持支持运维能力备份恢复、监控报警、智能运维诊断等全套数据库运维解决方案不支持支持支持自主可控开放OS、数据库完整权限；开放数据库管控平台标准化底层接口；用户可深度自定义数据库管理逻辑支持不支持支持混部混合部署MySQL、Redis等，并提供云数据库管理特性支持不支持支持（计划）资源调度用户专属一片物理主机资源池，可自定义实例分配、分布策略，高度适配业务需求有门槛不支持支持超配能力用户物理资源100%隔离，支持CPU、内存(Redis)、空间等资源的超配不支持不支持支持总结业务双十一期间交易额4982亿，高峰订单58