网易DDB的单元化技术架构演进

1、技术创新，变革未来网易DDB的单元化技术架构演进DDB简介中间件到代理的转变 软件到平台的转变DDB的跨机房方案DDB的单元化方案单元化的双向同步实现 单元化的数据一致性保障目录DDB：一步到位的分布式数据库0.7.515.22.530.成本12345678910数据规模单机数据库 分布式数据库数据库成本曲线PB级结构化数据存储百万级qps每日GB-TB数据增长在线扩缩容管理上千个数据节点标准化的访问协议2006年博客上线简单SQL兼容部分管理功能2008年V2.0发布2010年V3.0发布2012年V4.0发布2018年V5.0SQL兼容扩充在线扩容功能 图形化管理工具分布式事务在线修改表结

2、构 SQL兼容扩充管理功能完善 集群规模上千多语言支持SQL统计功能 云计算DDB架构简化服务拆分 SQL兼容度进 一步扩充多机房方案2006年开始， DDB为网易各大互联网产品提供透明分库分表服务。10年来不断完善，精益求精，是网易大体量互联网产品的立身之本。DDB发展历史数据分布两级映射 自定义哈希函数标准化SQL92 高兼容全局自增ID 支持explain 数据导入导出 MySQL通信协议分布式事务实现2PC协议 数据高一致 用户透明 自动识别多机房方案读写分离 两地三中心 单元化SQL统计SQL模式统计 SQL频度统计 慢SQL统计多维度QPS统计DDB核心功能DDBV1-V3架构：D

3、BI模式DDBV1-V3架构：DBI模式DDBV4架构：QS模式DDBV5架构：去中心化DDBV5架构：NDC服务拆分DDBV5架构：平台化DDBV5架构：跨机房DDBV5架构：跨机房机房A机房BAppApp主节点只读从高可用从跨机房从读/写读/写读读收益宿主机级别容灾读写分离适用场景业务发展初期问题容灾级别低200015001000500010ms20msTPS0ms1ms3ms5ms机房延迟机房延迟影响TPS32.526.19.513.6.50.10ms20ms响应时间0ms1ms3ms5ms机房延迟机房延迟影响响应时间机房延迟影响机房A机房BAppApp主节点高可用从读/写读/写主节点高

4、可用从DDBV5架构：单元化收益跨机房级别容灾读写本机房适用场景业务发展后期问题业务改造代价大方案优点缺点引入额外字段性能影响小 跨数据源对业务表有侵入GTID性能影响小 无侵入只试用MySQL事务中引入额外 SQL跨数据源 侵入小性能影响较大DDB单元化：解决回环复制DDB单元化：解决数据冲突加入版本字段update_time改写同步语句Where update_time =$data_update_timeCREATE TABLE user (id int(11) NOT NULL,name varchar(256) DEFAULT NULL,update_time timestamp(6

5、) NOT NULL DEFAULT CURRENT_TIMESTAMP(6)ON UPDATE CURRENT_TIMESTAMP(6), PRIMARY KEY (id),) ENGINE = InnoDB CHARSET = utf8mb4UPDATE userSET name = john, update_time = 2020- 06-09 13:27:32.237WHERE id = 1 ANDupdate_time = 2019-05-10 13:27:32.237DDB单元化：发现数据双写CREATE TABLE user (id int(11) NOT NULL,name v

6、archar(256) DEFAULT NULL,ndc_version varchar(256) DEFAULT NULLupdate_time timestamp(6) NOT NULL DEFAULT CURRENT_TIMESTAMP(6)ON UPDATE CURRENT_TIMESTAMP(6), PRIMARY KEY (id),) ENGINE = InnoDB CHARSET = utf8mb4机房A机房BInsertupdateNULLA1NULLA2A2B1,A2DDB单元化：实时数据校验机房A机房B(id,update_time)(id,update_time)(id,update_time)(id,update_time)校验等级双写数据校验冲突数据校验风险数据校验DDB单元化：管理平台总结DDB十年架构变迁V1-V3：驱动模式，满足JAVA应用所