OceanBase云数据库在金融核心系统架构实践

1、云数据库OceanBase架构演进及在金融核心系统中的实践缘起数据库在可靠与可扩展路上的不断追寻历程与架构演进漫漫工程路上的荆棘、权衡与不妥协云数据库OceanBase公有云上的金融级数据库服务未来发展不忘初心，矢志前行1234AgendaOceanBase的定义不是NoSQL分布式关系型数据库支持完整的ACID可扩展、高可用兼容MySQL协议CassandraOceanBase的发展历程V0.1 开发版本V0.3 OLAP尝试V0.4 启动V0.5 多机房同步， 开始在蚂蚁核心 系统使用V1.0 覆盖蚂蚁核心系统， 公有云上线V0.2 收藏夹V0.4 支持SQLV0.5 启动V1.0 多点写

2、入2010201220142016201120132015互联网对传统关系型数据库的挑战可扩展性传统关系数据库本质上是单机数据库向上扩展互联网对传统关系型数据库的挑战可扩展性通过读写分离 & 分库分表来解决极大的增加了应用层的复杂度1000等降价家居100010006.30前零食200010003000收藏信息收藏的商品的信息UID备注标签宝贝ID110001200013000宝贝ID价格描述.1000992000199互联网对传统关系型数据库的挑战可靠性数据一致性主备切换问题OceanBase的目标限制使用普通PC服务器，不使用共享存储、小型机等昂贵硬件服务器、磁盘、网络、机房(IDC)等并

3、非持续可用目标关系型数据库、支持跨表跨行事务分布式、可扩展，对应用透明高可靠、数据强一致，可抵御单机、机架、机房(IDC)故障高性能OceanBase主要面临的问题数据库的功能传统关系型 数据库发展 时间较长， 功能丰富分布式一致性分布式系统 的多副本如 何保持一致 性最终一致性、 弱一致性不 符合用户需 求分布式事务理论成熟工程与性能 上的优化交易库：每笔交易一条/几条记录，增删改：创建、买家已付款、 卖家已发货、退货退款账务库：每人一条/几条记录，增删改：付款、收款、变更数据库：数据总量大，增删改量少10亿次写，100B/写100GB只读数据 修改数据数据库：隐蔽的事实数据存储：多机磁盘修

4、改增量：单机内存Data基线数据(磁盘)修改增量(内存)Query数据增删改每日合并：修改增量多数数据库每天有明显 的访问低谷 (e.g.,2:00am-5:00am)Data基线数据修改增量新的修 改增量读写事务 照常进行最初版本v0.2存在两个单点，通过HA(http:/)来实现高可用基线数据节点可任意扩展写节点半同步，不能区分insert / updateV0.2与收藏夹业务同学代写的Java胖客户端解决了收藏夹的一个业务痛点通过数据冗余+Join更新信息消灭随机读/写策略和业务一起解决业务痛点绑定客户UID备注标签宝贝ID价格描述1000等降价家居100098详情10006.30前零食

5、200010003000宝贝ID价格描述.100099V0.3 多IDC & OLAP去除UpdateServer的HA，改由RootServer来决定谁是Master支持多IDC部署、但IDC切换需要人工介入在查询层面对并发作了优化，可满足轻量级的OLAPV0.3与广告报表报表业务数据分块、并发查询数据导入单点瓶颈旁路影响千亿条记录百T规模数据客户端的表现力差V0.4 支持SQLUpdate ServerMergeServer ChunkServerMergeServer ChunkServerMergeServer ChunkServerMergeServer ChunkServerMer

6、geServer ChunkServerMergeServer ChunkServer修改增量应用接口基线数据SQLSQLSQLSQLSQLSQLSQLSQLRoot Server配置管理兼容MySQL协议区分update/insert支持并发更新V0.4小结去除自定义协议的客户端不少业务慕名而来并对外开源( 非核心业务核心业务开始尝试数据库功能缺失同步机制0.5 多机房同步RootServer分布式选主，不再依赖HA多机房部署，少数派机房故障自动容灾，数据不丢失覆盖蚂蚁多个核心系统V0.5与蚂蚁核心系统OracleOB交易APPORM中间层实时数据对比双写验证灰度引流、随时回滚V0.5与蚂蚁

7、核心系统2014年初交易核心开始迁移当年双11承担20%的流量2015完成支付在内的多个核心 系统迁移第一个支撑的银行的非商业数 据库网商银行交易支付卡券当面 付账务单UpdateServer的意义与限制极大简化实现避免分布式事务较简单的数据模型限制集群规模数据导入0.5以前1.0引入分区表1.0 多点写入主库执行写事务并同步到备库，超过半数 成功则事务成功2/22/3, 3/33/4，4/43/5, 4/5，5/5主库IDC-1备库IDC-3备库IDC-27897879同步机制错峰合并P1P2P3P4P5P6P7P8IDC1P1P2P3P4P5P6P7P8IDC2P1P2P3P4P5P6P7

8、P8IDC3逐IDC合并，灰度引流，缓存预热同样的用在升级流程上一条记录修改，整个数据重写50MB/s写入4TB盘，需4TB/50MB=80,000s新数据修改的数据旧数据每日合并每日合并耗时数据分块(例如2MB)旧数据新数据降低每日合并耗时公有云上的金融级数据库服务云数据库OceanBase云数据库OceanBase基于OceanBase的DBaaS提供自助化服务，一键即可 拥有OceanBase实例免管理提供使用建议在蚂蚁和集团长期使用，原 生态输出具备输出到专有云的能力网商银行云数据库OceanBase多可用区部署杭州三IDC部署，每个IDC之间延迟小于1ms与内部最新版本保持同步生态支持DTS 数据迁移DMS数据管理集群共享模式，无缝动态伸缩，即时生效未来发展OceanBase目前仍然在快速 迭代灰度升级对应用透明让数据库的归数据库，一切 以简化用户使用为目标完善功能历史库OLTP & OLAP混合负载成本业务快速需求迭代正式灰度上线升级未来发展完善功能以业务需求驱动满足内部业务的平滑迁移数据库兼容性测试平台站在巨人的肩膀上数据类型存储过程、FlashBack未来发展历史库OLTP系统有典型的冷热数据冷数据需要迁移OceanBase冷热数据自动识别异构机型SSDSATAP1P2P3P4P5P6P7P8IDC1未来发展OLTP & OLAP混合负载离线分析OLAP对