2015Qcon-蚂蚁去O实战剖析-终稿

互联网金融如何去O

-蚂蚁实战剖析刘晓莹（冯衡）蚂蚁金服2015.04交流目录互联网金融业务挑战与去O对策思考蚂蚁去O最佳实践蚂蚁去O-标准化解决方案（金融云技术平台）蚂蚁金融业务-示例2014双11热度支付峰值：每分钟285万笔订单创建峰值：每秒钟8万笔挑战-业务要求互联网金融业务特性分布服务与数据万级/秒业务交易分布事务与协调强一致性保证强一致秒级容灾99.99%+实时服务质量管控亚秒级服务保证弹性供给与调度极低交易成本数据-运维运维-部署应用-平台无关对策-技术选型整体架构-管控1、多地域如何部署

跨机房容灾2、单集群如何部署容量TPM\QPS性能RT3、Failover如何部署业务影响率4、数据库如何扩容

性能可扩展性

存储可扩展性

运维成本1、如何平滑发布验证2、数据一致性3、持续可用5、解决方案标准化平台无关性数据运维平台弹性伸缩单元化数据架构去O标准解决方案（金融云技术平台[部分]）1、数据库如何选型2、数据sharding3、DDL及DML操作4、数据迁移5、数据同步H+1,T+11、功能特性：数据类型、SQL语法等2、Sequence3、事务隔离级别4、2级索引支持5、不同存储如何对应用如何适配持续高可用数据库选型：功能、性能、成本蚂蚁去O实战整体架构支撑金融型应用优化交易双十一OceanBase特性数据中间件升级金融型应用优化去O发布策略IDC1AppXAppYOracle分流配置IDC2单元1单元2单元3单元4LVSLVS整体架构支撑AppXApp分流配置AppYAppXAppY分流配置AppXAppY分流配置数据中间件OceanBaseOracleOceanBaseOracleOceanBaseOracleOceanBaseOracleOceanBaseOracleOceanBaseOracleOceanBaseOracleOceanBaseMSUPSCSMSUPSCSMSUPSCSMSUPSCSMSUPSCSMSUPSCSMSUPSCSMSUPSCSAPPX数据中间件AppY数据中间件APPX数据中间件AppY数据中间件APPX数据中间件APPX数据中间件AppY数据中间件全局路由数据中间件-架构理念中间件架构思想

业务、技术功能分离

技术能力抽象公用

配置动态化管控DB引用问题SQL等Native特性：多、个性Datasource：多、不同解析规则：多、不同配置文件：本地、业务关联配置动态管控中间件架构APP数据中间件资源管控中间件DB-1DB-2不同组件、不同逻辑嵌在APP中配置变更还得发布代码？传统架构APP数据库组件1DB-1DB-2数据库组件2数据中间件-去O升级平台无关性

去除DB特性依赖标准化SQL支持Native特性弹性伸缩

数据路由通明化数据源动态管理Failover支持（跨机房容灾）平台无关性数据中间件应用层标准SQL标准SQL标准SQL物理层-数据库OracleOceanBaseMySQLXDB标准Sequence标准接口

标准Sequence标准Sequence标准Date标准Date标准DateXDBNativeOracleNativeOBNativeMySQLNativeNativeTranslator数据中间件平台无关性

去除DB特性依赖标准化SQL支持Native特性弹性伸缩

数据路由通明化数据源动态管理Failover支持（跨机房容灾）数据架构-传统全局路由物理层分流01-0101-0201-N单元01用户维度用户维度IDC1物理层分流单元NN-01N-02N-N数据逻辑层和物理层强绑定数据架构-弹性全局路由逻辑层分流单元01用户维度用户维度IDC1逻辑层分流单元NOracleOceanBaseX-DB010103010201逻辑分片视图物理DB视图OracleOceanBaseX-DB01N03N02N根据规则Table可以扩展到不同库中table_01table_01table_011.水平扩容3.failover4.跨单元切换2.灰度引流弹性伸缩-技术架构IBatisSpringDataSourceLogicalDataSourceRuleParserPhysicalDataSourceMySqlOracleOceanBase共享存储共享存储编程界面逻辑数据源路由层物理数据源数据库-存储数据复制中心12n1核心交易数据(分表/分库/failover)主交易系统交易处理服务(写场景)交易记录查询系统用户交易记录查询服务(读场景1)12n2商户查询系统交易记录数据(分表并分库)商户查询与对账(读场景2)12n3商户/平台商交易数据(分表并分库)数据中间件主备应用架构-数据模型优化（交易示例）全链路模拟验证

流量分离控制

业务特性全链路压测双写验证

事务顺序

锁机制

并发性

其他：弱依赖、可恢复灰度单写验证

灰度策略

及时回滚去O-发布验证策略全量切换

实时监控

正确性验证

持续高可用(软件缺陷)oraclefailover

实时核对其他：容灾演练数据中间件OracleOBAPPOracle

SQLOB

SQL故障模拟器容灾演练业务场景模拟器性能压测数据正确性验证-双写全局路由单元01用户维度IDC1Oracle存储层oracle操作列表Key|记录内容状态|verKey|记录内容状态|verKey|记录内容状态|ver应用层（APP+数据中间件）T1SQL1SQL2SQL3T（1）SQL1SQL2SQL3应用层（APP+数据中间件）T2SQL1SQL2SQL3T（2）SQL1SQL2SQL3数据中间件数据中间件数据核对平台（中间件）OBMSUPSCSOB操作列表Key|记录内容状态|verKey|记录内容状态|verKey|记录内容状态|ver主写（强依赖）同步双写（弱依赖）数据正确性验证-单写18商户请求日志业务应用日志日志采集消息采集数据流计算日志匹配日志拆分清洗统计累计持久化消费路由字段提取状态维护状态合并数据操作接口业务处理结果日志数据比对监控数据规则引擎比对商户请求数据业务应用数据报警逻辑可视化逻辑DB报警记录表页面展现数据比对结果展现查询订阅业务规则预设数据数据核对中间件业务数据表数据采集数据容量验证-全链路模拟验证压测层网络层CDN模拟压测集群节点压测代理节点压测代理…CDN模拟压测集群流量管控流量分发网络流量管控层GSLBLVSSpannerIDC1AppAppX-DBY-DB单元1单元2APPXAppYAppAppX-DBY-DBAPPXAppY压测分流代理压测分流代理压测分流代理压测分流代理压测分流代理压测分流代理压测分流代理压测分流代理生产表影子表生产表影子表生产表影子表生产表影子表应用层正常用户流量模拟流量实战检验-双十一双11准备全链路模拟验证容量&性能数据一致性实时监控容量及性能实时监控淡定的迎接双11创建、支付峰值淡定数据核对数千万次，0条不一致数据蚂蚁去O-数据库选型安全自主成本金融IAASOceanBase-部署架构UpdateServerMergeServerChunkServerMergeServerChunkServerMergeServerChunkServerMergeServerChunkServerMergeServerChunkServerMergeServerChunkServerUpdateServerMergeServerChunkServerMergeServerChunkServerMergeServerChunkServerMergeServerChunkServerMergeServerChunkServerMergeServerChunkServerRootServerRootServerUpdateServerMergeServerChunkServerMergeServerChunkServerMergeServerChunkServerMergeServerChunkServerMergeServerChunkServerMergeServerChunkServerRootServer数据一致性&持续可用主库IDC-1备库IDC-3备库IDC-2协议强同步保证一致性持续可用CA主库IDC-1备库IDC-2一致性依赖共享存储高可用HA共享存储共享存储蚂蚁去O-总结数据库选型OceanBase，推动配套发展沉淀积累了丰富的经验和产品 -数据架构（标准化） -数据中间件（平台化）

-应用架构（数据分布式建模[场景化异构化]）

-解决方案（PaaS&IaaS云服务化）交流目录互联网金融业务挑战与去O对策思考蚂蚁去O最佳实践交易双十一蚂蚁去O-标准化解决方案（金融云技术平台）去O-