技术中台-分布式架构的实践

1、技术中台-分布式架构的实践技术创新 变革未来分布式架构的优势和基本理念分布式架构实践举例 - 分布式TA系统分布式架构下如何保障系统的可靠性及稳定性分享大纲分布式架构的优势和基本理念TomcatUI账户服务交易服务订单服务数据库Apache优点易于开发测试部署性能扩展简单，靠堆机器缺点编译慢启动慢代码冲突性能扩展依赖机器WAR传统单体架构特点业务复杂度生产效率微服务架构单体架构复杂度较小时采用单体应用的生产效率更 高，复杂度到了一定规模时，单体应用的 生产效率开始急剧下降，这时对其进行服 务化的拆分才是合算的微服务架构之所以得到广泛认可，源于对 于业务多变性的不可预测，微服务架构能 够不断的自

2、演化，进而快速适应业务变化微服务架构 vs 单体架构Trade SystemJVMTrade SystemJVMBIZCORECOREBIZ及时到账BIZ担保交易BIZ模块化开发自动服务发现P2P callLoad BalanceAuto Failover以前现在vicevicecePromotioF5/LVS微服务-注册中心微服务架构的负载均衡优势交易数据库账务数据库交易系统账务系统微服务-注册中心数据访问瓶颈解决方案 数据库垂直切分交易数据库分库01分库02分库03业务峰值(TPS)最小库数量单= 库容量上限(TPS)最小表数量单位时间业务量 x 存储时长= 单表容量上限交易系统交易系统交

3、易系统交易系统交易系统交易系统数据访问瓶颈解决方案 数据库水平切分分布式架构实践举例- 分布式TA系统清算串行执行效率低，无法 通过增加机器线性扩展性能一般使用大事务，出现问题全部回滚运 维 工 具 链业务服务层SOFAStack接入层应用部署配置维护监控预警日志分析治理控制服务治理 消息治理 任务管理 事务管理 灰度发布运维后台管理消息队列数据代理微服务云应用引擎分布式事务监控分析文件传输协议转换网访关问控制账户IaaS飞天云平台开 户开 户 查 询账 户 管 理交易申 购赎 回消 费清算清 算 流 程文 件 处 理文 件 生 成账务资 产 登 账收 益 分 配资 金 清 算督核流 程 核

4、准文 件 核 对分布式TA系统架构任务调度链路跟踪分布式清算任务如何高效实现？分布式下，加大应用处理出错的可能性，那清算任务如何确保正确性？分布式TA系统的需要攻克的技术难题任务节点任务节点任务节点任务节点任务节点任务节点任务节点任务节点任务节点任务节点任务调度平台调度（定时/事件/手动）按 X 分片再按 Y 分片生成 X*Y 个分片任务节点任务节点任务节点任务节点任务节点任务节点拆分阶段N 个分片N 个分片N 个分片N 个分片N 个分片执行阶段N 个分片支持自定义分片，高效利用 集群计算能力执行中可对任务进行暂停/续 跑，强制取消任务失败重试机制，保障整 体计算任务成功分布式任务调度平台清算

5、任务调度交易申请文件.分片1分片2分片N文件分片99文件分片1文件分片99文件分片1文件分片99文件分片1流水库2流水库3.流水库100执行1执行N 执行1 执行N执行1执行N 执行1执行N 交易中心清算中心账务中心账户中心任务拆分任务执行任 务 调 度流水库1核心服务日切备份日初始化第一次文件导入小时文件备份清算处理收益计算份额调整清算导出第二次文件导入二次清算收益导出核对异常冲正重做冲正重做冲正重做冲正重做冲正重做回滚维度按文件按用户按备份点优点任意流程可回滚精准逐笔核对，支持按用户回滚，大幅缩短清算时长清算的容错和核对机制分布式架构下如何保障系统的可靠性及稳定性灰度发布机制SLBpay生

6、产p集ay 群pay生产集pay群灰度Beta发布分组发布灰度引流全量SOFAStack平台强大的发布能力支持，精准的流量控制90%10%00010203040506070809101199清算灰度，支持按用户维度抽取分片，缩短灰度时间正常表影子表DB数 据 访 问 代 理pay账户系pay 统pay清算系pay 统paypay账务系统pay压测流pa量y引擎pay某业务pa系y统业务域分布式TA系统1、压测环境复用生产环境，压测结果可靠；优于线下压测。2、压测数据打标无法进入生产环境，数据表级隔离。线上全链路压测OceanBase高可用机制基于Paxos协议的典型三副本部署数据强一致性持续可

7、用主备自动切换单机、机房、城市级故障：不停服务，不丢数据商业数据库DB(主)数据(主)网络DB(备)数据(备)主库+备库可靠性主要依赖于硬件写事务到达超过半数库 少数库异常不影响业务 两地三中心多活灰度升级正常情况下和同城三中心部署的延迟一致深圳一台ObServer宕机则会增加异地同步延迟同城多个核心机房延迟一般在0.5 2ms之间OceanBase常用部署方案同城三机房两地三中心同城双活容灾架构外部流量SLBpaypay后台管理公共单库paypay账户paypay清算paypay账务交交易易账户库分库库交交易易账务库分库库主机房SLBpaypay账务交交易易账务库分库库paypay清算交交易易账户库分库库公共单库paypay账户paypay后台