支付宝整体架构

1、支付宝架构鲁肃2010年6月精武门课程业务平台系统架构技术平台业务架构课程 目标快低稳大课程大纲1. 业务架构与业务平台2. 系统架构与技术平台3. 架构过程与资源1业务与应用架构支付业务模式资金流支付业务配套模式业务流整体业务与应用架构支付业务模式支付宝行业业务流资金流外内虚实资金流虚实资金在支付宝虚拟账户体系中的流转，体现为支付宝账户中的余额变动。资金在现实世界中的流转，体现为客户与支付宝银行账户中余额变动，或者现金的转移。虚实资金流之间存在联动关系。支付宝银行简单资金流举例 网银充值客户账户支付宝客户银行账户银行支付宝银存账户充值简单资金流举例 账户内转账AB支付宝转账/支付简单资金流举

2、例 提现(同行，T+1)客户账户支付宝支付宝银存账户银行客户银行账户3. 提现1. 冻结2. 解冻 (T+1)简单资金流举例 提现(跨行)客户账户支付宝支付宝银存账户打款银行客户银行账户提现清算中心银行复杂资金流举例 公共事业缴费缴费资金归集账户支付宝付款银行缴费账户1. 充值缴费合作银行客户银行账户支付宝银存账户公共事业单位账户公共事业单位账户公共事业单位账户3. 提现缴费单位银行2. 垫资复杂资金流举例 COD物流公司收款过渡户支付宝买家账户卖家账户交易分润中间账户物流公司收入账户支付宝收入账户买家物流公司银行账户现金1. 充值2. 转账3. 转账4. 转账5. 转账7. 转账支付宝银存账

3、户签收员淘宝收入账户6. 转账资金流处理的系统模式收银台清 算账 务会 计核算银行接入平台业务系统支 付银行系统虚资金流处理实资金流处理虚实资金流联动业务流资金流联动资金处理平台账务会计账务系统账务交易流水记账凭证分户账户 (外)会计系统会计分录流水分户账户(内)内部分户历史日余额外部分户历史日余额科目汇总消息系统分户日余额日切日结实时记账异步准实时登记会计分录日终子系统账务查询报表分录子系统记账子系统业务系统支付清算支付系统充值协议提现协议内转协议充退协议支付指令清算系统消息系统清算指令网银接入卡通接入银企直联其它银行接入方式实时处理文件处理渠道管理异步清算处理同步清算处理账务系统支付请求结

4、果回调文件实时记账银行往来任务调度业务系统收银台核算中心核算系统银行流水登记流水归档处理流水核算处理消息系统入账流水登记异步准实时登记入账流水核算处理子系统核算报表流水登记子系统会计系统银行流水登记系统银存待结转统计业务流支付宝外部企业内外支付宝内部的业务流程，体现为一连串内部系统或人工任务的执行。支付宝外部的业务流程，体现为一连串外部系统或人工任务的执行。内外业务流之间存在联动关系。简单业务流举例 即时到账交易支付宝下单创建交易交易付款 B2C商户支付发货收货复杂业务流举例 COD下单揽收付款签收送货请求发货付款给支付宝买家卖家物流提供资金对账文件创建物流订单创建交易交易签收物流订单清算交易

5、付款与分润物流订单收费分润支付宝外部业务流与资金流联动 - COD创建物流订单创建交易交易签收物流订单清算交易付款与分润物流订单收费分润支付宝业务流物流公司收款过渡户支付宝资金流买家账户卖家账户交易分润中间账户物流公司收入账户支付宝收入账户1. 充值2. 转账3. 转账4. 转账5. 转账7. 收费淘宝收入账户6. 转账业务流处理的模式 数据申请单产品业务单通知单资金单操作日志内部业务流处理业务资金流联动内外业务流联动外部内部平台业务流处理的模式 数据举例 交易 交易外部单据产品交易单交易通知交易资金单据交易操作日志内部业务流处理业务资金流联动内外业务流联动外部内部平台产品账业务流处理的模式

6、数据举例 通用代扣 产品代扣记录代扣资金单据内部业务流处理业务资金流联动内外业务流联动外部内部平台业务流处理的应用系统模式申请单业务单通知单资金单操作日志外部内部平台内部平台外部业务单领域与服务层应用层API个人版企业版通知平台资金处理持久工具支付业务配套模式业务流查询支付前支付中支付后资金流签约/解约对账风控通知营销数据分析收费产品账额度权限服务消费记录个性化差错处理资损控制支付业务配套实现模式 交易交易系统交易引擎流程引擎规则引擎资金处理产品账接入商户通知数据持久收费接入统一事件红包系统产品账系统收费系统商户通知消费记录沟通(邮件、短信等）商户查询积分支付系统风险核查消息系统超时处理业务系

7、统业务系统担保交易 即时到账交易 货到付款交易异步交易事件处理资损核查思考: 平衡稳与快安全、稳定、可伸缩业 务 增 长 与 创 新快稳大平台航旅传统虚拟B2C网站会员生活助手金融合作安全内部系统业务线解放平台支撑兄弟支付宝业务与系统架构发展史2005年1月业务系统2007年1月2005年1月2007年1月淘宝外部B2C网银卡通标准卡通航旅个人版代发代扣收费企业版网点生活助手信用卡消费卡银企直联2008年6月2010年10月二代支付宝业务二代支付宝系统架构建设一代支付宝系统架构建设一代支付宝业务交易服务化账务服务化会员服务化双峰一期双峰二期统一收银台网站拆分系统架构发展落后于业务发展2010年

8、4月核心一代支付宝架构图行业金融合作内部系统（CRM,结算,风控）商业智能账务淘宝交易网银卡通外部B2C个人网站会员2007年起至2008年中，交易、账务、会员三大服务化项目完成，代表一代支付宝架构封顶。业务与应用架构概况产品线基础核心资金处理平台客户信息平台核心管控行业个人内部系统（CRM,结算,风控）金融合作网银卡通银企直联网点传统行业虚拟行业航旅B2C收单生活助手会员安全收银台支付清算核算中心收费登录服务账务会计会员信息商户信息会员信用兄弟业务平台行业个人担保交易代发代扣消费信贷信用支付微支付企业账户管理个人账户管理积分红包转账MOTO储值卡无线支付商业智能线下支付海外支付即时到账交易M

9、POS安全服务会员等级企业网站个人网站开放平台二代系统建设局部效果示意淘宝外部B2C网银卡通航旅代发代扣网点生活助手信用卡消费卡银企直联网游淘宝外部B2C网银卡通航旅代发代扣网点生活助手信用卡消费卡银企直联网游支付清算平台（支付、清算、收银台）一代系统二代系统支付业务处理的系统模式API平台业务单处理支付处理清算处理通信前置账务会计收费营销客户信息银行支付清算网互联网商户风控基础业务访问渠道银行接入产品公共服务收银台交易业务架构应用架构2应对技术挑战高可用可伸缩技术架构原则低成本基础技术平台高可用 目标99.99%高可用 策略避免发生降低概率控制影响快速恢复高可用的架构原则1. 无单点设计2.

10、 可监控3. 可测试4. 可回滚5. 可禁用6. 短事务与柔性事务7. 异步设计8. 无状态9. 使用成熟技术10.业务分等级11.业务可降级12.多数据中心部署高可用的设计手段 故障识别服务使用者服务接入流程、任务、决策领域仓储外部服务资源外部服务领域对象服务代理并发请求重复请求超量请求资源不可用资源响应超时通信中断外部服务响应超时外部服务违背功能契约BUG处理超时服务不可用请求积压处理中断高可用的设计手段 故障应对故障条件应对方式超量请求配额控制重复请求幂等控制并发请求并发控制请求积压请求丢弃服务/资源响应超时时间控制可恢复通信故障合理重试处理中断事务/分布事务BUG自检可伸缩 目标无限伸

11、缩可伸缩 策略数据复制/读写分离垂直拆分(按业务类型拆分)水平拆分(按客户/请求拆分)xzy可伸缩的架构原则1. 无系统单点设计2. 无数据单点设计3. 容量与资源使用可监控4. 异步设计5. 无状态设计6. 并发控制设计7. 并行运算设计8. 应用与数据的独立性9. 可复制10.可缓存11.可水平拆分12.多数据中心部署可伸缩设计案例: 交易数据拆分12n1核心交易数据(分表并分库)交易系统交易处理服务(写场景)消费记录系统消费记录查询服务(读场景1)12n2商户查询系统消费记录数据(分表并分库)商户查询与对账(读场景2)12n3商户/平台商交易数据(分表并分库)消息系统发布数据变更订阅数据

12、变更数据缓存会员信息系统会员数据库12n会员对象缓存业务系统内部二级缓存会员服务客户端业务应用查询/更新查询时，先读缓存更新时，同步使缓存对象失效可伸缩 - 反例: 不可伸缩的业务设计创建物流订单创建交易交易签收物流订单清算交易付款与分润物流订单收费分润支付宝业务流物流公司收款过渡户支付宝资金流买家账户卖家账户交易分润中间账户物流公司收入账户支付宝收入账户1. 充值2. 转账3. 转账4. 转账5. 转账7. 转账淘宝收入账户6. 转账可伸缩: 关注容量、性能与资源使用服务使用者服务提供者服务服务吞吐量伸缩公式伸缩上限单资源吞吐量上限响应时间数据库消息其它服务其它服务内部服务数据库访问量消息量

13、关键服务访问量伸缩公式外部服务外部服务外部服务可伸缩 资源使用举例 (交易收银台)paycifacctranstradepaycoreyzt8x2x系统次数总处理时间(ms)cif8173msacctrans245mstrade1140mspaycore1140msyzt1140ms合计: 13638ms (占比: 85%)低成本 目标更低低成本 策略提高利用率三去业务分级低成本的架构原则1. 厂商中立设计2. 业务分等级3. 异步设计4. 无状态设计5. 应用与数据的独立性6. 可复制7. 可缓存8. 可水平拆分9. N+1设计10.多数据中心部署低成本 数据中心面临的挑战城市(杭州)IDC

14、-AIDC-BIDC-C (新建)IDC-T (新建)应用50%应用50%应用50%非关键应用数据库100%数据库100%外部负载均衡数据与应用分布不足，一次业务处理中，应用需要跨IDC访问很多次集中的数据库，对时延有极高要求。低成本 多数据中心方向访问渠道业务处理资金处理松散耦合银行客户业务处理业务处理IDC-A1IDC-AiIDC-B1IDC-BjIDC-C1IDC-Ck银行客户跨层IDC间松耦合同层IDC间无耦合架构原则汇总技术架构原则高可用可伸缩成本无单点，N+1设计可监控无状态短事务与柔性事务并发控制异步处理可复制可缓存可回滚、禁用可测试应用与数据独立可水平拆分计算可并行分级与降级支持多数据中心部署工具产品线展现与前端产品线分布服务产品线数据产品线调度产品线通讯产品线基础设施产品线管控产品线基础技术产品线技术平台架构全局观业务流查询资金流签约/解约对账差错处理无单点N+1设计可监控无状态并发控制异步处理可复制可缓存可回滚可禁用应用与数据独立可水平拆分计