全球运维大会-春节红包大流量活动：AMS-高可用建设实践

春节红包大流量活动：AMS高可用建设实践春节红包大流量活动：AMS高可用建设实践1目录业务系统链路的梳理和流量评估方法AMS系统高可用架构设计实践QQ春节红包活动的实战经验和总结目录业务系统链路的梳理和流量评估方法AMS系统高可用架构设计2AMS系统介绍QQ会员活动平台，简称AMS，承载QQ增值活动的Web系统连续两年参加了QQ春节红包活动Web系统日请求4-12亿 5000+一年上线活动数120+涉及的存储和服务15w/s高峰每秒CGI请求AMS系统介绍QQ会员活动平台，简称AMS，承载QQ增值活动3QQ春节红包活动面临的挑战难以预估实际流量规模以秒计算请求压力业务系统的各个环节的链路错综复杂扩容无从下手系统容灾柔性可用过载保护流量评估架构扩容高可用建设QQ春节红包活动面临的挑战难以预估实际流量规模业务系统的各个4业务系统的架构梳理业务系统的架构梳理5业务功能链路拆解根据架构图，对业务功能拆解出全链路：扩容业务功能链路拆解根据架构图，对业务功能拆解出全链路：6活动流量规模预估推广量（每秒广告曝光数量）环节转化率（经验或者演习）单UV的请求总数最终容量扩容为预估值的3倍100/s60/s30/120/s30*4=120/s180/s360/s活动流量规模预估推广量（每秒广告曝光数量）100/s60/s7AMS系统扩容评估整个业务链路需要扩容达到9.6w/s可平行扩容和难以扩容扩容14w/s无法支撑无法支撑无法支撑可放弃AMS系统扩容评估整个业务链路需要扩容达到9.6w/s扩容8目录业务系统链路的梳理和流量评估方法AMS高可用架构设计实践QQ春节红包活动的实战经验和总结目录业务系统链路的梳理和流量评估方法AMS高可用架构设计实践9基于春节红包活动链路的架构改造扩容 主流程 改为Cmem14w/s 跳过 号码包异步化操作异步化缓存模式服务降级基于春节红包活动链路的架构改造扩容 主流程 改为Cmem操作10完成扩容只是理论上没问题扩容评估的主要要素全链路QPS存储大小机器带宽完成扩容只是理论上没问题扩容评估的主要要素存储大小机器带宽11高可用架构建设的关键要点数据和监控比较容易被忽略过载保护柔性可用容灾建设轻重分离监控体系数据对账高可用架构建设的关键要点数据和监控比较容易被忽略过载保护柔性12过载保护：层层流量控制开关部分不可用，至少比彻底不可用强。推广层前端层CGI入口层后端服务层过载保护：层层流量控制开关部分不可用，至少比彻底不可用强。推13轻重分离：查询和发货区分两个集群发货是核心操作，不应该被其他操作影响异步发货集群轻重分离：查询和发货区分两个集群发货是核心操作，不应该被其他14柔性可用：随时准备放弃非关键路径随时准备放弃非关键路径设置超短耗时UDP柔性可用：随时准备放弃非关键路径随时准备放弃非关键路径15容灾建设：关键路径容灾消息队列入队挂了，写本地日志日志冗余存储：磁盘、kafka、罗盘数据中心等消息队列，支持永久存储机房停电、网络故障等预备方案全部做成开关模式容灾建设：关键路径容灾消息队列入队挂了，写本地日志16监控与对账多维度的实时监控体系自动对账和补发脚本监控与对账多维度的实时监控体系17织云系统运维体系支撑平台标准化、自动化、智能化织云系统运维体系支撑平台18目录业务系统链路的梳理和流量评估方法AMS高可用架构设计实践QQ春节红包活动的实战经验和总结目录业务系统链路的梳理和流量评估方法AMS高可用架构设计实践19•

均值12.6w/s，峰值近20w/s流量超预期 •

少估算了QQ钱包部分的流量•

实时上报Server挂了上报服务挂了 •

实时数据受到影响带宽跑满 •

某个Cmem带宽被跑满消息队列堆积 •

消息队列堆积严重，最高达到1200万QQ春节除夕红包活动：实战状况高负载带宽满挂掉数据堆积•均值12.6w/s，峰值近20w/sQQ春节除夕红包活动20QQ春节除夕红包：启动预案流量超出预期20w/s •

部分非核心请求取样柔性策略跳过实时Server挂了紧急迁移到万兆网卡Cmem带宽跑满消息堆积严重1000w+

•

默认支持长期保存补发不成功的发货发货对账QQ春节除夕红包：启动预案流量超出预期20w/s •部分非21QQ春节除夕红包活动的反思流量超预期20w/s少估算了QQ钱包的流量业务集群隔离和分业务预估流量超预期严格遵循三倍扩容原则实时Server挂了充分考虑关键上报统计Server的容