阿里双11系统管控调度架构与实践

阿里管控体系在双十一的实践议程简介

阿里线上管控体系，应对挑战

关于我们阿里管控体系在双十一的实践阿里中间件技术部打造世界第一流的中间件•

此处添加一个双十一的集体照阿里线上管控体系开关预案限流降级&流量调度议程简介

阿里线上管控体系，应对挑战

关于我们阿里管控体系的最佳实践阿里线上管控体系限流场景一:零点零分小唐下单了140000

笔/秒

创建订单当天峰值天猫移动端销售金额

突破1亿

75

秒销售金额破百亿

38分钟用户洪峰在双十一单台服务器超负荷服务器集群雪崩交易链路崩溃短时大流量的请求负载洪峰对系统意味着什么允许访问

的速率①爆发量②爆发间隔

时间③限流的考虑因素来到的请求拦截器存储量为b的令牌桶丢弃令牌桶限流

按照每1/r秒的速度向桶中存放1令牌

继续发送Token

rate：

r承诺突发量:双十一零点:小唐下单桶的大小是300个令牌系统的通过率为1000qps，把一秒切成10

个格子,

每个格子的时间窗口为100ms，每个格子发放

1000/10

个令牌洪峰场景:•

双十一0点之前，桶里放满了令牌•

在双十一0点到0点10分，每秒的请求超过了10000如何把Token

Rate转换成通过率？双十一系统表现场景二：双十一零点零五分:小唐的订单状态变为已经发货数据特性前5分钟包裹处理量是484万前38分钟包裹处理量是3754万有时间间隔调用量大允许有延迟系统间的回调洪峰……漏桶算法

到达速率漏桶输出速率丢弃/排队小唐的订单什么时候回调完成？监控模块

实时监控

收集数据

反馈分析限流处理

丢弃请求

等待队列

规则变更

动态调整

令牌桶容量令牌产生速率限流决策

区分场景

用户洪峰

回调洪峰

系统保护限流框架的要素策略的平衡限流处理的思考更多的场景场景延伸阿里线上管控体系限流降级&流量调度系统的可用性商品浏览广告业务会员系统库存查询优惠折扣物流系统保险系统用户推荐系统的可用性N越大，小唐失败的概率就越高系统的可用性降级弱依赖应用剔除应用局部问题机器提高可用性的方式能够在避免调用这个逻辑异常数增多

RT变长Threads

=

QPS

*

RT线程数随着rt的增长而增长上游系统如何发现弱依赖应用不可用4312梳理强弱依赖

梳理强弱依赖弱依赖应用不可用梳理强弱依赖

自动降级自动降级框架降级弱依赖应用剔除应用局部问题机器提高可用性的方式分布式环境同一个应用不同机器由于硬件、网络、超卖、程序自身等众多因素出现服务状态的差异通过流量调度策略，使分布式服务具备自愈能力和自我隔离能力应用局部不可用34全局探测与流量调度cpuload

rtExcepti

on

ratioThread

Count

level

业务

stateRestful

Apihsftomcat……信息注入spi

应用cpuload

rtExcepti

on

ratioThread

Count

level

业务

stateRestful

Apihsftomcat……信息注入spi

应用cpuload

rtExcepti

on

ratioThread

Count

level

业务

stateRestful

Apihsftomcat……信息注入spi

应用流量调度平台状态收

集模块采集节点采集节点采集节点采集节点采集节点采集节点快速实时多维聚合

视图近期归档

报表实时单机

视图234用户洪峰

限流排队

回调洪峰漏桶限速应用局部不可用

全局探测以及

流量调度

弱依赖应用

不可用自动降级小唐能够顺利下单

1阿里线上管控体系开关预案限流降级&流量调度快速准确执行标准化变更透明的通知流大促当天38

标准化变更开关中心控制台稳定性开关客户端开关定义使用开关控制台交

互获取开关信

息权限与日

志开关报表开关分组

标

准开关监控定时开关

规

范更新开关内存态与持久

化容灾机

制安全机

制

开关管理分机房执行使用简单操作权限通知机制

维护

便捷

高效定义开关变更开关校验开关透明的通知流隔离流程

权限控制

透明通知

角色视图

多维报表议程简介

阿里线上管控体系，应对挑战

总结，

回说一下，关于我们阿里管控体系的最佳实践高可用架构团队阿里双十一核心保障团队EDAS弹性容量一键建站异地多活想知道更多？

/•

企业级互联网架构PaaS平台•

IaaS(公有，专有，混合)••••••••••高性能分布式计算集群框架，构建一平台系统线性无限扩展，海量并发任意节点链路故障高可靠性数据化自动运维运营数据共享打通，使能大数据业务能力云化，自然沉淀共享公用服务老系统平滑对接，第三方可控开放能力开放可运营新特性版本更新敏捷，创新快低成本•

传统的垂直的IT架构•

IaaS（公有，专有，混合）

•

高并发性能仍然存在瓶颈

•

扩展能力对大系统不很灵活

•

数据孤岛依然存在

•

各垂直系统相同模块依然重复

开发，无法共享沉淀

•

新功能版本开发，更新仍然难

•

基础设施成本降低123

系统上云

•

传统的垂直的IT架构

•

自建数据中心•