美团外卖系统架构演进与系统稳定性经验谈

ArchSummit全球架构师峰会深圳站2016

美团外卖系统架构演进与系统稳定性经验谈目录个人简介美团外卖业务发展历程技术体系架构演进介绍外卖业务稳定性的挑战系统稳定性的处理原则架构演进与稳定性关系业务发展系统未来规划个人简介北纬通信移动增值服务2006.7~2011.2

20111.3~2013.52013.5~新美大创新业务探索美团外卖架构组网易网易视频库网易应用网易新闻

美团外卖业务发展历程扩展中扩展中外卖配送Step1美团外卖业务发展历程100w400w200w300wStep1Step12013/112014/112015/052015/122016/05?1000wWEB上线业务MVP在线支付90%来自移动端美团专送全国启动日交易额过亿新LOGO供给侧改革技术体系架构演进介绍技术架构1.0

业务起步：MVP阶段快速试错快速迭代共用易部署快速发布美团外卖APP美团外卖WEB移动后台WEB后台dbwaimai01订单列表商家技术体系架构演进介绍技术架构1.0

业务起步：40w单梳理业务寻找规模化方式加功能加服务易部署快速发布美团外卖APP美团外卖WEB移动后台WEB后台dbwaimai01商家业务系统业务运营系统技术体系架构演进介绍技术架构2.0业务规模化：100w单校园市场多城市铺开用户量激增平台活动增加服务化高内聚，低耦合拆：服务，库，表用户业务系统商家业务系统订单服务订单运营业务系统商家服务商品服务结算服务商家商品结算Rank服务活动服务库存服务订单服务技术体系架构演进介绍技术架构3.0业务增长：300w单白领市场全国铺开美团专送中间件业务系统服务层数据集ElasticsearchTairAtalsDatabusMQ美团外卖业务发展历程美团外卖美团大众点评外卖商家美团骑手美团运营业务平台基础组件运维平台美团云订单服务支付服务商家服务商品服务排序服务MQDelayQueueKV服务治理搜索DatabusFalconCATMGWMySQL发布系统IDC虚拟化存储网络系统技术体系架构演进介绍技术架构4.0业务增长：1000w单供给侧改革美团专送众包配送新业务稳定大于一切多机房中间件公用集群拆分双机房部署降级方案全链路压测技术体系架构演进介绍外卖业务稳定性的挑战业务特点：服务链条长挑战：依赖复杂，

用户浏览下单支付商家接单骑手配送中已送达用户评价结算外卖业务稳定性的挑战业务特点：高峰集中在中午、晚上晚点，爆发快挑战：高并发，一旦发生故障损失较大

系统稳定性的处理原则我们对稳定性的定义系统可用性：4个9订单可用性：4个9确保核心流程稳定止损用户体验是一个完整的过程系统稳定性的处理原则影响稳定性的主要因素：（那些年我们踩过的坑）（记我们的血泪史）发版：引入bug，姿势，潜伏期数据库慢查询：全表扫描代码质量：循环无法退出；重试；RPC调用：未设置超时时间，引发雪崩；数据一致性：多处数据不一致；Databus，MQ，JOB打日志：日志打印太多，IO占满共用导致的：库，MQ，zk，Tair，（所有的蛋放在一个篮子里）流量异常：Ddos攻击系统稳定性的处理原则系统稳定性的处理原则专项治理：发版：灰度！灰度！灰度！

节前不发版（2，4发）

晚高峰前发

在线压测数据库慢查询：

SQL

Review，慢查询巡检。代码质量：sonar静态检查，代码交叉ReviewRPC调用：框架层统一设置默认值；各服务自定义数据一致性：抽检，缓存大盘打日志：日志可降级共用导致的：拆，隔离流量异常：分流，降级，限流系统稳定性的处理原则日常运行：灰度控制范围，压测预估容量，设置警戒行动线，警戒线的设定要留有余量，别到告警就来不及处理了事前预警：业务大盘，健康分析，性能大盘事故处理：分析，定位，解决事后总结：Casestudy，重构系统，高压线系统稳定性的处理原则RANK用户个性化推荐附近商家门店商品中心订单中心下单推单多种接单方式支付平台活动计算引擎进店广告系统线上营销搜索引擎行为数据收集实时数据收集平台风控策略商业分析/运营/BI门店运营/容器管理接单APPPC打印机派单配送骑手调度中心GIS路径规划调度引擎策略干预计算引擎骑手服务配送实时跟踪系统离线/实时数据计算挖掘平台特征抽取与机器学习模型训练基础数据服务系统稳定性的处理原则架构演进与稳定性关系我的思考：稳定是功能的一部分性能是功能的一部分简单才是最美的自动化一切定期Review，担心的一定会发生，而且有可能马