大规模Web-Server集群的高效运维

1、大规模Web-Server集群的高效运维大规模Web-Server集群的高效运维提纲 业务场景 接入架构 运维的挑战 高效运维的实践 未来愿景提纲 业务场景业务场景 QQ在线 2.59 亿 手Q在线 2.49 亿 刷一刷抢红包用户数 3.08 亿 QQ日消息发送总量 200 亿条 Qzone在线 3 千万 相册日上传图片 6 亿张业务场景 QQ在线 2.59 亿业务场景 挑战：海量并发、延迟、服务可持续性 服务器规模 最近登录-最优登录GOPS2016 全球运维大会上海站移动终端接入架构探测点GOPS2016 全球运维大会上海站接入运维的挑战-一线事务多一线工程师一线工程师一线工程师一线工程师

2、二线工程师设备故障处理业务报障处理业务接入（域名申请到上线）日常扩缩容版本升级业务规则变更其它GOPS2016 全球运维大会上海站接入运维的挑战-一线事GOPS2016 全球运维大会上海站接入运维的挑战-上下机器规模大大规模的机器上下线 机房裁撤 网络改造 业务活动GOPS2016 全球运维大会上海站接入运维的挑战-上下机GOPS2016 全球运维大会上海站接入运维的挑战-坑多路由复杂标准化程度不够业务部署不规范组件多自动化程度不够拥抱架构变化新旧架构迁移人工运维易犯错误监控覆盖率不高标准化路由化流程化自动化监控率GOPS2016 全球运维大会上海站接入运维的挑战-坑多路GOPS2016 全球

3、运维大会上海站接入运维的核心因素GSLBTGW服务质量Nginx包业务模块业务CGIL5配置文件权限接入服务 业务逻辑 监控能力 部署能力 资源管理 业务模块计算资源流程GOPS2016 全球运维大会上海站接入运维的核心因素GSGOPS2016 全球运维大会上海站高效运维-织云自动化每个模块下的设备提供的服务都完全一致，每个模块可以看作是提供服务的最小单元。一个模块下的服务抽象成以下几个资源配置：软件包、配置、文件、权限、脚本。GOPS2016 全球运维大会上海站高效运维-织云自动化每GOPS2016 全球运维大会上海站高效运维-路由策略Nginx与L5联动管理upstream配置upstre

4、am的格式：upstream _pc l5id 201607:65535;自动生成Nginx upstream格式的ip-port :server 10.10.1.18:80 weight=100;server 10.10.1.19:80 weight=100;server 10.10.1.20:80 weight=100;server 10.10.1.21:80 weight=100;自动检测，检测L5有变更后重新生成upstream，并随机sleep 来reload nginx服务。GSLBVIPNginxL5RS123GOPS2016 全球运维大会上海站高效运维-路由策略NgGOPS20

5、16 全球运维大会上海站高效运维-路由策略下线三步骤1）删除路由2）流量观察3）隔离操作123GOPS2016 全球运维大会上海站高效运维-路由策略下线GOPS2016 全球运维大会上海站高效运维-包发布系统像管理软件一样管理包GOPS2016 全球运维大会上海站高效运维-包发布系统像GOPS2016 全球运维大会上海站高效运维-配置文件管理GOPS2016 全球运维大会上海站高效运维-配置文件管理GOPS2016 全球运维大会上海站高效运维-配置文件管理GOPS2016 全球运维大会上海站高效运维-配置文件管理GOPS2016 全球运维大会上海站高效运维-一键扩容申请设备获取资源发布部署业务

6、测试发布自检灰度上线自动执行流程1.获取参数列表2.屏蔽负载事件通知3.查询设备调度接口4.根据模块ID查域名5.获取资源配置6.申请权限接口7.获取设备IP地址8.屏蔽告警9.安装程序包10.同步文件11.获取CC参数12.发配置13.执行脚本14.主调扩容15.启动软件包16.进程端口扫描17.上报变更日志18.查询授权结果19.自动化测试20.VIP添加RS21.L5被调扩容22.告警屏蔽解除23.开启负载事件通知GOPS2016 全球运维大会上海站高效运维-一键扩容申请GOPS2016 全球运维大会上海站高效运维-自动扩容流程申请设备获取资源发布部署业务测试发布自检灰度上线与运营中设备

7、的一致性对比进程端口自检质量部ATTQTA协议级自动化测试连通性的工具测试GOPS2016 全球运维大会上海站高效运维-自动扩容流程GOPS2016 全球运维大会上海站高效运维-流程剖析GOPS2016 全球运维大会上海站高效运维-流程剖析GOPS2016 全球运维大会上海站高效运维-流程剖析GOPS2016 全球运维大会上海站高效运维-流程剖析GOPS2016 全球运维大会上海站高效运维-如何做灰度负载均衡组件灰度系统成功率上报权重调节扩容设备业务请求1%-100%100%线上设备灰度的方法 TGW上的权重调整 L5上的权重调整 Nginx+L5的权重关联调整GOPS2016 全球运维大会上

8、海站高效运维-如何做灰度负GOPS2016 全球运维大会上海站高效运维-快速调度能力仓库爆炸事件用户调度回调4千万用户回调所有用户调度结束12日晚23时13日白天14日凌晨14日上午20日白天7500万用户迁移GOPS2016 全球运维大会上海站高效运维-快速调度能力GOPS2016 全球运维大会上海站高效运维-快速调度能力 变更GSLB 变更为异地TGW VIP 10分钟生效 变更直连IP 下发新的VIP给移动终端 秒级生效 变更L5内部服务 变更L5地址 秒级生效GOPS2016 全球运维大会上海站高效运维-快速调度能力GOPS2016 全球运维大会上海站核心能力的开放GSLBTGW服务质

9、量Nginx包业务模块业务CGIL5配置文件权限接入服务计算资源流程CLB云解析维纳斯WNSCVM云拨测云诊断蓝鲸织云GOPS2016 全球运维大会上海站核心能力的开放GSLBGOPS2016 全球运维大会上海站接入运维工程师的价值和能力要求开发能力底层能力业务&架构运营意识从防守型的运维到进取型的运营业务变更业务与架构能力问题诊断能力工具开发能力运营平台构建能力数据分析与决策开源组件的改造能力GOPS2016 全球运维大会上海站接入运维工程师的价值和GOPS2016 全球运维大会上海站接入运维门户织云CMDB监控系统GSLB/TGW/L5接入运维服务门户业务自助团队全员开发能力流程引擎调度决策数据分析GOPS2016 全球运维大会上海站接入运维门户织云CMDGOPS2016 全球运维大会上海站故障定位的挑战使用云诊断能快速定位用户网络、域名、服务、运营