魅族基础系统架构运维之路

1、魅族基础系统架构运维之路运营现状0102发展历程目录03前言04系统运维的未来前言2015年应用商店现有超过100万款 应用应用总下载量超过100亿营收能力同比增长12倍服务器规模数百到数千2016年游戏平台累积超过3000 万用户，同比增长150%月活跃程度超过1200万58004000600005000100002011201420152016魅族服务器发展历程发展历程运营现状目录010203前言04系统运维的未来发展历程2011启程第一个IDC在广 州亚太建立，系 统运维之路开启2014.6质量CMDB、告警平台、 RSA Token-堡垒机、 机型配置标准、OS标准、供应商管理标准等2

2、015.12效率变更管理 巡检平台自动化管理平台2016.6流程生命流程闭环、利旧、 改造，打造运营平台 工单系统实现流程联 动、事件系统成本服务器运营 容量系统 营收平台Flyme内部结算填坑、标准化自动化未来混合云运营数据化流程化远古时代 2011-2011.12机房规模机柜：1个机房稳定性服务器：5台监控缺失业务：2个人力：开发兼职运维问题架构单点石器时代 2012.1-2014.6APPDR LVSPHP、Java、Cmysql、mongodb、 MFS服务器/VM网络V1.0业务架构接入层逻辑/展示层数据存储层IDC基础VPN运维架构Nagios,Cacti监控脚本工具实现 自动化运

3、维KS+CobbleriDRACExcel资产管 理运维管理IDC管理石器时代 2012.1-2014.6IDC：1个 机柜：30个服务器/vm：800台 业务：100个人力：运维12个机房规模问题和解决 方案去IOE、建立云平台迁移机房、资源冗余、 CMDB新网络架构、带宽冗余IBM、EMC、Vmware机房资源不足、扩容难、 资源管理问题网络不稳定 活动日流量突增DB压力手工部署操作、监控 不完善、监控覆盖率低安全性低使用SSDansible、zabbix 监控定时巡检RSA、WAF、DDoS流量清洗青铜时代 2014.7-2015.12APPPHP、Java、C、 C+、GolangMy

4、sql、redis、mongodb、MFS、FastDFS、HDFS服务器/KVM网络V2.0业务架构接入层逻辑/展示层数据存储层IDC基础VPN+多机房运维架构Zabbix监控 BI监控发布平台装机平台RSA 堡垒机CMDB资产 管理IDC管理DR LVSHAProxy告警系统自动化工具 Ansible域名平台云管理平台运维管理WAF青铜时代 2014.7-2015.12IDC：多个机柜：150个服务器/vm：4000台业务：200个人力：运维平台35个机房规模问题和解决 方案标准化率低、维护成本高部分业务架构单点， 业务可用性供应商单一标准化巡检梳理单点业务、 统一高可用架构引入多厂商，建

5、立标准配置管理、准确性低规模突增、资源扩容率低故障多样性流程化管理资源冗余、装机平台、 容量管理故障分析、 建立知识库铁器时代 2016.1APPPHP、Java、C、 C+、GolangMysql、redis、mongodb、MFS、FastDFS、HDFS服务器/KVM/Docker网络V3.0业务架构接入层逻辑/展示层数据存储层IDC基础VPN+专线多机房运维架构Zabbix监控BI监控发布平台装机平台RSA 堡垒机CMDB资产 管理运维管理IDC管理告警系统域名平台云管理平台Fullnat LVSrouter工单平台容量系统营收系统巡检平台WAF事件系统铁器时代 2016.1IDC：多

6、个机柜：200个服务器/vm：6000台业务：200个人力：运维平台43个机房规模问题和解决 方案统一告警平台监控指标量化、 可视化机型套餐多、 业务需求个性化业务成本高， 各业务ROI量化工作流程化根据业务特性 整合同类机型资源使用考核， 建立内部营收体系工单平台资源利用率低容量平台预案管理定时演练回顾总结标准化：OS标准化、硬件标准化、软件标准化、 架构标准化、组件标准化、协议标准化规范：日志规范、部署规范运维自动化、平台化达到快速交付要求 上线流程+标准化打包+自助发布+灰度发 布（持续交付）异地双活+快速切换措施 专线切换演练告警分级：邮件、短信、钉钉自动化添加监控设备，根据CMDB业

7、务 树进行巡检，保证监控覆盖率BI告警，度量系统提高资源使用率：监控系统+容量管理平台 容器服务化供应商管理，引入多家厂商Flyme内部结算，建立内部营收体系监控告警与定 位（及时发现 与定位）成本控制IDC迁移，一个变多个资源冗余，保证快速部署需求。去IOE，建设以KVM为基础的魅族云平台，引入Docker容器平台，实现微服务基础设施规划业务同质化（业务爆发式 与差异性 增长）手工重复 操作（效率）预案发展历程运营现状目录010203前言04系统运维的未来魅族运维整体架构服务目录质量管理度量系统框架支撑用户视图SaaS 运维 服务化PaaS 运维 平台化业务监控 预警系统自动发布 业务模型子

8、机管理 Logserver预算系统 需求系统容量管理监控平台发布平台云平台流程平台IaaS计算网络存储其他计算服务统一调度数据存储糅合配置收敛事件管理SACMDB安全管理资源层API监控系统分布式部署88%100 %105%100%95%90%85%80%基础监控覆盖率基础监控覆盖率Q3Q4监控模板标准化 监控自动添加监控的精细化甄别Zabbix server Zabbix serverZabbix proxyZabbix proxyZabbix proxyDatabaseDatabaseDatabaseZabbix agentWeb 服务器Database统一告警平台告警收敛效果： 每个业务

9、运维每天 少接收322条告警 短信，提高了运维 效率。监控分级告警机制，提高故障定位效率告警分级告警策略优化 告警信息收敛 告警统计统一告警平台工单平台目标：减少人为沟通成本服务器生命周期管理自动化 工单流程可视化工单流程自定义 工单流程可追踪业务需求多样化 沟通成本较高 流程无法跟踪日志平台目标：日志集中管理和分析 减少沟通成本日志搜索准确定位，提高故 障排查速度日志可视化日志种类多，难以寻找因权限问题，开发需要找业务运维索要日志，沟通成本较高。 日志级别较多，查找困难VMLogstash- shipperVMLogstash- shipperVMLogstash- shipperVMLog

10、stash- shipperBroker Redis（cache）Logstash Indexer过滤、数据写入Elasticsearch存储、索引搜索Kibana日志分析web界 面Web BrowerHTTP巡检平台系统初始化检测系统 常规检测系统 内核检测系统 安全检测下线检测Bond模式、yum源配置文件、MFS挂载检测、selinux状态 等等宿主机上报状态、交换分区 大小、初始化磁盘raid配置 等等空口令账户、passwd文件读 写权限、shadow文件读写权 限、 拒绝.rhosts文件存在、 防止syn攻击优化等等Kernel版本检测、nf_conntrack检测等等服务器回

11、收进程检测、磁盘 数据检测等等巡检平台目标：建立标准体系，提升工作效率，规范运维工作，考核供应商服务，保证业务稳定性、可用性。梳理15个组件的标准化，发现问题96个，整改服务器项目4000+次，有效的避免了因非标准因素导致的风险。更安全的堡垒机用户软件硬件RSA-Token模式原因openssh key认证登陆机房：南沙堡垒机 状态：主机房：无锡堡垒机 状态：备RSA认证堡垒机 堡垒机 堡垒机 堡垒机IDC账号管理平台分权分配用户管理 登陆记录 操作记录功能摘要审计把控052013201420152016非法访问IDC事故非法访问IDC事故用户中心数据库被拖走win堡垒机密码失窃JW邮箱被盗流程管理生命周期流程管理资源交付类流程资源采购、日常申请、 领用、上下线、自动验 收检查、自动部署、预 置环境调整资源调度类流程服务器搬迁、改造、回收、备件调 拨等生命周期末端流程服务器退役、利旧拆解、 报废处理、硬盘消磁等2倍100%节省沟通时间资产准确性资产归属权明确 资产数据质量高容量系