伏烨小米运维系统发展之路课件

小米运维系统发展之路伏晔小米小米运维系统发展之路伏晔1运维压力业务发展得很快，而运维处在产品末端，将全周期地承受着产品与缺陷带来全部压力任何产品，需求、设计、测试的周期都是有限的，但是其运维周期是无限的在上游引入的任何缺陷，最终都由运维承担；但上游是无法感受到运维压力的随着业务增长，产品与缺陷带来了极大的运维压力HOW?运维压力业务发展得很快，而运维处在产品末端，将全周期地承受着2系统挑战复杂和庞大的业务系统动态的业务运行状态业务系统的操控效率面向新人的传承系统挑战复杂和庞大的业务系统3实例与服务器手工操作foriin`catIDC1-XIAOMI-A`;doscpA$i:/home/work/muc/bin/A.new;doneforiin`catIDC1-XIAOMI-A`;dossh$i:`cd/home/work/muc/bin;cpAA.20140101;mvA.newA;md5sumA`;done各种机器列表对机器列表的管理关注机器->关注服务IDC1-XIAOMI-AIDC1-XIAOMI-BIDC1-XIAOMI-CIDC1-XIAOMI-ALLIDC2-XIAOMI-AIDC2-XIAOMI-B删除IDC1-XIAOMI-A00IDC1-XIAOMI-AIDC1-XIAOMI-ALL实例与服务器手工操作IDC1-XIAOMI-A删除IDC1-4实例与服务器Cop：公司Owt：部门Pdl：产品Cluster：集群类型Service：服务名称Job：实例名称Status：状态Loc：位置Idc：IDCTAG串：lg-ac-mt06.bj(cop.xiaomi_iao_pdl.account_duction-lg_service.database-change-handler_job.database-change-handler_status.service_loc.bj_idc.lg)核心功能关联各系统机器列表实例与服务器Cop：公司核心功能5部署与控制部署与控制6部署与控制JOBNAMEjob.database-change-handler_duction-lg_pdl.account_iao_cop.xiaomi实例管理god

instances

start\stopCron管理Cron描述放置到/etc/cron.d，命名同jobname部署与控制JOBNAME7部署与控制部署与控制8部署与控制部署与控制9部署与控制部署与控制10超级客户端FriggaGOD监控Frigga监控GOD超级客户端FriggaGOD监控Frigga监控GOD11关联关系AABBBA关联关系AABBBA12关联关系AABBBB意义最重要的运维基础设施之一，对自动运维有很重要的意义，可解决配置关联解耦、故障时内部路由切换、数据挖掘关联关系图谱等配置分离功能逻辑配置–

package开关类配置-zookeeper模块间RPC配置–namingservice关联关系AABBBB意义13关联关系LVSDNS-inETCDETCDETCDA1A2A3GOD进程监控注册/删除TAG关联公司(cop)、部门(owt)、产品线(pdl)、服务(service)、实例(job)cop.xiaomi_iao_pdl.account_duction-lg_service.database-change-handler_job.database-change-handler关联关系LVSDNS-inETCDETCDETCDA1A2A14关联关系前端接入配置由静态文件形式转为动态存储自动部署过程中通过httpapi方式提交变更周期性将配置dump生成keepalived所需的静态配置形式，

由keepalivedreload生效关联关系前端接入15资源隔离CBAdeploy优点部署动作简单不污染系统及其业务问题root权限公有、私有runtime解法DockerRuntimePHP-5.5.09RuntimeNGINX-1.4.3RuntimeRedis-2.8.8ServicePackageABAonlineonlineBAonline资源隔离CBAdeploy优点RuntimeRuntimeR16机器管理触发方式工单触发运维系统自动触发备机池公司备机池产品线备机池状态机Offline–裸机，未装系统Initialized

–系统安装完成Unuse

–备机状态，但保留原有环境Service

–线上服务中Problem

–故障中机器管理触发方式17机器管理工单触发自动运维系统触发机器管理工单触发18调度系统机架机房网段服务器负载业务特性……调度系统机架19阶段回顾全量部署机器管理动态调度资源定位资源隔离服务管理阶段回顾全量部署机器管理动态调度资源定位资源隔离服务管理20资源数据库调度器创建容器Naming部署系统监控系统最终目标资源数据库调度器创建容器Naming部署系统监控系统最终目标21http://noops.meThankyou!http://noops.me22演讲完毕，谢谢观看！演讲完毕，谢谢观看！23小米运维系统发展之路伏晔小米小米运维系统发展之路伏晔24运维压力业务发展得很快，而运维处在产品末端，将全周期地承受着产品与缺陷带来全部压力任何产品，需求、设计、测试的周期都是有限的，但是其运维周期是无限的在上游引入的任何缺陷，最终都由运维承担；但上游是无法感受到运维压力的随着业务增长，产品与缺陷带来了极大的运维压力HOW?运维压力业务发展得很快，而运维处在产品末端，将全周期地承受着25系统挑战复杂和庞大的业务系统动态的业务运行状态业务系统的操控效率面向新人的传承系统挑战复杂和庞大的业务系统26实例与服务器手工操作foriin`catIDC1-XIAOMI-A`;doscpA$i:/home/work/muc/bin/A.new;doneforiin`catIDC1-XIAOMI-A`;dossh$i:`cd/home/work/muc/bin;cpAA.20140101;mvA.newA;md5sumA`;done各种机器列表对机器列表的管理关注机器->关注服务IDC1-XIAOMI-AIDC1-XIAOMI-BIDC1-XIAOMI-CIDC1-XIAOMI-ALLIDC2-XIAOMI-AIDC2-XIAOMI-B删除IDC1-XIAOMI-A00IDC1-XIAOMI-AIDC1-XIAOMI-ALL实例与服务器手工操作IDC1-XIAOMI-A删除IDC1-27实例与服务器Cop：公司Owt：部门Pdl：产品Cluster：集群类型Service：服务名称Job：实例名称Status：状态Loc：位置Idc：IDCTAG串：lg-ac-mt06.bj(cop.xiaomi_iao_pdl.account_duction-lg_service.database-change-handler_job.database-change-handler_status.service_loc.bj_idc.lg)核心功能关联各系统机器列表实例与服务器Cop：公司核心功能28部署与控制部署与控制29部署与控制JOBNAMEjob.database-change-handler_duction-lg_pdl.account_iao_cop.xiaomi实例管理god

instances

start\stopCron管理Cron描述放置到/etc/cron.d，命名同jobname部署与控制JOBNAME30部署与控制部署与控制31部署与控制部署与控制32部署与控制部署与控制33超级客户端FriggaGOD监控Frigga监控GOD超级客户端FriggaGOD监控Frigga监控GOD34关联关系AABBBA关联关系AABBBA35关联关系AABBBB意义最重要的运维基础设施之一，对自动运维有很重要的意义，可解决配置关联解耦、故障时内部路由切换、数据挖掘关联关系图谱等配置分离功能逻辑配置–

package开关类配置-zookeeper模块间RPC配置–namingservice关联关系AABBBB意义36关联关系LVSDNS-inETCDETCDETCDA1A2A3GOD进程监控注册/删除TAG关联公司(cop)、部门(owt)、产品线(pdl)、服务(service)、实例(job)cop.xiaomi_iao_pdl.account_duction-lg_service.database-change-handler_job.database-change-handler关联关系LVSDNS-inETCDETCDETCDA1A2A37关联关系前端接入配置由静态文件形式转为动态存储自动部署过程中通过httpapi方式提交变更周期性将配置dump生成keepalived所需的静态配置形式，

由keepalivedreload生效关联关系前端接入38资源隔离CBAdeploy优点部署动作简单不污染系统及其业务问题root权限公有、私有runtime解法DockerRuntimePHP-5.5.09RuntimeNGINX-1.4.3RuntimeRedis-2.8.8ServicePackageABAonlineonlineBAonline资源隔离CBAdeploy优点RuntimeRuntimeR39机器管理触发方式工单触发运维系统自动触发备机池公司备机池产品线备机池状态机Offline–裸机，未装系统Initialized

–系统安装完成Unuse

–备机状态，但保留原有环境Service

–线上服务中Problem

–故障中机器管理触发方式40机器管理工单触发自动运维系统触发机器管理工单触发41调