企业IT高效运维实践

1、企业IT高效运维实践技术创新，变革未来/监控阪务排陲胺务配詈阪务分析阪务其他阪务$-;,le Da 勹监控服务，GD基础监控硬件系统监控业务监控订单、支付、用户监控日志监控各类日志信息大屏监控霆要业务指标监控排障服务分析服务事件管理故障信息告警管理语音 短信、邮件、RTXQA邓故记录分析、解决，容是分析资源现状统计与需求评估配置服务。基础信息pool&联系人 组织架构等小工具文件查看、ip库域名查询等IDC设备虚拟化、装机管理。音肚署王机、服务管理0发布代码、静态、配芭管理COSTIT基础设笆费用管理DNS域名管理系统其他服务，PMS日报、周报安全安全监控、防cc等KPIKP氓入、考核监控系统

2、2IDC管理&部署系统3发布中心4CMDB1CMDB、心、多变更&异常信息操作记录异常报表历史轨迹组织&业务信息部门应用人员系统&配置信息模板服务配置基础设施信息机房设备网络CMDB监控系统服务器交换机路由器防火墙负载均衡TomcatRedisMemcacheDBapp 1app 2app n性能数据报警数据日志业务数据配置数据zabbix网络拓扑zabbixHClogAgentAPI数据展示层监控管理监控部署监控设置监控管理监控报表报警管理报警设置报警过滤报警分析事件管理其他用户&权限管理日志平台事故管理容量分析遇到的问题监控多容易出错变更多经常会出现大量误报报警多一旦出现故障难以准确定位到

3、问题根源部署系统监控系统API工单系统监控系统事件分析排障子服务宕机检测进程检测配置查询变更查询服务器位 置查询查看线上文件延时检测版本查询网络拓扑 查询应用健康 检测域名查询硬件信息 查询监控信息 查询调用链路 查询其他服务宕机故障策略发布故障策略Tomcat挂掉策略。报警场景化运维工具服务器重启进程重启应用扩容代码回滚配置回滚其他工具报警报警故障报警 屏蔽分类定位收敛类型处理后/处理前(% )全部报警9.5%agent无响应报警1.9%进程存活报警1.8%IDC管理&部署系统SN/MAC导入管理IP自动分配ONEIS远程管理卡初始化硬件初始化系统/应用模板App InstallAPPVMO

4、SAgent Install PUPPETMonitorLog资源池ReadyCMDB服务监控日志发布清理启用监控空闲期(资源池)服务期 (online)维护期 (offline)报废禁用监控删除监控 实例销毁 释放ip空闲期(资源池)服务期(online)安装配置PUPPET状态定义状态维持状态报告安装包用户目录权限创建安装更改销毁通知干预发布中心老的发布快速发布Staging发布白天发布无人发布灰度发布EMAIL程序猿JenkinsBUILD发布系统APIStaging服务器DEPLOYSVNCHECKOUTArtifact仓库（FTP）PUTGET自动回滚Bug邮件通知OK自动测试发布内容发布时间发布方式发布应用Test程序猿SVNJekinsStagingCommitBuildDebugPostRelease发车周期（上线窗口）9:00 23:00，逢整点开1个发布批次2:00 5:00，在2:00开启1次检票（上线审核）发布前15分钟，停止“自动检票”，转入“人工检票”;发布前5分钟，停止“人工检票”，彻底错过当前批次;若错过当前批次，须“改签”至下一批次发布开始时，通过Email预告申请人专车（紧急上线）保留人工紧急发布通道，应对特殊情况全部由人工完成上线申请提交、审批和发布。发布次数：40次/天回滚率：2%事故同比下降：39.2%总结CMDB：配置