互联网公司运维管理及应急制度

XXX互联网公司

运维管理及应急制度2022年10月名目TOC\o"1-5"\h\z1、总则 O2、运维工程师工作职责 O1、负责平台运维和技术支持 O平台信息和技术平安 13、运维服务管理体系 1运维服务管理对象 12应急大事管理 23.3配置管理 24、运维服务内容 34.1服务目标 34.2IT资产统计服务 33网络、平安系统运维服务 34主机、存储系统运维服务 45数据库系统运维服务 56中间件运维服务 57终端、外设运维服务 65、应急服务响应措施 61应急预案实施基本流程 72突发大事应急策略 73突发大事响应流程 84密码管理及处理流程 86、运维响应时间 91、总则第一条为保障XXX平台系统软硬件设施的平安平稳的运行，特制订本制度。第二条运维工作总体目标：平台的平安平稳运行，日常维护工作的有序管理，突发大事的应急处理。运维管理制度的适用范围：全体运维人员。2、运维工程师工作职责负责平台运维和技术支持（一）依据平台运营战略和目标，负责运维整体架构、平安防护、三方系统等运维方案制定，保障平台技术的平安、稳定。（一）平台服务器和平安服务的购买拟定，包括选购数量、品牌规格、技术参数。（三）平台日常运行过程中信息平安和技术问题的协调解决，保障平台24小时平安稳定运行。（四）负责平台服务器设施及系统密码口令的设置和保存，密码口令设置后报技术负责人，密码口令设定后任何人不得随便更改，保密口令每季度更新一次，并严禁发送给第三方。（五）负责平台系统测试环境，预生产环境，生产环境的代码发布，项目部署。（六）云服务器的年度预算制作，云服务器的按时续费。（七）平台域名的购买，备案，续费。（八）域名加密证书的购买，部署，续费。平台信息和技术平安（一）落实平台信息技术平安保密责任制，执行“谁主管、谁负责，谁主办、谁负责”的原则，责任到人。（二）负责防火墙定期维护和购买，在服务器上做好病毒防护，进行硬件和技术双爱护，确保平台不受病毒入侵和恶意攻击。（三）7*24小时监控平台运行状况，遇到服务器报警要第一时间上报技术负责人，并作出相应应对处理。（四）建立多种备份机制，一旦主系统遇到故障或受到攻击导致不能正常运行，可以在最短的时间内替换主系统供应服务。（五）建立平台运维和开发集中式权限管理，依据岗位职责设定人员操作权限，针对不同应用系统、终端、操作人员，设置数据库的访问权限，并设置密码。不同的操作人员设定不同的用户名，且定期更换，严禁操作人员泄漏密码。3、运维服务管理体系运维服务管理对象运维管理对象包括平台基础设施、应用系统、操作用户以及运维人员，具体内容如下：（1）基础设施包括服务器网络架构、主机系统、存储系统、备份系统、终端用户、平安系统、以及机房环境（IDC机房和云服务器环境）等。(2)应用系统包括XXX测试环境，XXX预生产环境、XXX生产环境、服务器操作系统、防火墙、平安服务等。(3)用户包括使用如上应用系统的管理用户及操作用户。(4)运维人员包括内部参加运维活动的相关部门和人员，以及供应技术支持服务的三方公司和相关人员。2应急大事管理应急大事管理流程的主要目标是尽快恢复服务，供应并削减其对业务的不利影响，尽可能保证最好的服务质量和可用性等级。应急大事管理流程通常涉及大事的检测和纪录、大事的分类和支持、大事的调查和诊断、大事的解决和恢复以及大事的关闭。3配置管理配置管理流程负责核实基础设施和应用系统中实施的变更以及配置项之间的关系是否已经被正确纪录下来；确保配置管理数据纪录能够精确 地反映现存配置项的实际版本及状态。配置管理实际上是全部资源的统一管理的功能，包括资源整个生命周期的参数或配置的变化纪录的管理。管理信息主要涉及分类、型号、版本、位置，状态、相关资料等基本信息还包括核心参数等。4、运维服务内容服务目标运维组供应的运行维护服务包括，平台系统相关的主机设施、操作系统、数据库和存储设施的运行维护服务，保证平台现正常运行，降低整体管理成本。2IT资产统计服务服务内容包括：.硬件设施型号、数量、版本等信息统计纪录.软件产品型号、版本和补丁等信息统计纪录.网络结构、网络路由、网络IP地址统计纪录.域名名称，购买信息，续费信息.域名证书购买信息，续费信息.其它附属设施的统计纪录网络、平安系统运维服务从网络的连通性、网络的性能、网络的监控管理三个方面实现对网络系统的运维管理。.设施基础性能检测：cpu、内存、磁盘、带宽使用状况监测；.设施日志查看；.测试Ping,tracert等工具的连通性;.网络平安策略应用是否正常；∙Intemet带宽流量的实时监测；.网络拓扑链路状态监测；.特别网络数据包流量；.Dos、ddos等网络攻击状况监测；.Intecwt线路的误码率、丢包率监测；主机、存储系统运维服务供应的主机、存储系统的运维服务包括：主机、存储设施的日常监控，设施的运行状态监控，故障处理，操作系统维护，补丁升级等内容。进行监控管理的内容包括：.CPU性能管理；.内存使用状况管理；.磁盘采用状况管理；.系统进程管理；.主机性能管理；.实时监控主机电源、风扇的使用状况及主机内部温度；.监控主机硬盘运行状态；.监控主机网卡、阵列卡等硬件状态；.监控主机HA运行状况；.主机系统文件系统管理；.监控存储交换机设施状态、端口状态、传输速度；.监控备份服务进程、备份状况（起止时间、是否胜利、出错告警）；.监控纪录磁盘阵列、磁带库等存储硬件故障提示和告警，并准时解决故障问题；.对存储的性能（如高速缓存、光纤通道等）进行监控。5数据库系统运维服务供应的数据库运行维护服务是包括主动数据库性能管理，数据库的主动性能管理对系统运维特别重要。通过主动式性能管理可了解数据库的日常运行状态，识别数据库的性能问题发生节点，有针对性地进行性能优化。同时，亲密留意数据库系统的变化，主动地预防可能发生的问题。进行监控管理的内容包括：.数据库基本信息：文件系统、碎片、死锁、CPU占用率较大或时间较长的SQL语句。.表空间使用信息监测；.数据库文件I/O读写状况；.SeSSion连接数量监控；.数据库监听运行状态监测；.查看每日数据备份、数据同步是否正常；.报警日志监测；.对表和索引进行AnalyZe,检查表空间碎片；.检测数据库后台进程；.数据库对象的空间扩展状况监测；间件运维服务中间件管理是指对tomcat、MQ等中间件的日常维护管理和监控工作，提高对中间件平台大事的分析解决力量，确保中间件平台持续稳定运行。中间件监控指标包括配置信息管理、故障监控、性能监控。.执行线程：监控中间件配置执行线程的空闲数量。.JVM内存：JVM内存曲线正常，能够准时的进行内存空间回收。.JDBC连接池：连接池的初始容量和最大容量应当设置为相等,并且至少等于执行线程的数量，以避开在运行过程中创建数据库连接所带来的性能消耗。.检查中间件日志文件是否有特别报错.假如有中间件集群配置，需要检查集群的配置是否正常。端、外设运维服务负责对终端PC、笔记本操作系统、应用软件和硬件的维护，解决使用人员在应用过程中遇到的问题并进行简洁培训等其他终端设施的故障处理工作。5、应急服务响应措施虽然运维组制定了详尽的应急处理预案，但在维护服务过程中，意外状况将难以完全避开。我们将对特别状况的突发风险进行具体分析，并且针对各类突发大事，设计了相应的预防与解决措施，同时供应了完整的应急处理流程。2突发大事应急策略（1）值班人员平常应做好应急大事的监控工作，对于突发大事应仔细分析、精确 判定故障发生的数据域，负责跟踪该大事直至其结束。对于不在运维中心的故障，应在第一时间内通知负责人去现场处理，亲密关注大事流程及进展状况，并做好登记工作上报主管负责人。（2）正常状况下，要求值班人员在10分钟内进行大事确认。（3）在处理过程中，如需其他部门帮助处理，应准时向主管负责人汇报，协调沟通。

4密码管理及处理流程1.服务器账号密码及三方平台账号密码（简称密码文件），密码文件说明，密码文件包含技术部涉及到的三方平台的登录账号和密码，例如阿里云，网宿，七牛云，又拍云，容联云通讯，融云，神策,大象慧云，宝付，众邦银行等。公司全部服务器的登录账号和密码，及登录方式，例如应用服务器，预生产服务器，测试服务器。.密码文件涉及公司服务器及三方的隐私平安，全部负责管理密码文件的人员应当做到平安、保密，不得擅自将文件发送给第三方或者公司以外人员。.密码文件管理人员a.技术部门负责人（技术VP）保存一份，进行日常使用。b.运维负责人（运维工程师）管理备份密码文件，进行日常使用。c.行政总监管理备份，用于紧急状况下的账号密码授权发放。.在遇到紧急状况下时处理流程如下：a.需求方第一联系人为技术VP,由技术VP给需求方供应支持。b.在无法联系技术VP时，联系其次联系人，北京技术中心技术总监，并同时由董事长或者总裁授权运维负责人向北京技术中心技术总监发送账号密码，向需求方供应技术支持。c.在无法联系运维负责人时，直接由董事长或者总裁授权行政总监人发放密码发送给北京技术中心技术总监进行应急处理。d.在遇到极特别状况下，同时无法联系到技术