智慧银行运维自动化操作管理平台解决方案

1、运维自动化操作管理平台处理方案第1页目录项目背景系统目标建设标准系统架构主要功效实施规范风险应对第2页运维现实状况 中国邮政储蓄银行依靠邮政网络优势，按照企业治理架构和商业银行管理要求，不停丰富业务品种，不停拓宽营销渠道，不停完善服务功效，为广大群众提供更全方面、更便捷基础金融服务，成为一家资本充分、内控严密、营运安全、功效齐全、竞争力强当代银行。 伴随银行业务迅猛发展，系统数量快速增加，业务系统复杂多样，各个业务系统间关联关系复杂，运维压力越来越大。 中国邮政储蓄银行运维系统伴随业务系统不停发展，也在不停地优化升级，在系统升级应用公布等方面已经逐步形成了一套完整流程。为了更加好适应业务发展，

2、提升运维效率，实现运维自动化，建设一套独立运行、高度自动化运维系统是运维管剪发展必定趋势。第3页运维面临挑战 因为中国邮政储蓄银行运维管理难度和复杂度，运维管理面临着以下挑战：系统环境复杂庞大业务系统繁多人为手工操作风险高问题故障定位效率不高第4页运维面临挑战（一）系统环境复杂庞大：各种操作系统，如：hp-unix、linux、windows、AIX等。各种主机设备，如：应用服务器、数据库服务器、管理服务器、前置服务器等；第5页运维面临挑战（二）业务系统繁多：系统关联关系复杂，业务处理步骤众多，业务关联性强。比如，中国邮政储蓄银行以储蓄逻辑集中系统和储蓄统版2.0系统为关键，连接着会计处理平台

3、系统、中间业务系统、国际业务系统、汇兑业务系统、代理保险系统等多个外围业务系统;第6页运维面临挑战（三）人为手工操作风险高：在版本公布、巡检、配置管理、变更管理、联合排障等过程中多是手工操作执行，操作过程中缺乏透明度，标准化程度不高，应用公布时间长，误操作风险较大。第7页运维面临挑战（四）问题故障定位效率不高：在应用公布过程中，因为操作过程复杂性和人为原因，轻易发生误操作，却不能及时发觉。问题出现后重现操作过程困难，不能快速准确地定位问题根源，最终影响业务系统正常运行。第8页当前应用公布流程 当前邮储银行运维系统升级应用公布使用95580运维故障管理系统，其基本流程以下：（1）需求确认单（需求

4、变更单）和升级申请单由相关领导签署后，版本管理员上传应用系统升级包到95580运维故障管理系统；第9页（2）运维中心管理人员对95580运维故障管理系统中应用系统升级包审核批复后，下发到各省中心维护人员；（3）各省中心系统维护人员从95580下载升级包，按步骤手工操作公布应用程序；第10页（4）项目组开发人员核查升级操作情况，各省中心维护人员统计升级汇报单，提交相关领导。第11页目录项目背景系统目标建设标准系统架构主要功效实施规范风险应对第12页项目目标提升运维效率降低误操作造成风险系统、应用和交易巡检可视化规范化标准化应用公布流程实现公布应用及巡检自动化项目目标第13页项目目标-自动化 运维

5、管理自动化操作平台需要实现应用公布和巡检自动化改变传统运维模式中手工应用公布流程，在系统中实现应用公布及巡检自动化管理流程，建立运维自动化操作平台；降低应用公布过程中人为操作步骤，降低人工操作风险；减轻运维人员负担，提升工作效率，降低运维成本。比如：当前逻辑集中系统每日日终前都须手动检验各节点文件系统使用率，对于使用率过高节点需要运维人员手动清理日志。该平台能够实现自动化巡检，能够灵活定制巡检任务，自动清理日志并生成巡检汇报。第14页项目目标-规范化 运维自动化操作在纵向上包括应用系统和底层技术细节，在横向上包括各级角色及组织。该体系成功不但依赖于平台本身实施，还在于各管理部门、各管理人员协同

6、，并高效进行推进，只有这么才能建设安全、高效、便捷应用自动化系统。所以，在相关开发中心、测试中心、运维中心各层面建立统一规范，详细规范包含以下：应用公布管理规范应用公布操作规范公布脚本规范公布参数配置第15页项目目标-可视化 运维管理系统依据巡检内容，按照巡检模板生成巡检汇报，便于各级管理者进行查看。巡检内容系统类：CPU、IO、内存、文件系统等数据库类：表空间利用率、日志检验中间件类：Tuxdeo、Weblogic等应用服务：应用交易、应用服务巡检目标降低管理员直接系统登录巡检脚本统一管剪公布系统故障快速诊疗推进巡检标准化和规范化巡检周期、频率灵活定制第16页项目目标-低风险 运维管理自动化

7、操作目标是降低由手工操作带来潜在风险，降低人为原因带来影响传统运维管理采取手工操作，在版本公布、巡检、配置管理、变更管理、联合排障等过程中多是手工操作执行，操作过程中缺乏透明度，标准化程度不高，误操作风险较大建立透明、高标准、高规范自动化运维管理系统，降低因为手工操作带来风险自动对各个业务系统进行巡检，及时发觉并处理问题，降低因为其它故障问题带来影响第17页项目目标-高效率 邮储银行业务系统繁多，工作内容包括比较多，需要各管理部门、各管理人员协同共同推进传统运维管理模式在各职能部门协调和各级管理人员调度上不灵活，在突发情况下无法快速处理问题运维自动化操作制订不一样角色，不一样角色依据权限不一样

8、而担任不一样工作第18页目录项目背景系统目标主要功效实施规范风险应对建设标准系统架构第19页建设标准规范性易操作性可扩展性安全性稳定性建设标准第20页建设标准-稳定性从外部来说，充分考虑邮政储蓄银行现有各系统间关联关系和相互影响，设计阶段，尽可能降低现有系统改造；运行阶段，既不对其它业务系统正常运行产生大影响，又要确保自动化运维系统正常运行；从内部分析，运维自动化系统应有充分规范异常处理机制，确保系统在出现错误，甚至严重错误时，没有些人为原因干预或较少干预下，仍能恢复正常运行状态。第21页建设标准-安全性信息安全：针对业务系统、子系统及节点等对象，用户依据不一样角色分配不一样操作权限，确保各业

9、务系统安全。比如：不一样用户登录系统会显示不一样操作界面。另外，对于一些主要操作需要特定角色授权；密钥安全：运维自动化平台与各业务系统间数据传输有安全认证机制。对于大数据量传输，可采取对称加密算法（如3DES），以提升数据加解密速度；对于小数据，采取非对称加密（如RSA），提升数据安全性。另外，支持公私钥对对双方身份认证机制。兼容各种加解密算法等。第22页建设标准-可扩展性对于当前邮储银行日益复杂各种业务系统，具备增加或降低业务系统、子系统或单个节点等功效；实现系统内不一样角色及权限增删改查，从横向和纵向上满足对业务系统操作权限。比如：角色A对应是业务系统B内某个子系统C，那么，角色A对子系统

10、C内全部节点含有操作权限，而对业务系统B内其它子系统没有操作权限；灵活定制各种巡检目标及公布应用；支持与当前邮储银行各种主流操作系统平台对接，比如：hp-unix、AIX、linux等；第23页建设标准-易操作性系统设计应满足操作简单，便于了解和良好用户体验。比如：适当降低和屏蔽当前版本升级上线过程中复杂命令操作方式，实现升级流程配置化。用户与系统应有良好交互性，每步运行结果都应有实时展现，而且方便事后查询。第24页建设标准-规范性平台系统设计过程中应有尽可能多定制规范性动作，比如：命令、脚本及内部程序规范；运维自动化管理平台与外部系统交互尽可能使用通用接口规范。对于系统使用到命令、脚本程序及

11、各类文件数据要满足定制规范要求；第25页目录项目背景系统目标建设标准主要功效实施规范风险应对系统架构第26页系统逻辑架构第27页系统逻辑架构1. WEB接入层： 用户与运维自动化系统交互门户，展示和操作统一web入口。包含应用公布和巡检两大部分功效；另外，还包含两大支撑功效模块角色用户权限管理和应用系统管理。 (1).应用公布：主要子功效及流程有公布配置、公布审核、公布执行、公布监控和公布结果评定等 (2).巡检：主要子功效有巡检检索、巡检配置、手工巡检及巡检汇报等 (3).角色用户权限管理：主要包含角色管理、用户管理和权限管理等。完成角色、用户和权限增删改查等操作 (4).应用系统管理：主要

12、包含应用系统管理、子系统管理和节点管理等。节点是应用系统管理最小单元，普通与系统中服务器一一对应第28页系统逻辑架构2. 公布流程层： 又名调度层，应用公布和巡检流程管控模块，是后台任务关键，实现流程配置，信息采集，权限管理维护，帮助与步骤建模，环境建模，作业配置及资源管理等 (1)任务轮询调度：后台实时不间断轮询自动任务到来，等任务到来后，自动调度对应任务执行模块进行处理3. 自动操作层： 又名执行层，主要完成各种任务执行实施功效；另外，在任务执行过程中，需要底层通讯和安全两大功效模块支撑 (1).任务执行：包含公布应用、巡检、权限、角色、应用系统等任务执行 (2).安全认证：本系统与应用系

13、统之间数据加解密、签验章等 (3).通讯协议：第29页平台布署 运维自动化操作管理平台系统分两套环境布署，准生产环境和生产环境。上线前，首先在准生产环境进行应用公布及巡检自动化测试，然后再导入生产环境，大大降低了上线操作风险性，提升了运行效率。而且，生产环境和准生产环境支持逆向操作。 平台准生产环境 开发、测试中心进行自动化公布测试 平台生产环境 运维中心实现对生产应用系统自动化公布第30页平台布署第31页目录项目背景系统目标建设标准系统架构实施规范风险应对主要功效第32页功效概要第33页功效概要功效功效介绍应用公布实现应用公布过程一系列流程。主要包含：公布模板、公布请求、公布过程、公布作业、

14、公布步骤、环境、组件、作业、作业包、脚本、参数化巡检包含：对象化、巡检模板、巡检作业、巡检目标、系统级巡检、应用级巡检、定制巡检用户权限用户权限取决于登录系统角色，包含：平台管理员、系统管理员、网络管理员、安全管理员、报表管理员、应用管理员等第34页主要功效介绍-自动巡检功效点功效内容巡检对象包含：脚本对象化、命令行对象化、配置文件对象化巡检模板对同类检验规则统一抽象、实现巡检规则重用性巡检作业包含：巡检模板、目标服务器、巡检周期及频率巡检汇报包含：界面查询方式、结果处理详细巡检内容系统类：CPU、IO、内存、文件系统等数据库类：表空间利用率、日志检验中间件类：tuxedo、weblogic等

15、应用类：应用交易量、应用服务第35页主要功效介绍-自动巡检执行设计第36页自动巡检-设计巡检作业巡检时间巡检模板巡检指标巡检规则1nnn1n巡检目标n第37页自动巡检-设计巡检指标巡检规则巡检模板第38页自动巡检-作业定义第39页自动巡检-模板第40页自动巡检-服务器第41页自动巡检-时间表第42页巡检汇报分类巡检系统巡检应用巡检常规巡检暂时巡检AIX巡检常规巡检暂时巡检交易巡检CEMB数据库NEXCH重保巡检定时执行手工执行深度巡检一日屡次中间件第43页巡检汇报第44页工作流程-巡检平台准生产环境平台生产环境制订巡检方案二线管理员应用DB中间件.变更审核变更评审审核结果管理员经过审核汇报，确

16、定系统运行状态第45页工作流程-巡检目标：降低管理员直接系统登录巡检脚本统一管剪公布系统故障快速诊疗推进巡检标准化和规范化巡检周期、频率灵活定制权限控制二线管理员：依据SUMP权限，对对应服务器OS用户下含有设计、执行权限一线工程师：依据专业类别进行区分，含有对应专业类别下暂时巡检执行权限第46页主要功效介绍-应用公布第47页主要功效介绍-应用公布功效点功效内容应用公布模板将惯用公布流程固化下来，实现公布过程重用应用公布请求一系列公布流程定义，包含：包含应用、环境、权限控制公布过程一组公布步骤组合，实现公布流程模块化公布步骤一个原子公布执行步骤，包含：组件、目标服务器、权限控制、BSA作业绑定

17、组件实现公布流程和目标服务器解耦、绑定多个目标服务器实现负载均衡场景并发公布第48页应用公布-模型应用系统分层架构公布面对不一样环境各种形态公布PortalDBAgile TeamDevQASIT,Perf, UATStage512134135121341351213413DevDevDevQAProdDev Ops1、建立应用组件模型，引入组件模型适用系统架构分层2、建立应用环境模型，将环境模型与组件模型组合，将应用与环境关联性解耦3、建立应用公布模板，经过公布步骤原子化、规范化，实现公布步骤复用，到达公布请求重用第49页应用公布-设计第50页应用公布-执行应用上线设定原子化步骤脚本第51页

18、应用公布-执行公布步骤第52页应用公布-变更控制表改变*第53页*T-4T运行态 两个环境：平台生产环境、平台准生产环境 三个阶段：模板构建、投产准备、投产公布 四个角色：开发中心-配置管理员、测试经理、应用管理员、变更经理需项目组支持第54页应用公布-对比*执行第55页权限体系WEB平台用户：IAM认证接入操作权限从SUMP同时数据行级权限控制（应用系统）C/S设计用户：设定用户可操作范围经过作业限制用户可执行操作针对读取类作业，设定只读用户机器人帐号：系统间交互经过机器人帐号完成WEB平台用户：角色：菜单、功效按钮访问控制用户：应用系统粒度数据行级授权C/S设计客户：建立应用系统为路径权限

19、控制单元应用+角色=角色映射关系权限策略包AGENT：以ROOT用户执行OS用户参数化第56页功效/数据权限矩阵 功效 角色 生产环境开发/测试环境应用团体系统团体操作团体开发中心测试中心团体主管 应用变更经理应用管理员平台应用管理员团体主管 系统管理员数据库管理员中间件管理员系统变更经理团体主管应用一线系统一线应用公布人员平台管理员测试人员平台管理员系统安全管理用户菜单角色功效权限系统公共管理应用系统同时服务器同时SUMP同时应用环境/查看新增/修改/删除BRPM同时BSA同时日志查看应用公布公布流程定义模板/请求定义作业/脚本定义组件绑定参数定义资源导出/导入公布请求实施查看授权开发/测试

20、环境无需授权排期/参数录入执行(暂停、继续)进度展现日常巡检巡检模板配置巡检作业创建作业公布变更经理：平台管理员？作业执行执行结果查看工具箱脚本开发工具定义工具公布变更经理：平台管理员？工具执行执行结果查看第57页功效/数据权限矩阵角色权限工具箱巡检应用公布一线工程师设计执行专业方向专业方向技术教授设计专业方向专业方向执行专业方向专业方向二线管理员设计SUMP权限SUMP权限应用系统执行SUMP权限SUMP权限应用系统开发中心设计应用系统执行应用系统质量中心设计应用系统执行应用系统在平台对对应人员赋予所属应用系统权限依据同时SUMP权限含有所属服务器OS用户权限按应用、操作系统、中间件、数据库

21、等方向划分第58页外部接口接口系统功效接口方式SUMP权限同时日终批量配置管理服务器信息日终批量ITSM应用同时日终批量变更审批联机变更结果日终批量监控系统维护期设定联机批量工具调用联机IAM统一登录联机、批量动态口令授权联机第59页外部接口运维自动化操作平台SUMP配置管理IAM动态口令ITSM监控系统权限同时服务器信息统一登录授权变更同时审批结果更新监控维护期工具调用第60页系统本身监控JEDA：-CPU使用率-内存使用率-IO使用率-Weblogic虚拟内存、线程、JDBC连接数-MessageQueue-监控日志文件BRPM：-CPU使用率-内存使用率-IO使用率-Tomcat虚拟内存

22、、线程、JDBC连接数-监控日志文件数据库：-Oracle日志文件-Server状态-表空间数据文件-索引空间数据文件-监控会话数-Listener是否存在BSA：-CPU使用率-内存使用率-IO使用率-文件系统空间-监控日志文件第61页目录项目背景项目目标建设标准系统架构主要功效实施规范风险应对第62页实施方案(一) 当前，伴随业务系统升级，中国邮政储蓄银行运维整体流程管理也在不停完善。针对当前邮政储蓄银行运维实际情况，提出以下两种实施方案，供各位领导和运维管理人员参考：方案1：95580和MAOP系统同时上传升级包流程：应用公布管理人员上传升级包到95580，并同时上传升级包到MAOP系统

23、；第63页实施方案(二) 运维中心审查人员在MAOP系统对升级包进行审查批复，无需在95580系统审查批复升级包；MAOP依据升级操作手册中配置升级节点、升级时间、操作步骤等信息，在指定时间公布升级包，自动完成升级；第64页实施方案(三)MAOP依据审核手册自动完成升级审核并生成升级汇报；优点：95580与MAOP系统无直接交互缺点：须手工上传升级包到MAOP第65页实施方案(四)方案2：自动化运维系统与95580系统对接流程：应用公布管理人员上传升级包到95580系统；（与当前流程一致）运维中心审查人员对升级包进行审核批复；（与当前流程一致）运维自动化操作平台MAOP自动同时经过审核升级包；

24、MAOP依据升级操作手册中配置升级节点、升级时间、操作步骤等信息，在指定时间公布升级包，自动完成升级；（与方案一一致）第66页实施方案(五)MAOP依据审核手册自动完成升级审核并生成升级汇报；（与方案一一致）优点：不需要审核批复流程缺点：95580系统需提供对接接口第67页应用公布构建规范 自动化平台在纵向上包括应用系统和底层技术细节，在横向上包括各级角色及组织。该体系成功不但依赖于平台本身实施，还在于各管理部门、各管理人员协同，并高效进行推进，只有这么才能建设安全、高效、便捷应用自动化系统。所以，在相关开发中心、测试中心、运维中心在自动化平台各层面建立统一规范，详细概述以下：应用公布管理规范

25、 在邮储现有公布管理模式上进行梳理，在不影响现有管理模式下，规范应用公布从开发中心制订到质量中心测试到运维中心上线各个步骤流程。主要包含以下几个层次：公布角色梳理规范：统一梳剪公布过程各角色，明确各角色责任。公布过程管理规范：对公布过程进行管控，开发、测试、导出、导入、投产等过程。应用公布操作规范 对自动化平台配置过程，如配置自动化公布环境模型、配置公布作业、配置公布请求等过程建立统一规范，在统一标准和规范上进行构建，主要包含以下几个层次：应用公布环境规范：对公布环境各项内容进行规范，如应用、组件、环境、服务器构建配置规范；公布作业构建规范：对公布作业构建各项环境进行规范，如公布脚本、公布参数

26、、公布作业构建配置规范；公布请求构建规范：对公布请求配置过程进行规范，包含公布请求、公布步骤定义、命名、组件选择方式等。 第68页公布脚本构建规范 应用自动公布调度底层是公布作业，而公布作业重点是落在公布脚本上，公布脚本构建对应用公布成功有着主要作用，应经过参数化实现公布脚本和服务器松耦合，所以应对公布脚本构建做统一规范，开发中心、质量中心、运维中心在整个构建及运维过程中采取统一标准进行编写、了解、和调整，主要包含以下几点：公布脚本纳管应用系统公布脚本执行目录规范：在被管服务器上采取统一目录结构；应用系统公布脚本平台纳管规范：在自动化平台上采取统一纳入方式和规范；公布脚本内容公布脚本编写、梳理标准：全部系统脚本、梳理采取一致