银行数据中心自动化智能运维平台需求

1、数据中心自动化智能运维平台项目背景、目标描述描述项目的背景及需要解决的问题描述项目的目标评价项目目标是否实现的衡量指标项目背景目前我行所负责运维的开放平台服务器已经达到了相当的数量规模，但是大多数配置管理和变更工作仍还由IT维护人员手工运维。随着设备数量的增长、运维标准的提升、配置和运维规范的日益严格，手工运维的模式已经越来越难以实现我行在IT运维方面的高标准要求，在配置管理、变更管理、合规审计和联合排障等方面，因手工运维带来的大量繁琐工作和易出错的操作都给安全生产带来极大隐患。从运维管理模式上看，数据的集中意味着运维管理也必须相应的向集中式的运维模式转型，如果IT还停留在传统的运维模式和运维

2、水平，势必对集中的业务带来极大的潜在风险。项目目标改变IT部门的传统运维模式，建立新的自动化运维模式，建设开放平台服务器自动化配置管理系统将。从范围上来说，该系统不仅能满足目前中国XX银行 IT部门对数据中心开放平台服务器的日常运维管理需求，而且应能够具备良好的扩展性，可以在未来为中国XX银行 IT部门提供从数据中心到测试中心、开发中心、各分行，乃至地市分行的端到端自动化运维管理。从功能上来说，该系统应可以为开放平台服务器的整个管理生命周期的提供一系列自动化配置管理手段，涵盖开放平台服务器规划、设计、实施和运维的各个阶段。需求分析业务需求：业务量估算；应用非功能性需求：性能需求；容量需求；质量

3、需求；业务连续性需求；安全需求；运维管理需求；需求分析配置信息自动化采集和管理日常巡检自动化审计和合规管理软件/补丁安装和回退用户权限管理报表管理代理(Agent)对目标机器的影响需求分析：1配置信息自动化采集和管理：自动采集各种IT资产的配置信息，包括硬件信息、操作系统信息、数据库信息、中间件信息等，并保证信息的实时性、准确性；可以同时对许多设备进行并发操作，大幅度提高管理效率，降低人为操作失误。需求分析：2日常巡检自动化：取代传统的人工检查，有效确保配置规范、安全规范、版本规范在实际环境中的落实；检查内容非常广泛，包括用内置的模板进行检查，以及由用户自定义检查，比如检查CPU利用率、表空间

4、利用率、日志文件搜集和分析、补丁规范、配置规范、安全设置等；检查可以由管理员触发进行，也可以在设定的时间窗口自动周期性执行，效率大大高于传统方式，并且可以实现密集的检查，及时发现和消除故障隐患，变频频救火为防患于未然，从根本上提升系统可靠性。需求分析：3审计和合规管理：支持配置与操作审计，包括操作用户的审计、操作时间的审计、操作内容的审计等，可以具体到用户的击键记录；内置多种合规或最佳实践要求，包括Sarbanes Oxley, PCI, FISMA, HIPAA, ITIL, COBIT, COSO等；也可由用户自定义合规策略，可以针对文件、目录、用户、组、补丁、软件包、注册表、应用配置模板

5、等多种对象制定合规策略；当发现不合规情况下，可以提供自动修补功能。需求分析：4软件/补丁安装和回退：操作系统补丁安装升级应用补丁安装，包括：数据库补丁、中间件补丁、XXX银行自己开发应用的补丁，以及如何自动部署新的应用软件/补丁的回退, 能够回退到上一状态以工作流方式实现对各个运维管理子系统的指挥调度和协同工作实现IT流程完整的生命周期自动化，对流程进行闭环管理；提供可视化工具定制流程；需求分析：5用户权限管理：提供集中、统一的用户认证和权限管理实现基于角色、细粒度、灵活的用户权限控制为实现实名制用户管理提供技术手段，消除账号共享的弊端提供单点登录功能，避免用户记忆很多口令支持多种外部的用户认

6、证方式，包括LDAP、AD等需求分析：6报表管理：跨越多个数据中心提供全面的硬件、软件和操作活动的全面报表；可以自动生成通用的合规报表，如Sarbanes-Oxley报表等；可以创建可互操作的图表，提供多层次数据并可层层深入挖掘；可以导出报表数据与其它报表工具进行集成。需求分析：7代理(Agent)对目标机器的影响：Agent应该支持数据中心大多数的操作系统Agent应该对目标机器的磁盘和内存要求不高Agent运行时占用CPU, Memory, I/O等资源少应用或技术架构图应用架构图技术架构图系统示意图技术架构图HP自动化运维术语SA Server automation 服务器自动化系统 C

7、oreCore SA的核心服务器 Sliceslice和agent通讯的组件MRModel Repository oracle 数据库SAR Service automation report 报表管理系统 OO Operation Orchestration 自动化运维流程整合系统Central ServerCentral ServerOO的核心服务器SQL Server SQL Server SQL服务器基础设施部署架构图基础设施部署架构图能够体现设备基本情况、存储结构、网络基本结构、部署位置、安全结构的示意图描述架构设计的基本思路和推导过程如果是现有系统，要包括现有系统的架构图基础设施部

8、署架构图具体网络拓扑图典型部署与访问方式分布部署，高可用性1002客户端 443 Java 10991002300130011002卫星节点被管服务器架构说明Multi-Master统一集中的服务器管理避免单点故障多个SAS核心服务器之间的数据共享 卫星节点分担核心服务器负载穿越防火墙有效平衡网络带宽 SA 架构SA架构比较复杂,下面做详细说明由于xxx银行业务扩展,数据中心业随着扩充,服务器数量也不断增加, 现有服务器大约为1,400台左右, 考虑以后发展,如2,250台,4,500台,7,200台,8,000台等的架构Core Capable of Supporting2,250Manag

9、ed ServersCore Capable of Supporting4,500Managed ServersCore Capable of Supporting7,200Managed ServersCore Capable of Supporting8,000Managed Servers容量估算SA数据库服务器2台，建议配置如下：处理器：CPU Dual-core Processor Intel Xeon, 3.0+ GHz，4颗以上内存：16GB RAM以上硬盘：200 GB以上, SCSI网卡：100/1000Mbps以太网卡，2个容量估算SA服务器自动化工具后台服务器2台，建议配

10、置如下：处理器：CPU Dual-core Processor Intel Xeon, 3.0+ GHz，4颗以上内存：16GB RAM以上硬盘：200 GB以上, SCSI网卡：100/1000Mbps以太网卡，2个容量估算OO流程自动化工具后台服务器2台，建议配置如下：处理器：CPU Dual-core Processor Intel Xeon, 3.0+ GHz，4颗以上内存：8GB RAM以上硬盘：80 GB以上, SCSI网卡：100/1000Mbps以太网卡，2个容量估算OO流程自动化工具数据库2台，建议配置如下：处理器：CPU Dual-core Processor Intel

11、Xeon, 3.0+ GHz，2颗以上内存：4GB RAM以上硬盘：80 GB以上, SCSI网卡：100/1000Mbps以太网卡，2个部署方案详细描述详细的部署方案图及描述，描述需求到方案的推导过程，包括：设备数量，设备清单，配置描述；部署地点描述；访问关系描述；设备间关系描述；网络设计描述；存储设计描述业务连续性设计描述；安全设计描述；运维管理设计描述；上述内容，根据项目实际情况进行描述、补充；有关设计描述要有需求数据的支撑，要有明确的推导过程；配置信息自动化采集和管理配置信息内容包括：硬件信息CPU、内存、磁盘、存储、网卡、补丁版本等信息标准操作系统软件/补丁信息补丁版本、包版本等信息

12、操作系统信息何种操作系统, 具体OS版本等信息数据库信息Oracle、Informix、DB2的版本、补丁和安装位置、用户实例信息中间件信息Weblogic、Tuxedo、Websphere、MQ、Apache的版本、补丁和安装位置、用户实例信息配置信息自动化采集和管理的解决方案SA默认功能实现配置信息自动化对于大多数硬件信息, 标准操作系统软件/补丁信息, 操作系统信息, SA默认可以自动采集, 同时生成相应的报表, 不需要定制SA客户化功能实现配置信息自动化对于数据库信息, 中间件信息, 可以开发OGFS脚本, 把这些信息写入数据库如服务器的custom attribute字段, 再用BI

13、RT报表工具自定义用户需求的报表服务器列表范例2910 十月 2022操作系统报表范例3010 十月 2022软件信息报表范例3110 十月 2022日常巡检自动化日常巡检自动化内容：包括用内置的模板进行检查，以及由用户自定义检查，比如检查CPU利用率、表空间利用率、日志文件搜集和分析、补丁规范、配置规范、安全设置等标准操作系统软件/补丁信息补丁版本、包版本等信息日常巡检自动化方法：取代传统的人工检查, 自动化管理检查可以由管理员触发进行，也可以在设定的时间窗口自动周期性执行，效率大大高于传统方式，并且可以实现密集的检查，及时发现和消除故障隐患，变频频救火为防患于未然，从根本上提升系统可靠性.

14、日常巡检自动化的解决方案日常巡检的内容由于每个企业,每个银行,每个数据中心都不同, 没有统一的标准, 需要利用现有脚本或者开发新的脚本(shell,perl,VBscript,.bat,python)开进行日常巡检. 有的日常巡检需要采集某些信息如CPU利用率等, 有的日常巡检只是判断某个参数是否合规(符合定义的数值), 通常用SA的audit功能的custom script或者OGFS脚本来实现, 相关数据会写入数据库, 再用BIRT报表工具自定义用户需求的报表日常巡检可以有管理员定义schedule定时执行, 以可以立即执行自定义脚本实现日常巡检自动化范例自定义脚本:密码长度6位定时日常巡

15、检范例定义运行时间服务器合规报表范例审计和合规管理审计和合规的内容用户操作行为审计用户登陆哪台服务器、登陆时间、执行的操作命令、命令执行的时间等业绩多种合规或最佳实践Sarbanes Oxley, PCI, FISMA, HIPAA, ITIL, COBIT, COSO等这些业绩规范的合规审计用户自定义合规策略也可由用户自定义合规策略，可以针对文件、目录、用户、组、补丁、软件包、注册表、应用配置模板等多种对象制定合规策略审计和合规管理审计和合规的解决方案用户操作行为审计可以对用户的击键记录进行全程的跟踪用户操作行为审计报表范例业界规范范例审计和合规的解决方案业绩规范或者最佳实践审计业界规范之H

16、P-UX审计审计和合规的解决方案业绩规范或者最佳实践审计自定义合规策略审计和合规的解决方案用户自定义合规策略用户可以利用SA的audit功能定义自己的合规策略自定义远程登陆timeout时间为300s审计和合规报表范例软件/补丁安装和回退软件/补丁安装和回退的内容:操作系统补丁HP-UX, RedHat Linux等应用补丁数据库补丁、中间件补丁、XXX银行自己开发应用的补丁等软件/补丁安装的方法:以工作流方式实现补丁安装软件/补丁安装软件/补丁安装的解决方案对于操作系统补丁,数据库补丁如oracle和中间件补丁, 可以直接采用SA的自带的补丁安装功能进行安装, 支持的操作系统补丁类型有:OS

17、 VersionPatch TypesAIX 4.3, 5.1, 5.2, 5.3AIX Update Fileset APARHP-UX 11.00, 11.11, 11.23HP-UX Patch FilesetHP-UX Patch ProductSun Solaris 6 - 10, 10 x86Solaris PatchSolaris Patch ClusterSuse Linux 9,10rpmRedhat Linux AS3, AS4rpmWindows 2000, 2003, 2003 x64, Windows XP and Windows NT 4.0Windows Hotf

18、ixWindows OS Service Pack软件/补丁安装软件/补丁安装的解决方案对于操作系统补丁, 数据库补丁和中间件补丁, 操作步骤如下:补丁入库到SA制定软件/补丁策略执行软件/补丁策略查询报表操作系统补丁类型范例AIX补丁Solaris补丁操作系统补丁安装范例选择补丁,选择机器进行补丁安装软件/补丁安装软件/补丁安装的解决方案对于应用程序补丁(如XXX银行自己开发应用的补丁), 可以采用OO+SA的方式, 进行应用程序补丁安装.方案如下:1.利用OO开发flow(流程), 此flow包含整个应用程序补丁安装的整个过程2.在OO中调用SA的相关功能如分布时脚本执行, 软件分发, O

19、GFS脚本等3.利用SAR功能查询报表软件/补丁安装软件/补丁安装的解决方案对于应用程序补丁安装步骤如下:准备工作:1.在SAS client端建立路径如 /CCB/packages/,/CCB/scrpts/2.第一次需要用SAS client在Global shell下面导入正确的停止weblogic应用程序(b2c,b2b)的脚本如和到/home/se/scripts目录下, 如果此脚本修改, 需要再次导入.3. 上传要变更的包到版本管理服务器的/packages上4. 对设备进行分组如: B2b_ |_普通 |_异步交易B2c_ |_投资理财 |_通用 |_法兰克福 |_异步交易5.

20、上传要变更的补丁(.tar)到某台版本服务器上(可以是SAS core)的/packages目录下面软件/补丁安装软件/补丁安装的解决方案对于应用程序补丁安装步骤如下:OO流程说明:1.在OO web client端启动变更流程2.调用应用停止自动化子流程3.选择要安装的补丁补丁到目标机器5.用md5检查download已经完成并且成功6.执行安装脚本进行补丁安装7.显示成功的机器和失败的机器8.在Global shell下面, 拷贝启动脚本到成功的目标机器9.执行启动脚本, 启动应用程序10.最后显示成功的机器列表和和失败的机器应用程序补丁安装流程范例子流程子流程软件/补丁回退软件/补丁回退

21、的解决方案对于操作系统补丁,数据库补丁如oracle和中间件补丁, 可以直接采用SA的自带的补丁回退功能进行回退.对于应用程序补丁的回退, 需要用OO开发flow(工作流)来进行回退, 关键是调用回退脚本.回退工作流说明:1.在OO web client端启动回退流程2.调用应用停止自动化子流程3.输入回退的补丁名如unb2cpatch20081115_full_fix14.到停止成功的机器上, 执行反安装脚本如5.调用启动脚本, 启动应用程序6.最后显示成功的机器列表和和失败的机器列表用户权限管理用户权限管理内容资源(resource)权限介质库如操作系统补丁, 应用程序补丁, 自动化脚本等

22、用户组如按照组织结构或者功能分为:系统HP-UX组, 系统windows组, 网银操作组等设备组B2b设备组,b2c设备组设备组等系统功能(action)权限安装软件, 执行脚本的权限等单点登陆SSO与LDAP等外部用户的集成用户权限管理用户权限管理的解决方案对于一个用户组的权限包含对资源的权限和哪些action(做何种操作),权限是二维的, 如下:用户权限管理用户权限管理的解决方案单点登陆(SSO):SA自带了单点登陆功能, 事先设置好登陆用户和权限之后, 可以不用输入密码在一个统一的界面实现单点登陆.用户权限管理用户权限管理的解决方案与外部LDAP等集成HP SA能够和LDAP集成, HP

23、 SA用户的验证在LDAP server上, 因此HP SA所有的用户及认证密码都可以保存在LDAP server上。用户权限管理用户权限管理的解决方案与外部LDAP等集成的架构用户权限管理用户权限管理的解决方案与外部LDAP等集成SA和LDAP的用户同步增加用户LDAP client增加用户；邮件通知HP SA管理员；HP SA管理员从HP SA Web Client同步新增的用户；删除用户LDAP client删除用户, LDAP没有此用户；邮件通知HP SA管理员；如果HP SA没有删除用户, 由于认证在LDAP上,因此仍然不能登陆HP SA；HP SA管理员定期从HP SA Web C

24、lient手工删除用户 报表报表内容基础报表服务器信息报表, 软件信息报表, 硬件信息报表, 合规报表等扩展报表数据库信息报表如按照组织结构或者功能分为:系统HP-UX组, 系统windows组, 网银操作组等中间件信息报表日常巡检报表报表报表的解决方案基础报表对于基础报表可以利用SAR自带的基本报表, quick search, advanced search等功能实现基础报表的展现如操作系统报表, 软件信息报表, 硬件信息报表, 合规报表等扩展报表对于扩展报表需要用BIRT自定义开发报表报表的解决方案扩展报表自定义报表步骤如下:在windows下安装生成报表展现格式利用BIRT工具生成*.

25、rptdesign(包含select语句和展现的格式)*rptdesign关联到SAR1)拷贝*.rptdesign到SAR的/opt/opsware/omdb/reports目录下 2)在中关联*.rptdesighAgent对被管机器的影响Agent安装需求目标机器至少30RAMAgent需要使用1002端口Agent需要和SA core的3001端口通讯空间需求30MB in /opt/opsware (Unix)100MB in /var/opt/opsware (Unix) 30MB in %SystemDrive%Program FilesOpsware (Windows) 100MB in %SystemDrive%Program FilesCommon FilesOpsware(Windows)Agent对被管机器的影响Agent支持的操作系统Agent对被管机器的影响