银行数据中心自动化智能运维平台需求

数据中心自动化智能运维平台

项目背景、目标描述描述项目的背景及需要解决的问题描述项目的目标评价项目目标是否实现的衡量指标项目背景目前我行所负责运维的开放平台服务器已经达到了相当的数量规模，但是大多数配置管理和变更工作仍还由IT维护人员手工运维。随着设备数量的增长、运维标准的提升、配置和运维规范的日益严格，手工运维的模式已经越来越难以实现我行在IT运维方面的高标准要求，在配置管理、变更管理、合规审计和联合排障等方面，因手工运维带来的大量繁琐工作和易出错的操作都给安全生产带来极大隐患。从运维管理模式上看，数据的集中意味着运维管理也必须相应的向集中式的运维模式转型，如果IT还停留在传统的运维模式和运维水平，势必对集中的业务带来极大的潜在风险。项目目标改变IT部门的传统运维模式，建立新的自动化运维模式，建设开放平台服务器自动化配置管理系统将。从范围上来说，该系统不仅能满足目前中国XX银行IT部门对数据中心开放平台服务器的日常运维管理需求，而且应能够具备良好的扩展性，可以在未来为中国XX银行IT部门提供从数据中心到测试中心、开发中心、各分行，乃至地市分行的端到端自动化运维管理。从功能上来说，该系统应可以为开放平台服务器的整个管理生命周期的提供一系列自动化配置管理手段，涵盖开放平台服务器规划、设计、实施和运维的各个阶段。需求分析业务需求：业务量估算；…………应用非功能性需求：性能需求；容量需求；质量需求；业务连续性需求；安全需求；运维管理需求；…………需求分析配置信息自动化采集和管理日常巡检自动化审计和合规管理软件/补丁安装和回退用户权限管理报表管理代理(Agent)对目标机器的影响需求分析：1配置信息自动化采集和管理：自动采集各种IT资产的配置信息，包括硬件信息、操作系统信息、数据库信息、中间件信息等，并保证信息的实时性、准确性；可以同时对许多设备进行并发操作，大幅度提高管理效率，降低人为操作失误。需求分析：2日常巡检自动化：取代传统的人工检查，有效确保配置规范、安全规范、版本规范在实际环境中的落实；检查内容非常广泛，包括用内置的模板进行检查，以及由用户自定义检查，比如检查CPU利用率、表空间利用率、日志文件搜集和分析、补丁规范、配置规范、安全设置等；检查可以由管理员触发进行，也可以在设定的时间窗口自动周期性执行，效率大大高于传统方式，并且可以实现密集的检查，及时发现和消除故障隐患，变频频救火为防患于未然，从根本上提升系统可靠性。需求分析：3审计和合规管理：支持配置与操作审计，包括操作用户的审计、操作时间的审计、操作内容的审计等，可以具体到用户的击键记录；内置多种合规或最佳实践要求，包括SarbanesOxley,PCI,FISMA,HIPAA,ITIL,COBIT,COSO等；也可由用户自定义合规策略，可以针对文件、目录、用户、组、补丁、软件包、注册表、应用配置模板等多种对象制定合规策略；当发现不合规情况下，可以提供自动修补功能。需求分析：4软件/补丁安装和回退：操作系统补丁安装升级应用补丁安装，包括：数据库补丁、中间件补丁、XXX银行自己开发应用的补丁，以及如何自动部署新的应用软件/补丁的回退,能够回退到上一状态以工作流方式实现对各个运维管理子系统的指挥调度和协同工作实现IT流程完整的生命周期自动化，对流程进行闭环管理；提供可视化工具定制流程；需求分析：5用户权限管理：提供集中、统一的用户认证和权限管理实现基于角色、细粒度、灵活的用户权限控制为实现实名制用户管理提供技术手段，消除账号共享的弊端提供单点登录功能，避免用户记忆很多口令支持多种外部的用户认证方式，包括LDAP、AD等需求分析：6报表管理：跨越多个数据据中心提供全全面的硬件、、软件和操作作活动的全面面报表；可以自动生成成通用的合规规报表，如Sarbanes-Oxley报表等；可以创建可互互操作的图表表，提供多层层次数据并可可层层深入挖挖掘；可以导出报表表数据与其它它报表工具进进行集成。需求分析：7代理(Agent)对目标机器的的影响：Agent应该支持数据据中心大多数数的操作系统统Agent应该对目标机机器的磁盘和和内存要求不不高Agent运行时占用CPU,Memory,I/O等资源少应用或技术架架构图应用架构图技术架构图系统示意图技术架构图HP自动化运维术术语SAServerautomation服务器自动化系统CoreCoreSA的核心服务器Sliceslice和agent通讯的组件MRModelRepositoryoracle数据库SARServiceautomationreport报表管理系统OOOperationOrchestration自动化运维流程整合系统CentralServerCentralServerOO的核心服务器SQLServer

SQLServerSQL服务器基础设施部署署架构图基础设施部署署架构图能够体现设备备基本情况、、存储结构、、网络基本结结构、部署位位置、安全结结构的示意图图描述架构设计计的基本思路路和推导过程程如果是现有系系统，要包括括现有系统的的架构图基础设施部署署架构图具体网络拓扑扑图典型部署与访访问方式分布部署，高高可用性1002客户端http443Java10991002300130011002卫星节点被管服务器架构说明Multi-Master统一集中的服服务器管理避免单点故障障多个SAS核心服务器之之间的数据共共享卫星节点分担核心服务务器负载穿越防火墙有效平衡网络络带宽SA架构SA架构比较复杂杂,下面做详细说说明由于xxx银行业务扩展展,数据中心业随随着扩充,服务器数量也也不断增加,现有服务器大大约为1,400台左右,考虑以后发展展,如~2,250台,~4,500台,~7,200台,~8,000台等的架构CoreCapableofSupporting2,250ManagedServersCoreCapableofSupporting4,500ManagedServersCoreCapableofSupporting7,200ManagedServersCoreCapableofSupporting8,000ManagedServers容量估算SA数据库服务器器2台，建议配置置如下：处理器：CPUDual-coreProcessorIntelXeon,3.0+GHz，4颗以上内存：16GBRAM以上硬盘：200GB以上,SCSI网卡：100/1000Mbps以太网卡，2个容量估算SA服务器自动化化工具后台服服务器2台，建议配置置如下：处理器：CPUDual-coreProcessorIntelXeon,3.0+GHz，4颗以上内存：16GBRAM以上硬盘：200GB以上,SCSI网卡：100/1000Mbps以太网卡，2个容量估算OO流程自动化工工具后台服务务器2台，建议配置置如下：处理器：CPUDual-coreProcessorIntelXeon,3.0+GHz，4颗以上内存：8GBRAM以上硬盘：80GB以上,SCSI网卡：100/1000Mbps以太网卡，2个容量估算OO流程自动化工工具数据库2台，建议配置置如下：处理器：CPUDual-coreProcessorIntelXeon,3.0+GHz，2颗以上上内存：：4GBRAM以上硬盘：：80GB以上,SCSI网卡：：100/1000Mbps以太网网卡，，2个部署方方案详详细描描述详细的的部署署方案案图及及描述述，描描述需需求到到方案案的推推导过过程，，包括括：设备数数量，，设备备清单单，配配置描描述；；部署地地点描描述；；访问关关系描描述；；设备间间关系系描述述；网络设设计描描述；；存储设设计描描述业务连连续性性设计计描述述；安全设设计描描述；；运维管管理设设计描描述；；……上述内内容，，根据据项目目实际际情况况进行行描述述、补补充；；有关关设计计描述述要有有需求求数据据的支支撑，，要有有明确确的推推导过过程；；配置信信息自自动化化采集集和管管理配置信信息内内容包包括：：硬件信信息CPU、内存存、磁磁盘、、存储储、网网卡、、补丁丁版本本等信信息标准操操作系系统软软件/补丁信信息补丁版版本、、xxx.rpm包版本本等信信息操作系系统信信息何种操操作系系统,具体OS版本等等信息息数据库库信息息Oracle、Informix、DB2的版本本、补补丁和和安装装位置置、用用户实实例信信息中间件件信息息Weblogic、Tuxedo、Websphere、MQ、Apache的版本本、补补丁和和安装装位置置、用用户实实例信信息配置信信息自自动化化采集集和管管理的的解决决方案案SA默认功功能实实现配配置信信息自自动化化对于大多数数硬件信息息,标准操作系系统软件/补丁信息,操作系统信信息,SA默认可以自自动采集,同时生成相相应的报表表,不需要定制制SA客户化功能能实现配置置信息自动动化对于数据库库信息,中间件信息息,可以开发OGFS脚本,把这些信息息写入数据据库如服务务器的customattribute字段,再用BIRT报表工具自自定义用户户需求的报报表服务器列表表范例2931十十二月2022操作系统统报表范范例3031十二月月2022软件信息报表表范例3131十十二二月月2022日常常巡巡检检自自动动化化日常常巡巡检检自自动动化化内容容：：包括括用用内内置置的的模模板板进进行行检检查查，，以以及及由由用用户户自自定定义义检检查查，，比比如如检检查查CPU利用用率率、、表表空空间间利利用用率率、、日日志志文文件件搜搜集集和和分分析析、、补补丁丁规规范范、、配配置置规规范范、、安安全全设设置置等等标准准操操作作系系统统软软件件/补丁丁信信息息补丁丁版版本本、、xxx.rpm包版版本本等等信信息息日常常巡巡检检自自动动化化方法：取代传统的人人工检查,自动化管理检查可以由管管理员触发进进行，也可以以在设定的时时间窗口自动动周期性执行行，效率大大大高于传统方方式，并且可可以实现密集集的检查，及及时发现和消消除故障隐患患，变频频救救火为防患于于未然，从根根本上提升系系统可靠性.日常巡检自动动化的解决方案日常巡检的内容由于于每个企业,每个银行,每个数据中心心都不同,没有统一的标标准,需要利用现有有脚本或者开开发新的脚本本(shell,perl,VBscript,.bat,python)开进行日常巡巡检.有的日常巡检检需要采集某某些信息如CPU利用率等,有的日常巡检检只是判断某某个参数是否否合规(符合定义的数数值),通常用SA的audit功能的customscript或者OGFS脚本来实现,相关数据会写写入数据库,再用BIRT报表工具自定定义用户需求求的报表日常巡检可以有管理理员定义schedule定时执行,以可以立即执执行自定义脚本实实现日常巡检自动动化范例自定义脚本:密码长度>6位定时日常巡检检范例定义运行时间间服务器合规报报表范例审计和合规管管理审计和合规的的内容用户操作行为为审计用户登陆哪台台服务器、登登陆时间、执执行的操作命命令、命令执执行的时间等等业绩多种合规或最最佳实践SarbanesOxley,PCI,FISMA,HIPAA,ITIL,COBIT,COSO等这些业绩规规范的合规审审计用户自定义合合规策略也可由用户自自定义合规策策略，可以针针对文件、目目录、用户、、组、补丁、、软件包、注注册表、应用用配置模板等等多种对象制制定合规策略略审计和合规管管理审计和合规的的解决方案用户操作行为为审计可以对用户的的击键记录进进行全程的跟跟踪用户操作行为为审计报表范范例业界规范范例例审计和合规的的解决方案业绩规范或者者最佳实践审审计业界规范之HP-UX审计审计和合规的的解决方案业绩规范或者者最佳实践审审计自定义合规策策略审计和合规的的解决方案用户自定义合合规策略用户可以利用用SA的audit功能定义自己己的合规策略略自定义远程登登陆timeout时间为300s审计和合规报报表范例软件/补丁安装和回回退软件/补丁安装和回回退的内容:操作系统补丁丁HP-UX,RedHatLinux等应用补补丁数据库库补丁丁、中中间件件补丁丁、XXX银行自自己开开发应应用的的补丁丁等软件/补丁安安装的的方法法:以工作作流方方式实实现补丁安安装软件/补丁安安装软件/补丁安安装的的解决决方案案对于操操作系系统补补丁,数据库库补丁丁如oracle和中间间件补补丁,可以直直接采采用SA的自带带的补补丁安安装功功能进进行安安装,支持的的操作作系统统补丁丁类型型有:OSVersionPatchTypesAIX4.3,5.1,5.2,5.3AIXUpdateFileset

APARHP-UX11.00,11.11,11.23HP-UXPatchFileset

HP-UXPatchProductSunSolaris6-10,10x86SolarisPatch

SolarisPatchClusterSuseLinux9,10rpmRedhatLinuxAS3,AS4rpmWindows2000,2003,2003x64,WindowsXPandWindowsNT4.0WindowsHotfix

WindowsOSServicePack软件/补丁安安装软件/补丁安安装的的解决决方案案对于操操作系系统补补丁,数据库库补丁丁和中中间件件补丁丁,操作步步骤如如下:补丁入入库到到SA制定软软件/补丁策策略执行软软件/补丁策策略查询报报表操作系系统补补丁类类型范范例AIX补丁Solaris补丁操作系系统补补丁安安装范范例选择补补丁,选择机机器进进行补补丁安安装软件/补丁安安装软件/补丁安安装的的解决决方案案对于应应用程程序补补丁(如XXX银行自自己开开发应应用的的补丁丁),可以采采用OO+SA的方式式,进行应应用程程序补补丁安安装.方案如如下:1.利用OO开发flow(流程),此flow包含整整个应应用程程序补补丁安安装的的整个个过程程2.在OO中调调用用SA的相相关关功功能能如如分分布布时时脚脚本本执执行行,软件件分分发发,OGFS脚本本等等3.利用用SAR功能能查查询询报报表表软件件/补丁丁安安装装软件件/补丁丁安安装装的的解解决决方方案案对于于应应用用程程序序补补丁丁安安装装步步骤骤如如下下:准备备工工作作:1.在SASclient端建建立立路路径径如如/CCB/packages/,/CCB/scrpts/2.第一一次次需需要要用用SASclient在Globalshell下面面导导入入正正确确的的停停止止weblogic应用用程程序序(b2c,b2b)的脚脚本本如如weblogic_stop.sh和weblogic_start.sh到/home/se/scripts目录录下下,如果果此此脚脚本本修修改改,需要要再再次次导导入入.3.上传传要要变变更更的的包包到到版版本本管管理理服服务务器器的的/packages上4.对设设备备进进行行分分组组如如:B2b__|__普通通|__异步步交交易易B2c___|__投资资理理财财|__通用用|__法兰兰克克福福|__异步步交交易易5.上传传要要变变更更的的补补丁丁(.tar)到某台版版本服务务器上(可以是SAScore)的/packages目录下面面软件/补丁安装装软件/补丁安装装的解决决方案对于应用用程序补补丁安装装步骤如如下:OO流程说明明:1.在OOwebclient端启动变变更流程程2.调用应用用停止自自动化子子流程3.选择要安安装的补补丁4.download补丁到目目标机器器5.用md5检查download已经完成成并且成成功6.执行安装装脚本b2cpatch20081115_full_fix1.sh进行补丁丁安装7.显示成功功的机器器和失败败的机器器8.在Globalshell下面,拷贝启动动脚本到到成功的的目标机机器9.执行启动动脚本,启动应用用程序10.最后显示示成功的的机器列列表和和和失败的的机器应用程序序补丁安安装流程程范例子流程子流程软件/补丁回退退软件/补丁回退退的解决决方案对于操作作系统补补丁,数据库补补丁如oracle和中间件件补丁,可以直接接采用SA的自带的的补丁回回退功能能进行回回退.对于应用用程序补补丁的回回退,需要用OO开发flow(工作流)来进行回回退,关键是调调用回退退脚本.回退工作作流说明明:1.在OOwebclient端启动回回退流程程2.调用应用用停止自自动化子子流程3.输入回退退的补丁丁名如unb2cpatch20081115_full_fix14.到停止成成功的机机器上,执行反安安装脚本本如unb2cpatch20081115_full_fix1.sh5.调用启动动脚本,启动应用用程序6.最后显示示成功的的机器列列表和和和失败的的机器列列表用户权限限管理用户权限限管理内内容资源(resource)权限介质库如操作系系统补丁丁,应用程序序补丁,自动化脚脚本等用户组如按照组组织结构构或者功功能分为为:系统HP-UX组,系统windows组,网银操作作组等设备组B2b设备组,b2c设备组,AIX5.3设备组等等系统功能能(action)权限安装软件件,执行脚本本的权限限等单点登陆陆SSO与LDAP等外部用用户的集集成用户权限限管理用户权限限管理的的解决方方案对于一个个用户组组的权限限包含对对资源的的权限和和哪些action(做何种操操作),权限是二二维的,如下:用户权限限管理用户权限限管理的的解决方方案单点登陆陆(SSO):SA自带了单单点登陆陆功能,事先设置置好登陆陆用户和和权限之之后,可以不用用输入密密码在一一个统一一的界面面实现单单点登陆陆.用户权限限管理用户权限管理理的解决方案案与外部LDAP等集成HPSA能够和LDAP集成,HPSA用户的验证在在LDAPserver上,因此HPSA所有的用户及及认证密码都都可以保存在在LDAPserver上。用户权限管理理用户权限管理理的解决方案案与外部LDAP等集成的架构构用户权限管理理用户权限管理理的解决方案案与外部LDAP等集成SA和LDAP的用户同步增加用户LDAPclient增加用户；邮件通知HPSA管理员；HPSA管理员从HPSAWebClient同步新增的用用户；删除用户LDAPclient删除用户,LDAP没有此用户；；邮件通知HPSA管理员；如果HPSA没有删除用户户,由于认证在LDAP上,因此仍然不能能登陆HPSA；HPSA管理员定期从从HPSAWebClient手工删除用户户报表报表内容基础报表服务器信息报报表,软件信息报表表,硬件信息报表表,合规报表等扩展报表数据库信息报报表如按照组织结结构或者功能能分为:系统HP-UX组,系统windows组,网银操作组等等中间件信息报报表日常巡检报表表报表报表的解决方方案基础报表对于基础报表表可以利用SAR自带的基本报报表,quicksearch,advancedsearch等功能实现基基础报表的展展现如操作系系统报表,软件信息报表表,硬件信息报表表,合规报表等扩展报表对于扩展报表表需要用BIRT自定义开发报表报表的解决方方案扩展报表自定义报表步步骤如下:在windows下安装生成报表展现现格式利用BIRT工具生成*.rptdesign(包含select语句和展现的的格式)*rptdesign关联到SAR1)拷贝*.rptdesign到SAR的/opt/opsware/omdb/reports目录下2)在custom_def.xml中关联*.rptdesighAgent对被管机器的的影响Agent安装需求目标机器至少少30RAMAgent需要使用1002端口Agent需要和SAcore的3001端口通讯空间需求30MBin/opt/opsware(Unix)100MBin/var/opt/opsware(Unix)30MBin%SystemDrive%\ProgramFiles\Opsware(Windows)100MBin%SystemDrive%\ProgramFiles\CommonFiles\Opsware(Windows)Agent对被管机器器的影响Agent支持的操作作系统Agent对被管机器器的影响Agent运行时需求求如果SAclient不发起任何何操作,Agent占有目标机机器的CPU,memory和I/O基本为0如果SAclient发起下面的的操作1.软件/补丁安装:SA先download软件/补丁介质到到目标机器器,再在目标机机器上执行行安装脚本本,通常软件/补丁dowload仅仅比ftp方式多~10%的资源占有有率,由于安装脚脚本在目标标机器上运运行,Agent把返回结果果发送给SAcore,因此比手工工运行安装装脚本多~5%左右.2.日常巡检:SA先download