Foglight应用管理解决方案

Foglight应用系统管理解决方案优化产品实施工作说明书Foglight应用系统管理解决方案优化产品实施工作说明书QuestSoftwarePAGE25Foglight应用系统管理解决方案Quest虹天软件有限公司二零零六年六月目录1 管理需求 32 产品功能 52.1 端到端的管理 52.2 事件和报警管理 62.3 信息显示和报表生成 72.4 深入诊断问题 82.5 服务等级管理 82.6 基于角色的管理 92.7 定制监控内容 102.8 和网管产品集成 103 产品构架 113.1 Foglight结构 113.1.1 FoglightServer 113.1.2 FoglightAgent 113.1.3 FoglightConsole 123.2 Foglight特点 123.2.1 数据集中存储 123.2.2 安装配置简单 123.2.3 系统资源占用少 124 管理内容 144.1 最终客户体验 144.2 Web服务器 164.3 应用服务器 164.3.1 监控内容 164.3.2 Web仪表板 184.3.3 集成J2EE深入诊断功能 194.4 数据库 194.5 操作系统 214.6 自定义监控内容 224.7 企业应用 225 适用场景 24管理需求目前企业的IT运维管理面临前所未有的挑战，一方面，应用系统服务质量的要求非常高，另一方面，由于数据量、技术组成构架、应用变更等因素导致的维护复杂性日益增加。如何建立有效的维护管理机制成为大家普遍关心的问题。在运维护管理过程中，IT管理人员经常面临以下挑战：缺乏有效的运维管理手段应用系统的基础构架组件很多，一方面针对关键组件如数据库、应用服务器等需要专业的运维管理和维护，另外一方面又需要针对应用系统进行综合的深入地管理。手工的、被动的、分散的管理模式已经无法满足系统运维需求。IT部门需要一套有效的运维手段，提高管理水平，减化管理操作。缺乏最终用户体验管理一个应用系统有很多组件构成，即使每个组件运行都没有问题，最终用户可能还是存在性能和可用性方面的问题；IT部门需要主动了解最终用户体验，预先发现问题并主动解决，同时将响应时间作为服务等级管理的一个重要组成部分。无法快速诊断和解决问题管理人员时常在遇到问题时无法快速诊断问题和解决问题，其后果是应用的可用性受到影响，导致服务质量下降，用户满意度降低。IT部门需要配备相应的管理工具，识别应用的哪个组件造成了问题，迅速确定问题并解决。无法评测应用系统服务水平当今，各种应用不再单纯作为支撑业务的手段，它们已经与业务融为一体。客观上要求管理从“尽力而为”向可衡量的服务级别转化。IT部门提供的服务需要拥有相关的评测标准和评测方法。产品功能Foglight是Quest公司功能强大的应用系统管理平台，使用Foglight，IT管理人员可以获得以下收益：1．采用自动的、主动的、端到端的管理方式，建立针对应用系统完善的维护管理手段，提高维护管理水平，减化管理操作。Foglight有效地解决了日常维护管理中的以下问题：缺乏针对应用统一的管理，针对操作系统、数据库、应用服务器采用不同的工具和方法进行管理，管理工作复杂，无法获得针对应用系统的全面信息。管理方式手工化，针对很多管理内容采用定时检测和脚本方法，具有片面性和随机性。对问题被动响应，在用户遇到性能和可用性问题后才了解情况，发现问题和解决问题滞后；缺乏标准的运维管理机制，更多采用“人制”而非“法制”的管理理念。针对应用不同角色的管理目标，没有一致的配套管理手段；2．提供对最终用户体验的管理，一方面，监控最终用户针对关键业务的响应时间，了解用户的最终感受，进行主动的性能管理；另一方面，将响应时间作为应用的一部分，纳入服务等级的管理框架。3．针对应用主要组成构件，如数据库和J2EE应用服务器，提供快速诊断和解决问题的能力；4．评测应用系统的服务等级，在企业业务应用和具体的IT系统结构之间建立起了桥梁，从业务角度评测和衡量IT服务是否达到服务等级标准；端到端的管理Foglight提供统一的管理机制，将操作系统、数据库、应用服务器、Web服务器和最终用户响应时间纳入管理框架；同时还提供强大的开发接口，用户可以自定义特殊的监控管理内容。对于所有的管理内容，Foglight利用其轻型的Agent收集应用系统中各个层次的信息，通过FoglightServer实现报警、报表、服务等级管理等管理功能。数据库和中间件管理员、应用管理员以及IT经理可以通过统一的界面访问Foglight。事件和报警管理Foglight内置强大的报警功能和灵活的报警策略。当一个预定义的报警阀值被超过或服务等级被违反时，相应的报警信息会立即被发送给IT管理人员，从而使IT管理人员在问题未恶化之前及时地做出反应。同时，预先定义的动作可以对有些问题进行自动处理。为了有效地发挥事件管理功能，Foglight不仅提供了缺省的、预先定义好的报警规则和报警行动，而且用户可以自定义这些内容。Foglight的事件管理和报警机制是以其收集的全面的系统性能信息为基础的，其内置的报警引擎可以对收集的信息进行分析，并与预设的阀值进行比较，一但发现问题立刻发出报警。Foglight预先定义了几十个报警规则，每个规则包括四个报警级别：Normal、Warning、Critical和Fatal。当报警发生时，Foglight可通过以下方式发出报警和执行行动：在控制台中显示报警信息。向管理员发送email通知。根据需要启动或停止FoglightAgent。执行命令，通过这种方式Foglight可以调用其它程序从而实现更复杂或自定义的报警行动。通过SNMP和MIB方式实现与其它网管系统集成。信息显示和报表生成Foglight所收集的信息集中存储在一个内置的高性能、低维护的开放式数据库中。可以根据管理需求方便地显示这些信息的状态，并生成管理报表。Foglight提供强大的报表展现和定制功能，可以根据需要生成实时报表或调度生成报表，这些报表可以被保存为PDF格式、Html格式或Excel格式。如下图所示为PDF格式的报表：深入诊断问题利用Foglight可以消除由于无法及时确定问题所在而导致问题迟迟得不到解决的现象。Foglight能够帮助IT管理人员迅速地发现问题，进而诊断问题和解决问题。Foglight不但能够轻易地识别出应用的哪个组件造成了问题，而且能够为IT管理人员展示应用性能问题和IT架构问题之间的内在联系，从而迅速确定问题所在并解决。Foglight提供内置的图形化的逐渐深入功能，用于快速、准确地确定系统瓶颈。内置的图形化的逐渐深入功能如下图所示：此外，通过与Quest数据库诊断系列产品Spotlight的紧密集成，实现对数据库的深入诊断分析功能。服务等级管理为了获得最佳的性能和可用性等级，不仅要从技术的角度收集相关的性能和可用性数据并做出响应，还必须能够从管理的角度将关键数据与系统事件进行关联，以确定是否达到了既定的服务等级要求。Foglight的服务等级管理构建了技术细节与宏观管理的桥梁。服务等级的管理是通过定义服务等级策略并执行它来实现的。在一个服务等级策略中可以将应用系统的各个技术层次管理起来，如网络、主机、数据库、中间件、Web服务器和业务应用等。将这些策略应用到应用系统中后就可评测系统的服务等级状况。服务等级管理可以提供给管理员服务等级报告和报警事件，用于评估服务等级策略中定义的系统结构实际达到的服务等级。服务等级报表可以按每小时、天、星期和月来实际显示应用系统服务等级的情况，当服务等级被违反时，Foglight将及时发出报警。当今，各种应用不再单纯作为支撑业务的手段，它们已经与业务融为一体。通过Foglight，IT管理部门和业务部门的相关人员可以对应用和业务流程的可用性一目了然。通过Foglight生成的报表，相关人员就可以随时了解服务等级、系统和数据库性能方面的状况。有了性能和可用性方面的数据，IT经理在设定服务等级、追加技术投资的时候就能够做到有据可依。基于角色的管理Foglight采用基于角色的管理机制，可以有效地满足企业安全性和管理分工方面的需求。在Foglight中可以根据管理分工定义不同的角色和用户，使不同角色的用户看到不同的管理界面，执行不同的管理功能。例如，一个企业可能有数据库管理员，J2EE管理员，应用管理员，IT经理等等。他们的职责各不相同：数据库管理员：集中管理企业环境的所有数据库，对可用性进行监控；主动进行数据库的性能管理，在数据库出现问题时快速诊断和解决；给上级主管提供数据库的日常运行状态报告；J2EE管理员：集中管理企业环境的所有数据库，对可用性进行监控；主动识别J2EE应用方面的问题，在应用服务器出现问题时快速诊断和解决；给上级主管提供应用服务器的日常运行状态报告；应用管理员：管理企业环境的一个或多个应用，对最终用户的响应时间进行管理，了解应用系统的服务等级是否满足要求，为上级主管提供服务等级报告；IT经理：宏观了解系统中的技术关键点-主机、数据库、J2EE的运行状况，了解最终用户的响应时间，了解应用系统是否达到服务等级标准；关心关键点的性能问题及解决方法。Foglight可以针对不同的管理人员建立不同的管理视图，全面满足不同角色的管理职责要求。定制监控内容Foglight具有非常灵活的拓展性，例如Foglight具有非常灵活的Agent定制功能。通过简单的Agent定制可以大大拓展为应用系统内容的管理，如用户自行开发的应用。完成一个Agent的定制和使用的过程非常简单，主要包括定制三个部分：定制数据存储的表，信息展现的试图和报警策略等。编写脚本，用于收集性能信息。可采用任何语言（只要能实现标准输出即可），如C、C++、Java、Perl、SQL、Shell脚本、批处理脚本等。配置自定义Agent的启动参数，主要是指定收集频率和运行脚本。和网管产品集成Foglight主要实现应用系统的管理，对构成应用系统本身和组成应用的各个技术层次进行监控和分析。它可以与TivoliITDirector、HPOpenView、MicromuseNetcool及其它第三方管理框架产品集成，向其相关事件和报警信息。产品构架Foglight结构Foglight包括FoglightServer、FoglightAgent和FoglightConsole三部分。FoglightServerFoglightServer包含一个智能化的规则引擎用于关联和解释FoglightAgent收集的信息，在此基础上实现报警通知和触发行动等功能。FoglightServer包含一个内置的高性能、低维护的开放式数据库，专门用来存储性能数据。数据库中的信息可用于报表和容量规划分析，也可以被导出用于其它作用。FoglightServer也包含一个ApacheWebServer，用于Web信息展现和WebConsole的使用。FoglightAgentFoglightAgent负责按照预先定义的时间间隔收集信息并发送给FoglightServer，进行存储、分析或报警处理。FoglightAgent运行于被监控的服务器，CPU和内存占用很少，是一种轻型数据采集方案，对被监控系统和网络流量不会产生影响。FoglightAgent除了收集数据的范围覆盖操作系统、数据库、应用服务器、Web服务器、最终客户的响应时间外，还可以根据需要自己编写Agent，将需要管理的内容纳入挂你构架。FoglightConsole控制台（FoglightOperationsConsole）：Foglight提供Windows方式的操作控制台，在图形化的界面中，系统管理员可以查看性能和可用性信息，以及进行各种管理。Web控制台（FoglightWebConsole）：Foglight内置一个ApacheServer，这使得Foglight可以提供远程管理和Web管理功能。可用于查看性能和可用性信息、事件报警、Agent状态及报表等。命令行工具：对于一些数据维护和其它管理类工作，Foglight还提供命令行方式。Foglight特点数据集中存储Foglight所收集的信息集中存储在一个内置的高性能、低维护的开放式数据库中，这种集中存储方式具有以下优点：结构简单，被监控机器负载小。可以长期存储信息。存储的信息可用于报表和容量规划分析。数据库可以被导出用于其它目的。安装配置简单Foglight能够被迅速地安装、配置和部署，在安装过程中无需重新启动机器，安装结束后立即就可以进行监控管理工作。系统资源占用少Foglight对系统资源的消耗非常少，这种特性得益于Foglight的设计与结构：Foglight采用标准的三层结构，FoglightServer安装在一台独立的机器上，收集的信息集中存储在FoglightServer中。FoglightAgent是编译型代码而不是解释型脚本。FoglightAgent所收集的信息不在被监控机器上进行存储。FoglightAgent的收集频率可根据需要设定。这样一个轻量级的Agent不但能提供深层次数据收集，而且不需要用户考虑被监控服务器的CPU、内存和磁盘空间等资源问题。管理内容最终客户体验FoglightTransactionPlayer（FTR）组件可以评测Web应用的性能和可用性，从最终用户的角度来管理Web应用系统的性能。如果不能充分地了解最终用户的感受和体验，IT服务提供者会面临如下的一些问题：

难于体会最终用户所遇到的困难；忽视最终用户在使用过程中的不满；破坏服务水平协议，降低用户满意度；IT成本更高，导致基础设施过度投资；要主动避免上述问题，必须保证上线应用符合用户对应用质量的期望，如性能、可用性、准确度，并以最有效、最经济的方式去满足这些期望。FTR可以衡量用户对复杂的关键任务企业应用的真实体验，充分了解实际用户对业务应用的使用感受，并把搜集到的最终用户指标转换成易于理解的“健康”指标，包括可用性（从多个位置按地域使用）和性能（反应时间）。FTR的主要管理目标为：1．评测出客户端应用的实际使用状态，当发现可用性和响应时间问题时及时给出反馈，并给出一段时间客户端应用的运行状态报告；FTR提供一个通用的Internet浏览器，当用户在浏览一个WEB站点并进行操作时，可以捕获并记录用户的动作和行为。FTR提供如下的功能：内置Internet浏览器访问目标系统；录制用户对Web应用的访问行为，并保存为脚本；支持对口令等用户输入信息的录制；对应用脚本进行回放、编辑和调试；脚本中设置事务和规则；建立和Foglightserver的连接，将脚本直接传到Foglightserver里；录制的一个或多个Web脚本被定义服务组，可以部署在一台服务器上，模拟实际事物按照一定的时间间隔定期运行，Foglight会记录事物运行的响应时间和可用性信息，对比实际的响应时间和期望的响应时间，通过报警和报表的方式让系统管理员了解最终用户体验。由于网络方面的原因，同样一个事物在不同的地方运行情况可能不同，可以在每个地市配置一个服务器运行这些服务，对不同地域的服务情况进行监控。2．通过与服务等级管理相结合，评测出整个应用系统的性能和可用性。在利用FTR录制的脚本评测Web应用之前，还需要在Foglightserver上建立服务模型，所谓的服务模型就是对应用的一个定义。例如：用户使用的界面是应用的最上层，而在应用界面以下，则包括应用本身、WebServer、应用服务器、数据库、主机、网络等。在服务模型中要定义一个应用都跟哪些系统组成有关系。Foglight可以将Web服务定义为服务模型的有机组成部分。对包括用户操作和各组成部分的整个服务模型进行评测。并将服务的响应时间作为服务等级策略的一部分，评测系统的服务等级状况，服务等级的管理形式包括报警和报表两部分。当服务等级被违反时，Foglight将发出报警；服务等级报表可以按每小时、天、星期和月来实际显示应用系统服务等级的情况。在FoglightWindows控制台和基于Web方式可查看应用的性能和可用性信息。FTR可以监控关键业务的运行情况，这样后台的系统管理人员不需要从实际客户那里就可以了解到这些业务的运行情况，并且通过报表等多种方式获得相关数据，并将最终用户体验纳入服务等级管理框架；Web服务器WebServer已经成为业务系统中重要的一部分，WebServer的性能问题将影响整个应用程序的可用性。无论WebServer是Apache还是MicroSoft的IIS，Foglight都提供深入的监控功能，使管理员及时了解到Web服务器的吞吐量和利用率。下图所示为一个特定Web页面的连接时间和响应时间信息：应用服务器目前很多应用系统都采用三层架构，基于J2EE的应用在可用性和性能面临极大挑战，对应用服务器的监控管理至关重要。Foglight能够对复杂的J2EE应用架构进行全面地监控，不仅仅可以监控应用服务器本身的参数，还可以监控到和应用相关的信息，如应用响应时间和内存泄露等等。管理员可以快速的了解应用服务器的运行状态并定位系统的瓶颈所在。Foglight监控的应用服务器包括：WebLogic，WebSphere，OracleApplicationServer，Tomcat，JBoss等等。监控内容Foglight对J2EE应用的监控内容包括：1．应用服务器性能数据：收集和监控应用服务器上部署的应用的性能数据，包括JVM使用情况、EJB、JMS、JDBC等：应用服务器实例的运行可用性信息，监控实例是否正常运行，记录运行状态；应用服务器实例的运行时性能数据，包括处理的事务数，提交的事务数、连接数、JAVA堆利用率、打开的Socket连接数等信息；应用服务器实例上部署的应用的具体信息；Web应用的运行信息，包括执行时间和调用的次数；实例JVM的使用和空闲的统计和详细信息，堆垃圾收集的统计和详细数据；实例的执行队列的各种信息；应用包含的EJB的总体运行信息，包括实体Bean、消息驱动Bean、无状态会话Bean、有状态会话Bean等的总体使用和空闲情况；实例上运行的每个EJB的情况，包括实体Bean、消息驱动Bean、无状态会话Bean、有状态会话Bean等的使用和空闲情况；实例上运行的每个EJB的具体信息，包括实体Bean、消息驱动Bean、无状态会话Bean、有状态会话Bean等，以数表的形式给出具体的详细的部署和运行信息；实例上部署的JMS的统计和运行时详细信息，包括JMSServer、JMS队列、JMSTopic等；部署的每个应用的当前HTTPSession的信息；实例上部署的所有JDBC连接池的使用信息；实例上部署的所有DataSource数据源的使用信息；实例上部署应用的Servlet的运行信息；实例上的JTA的相关详细信息；2．应用服务器门户：收集和应用服务器门户相关的性能数据，如门户响应时间、存取访问频率、内存使用率等：当前门户的基本信息；Portal的Portlet的性能数据；Portal的服务及状态的信息；Portlet组成元素如Framework、Desktop、Books、Page等的性能数据；3．应用服务器域：提供对域的全面监控，在整个域范围内，无论是集群的

实例，还是单独的被管理的服务器实例，只要使用一个域Agent就可以同时进行监控，实现对整个给定域的运行状况的管理。4．服务请求响应时间：提供对每一个应用服务器上的服务请求的性能数据的监控和收集，完整的服务请求事务指从用户发起请求到最终得到响应的全路径信息，包括从浏览器到网络、中间件各层、数据库等各层。监控内容包括：服务请求的次数；平均的请求响应时间；服务请求中包含的JDBC模块执行的性能状况；服务请求整个事务路径里各层的运行时间；5．内存使用：提供J2EE生产环境的内存分析数据，帮助发现和解决潜在的内存漏洞、内存溢出等影响系统性能的问题。监控内容包括：内存使用信息、内存中垃圾收集信息、内存中对象占用的信息、内存中JAVA类装载的信息等。Web仪表板Foglight通过内置的Web服务器提供针对J2EE环境的仪表板功能和Web管理功能。管理员通过FoglightWeb仪表板功能可以定制管理界面和内容。利用Web管理功能，可以实现管理内容主要包括：查看J2EE应用环境状态和问题。信息是实时展现的，可以及时反映出性能瓶颈和可用性问题。生成和查看试图和报表。查看和管理报警事件。通过服务等级策略，实时了解整个应用系统的性能和可用性，将以前无法实现或很难实现的性能和可用性管理得以定性和定量的实现。图示为Foglight基于Web的仪表板：集成J2EE深入诊断功能Foglight可以与QuestJ2EE诊断产品PerformaSure集成，实现更加深入地问题诊断、定位及解决功能。PerformSure是QuestJ2EE应用性能管理解决方案的重要组成产品，用于诊断集群化、分布式J2EE系统和数据库系统的性能问题，发现低效率的Servlet、JSP、EJB、Java类和方法；应用服务器配置和部署问题；低效率的第三方组件；JVM堆使用和配置问题；集群配置和负载平衡问题；内存泄露问题；运行缓慢的SQL语句等。FoglightJ2EEMemoryAgent和RequestTimeAgent使用都是PerformaSure的JAVAbytecodeinstrumentation技术，和PerformaSure完全兼容。数据库Foglight提供对多中数据库的监控管理功能，实现数据库24X7无人职守的监控。Foglight可以监控的数据库包括Oracle，DB2，Sybase，SQLServer等等；Foglight数据库监控避免了传统监控方式的弊病—监控内容多，信息量大，报警频繁，DBA在信息的海洋中无法获取有价值的信息等等；Foglight的主要监控指标针对可用性管理，收集的数据精炼简洁，简化了DBA的管理工作，有效地实现可用性的管理目标；同时在性能管理方面集成了Quest优秀的性能诊断工具Spotlight，提供深入的诊断问题的手段，可以真正帮助DBA解决性能问题；例如，对于Oracle数据库，Foglight主要的监控信息包括：命中率状况Oracle事件等待Lock竞争状况SharedPool使用状况LibraryCache使用状况数据字典使用状况排序状况Session状况Rollback段使用状况RedoLog使用状况表空间使用状况登录用户状况Alert日志Oracle数据库可用性Oracle数据库内存使用状况Oracle数据库CPU利用状况等Foglight通过与Quest深入诊断系列产品Spotlight的紧密集成，实现深入的诊断分析功能。Spotlight可以实时监测数据库所有组件的运行情况，方便地发现并解决数据库中的资源使用问题。图形化的流程可以实时直观地表现数据库不同组件之间数据流移动的比率。对数据库的图形化表示提供了数据库实例中的关键统计参数，包括用户的行为，数据库I/O的行为和系统开销。Spotlight可以解决我们在系统维护中遇到的以下问题：帮助全面了解Oracle数据库的运行状态。在出现性能问题时，帮助确定系统瓶颈，快速定位问题并解决问题。进行Oracle实例的性能优化。帮助了解每个监控指标的详细信息。此外，Foglight可以与Quest数据库监控优化产品QuestCentral集成，实现更加深入地问题诊断、定位及解决功能。QuestCentral提供的NoticeBoard可以接收Foglight对Oracle数据库监控的报警。DBA可以利用QuestCentral中相应的组件对报警进行深入定位以及最终解决问题。操作系统Foglight能够主动地管理和监控多种操作系统和服务器，确保业务系统稳定运行。Foglight支持所有主流的操作系统，包括AIX、Solaris、HPUX、Linux、Windows等。Foglight提供了许多详尽的监控选项，并提供逐层深入的报警功能，使管理员能够快速识别操作系统环境中性能下降的因素。Foglight提供的监控指标主要包括：操作系统CPU的使用状况内存使用状况文件系统使用状况进程统计信息用户利用CPU状况用户利用内存状况用户执行进程状况网络吞吐状况网卡利用率状况网络碰撞率、错误率等状况网络端口状态系统可用性状况系统响应时间自定义监控内容Foglight提供灵活的扩展功能，可以将需要监控管理的其他内容纳入到整个应用系统管理框架中。Foglight可以扩展的监控内容主要包括几个部分：利用FoglightAppMonterAgent对应用的进程进行监控，如进程的CPU利用和内存使用等。利用FoglightLogFilterAgent对应用的日志进行监控和分析，可以根据需要捕捉和过滤日志中的错误信息。利用定制的FoglightAgent可以提取或接收有关业务应用的信息，从而实现对业务的监控。企业应用Foglight具有针对不同企业应用的管理模块，帮助用户实现深入的应用性能分析和管理功能。现有的应用管理模块包括：Foglight®CartridgeforSiebeleBusinessApplications持续监控Siebel环境的不同组件，包括网关、企业服务器、Siebel服务器、组件集、任务、文件系统和数据库服务器。Foglight®CartridgeforOracleeBusinessSuite持续监控OracleEbusinessSuite环境的不同组件。Foglight®CartridgeforPeopleSoft持续监控PeopleSoft环境的不同组件，包括Webserver、应用服务器(Tuxedo)和数据库服务器。Foglight®CartridgeformySAP.com™利用多种内置的agent，持续监控关键的mySAP.com应用，及时发现性能瓶颈并提供快速诊断和解决功能。适用场景说明使用人员使用场景管理方式方案优势1．数据库的集中监控DBA企业有很多数据库，由1-n个DBA集中管理，负责数据库的正常运行和优化集中监控企业环境中的所有数据库服务器和企业网管方案集成避免了传统监控