数据库网格计算5课件

第5章网格监控第II部分基本服务本章内容的安排5.1引言5.2网格监控体系结构5.3评价准则5.4网格监控系统概览5.5其他监控系统5.6小结5.7本章小结4/2/202315.1引言网格环境是一个复杂的、全球分布式系统，它可能涉及到数量巨大的、千差万别的、地域上分布的应用所使用的部件。这里所指的部件包括了应用所需要的所有软、硬件服务和资源。这些部件的差异性以及大量的用户数极易导致故障、失败和超载的发生。因此，需要采用一些合理的机制对这些部件和它们的使用情况进行监控，希望能检测到导致瓶颈、故障或失败的原因。网格监控最关键的是提供健壮的、可靠的、有效的环境。4/2/202325.2网格监控体系结构

网格监控体系结构GMA[2]由三种类型的部件组成:目录服务（DirectoryService）：用于生产者、消费者以及监控数据（事件）的发布和发现；生产者（Producer）：由产生性能数据的传感器组成；消费者（Consumer）：对性能数据访问和使用。4/2/20233目录服务GMA目录服务提供关于生产者或接受请求的消费者的信息。

目录服务提供的功能概括如下：查询授权：对想要进行查询的消费者建立标识（通过授权）。修改授权：对想要修改条目的消费者建立标识。添加：在目录中添加一条记录。更新：更改目录中记录的状态。移除：移除目录中的一条记录。查询：执行来自生产者或特定类型的消费者的查询，可能附带一些事件元素的确定值。消费者可指出是否仅有一种结果返回还是多个结果返回。一种可选的扩展允许消费者获得多个结果，每次在子查询中使用“获取下一个”来获得一个元素。4/2/202354/2/20236生产者

一个生产者是向消费者发送监控数据（事件）的软件组件。

生产者经历的步骤：定位事件：检索事件目录服务以获得一个事件的描述。定位消费者：检索事件目录服务以获得一个消费者。注册：在事件目录服务中增加、移除、更新一个或多个事件描述条目，这些事件是生产者将要接受的来自消费者的事件。接受查询：接受来自消费者的查询请求。在回复中返回一个或多个事件。接受订阅：接受来自消费者的订阅请求。在回复中返回事件流信息的进一步细节。取消订阅：接受来自消费者的取消订阅请求。一旦成功，与此订阅相关的事件不再发送。查询初始化：向消费者发送事件的单一的集合，作为“请求”查询的一部分。订阅初始化：请求向消费者发送事件，它们以流的形式传递。在回复中返回事件流信息的进一步细节。取消订阅初始化：中断消费者订阅。一旦成功，与此订阅相关的数据不再发送。4/2/202375.3评价准则可扩展的广域监控资源监控交叉API监控同类数据表示信息检索运行可延长性数据的筛选和融合开放和标准协议安全性软件可用性和独立性项目的活动性和支持性；许可4/2/202395.4网格监控系统概览Autopilot1.概述Autopilot[5,6]是一种对并行和分布式计算资源进行实时适应控制的基础结构。Autopilot的目标是创建一种提供带有实时适应控制的分布式应用环境，这样能基于请求模式和观测到的系统性能来自动选择和配置资源管理特性。

2.一般体系结构Autopilot监控部件包括：传感器（Sensor）：对应于GMA中的生产者；在监控的主机上安装传感器来捕获应用和系统性能信息。传感器经配置可完成数据缓存、本地数据简化（传递之前）、频率改变（与远程用户之间信息通信的频率）。在启动之前，传感器通过Autopilot管理器AM（AutopilotManager）进行注册。激励器（Actuators）：对应于GMA的生产者并提供指导远程应用行为和控制传感器操作的机制。在启动之前，激励器通过Autopilot管理器AM进行注册。Autopilot管理器AM：履行GMA的注册义务；它对远程传感器和激励器的注册请求提供支持，并且为用户提供了定位资源信息的机制。4/2/2023104/2/202311分布式环境的控制和观测（CODE）

1概述

CODE[13,14]是一种类GMA体系结构的系统，它试图提供一种可扩展的方法来监控和管理网格。CODE允许管理员监控分布式资源、服务和应用，并对远程主机远程执行预先定义好的系统任务而引起的状态变化做出反应。CODE是由国家航空和宇宙航行局NASA（NationalAeronauticsandSpaceAdministration）的Ames研究中心[15]开发的，并在NASA信息能源网格IPG（InformationPowerGrid）[16]中加以使用来保证资源的正常运作。2一般体系结构它的核心结构由观测器、控制器、管理器以及注册器组成：在监控的主机上安装传感器来收集监控数据。每个传感器产生一种或多种监控事件，这些事件包含了由传感器命名计划所描述的监控信息。可通过查询传感器来判断它们产生的信息类型。传感器仅对来自传感器管理器SM（SensorsManager）的直接请求作出响应并收集资源信息。传感器管理器SM对本地的传感器进行管理并决定执行哪个传感器以满足用户的请求。传感器管理器接受来自观测器（Observer）的查询请求和订阅。为了对特定的查询做出响应，传感器管理器向适当的传感器发送请求并通过观测器的生产者接口向请求的客户返回结果。观测器将传感器管理器和传感器机制嵌入到监控的主机上，并提供生产者接口PI（ProducerInterface），消费者可通过此接口对收到的监控信息进行查询。PI支持查询－响应和基于订阅的请求这两种方式。观测器根据用户的标识、客户位置以及信息类型来实施访问控制机制。控制器（Controller）位于监控的主机上并提供一些机制允许消费者在此台主机上执行一些动作。控制器由一个激励器（AM）组成，它与安装在本地的许多执行特定功能的激励器部件相互作用。例如，启动操作系统daemon。类似传感器，激励器是被动部件，仅当它们的管理者请求时才执行动作。管理器（Manager或消费者）与观测器相连接来查询它所提供的监控数据、事件订阅或修改事件订阅。管理器与控制器相连接来修改远程主机上的Daemons或应用的执行。用户可在管理器内实现管理逻辑，这样，通过控制远程主机自动对监控环境的变化做出响应。例如，当管理器检测到某一个远程作业管理器不响应时，其自动命令远程控制器杀死所有的与此作业有关的进程并启动一个新的实例。管理逻辑能用Java代码来实现或通过采用适当管理规则的专家系统来实现。注册器（Registry）存储观测器和控制器的位置信息，并对它们提供的传感器和激励器进行描述。管理器使用注册器定位远程部件。4/2/2023134/2/2023143体系结构：可扩展性和故障容错4监控和可扩展性5数据请求和表示

6检索和标准化7安全性8软件实现4/2/2023154/2/2023173体系结构：可扩展性和故障容错4监控和可延长性5数据请求和表示

6检索和标准化7安全性8软件实现4/2/202318网格门户信息仓库

1.概述

网格门户信息仓库GPIR（GridPortalsInformationRepository）的目标是对来自网格资源的信息进行事先获取、归集并缓存到一个中心场所，从而提供对网格门户的开发支持。2.一般体系结构GPIR信息提供器GIP（GPIRInformationProvider）在监控的资源上运行，获取本地信息并输出XML文档（采用某一种命名计划）。用户把XML文档提交给GPIR摄取器（GPIRIngester）；如果这些XML文档采用一种注册过的命名计划，那么存储到GPIR数据库中。提供了示例的客户端来自动完成这些步骤。GPIR查询（GPIRQuery）服务为用户提供了一种接口来查询缓存在数据库中的信息。可通过资源或虚拟结构名来查询资源。查询请求用事先定义好的一种命名计划的名字进行公式化，例如“load”表示机器装载，“services”表示在系统上执行的可用服务。GPIR查询服务从数据库中找回信息并把这些信息以XML文档的形式返回给用户。GPIR管理用户GAC（GPIRAdminClient）是基于Web的管理级用户，它定义虚拟结构并管理资源信息。GAC能以手工方式提供资源相关的附加信息，例如一种资源的物理位置以及系统管理员的联系方式等细节信息。

目前，GPIR定义了9种命名计划，描述如下：静态主机细节，包括主机名、它的结构、位置以及管理员的联系细节。主机装载细节，包括CPU和内存的平均数。主机状态：上线、下线以及不可达。资源的停工期。作业信息，包括队列、作业状态以及约束条件。主机MOTD报文。一簇计算节点的节点状态信息。一系列预先定义的网格服务的状态（通过、失败、超时）：GlobusGatekeeper、GRAM、GIIS、GRIS、GridFTP、NWS以及批作业提交。网络气象服务NWS（NetWeatherService）的带宽和延迟的度量。4/2/2023193体系结构：可扩展性和故障容错4监控和可延长性5数据请求和表示

6检索和标准化7安全性8软件实现4/2/202321GridRM1.概述GridRM[36,37]是一种通用的开放源代码网格资源监控框架，设计用来获取各种网络设备和服务的资源数据，并向各种用户以他们需要的形式提供信息。2.一般体系结构GridRM采用层次的体系架构，拥有一个全局层和多个的本地层，每一个本地层拥有一个网关来访问本地站点的资源信息（见图5.7）：命名方案NS（NamingSchema）定义资源的语义。默认情况下，GridRM采用GLUE来定义基于计算的资源的属性和数值。驱动程序采用命名方案把来自异类资源的原始数据转换成一种标准形式。驱动程序（Driver）是模块化的插件程序，用来从本地监控代理找回所选择的信息。本地层（LocalLayer）提供对本地资源的实时信息和历史信息的访问。管理员与本地层交互来配置驱动程序、命名方案以及资源接口。全局层（GlobalLayer）提供网格站点或VO与GridRM网关之间的交互，采用GMA著名的轻量级实现jGMA[40,41]。GridRM网关就是GMA生产者，通过GMA目录注册并对消费者的资源信息请求做出响应。接受SQL格式的请求并将请求转交给本地层加以处理。来自本地层的结果被加工成XML格式并返回给消费者。全局层给消费者提供了访问控制机制并负责控制信息发布。大的网格站点或VO也许拥有多个网关，在这种情形下，构造网关的分层结构来提供资源信息。消费者与网关在全局层交互。使用GMA注册器定位网关，采用SQL语法查询它们的资源。消费者可使用注册器发现当前网格站点上可用的资源，然后直接查询这些资源。4/2/2023224/2/202323Hawkeye1概述Hawkeye[43]是一种监控工具，由威斯康星大学开发，提供了监控分布式计算机集合的机制来获取基于计算机的资源信息。Hawkeye的设计目标包括：以一种统一的、可扩展的方式找回主机资源信息以及在监控的主机上自动执行与观测条件相应的任务的能力。尽管Hawkeye基于Condor项目[44]的技术以及采用分类广告技术ClassADS（ClassifiedAdvertisement）[45]来收集和发布资源信息，但是它打包成了一个独立的系统。Hawkeye收集到的数据对应用以及管理监控资源的用户来说是可用的。配置Hawkeye主要用来监控威斯康星大学的Condor池。4/2/2023252一般体系结构4/2/2023262一般体系结构传感器（生产者）在主机系统上执行并收集来自本地执行进程的监控数据。数据收集来源于一旦执行就一直存在的进程或连续执行的进程。启动时，传感器通过目录服务进行注册。传感器是产生带时间戳监控事件的任何应用，在整个系统中这些事件用作传播数据的手段。传感器管理器SM（SensorManager）控制传感器的执行以及传感器目录的注册。SM提供一种GUI，用户通过它可配置传感器的执行。能指令传感器连续或动态地执行，来响应SMGUI或端口管理器代理PMA（PortManagerAgent）的用户请求。基于目前在主机上执行的应用，PMA判定执行哪一个传感器。PMA假定应用是由位于一个已知端口上的SMGUI远程启动的。例如，当远程用户请求启动了处理器加强应用时，PMA能启动CPU监控传感器。事件网关EG（EventGateway）为用户提供了控制和订阅传感器的机制。单一的网关可用作与多台主机之间的接触点并提供请求处理和事件筛选责任。一个EG对监控资源的事件进行缓存并为用户提供一些API来查询特殊的监控数据。EG支持源自消费者的查询-响应和流请求。消费者可请求所有的事件数据或仅请求某种确定类型的事件。传感器目录SD（SensorDirectory）用于发布本地传感器的位置以及它们对应的网关信息。消费者使用这个目录来判断哪个传感器是可用的以及它们必须订阅的EG，从而接收一个传感器的输出。事件消费者EC（EventConsumer）使用SD对传感器定位并订阅来自适当EG的事件。消费者处理事件数据并把它转换成定制的资源信息，这些信息能被可视化或进一步加工处理。4/2/2023294/2/2023303体系结构：可扩展性和故障容错4监控和可延长性5数据请求和表示

6检索和标准化7安全性8软件实现4/2/202331MapCenter1概述MapCenter[53－56]通过在用户Web浏览器中使用图形地图、逻辑视窗和计算资源树来监控和显示整个网格中可用的服务。MapCenter使用一种可扩展的模型来可视化不同级别的资源（基于部门、组织和虚拟结构视图）。

4/2/2023322一般体系结构MapCenter体系结构（见图5.10）是由一个中央监控服务器组成，该服务器由数据存储、监控层和表示层组成。4/2/2023333体系结构：可扩展性和故障容错4监控和可延长性5数据请求和表示

6检索和标准化7安全性8软件实现4/2/202334监控和发现服务

1概述

监控和发现服务MDS3（MonitoringandDiscoveryService）是为Globus联盟[63]开发的Globus工具箱3.x(GT3)提供的信息服务。GT3基于开放网格服务体系结构OGSA[64]，部件的实现遵循开放网格服务基础结构OGSI（OpenGridServicesInfrastructure）[65]。4/2/2023352一般体系结构MDS3是一个分布式信息系统，由网格服务的资源层和聚集层组成.4/2/2023363体系结构：可扩展性和故障容错4监控和可延长性5交叉API监控6数据请求和表示7检索和标准化8安全性9软件实现4/2/202337Mercury

1概述Mercury[67-69]是一种监控系统，其目的是提供应用导航和自我调整，性能分析以及预测。Mercury对GMA体系结构进行了扩展，提供了一种通用网格监控基础结构，使用激励器和激励器控制器来影响监控系统的操作。4/2/2023382一般体系结构Mercury由本地监控器、主监控器以及监控服务组成。4/2/2023393体系结构：可扩展性和故障容错4监控和可延长性5数据请求和表示

6检索和标准化7安全性8软件实现4/2/202340网络气象服务

1概述网络气象服务NWS[38,73]（NetworkWeatherService）的目标是在分布式系统内提供最近的历史信息以及计算机和网络性能的短期预报。4/2/2023412一般体系结构

NWS的结构由许多分布式部件组成，包括名字服务器、内存、预报器和传感器。4/2/202342名字服务器NS（NameServer）是一个中央注册机构，包含了NWS部件的地址绑定。NS是系统的惟一的要求部件拥有其地址预先知识的成分。所有的其他NWS部件通过NS来定位并向NS周期性注册。传感器安装在监控主机上并周期地把带有时间戳的本地主机信息和网络性能传递给内存部件。内存，也称为持久状态，提供对度量信息的存储并为传感器和用户提供找回服务。内存存储来自个体传感器的带时间戳的资源观测数据。这些信息保存到本地磁盘，采用了循环缓存技术，因此只能获得最新的资源信息。如果内存部件失败，当内存重启后，最近信息的历史数据对用户来说是可用的。为用户提供了一种简单的请求机制来读取信息。预报器对来自内存的资源观测数据进行处理并根据给定的事件帧执行预报。4/2/2023433体系结构：可扩展性和故障容错4监控和可延长性5数据请求和表示

6检索和标准化7安全性8软件实现4/2/202344关系型网格监控体系结构1概述关系型网格监控体系结构R-GMA[76-79](RelationalGridMonitoringArchitecture)是在欧洲数据网格项目[57]中开发的，是一种网格信息和监控系统。

4/2/2023452一般体系结构R-GMA拥有一个分布式体系结构，由代理、生产者、消费者、生产-消费器，注册器（仲裁器）以及命名方案组成。

4/2/2023463体系结构：可扩展性和故障容错4监控和可延伸性5数据请求和表示

6检索和标准化7安全性8软件实现4/2/202347

visPerf1概述visPerf[81]是一种可视化网格监控系统，它采用远程传感器从日志文件中提取信息，也可与已存在的网格中间件交互以达到远程观测性能的目的。

4/2/2023482一般体系结构visPerfNetSolve监控系统（体系结构见图5.15）是一种由Javaapplet监控器和远程传感器组成的分布式应用。4/2/2023493体系结构：可扩展性和故障容错4监控和可延长性5数据请求和表示

6检索和标准化7安全性8软件实现4/2/2023505.5其他监控系统

GangliaGanglia[29]是一种分布式监控系统，用于高性能计算系统的监控，例如簇和网格。

Ganglia监控Daemon（gmond）是一个多线程daemon，它在每一个被监控的簇节点上运行；它有4个主要的职责：监控主机状态变化；多播相关变化；通过一个多播频道侦听所有其他的Ganglia节点状态信息；并且以XML格式描述簇的状态以答复请求。4/2/2023514/2/202352GridMonGridMon[86]是网络性能监控工具箱，用来定位故障和无效性。该工具箱由一系列的工具集合而成，这些工具提供了关于网络性能不同方面的度量：连接性、包内抖动、包丢失、封包来回时间RTP（RoundTripTime）、TCP和UDP吞吐量。

4/2/202353GRM/PROVEGRM[88]是一种在线监控工具，用来监控网格上运行的并行应用报文的传递性能。

4/2/202354NagiosNagios[28]是一种系统和网络监控应用，它通过外部的“插件”来操作，这些“插件”向Nagios发布状态信息。Nagios的一些特性如下：监控网络服务（SMTP、POP3、HTTP、NNTP以及ICMP）。监控主机资源（处理器负载、磁盘使用情况等）。当服务或主机出现问题或问题得以解决时给出联系通知（通过电子邮件、页面或用户定义的方法）。可选Web接口用来浏览当前网络状态、通知、历史问题和日志文件。4/2/202355NetLogger

NetLogger（NetworkedApplicationLogger）[48]是一个工具集，用来监控应用对应用通信路径、应用、操作系统、主机和网络的所有元素的行为。

NetLogger由四部分组成：一个API和用于简化应用级事件日志产生的函数库；收集和存储日志文件的工具集；主机和网络监控工具集；日志文件可视化和分析工具。

4/2/202356SCALEA-GSCALEA-G[90]是一个网格监控和性能分析系统。SCALEA-G基于GMA体系结构，它作为OGSA[19]服务的子集来实现，这些服务在线管理各种各样的计算和网络资源以及应用的监控和性能分析。已经开发了一些源代码和动态指令来执行应用的profiling和跟踪。

4/2/202357SCALEA-G由以下部分组成：目录服务用于发布和检索生产者和消费者的相关信息以及它们所产生的数据的类型和特性的信息。归档服务是一个数据仓库，用来存放监控数据以及其他部件收集的和分析的性能结论。传感器管理服务控制和管理传感器仓库中的传感器活动，注册给它发送目录服务数据的传感器信息，接收并缓存传感器产生的数据，支持数据订阅和查询并向指令服务发送指令请求。指令服务用于指令应用，在源代码级采用源代码指令服务或在运行时通过增变器服务动态地指令。用户服务提供了管理其他SCALEA-G服务和在这些服务中访问数据的接口。此外，它提供了方便性能数据分析的功能。系统传感器监控计算服务和网络服务，如网络连接、硬盘、内存使用以及CPU的可用率。应用传感器用于测量代码区的执行行为并监控应用中的事件。传感器实例向传感器管理服务递交它们收集到的数据。所有的传感器拥有一些共同的特性，如传感器定位符、数据方案和参数。消费者服务控制传感器管理服务的活动，例如传感器何时订阅、取消订阅或查询目录服务。指令中介器用作用户间或使用源代码指令服务的工具间通信的一种中介代理（基于SCALEA指令服务）。性能分析器用来分析消费者服务收集到的数据并把这些结果返回给用户。注册器服务用来注册关于服务实例的信息。4/2/2023585.6小结资源类别

所评价的项目（CODE、GPIR、GridRM、JAMM、MDS、Mercury、R-GMA以及visPerf）中的大多数都提供对主机、服务以及网络资源信息访问的功能。余下的项目，象GridICE和MapCenter提供计算机和服务监控功能，Hawkeye和NWS提供了计算机和网络监控功能，而Autopilot关注计算机主机监控。本地代理

除了GridRM、MapCenter、MDS3和R-GMA外，所有的系统要求在监控发生之前安装它们自己的代理。GridRM和MapCenter采用一系列本地协议与资源之间进行交互。例如，GridRM驱动程序提供与SNMP、Ganglia和NWS代理之间交互。MapCenter采用安装在其服务器上的传感器来探知远程MDS2、Tomcat和ICMP主机的可用性。MDS3一般与安装在监控资源上的网格服务交互；如，MDS3索引服务包含了一些机制，允许本地执行代码插入GLUE格式的信息，这些信息可用来与Ganglia交互。R-GMA提供一种通用传输机制来发布、定位和使用监控信息；开发人员自由实现生产者，因此潜在地需要与监控资源上的本地代理连接以找回信息，例如，从远程资源找回Ganglia数据的规范生产者。4/2/202359体系结构

从体系结构的角度来看，所评价的这些项目可分为GMA类系统和非GMA类系统。有9个项目（Autopilot、CODE、GridRM、JAMM、MDS3、Mercury、NWS、R-GMA和visPerf）提供GMA类体系结构，故它们应当是可扩展的和故障容错的，并且理想上是可互操作的。尽管是这种情形，但事实上这些系统的所有实现并未达到这些目标。非GMA类系统包括GPIR、GridICE、Hawkeye以及MapCenter。互操作性

尽管大多数系统具有GMA类体系结构，但不经过相当大的努力互操作性是不可能的得到的。GMA没有提供标准的无线协议或注册API的足够细节。因此，项目仅以一种粗糙的方式来遵循GMA，它们各自定义自己的特殊协议格式和注册功能。相似数据表示系统也许直接支持把原始资源数据转换成标准格式，或简单地要求系统中使用的数据必须由资源生产者首次明确地加以转换。所评价的项目分为直接提供规范化手段获得标准信息的系统、要求输入标准信息的系统、对原始数据操作的系统（无需考虑资源的异类性）。CODE、CridRM、Mercury和R-GMA提供规范异类数据的机制。MapCenter服务器通过插件提供了部分转换功能。GPIR、GridICE和MDS3要求使用用户定义的代码或传感器来收集数据并在提交资源信息给系统之前根据事先约定的方案格式化这些数据。GridICE和MDS3采用GLUE。GLUE是MDS3的默认格式，定制的生产者可自由使用其他的命名方案。GPIR使用一种XML方案的约束集来确定信息的格式和布局。Hawkeye、JAMM、NWS和visPerf没有提供任何机制来规范它们监控到的来自异类资源的数据。4/2/202360监控的插入1周期监控2基于请求的监控3基于事件的监控4远程监控控制信息检索和检索4/2/2023615.7本章小结一个基本的监控系统由下列部件组成：生产者（传感器）产生监控数据（调用事件）；消费者消费事件；一个或多个目录服务用于注册和发现传感器/事件/消费者；由于网格的复杂性和动态性，一个监控系统应当具有下列特性：兼容GMA，可扩展性，监控的资源，包括网络资源、主机资源以及作业，资源性能预报，资源性能分析，各种各样的监控资源的表示视图，对事件订阅和通知的目录服务。4/2/2023624/2/202363表5.3网格监控系统特征一览表种类AutopilotCODEGPIRGrdiCEGridRMHawkeyeJAMMMapCenterMDS3MercuryNWSR-GMAVisperf扩展性＋1111YN,1YUnclearYYYYY广域性监控器(C,S,N)CAllallC,SAllC,NAllSAllAllC,NAllAll交叉APIζζ?ζYζζYζζζYζ监控 相似数据NYθθYNNPartlyθYNYN资源类别信息检索YYYYYYYNYYNYN实时延长性NYYYYYYYYYYYN数据筛选/融合YFilterYNYYYN