RSCT_资源管理与监控

1、IBM RSCT 中的 ERRM(Eve nt respo nse resource Ma nager)组件为这一需求提供了一套有效的解决方案。对于常见的系统指标数值，例如文件系统使用状况，CPU工作状况，存使用状况以及网卡各种指标值等都提供 了很好的支持。同时，用户也可以很方便地定制各种系统资源监控。本文 将详细阐述RSCT ERRM在集群系统监控中的应用。随着大规模集群系统的广泛应用，系统的监控变得日趋复杂，对于系统各种 指标数值的监控的显得愈发重要。IBM RSCT中的ERRM(Eve nt respo nse resou rce Man ager)组件为这一需求提供了一套有效的解决方案

2、。对于常见的系统指 标数值，例如文件系统使用状况，CPU工作状况，存使用状况以及网卡各种指标 值等都提供了很好的支持。同时，用户也可以很方便地定制各种系统资源监控。 本文将详细阐述RSCT ERRM在集群系统监控中的应用。1. RSCT框架简介RSCTReliable Scalable Cluster Techn ology)是一系列软件组件的集合，为IBM许多集群软件提供可用性，可扩展性及易用性等方面的底层支持。RSCT 包含以下几个组件，本文主要讨论 RMC子系统和核心资源管理器 ERRMRMC子 系统(Resource Mo nitori ng and Con trol subsyste

3、m)RSCT核心资源管理器(RSCT core resource managers)，包括 ERRM, Con figRM, FSRM， HostRM SensorRM 等。RSCT集群安全服务(RSCT cluster security services)拓扌卜服务子系统 (Topology Services subsystem)组群服务子系统(Group Services subsystem)图1. RSCT资源架构中间件(如Tiwoli： DB2Oracle 尊)r图形或命令行集群系统管1理工具如船皿煎织篙)APIRMC 子系统(只號ciikte Monitoring and Contr

4、ol subsystem)RMf API.* >. _ . > -._f II 哼I：；：；：I I I： 4 I » 4 I t 4 I l< I设置取职愿性值m a ii ti n nm 50 Action资湧管理器:资源和赍源类的代理k 4 I I- 9 I I -I I k I 8- - I i- 4 I I- I I Bll!FiaF-ll»4ai!liall»-i 11-41 I- I I S I I fi 4 I « 4 11-41 ¥ I I- 4 IEr b i " bb ""

5、r B""h r i rs 1 i v i rOnline, Offline 发现曙理资源类创建瓷源实例'险 * .STE实例集合變化i i图1显示了 RSCT中资源的架构，RMC子系统是整个RSCT的核心，它为 其它组件提供了一套通用的接口，这样RSCT的上层客户软件无需关心各个底层 的资源管理器的运行细节，只要通过RMC提供的接口 (RMC API)与RSCT进行 通信。同时，底层的资源管理器及服务只需实现RMC指定的接口 (RMF API)来提供相应的功能。本文中的ERR M就是RSCT核心资源管理器的一种，它主要 用于系统监控。2. RSCT资源/资源类、域

6、2.1资源和资源类RSCT中最基础的概念就是资源(resource)。所谓资源，在RSCT中可以是 任意的物理或者逻辑上的实体，例如集群中的一个主机节点，主机上的一个网卡 或主机操作系统的根文件系统等等，资源有许多不同的属性，所有拥有相同属性 而又有不同属性值的资源组成了资源类 (resource class)，资源类负责发现资 源，创建资源，删除资源等等。一个资源类隶属于一个资源管理器( resourcemanager）,而资源管理器可以提供任意数量的资源类。RSCT几乎所有的功能都和资源以及资源类相关。在RSCT的各个包被正确安装以后可以通过 RMC的命令行接口来显示系统 中的关于资源和资

7、源类的各种信息。显示资源类/资源定义通过RMC的命令行接口 Isrsrcdef（该命令位于目录/usr/sbin/rsct/bin中）可以显示关于资源和资源类的定义信息，在不带任何参数的情况下，该命令会输出系统中所有存在的资源类。示例1演示了如何使用lssrcdef 命令来查看系统中所有的 RSCT资源类 （注：该示例是笔者测试环境中的输出，实际情况可能与此会有不同）：示例1c176 n11:/ # lsrsrcdefclass_ name"IBM.Co nditio n""IBM.EthernetDevice""IBM.Eve ntRespo

8、 nse""IBM.FDDIDevice""IBM.Host""IBM.FileSystem"可以将资源类作为参数传递给命令Isrsrcdef 并加上-c选项显示资源类 本身的定义，示例2是将IBM.FileSystem 资源类作为参数传递给命令Isrsr cdef的输出，可见IBM.FileSystem 属于资源管理器IBM.FSRM:示例2c176 n11:/ # lsrsrcdef -c -e "IBM.FileSystem"Resource Class Definition for IBM.Fil

9、eSystemresource class 1:class_name = "IBM.FileSystem"class_id = 9properties = "has_rsrc_i nsts","has_ctrln terface","mtype_subdividisplay_ name = "File System"description = "The FileSystem resource class monitors the attributes andmount status of all

10、 resources."locator = "NodeNameList"class_pattr_c ount = 1class_dattr_c ount = 3class_acti on_count = 0pattr_co unt = 32dattr_co unt = 4action_count = 0error_co unt = 0rsrc_mgr_co unt = 1rsrc_mgrs 1:mgr_name = "IBM.FSRM"资源类本身也有一些属性可以通过 Isrsrcdef -c -A p|d resource_class来进一步显

11、示，其中-A选项表示希望显示的属性是永久属性（-A p ）,还是 动态属性（-A d）,这类属性值可能随时发生变化。如果要显示资源相关信息， 只要去掉Isrsrcdef命令中的-c选项并加上-A d|p 选项，其中-A d 表示显示动态属性，-A p显示永久属性。示例3显示IBM.FileSystem 资源的动态 属性定义：示例3c176 n11:/ # Isrsrcdef -Ad -e "IBM.FileSystem"Resource Dyn amic Attribute Defin iti ons for IBM.FileSystemattribute 1:progra

12、m, name = "OpState"display_ name = "Operati onal State"group_ name = "Ge neral"properties = "public"descripti on = "Whe never the operati onal state of a resource is chathis dyn amic attribute is asserted."attribute_id = 1group_id = 0data_type = &quo

13、t;ui nt32"variable_type = "state"variety_list = 1,8variety_co unt = 1ini t_value = 0min_value = 0max_value = 100expressi on = "OpState != 1"expressi on _descriptio n = "An eve nt will be gen erated whe n the filesystem goes offli ne."rearm_expressi on =rearm_descri

14、ptio n =""PTX_ name =attribute 2:program, name = "Perce ntTotUsed"attribute 3:program, name = "Perce ntINodeUsed"可以看出IBM.FileSystem 资源有三个动态（-A d 选项）属性，同样的方法可 以显示出资源的永久属性。2.1.2. 显示资源类/资源属性值RMC同样提供了用于显示资源类和资源属性值的方法rmc接口 Isrsrc 。例如，希望得到系统中所有的IBM.FileSystem 资源及其属性值。可以通过Isrs

15、 rc -A d|p|b - s “selection_string ” IBM.FileSystem 来得到。其中-A 选 项值的d代表动态属性，p表示永久属性，b表示两者，-s选项用于过滤希望 显示的IBM.FileSystem 资源信息。示例4显示了 Name属性不等于（/'） 的IBM.FileSystem 资源的永久属性值：示例4c176 n11:/ # lsrsrc -Ap -s "Name !='/'" IBM.FileSystemResource Persiste nt Attributes for IBM.FileSystemres

16、ource 1:Name = "/opt"Mou ntPoi nt = "/opt"Mou ntDir = "/opt"Dev = "/dev/hd10opt"Vfs = "jfs"Log =""Mou nt = "true"Permissi ons = "rw"Acco unt =""Type =""Size = 262144Frag = 512Nbpi = 4096Compress = &qu

17、ot;no"Bf = "false"Ag = 8Ma nualMode = 0ActivePeerDoma in =""resource 2:Name = "/tmp"resource 3:Name = "/var"resource 4:Name = "/usr"resource 5:Name = "/home"2.1.3. 创建资源一般情况下并不需要手动去创建资源，因为在各个资源管理器初始化的时候都会自动调用资源类的发现程序去检查系统当前属于该资源类的资源并存储。

18、例如对于IBM.FileSystem 资源类，它属于资源管理器IBM.FSRM，当IBM.FSRM 初始化的时候，就会驱动IBM.FileSystem 发现程序去检查系统当前存在的文件 系统资源并存储起来。但有时候还是得手动创建一些资源，例如ERR M的IBM.Condition 资源。创建资源的rmc接口为mkrsrc。将-e选项和资源类名作为 mkrsrc的参数时，会显示创建该资源类必须指定的属性以及可选属性的例子。 示例5的输出显示了如何创建IBM.FileSystem 资源：示例5c176 n11:/ # mkrsrc -e IBM.FileSystemSample mkrsrc co

19、mma nd with required attributes:mkrsrc IBM.FileSystem Name=char_ptrSample mkrsrc comma nd with required and opti onal attributes, and comma nd argume nts:mkrsrc IBM.FileSystem Name=char_ptr NodeNameList=char_ptr_array NodelDs=uin t64_array2.1.4. 修改资源类/资源永久属性值对于已经创建或者自动发现的资源，可以通过rmc接口 chrsrc 来修改资源的永久

20、属性值，注意并不是所有的永久属性值都可以修改的，资源只读属性是无法通过chrsrc 来修改的。可将属性和资源类作为参数通过中Isrsrcdef接口检查资源属性是否可以手动改变，动态属性值一般不通过rmc修改,而是随着系统变化，属性值自动由各个资源管理器根据一定的频率收集设置。可以通过-s选项来对满足特定条件的某个或者某些资源的属性值进行修改。示例6是修改Name属性等于” FSCondition ”的IBM.Condition资源的Eve ntExpressi on 属性值：示例6c176n11:/#chrsrc -s "Name ='FSCondition”' IB

21、M.Condition EventExpressi on=" Name !=''"除了 -s选项，可以通过指定在整个cluster中是唯一的资源句柄(resource handler )属性值，来限定某个资源修改属性值，资源句柄可以通过Isrsrc得到，具体请参见参考文献2。修改资源类的属性值，同样使用chrsrc 接口，但比资源多一个-c选项表 示资源类。2.1.5. 删除资源对于系统中的各种资源，可以通过 rmc接口 rmrsrc 删除。如chrsrc 接 口一样，rmrsrc支持-s选项和基于资源句柄的形式。示例7表示删除系统中 所有 IBM.Co n

22、dition 资源：示例7c176 n11:/ # rmrsrc -s "Name !=''" IBM.C on dition2.2. RSCT 域RSCT域表示集群节点配置目的。集群中的节点可以配置为high availability（高可用性）或者manageability（可管理性），这样可以将节点所处的域或者环境分为两种：1）Peer Doma in2）Mangement Domain （管理域）；Peer Domain表示该节点位于这样一个集群系统中，集群系统中的节点的地 位都是等同的，一个节点知道集群中其余所有节点的信息，这为高可用性应用提供了条

23、件，因为从外界来看，整个集群是一个整体，任何一个节点宕机都可能有 剩余节点来继续提供相应的服务；Management Domain这种集群里，一个管理服务器（Man ageme nt Server）管理若干个被管理节点（Man aged Node，这种 Domai n中，被管理节点之间互相不知道对方的信息。只有管理服务器知道所有 的被管理节点的信息，这种集群主要是为了简化系统管理，所有的管理工作都可以在管理服务器上完成。通常的集群往往是 Peer Domain 和Mangement Domain的组合。如图2 所示: Node1,Node2,Node3是管理服务器的被管理节点同时位于 Peer

24、Domain1，Node n-1， Node n 类似。图2.同时拥有Peer Domain 和Management Doman的集群管理服务器(Ivlaragcineni Saver)建立 Peer Domain建立Peer Domai n 般可以遵照以下步骤:1）列出需要加入到该PeerDomain的所有节点，确保节点之间都是互通的（各个节点/etc/hosts 里面都有所有集群节点的Host名与IP信息）而且已 经正确安装 RSCT软件包。如有 NodeA,NodeB,NodeC,NodeD需要加入Peer Do main。2） 确定1 ）中的一个节点为 originator节点，女口

25、NodeA3）在 NodeB,NodeC,NodeD 上执行 preprpnode NodeA，使得节点 NodeA和这些节点间建立信任关系；4） 在 Origin ator节点女口 NodeA 上，执行 mkrpdomai n vdoma in_n ame> N odeA NodeB NodeC NodeD5）在任一个节点上执行 startrpdoma in vdoma in_n ame> 启动该 Peer Dom ain，注意一个节点可以同时位于多个 Peer Domain中，但同时只能在其中一个 domain 里面 Online。6）Peer Domain建立以后可以通过 a

26、ddrpnode , rmrpnode增加和减少集群 中的节点。通过 stoprpdomain 使得整个集群 offline ，通过 stoprpnode/sta rtrpn ode 停止和启动节点。如果从资源的角度分析Peer Domain的建立，相当于各个节点的系统在后 台创建了两种隶属于资源管理器 IBM.ConfigRM的资源类IBM.PeerDomain和 IBM.PeerNode的资源。同样可以通过Isrsrc 命令显示这两种资源的属性值。2.2.2. 建立 Man ageme nt Doma in对于建立管理域（Management Domain，目前是通过基于 RSCT的上层的

27、 软件CSM实现的。将集群中的一个节点作为管理服务器 （Management server）， 其余节点作为该管理服务器的被管理节点。大体步骤如下：列出需要加入到该管理域的所有节点，确保已经正确安装RSCT软件包。指定其中一个为管理服务器，该管理服务器需要知道所有被管理节点的Host名与IP地址（通常将这些信息放在/etc/hosts 中）。在所有节点上安装 CSM软件包，相对于被管理节点，管理服务器需要安额外装csm.server （ 以AIX为例）及其依赖的包。反之，被管理节点需要安装csm.client包而这对于管理服务器是可选的（管理服务器本身也可以成为自身的被管理节点）在管理服务器的

28、上，通过definen ode 定义被管理节点。设置资源管理器 IBM.DMSRM勺AddUnrecognizedNodes属性为1，这样被管理节点可以注册到该 管理服务器上。在被管理节点上执行：mgmtsvr -n <被管理节点名 > < 管理服务器的IP>以上步骤成功执行以后，整个管理域就建立起来了。从资源的角度分析Manageme nt Domain的建立，管理服务器在后台创建了隶属于资源管理器IBM.DMSRM的资源类IBM.Ma nagedNode的资源，每个被管理节点对应一个 IBM.Ma nag edNode资源以存储被管理节点的信息；而被管理节点则创建了

29、对应于IBM.CSMAgentRM的资源类IBM.ManagementServer的资源以存储管理服务器的各种信 息。3. RSCT资源监控资源管理器IBM ERRM提供了三个资源类IBM.Condition ，IBM.EventResp onse，IBM.Assosication 。系统资源监控是ERRM主要的功能，即如果系统在某 一时刻某个条件（condition）满足，与这个条件关联的预先定义的动作（response）就会被触发。这里的条件对应于 ERRM的 IBM.Condition资源类，它用于定义用户关心的系统资源的状况，如某个节点的/tmp文件系统使用比例大于 90%就是一个条件

30、；而动作对应于IBM.EventResponse资源类，它用于定义在 某个条件满足时，用户想采取的措施，如当上面的/tmp使用大于90%时使用通知系统管理员就是一个动作。另外，ERRM的还有一个资源类IBM.Associati on，个IBM.Association资源用于关联一个IBM.Condition资源和一个IBM.Eve ntRespo nse。这样只需定义多个IBM.Association资源用于关联不同的IBM.Condition 资源和IBM.EventResponse资源就可以重复利用已经存在的I BM.Condition 资源和 IBM.EventResponse 资源。同

31、时，只有在 IBM.Conditio n 资源和 IBM.EventResponse 资源被一个活动的（Active ）的 IBM.Associati on资源关联的时候，这些条件和相应的动作才会触发。根据需要，可以创建监控不同域围的IBM.Co nditi on 资源，然后关联相应的I BM.Eve ntRespo nse资源来达到资源监控的目的。其一般步骤如下：根据需要建立集群，如独立系统，Management Domain或Peer Domain ；确定需要监控的系统资源及其属性创建IBM.Co nditi on 资源并根据需要设定监控围；创建或使用已存在的，在条件满足时触发的动作即IB

32、M.EventResponse资源；创建 IBM.Assocation 资源关联 3）和 4 ）中的 IBM.Condition 和 IBM.E ventResponse资源；并使其处于 Active 状态；上面1），2）两步在上面的章节中已经介绍过。下面阐述如何具体的IBM.Condition ， IBM.EventResponse 以及 IBM.Association资源。3.1 管理 IBM.Co nditi on资源根据IBM.Co ndition 资源监控围的不同，可以将系统监控分为对独立系统 资源的监控，对Peer Domain围系统资源的监控和对 Management Domai

33、n系统 围资源的监控。而这只需在创建IBM.Co ndition ，将不同的参数值传给命令 mk condition的-m 选项。示例 8 是通过 IBM.ERRM 提供的接口 mkcondition 创建 IBM.Condition 资源的一般形式：示例8mkcondition - r resource_class - e" event_expression-E rearm_expression " - d " event_description"-D " rearm_description " - m l | m | p -n n

34、ode_name1,node_name2. - p node_name-qnotoggle | - - qtoggle - s " selection_string"-S c | w | i - h - TV condition下面是其中的重要选项涵义，-r表示被监控的资源类，-e表示被监控资源的属性构成的某个条件表达式其返回值是真或者假，开 始监控以后rmc以一定频率不断检测该条件的结果，如果为真变触发相应的事 件，执行相应的动作。-E是可选的，意思是如果-e中的表达式为真时，不在重复检测-e中的 条件，转而检测-E中的条件，其主要目的是是避免不断触发重复事件；-d, -

35、D 分别是对于-e,-E 中条件表达式的描述；-m表示希望IBM.Condition 资源监控的围，I表示local 即Individual Workstation ，m 表 Management Domain 中所有节点资源， p 表示 Peer Dom ain中所有节点的资源-n表示在-m的指定的围的某个或者某些特定的节点上监控资源，如对于一个有三个节点 NodeA, NodeB, NodeC的某个Peer Domain 中，如果只需要监 控 NodeA 和 NodeB 上的资源，则传递-n NodeA，NodeB 给 mkcondition ；-p表示希望该IBM.Condition资源

36、最终被创建在哪个节点；默认为命令执行所在的节点；-s表示筛选满足该条件的资源进行监控，默认情况下，会对属于由-r指定的资源类的所有资源进行监控。例如只希望监控IBM.FileSystem 资源中的根 文件系统，可以传递-s “Name = /'”给 mkcondition ；-TV表示打印出mkcondition 命令的详细执行输出，一般作为调试使用。con ditio n表示该IBM.Co ndition 资源的名字。示例9是在Peer Domain中为了监控整个PeerDomain中所有节点的根文件系统的空间使用百分比创建IBM.Co nditi on资源的例子：示例9mkcond

37、ition -r IBM.FileSystem -e“PercentTotUsed > 90”-d “ An eve nt will be gen erated whe n more tha n 90 perce nt of the total space ofthe filesystem is in use. ” -E “ PercentTotUsed < 85” -D “The event will be rearmed whe nthe percent of the total space used in the filesystem falls below85 percen

38、t. ” -m p-s “ Name= /'” PeerDoma in RootFSC on diti on表示如果集群中的任意一个节点的根文件系统使用超过 90%，触发相应的事件； 然后转而检测是否该根文件系统使用空间小于 85%,如果小于85%则重新检测 是否超过90%。如此继续下去。此外还可以通过 -c选项拷贝已经存在的IBM. Con diti on资源的定义并在此基础上进行修改。除了可以用IBM.ERRM提供的接口 mkcondition 创建IBM.Conditon 资 源，同样可以使用rmc提供的接口 mkrsrc，其本质都是通过rmc api完成相 应的资源创建。示例1

39、0是与上面的mkcondition 命令的相对应的mkrsrc命 令形式：示例10mkrsrc IBM.ConditionResourceClass= ” IBM.FileSystem ” EventExpressPerce ntTotUsed >90”Eve ntDescripti on= ” An eve nt will be generated whe n more tha n90 percent of the total space of the filesystem is inuse. ” RearmDescripti on=Perce ntTotUsed < 85” R

40、earmExpressi on=” The eve nt will be rearmed whe n the perce nt ofthe total space used in the filesystem falls below 85percent. ” Man ageme ntScope=2Selecti on Stri ng=“ Name= /'” Name= PeerDoma in RootFSC on diti on已存在的IBM.Condition 资源可以通过chcondition 命令修改，对应于 rmc的接口为chrsrc。承接上面的例子，示例11表示如果希望系统在

41、文件系 统空间超过95%的时候触发相应的事件使用 chcondition 修改IBM.Conditio n资源的例子：示例11chcondition -e“ PercentTotUsed > 95” PeerDomainRootFSCondition示例12表示对应于chcondition命令的chrsrc 命令形式示例12chrsrc -s“Name='PeerDomainRootFSCondition '” IBM.Condition Even tExpressi on=” Perce ntTotUsed >95”显示系统中所有或者某个IBM.Condition

42、资源可以通过lscondition命令,示例13展示如何显示PeerDomainRootFSCondition 的定义：示例13lsc on diti on PeerDoma in RootFSC on diti on示例14表示对应于lscondition 的lsrsrc命令形式示例14Isrsrc -s “Name= PeerDomainRootFSConditionIBM.Condition如果希望删除该某个IBM.Condition资源，可以通过rmcondition或者rmrsrc，承接上面的例子，示例15显示如何删除一个条件：示例15rmcon diti on PeerDoma i

43、n RootFSC on diti on示例16 表示对应于 rmcondition的rmrsrc 命令形式：示例16rmrsrc -s “Name= PeerDomainRootFSCondition '” IBM.Condition3.2 管理 IBM.EventResponse 资源只有IBM.Co nditi on 条件还不足够完成所有的功能，在条件满足的时候，必需能够触发相应的动作，才能达到资源监控的功能，而IBM.Eve ntRespo nse资源的作用正在于此。示例 17 是 IBM.ERRM组件提供的 mkresponse 接口创建 IBM.EventRespo nse

44、资源的其一般形式：示例17mkresponse - n action - d days_of_week,days_of_week. - t time_of_day,time_of_day. - s action_script-r return_code - e a | r | b - o-E env_var=value.env_var=value. - u - p node_name-h - TV response-n表示属于该IBM.EventResponse 资源一个动作名，定义IBM.EventRes ponse资源时只能定义一个action，但修改时可以增加；-d表示该动作在一周中的这

45、几天执行，1表示周日，2表示周一，其余依 次类推。可以同过-表示一个时间段如1-7表示整个星期；用+'不连续 的天时间段如1+7表示周日和周一；-t表示在某天的那个时间段该动作执行；用二十四小时制的hhmm的形式表示，1015表示10:15am-s表示动作可执行程序，可以是命令或者是可执行脚本。RSCT提供了三个 脚本logevent , notifyevent以及wallevent ，可以自己编写自己需要的脚本。-p表示IBM.EventResponse资源最终被创建在的节点，默认为执行命令的 节点response 表示该 IBM.EventResponse 资源的名称。下面创建的I

46、BM.EventResponse资源表示在工作日工作时间时执行动作 N otifyAdmin，其目的是发送短消息给系统管理员有相关信息：mkrespo nse -n NotifyAdmi nVia -d 2-6 -t 0900-1600 -s “ /bin/sen dSMS' NotifyAdminResponse其中sen dSMS是用户自己自定义的脚本用于发送短消息。如果希望修改已经定义的IBM.EventResponse资源，可以通过chrespons e完成。示例18表示对于上面的IBM.EventResponse资源，如需增加一个动 作序列，除了发送短消息给系统管理员，还希望通过在 con sole上输出一些信 息通知已登录的用户，并改为一周全天候执行所有动作。示例18chresp onse -a -n NotifyLogo nUser“ /usr/sbi n/rsct/bi n/walleve nt-c"-d 1-7 -t 00