（计算机科学与技术专业论文）虚拟计算环境目录服务系统设计与实现.pdf

北京邮电大学硕士论文 摘要 虚拟计算环境目录服务系统设计与实现 摘要 为了实现互联网资源的有效共享与合理利用，一些计算技术相继出现，虚拟计 算就是其中之一。所谓虚拟计算，是指建立在开放的网络基础设施之上，通过对分 布自治资源的集成和综合利用，实现有效资源共享和便捷合作工作。目录服务系统 致力于资源的发现和发布，是虚拟计算的基础。 首先，本文在分析了目录服务相关技术的基础上，设计和实现了虚拟计算环境 中的简单分布式目录系统。但是在实际运行中发现该系统的单点失效和性能瓶颈问 题不能很好的适应虚拟计算环境的需求。 接着，作者提出了用p 2 p 思想构建目录服务的方法，并设计和实现了一个基于 p 2 p 的自适应目录服务系统p b s d s ( p 2 p - b a s e ds e l f - a d a p t e dd i r e c t o r ys e r v i c e s ) 。它 在解决单点失效的同时，也有效地实现了自主的负载分担，为资源发现与查找提供 了较好的支持。 最后，本文对上述两个目录服务系统进行了性能分析。 关键词：目录服务虚拟计算环境p 2 p 自适应 1 1 i 北京邮电大学硕士论文 a b s t r a e t d e s i g na n di m p l e m e n to f d i r e c t o r ys e r v i c e ss y s t e mi n v i 姗r a lc o m p u t i n ge n v i r o n m e n t a b s t r a c t a l o n gw i t ht h ei n - d e p t he x p l o r a t i o n a n di n v e s t i g a t i o nt ot h en a t u r a l p r o b l e ma n dt h es o c i a li s s u e s ，t h ed e m a n do fc o m p u t a t i o np o w e ri n c r e a s e s q u i c k l y m e a n w h i l e ，t h o u g hv a r i o u sr e s o u r c e so nt h ei n t e r n e th a v eg o t t e na n e x p l o s i v eg r o w t h ，t h e ya r en o tm a d ef u l le x p l o i t a t i o n t h ee m e r g e n c eo f i n t e r n e t - b a s e dv i r t u a lc o m p u t i n ge n v i r o n m e n t ( i v c e ) m a k e si tp o s s i b l et o i n t e g r a t ed i s t r i b u t e da n dh e t e r o g e n e o u sc o m p u t i n gr e s o u r c e s a sf o u n d a t i o n o fm a n a g i n gt h o s er e s o u r c e s ，d i r e c t o r ys e r v i c ew h i c hp r o v i d e ss e r v i c e st o p u b l i s ha n ds e a r c hf o rr e s o u r c e s ，i sa l lp i v o t a lr e s e a r c hd o m a i ni ni v c e t h i sd i s s e r t a t i o nb e g i n sw i t hab r i e fi n t r o d u c t i o no ft h ed e f i n i t i o no ft h e i v c ea n dd i r e c t o r ys e r v i c e ，a sw e l la st h es t a t e - o f - t h e a r to ft h er e l a t i v e d o m e s t i ca n da b r o a dr e s e a r c ha c t i v i t i e s t h e n ，t h ed i s s e r t a t i o np r o p o s e da s i m p l ed i s t r i b u t e dd i r e c t o r ys e r v i c e ss y s t e m b u to nt h ef u r t h e ra n a l y s i s a n dt e s t i n g ，w ef i n ds e v e r a lc r i t i c a lp r o b l e m sn e e dt or e s o l v e ，s u c ha ss i n g l e p o i n to ff a i l u r e s ow ea d d r e s s e dap 2 p b a s e ds e l f - a d a p t e dd i r e c t o r y s e r v i c e s ( p b s d s ) t op r o v i d es e r v i c e so fp u b l i s h i n ga n ds e a r c h i n gr e s o u r c e s ， v 北京邮电大学硕士论文a b s t r a c t w h i c hc a nc o n t r o ls i n g l ep o i n to ff a i l u r ea sw e l la sb a l a n c es y s t e ml o a d f i n a l l y , w ea n a l y z et h ep e r f o r m a n c e o fp b s d s k e y w o r d s ：d i r e c t o r ys e r v i c e i v c ep 2 p s e l f - a d a p t e d v i 北京邮电大学硕士论文声明 声明 独创性( 或创新性) 声明 本人声明所呈交的论文是本人在导师指导下进行的研究工作及取得的研究 成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中不 包含其他人已经发表或撰写过的研究成果，也不包含为获得北京邮电大学或其他 教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任 何贡献均已在论文中作了明确的说明并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切相关责任。 本人签名： 亡鲢互鐾 一 日期：墨。5 ：坦 关于论文使用授权的说明 学位论文作者完全了解北京邮电大学有关保留和使用学位论文的规定，即： 研究生在校攻读学位期间论文工作的知识产权单位属北京邮电大学。学校有权保 留并向国家有关部门或机构送交论文的复印件和磁盘，允许学位论文被查阅和借 阅；学校可以公布学位论文的全部或部分内容，可以允许采用影印、缩印或其它 复制手段保存、汇编学位论文。( 保密的学位论文在解密后遵守此规定) 保密论文注释：本学位论文属于保密在年解密后适用本授权书。非保密论 文注释：本学 本人签名： 导师签名： 围，适用本授权书。 日期：塑墨：f ! 日期：2 鲤量，三：! 宴 北京邮电大学硕士论文 第一章绪论 1 1 课题背景 第一章绪论 随着人们对各种应用需求日益向着高性能、大规模、多样性、多功能的方向发 展，科学、工程与商业对计算能力的需求也越来越大。与此同时，互联网已发展成 为现代社会的重要信息基础设施1 1 2 l ，其技术日新月异，各种资源爆炸式的增长， 人们也希望能让这些资源在技术的支持下最大限度地满足应用的需求。但是，互联 网上的资源具有广域分布性、自治性和异构性1 3 l 等属性，使得网络资源在具有极大 吸引力的同时，也呈现出利用率低【4 l 、利用不合理等问题。 为了实现互联网资源的有效共享与利用，一些计算技术相继出现，从试图在网 络计算环境中建立资源的统一全局视图1 5 】，到关注分布计算环境【6 1 ，到w e b 服务【7 - 1 0 l 和网格计算【n , 1 2 1 等新技术悄然兴起，再到自主计算【1 3 1 、p 2 p 计算1 1 4 l 的风靡。这些技 术期望从不同角度解决互联网资源共享与利用的问题，它们侧重点各异，能够在特 定范围内和一定程度上解决存在的问题，同时，各种技术在发展的过程中也不断交 叉相融，互相借鉴，取长补短。二十多年的研究与实践，使人们开始意识到互联网环 境与传统计算机环境存在本质差别，必须在概念和方法上寻求新的突破【3 1 。于是， 人们开始试图建立一个适合互联网自然特性的计算环境，其中之一就是虚拟计算环 境( i n t e r n e t b a s e dv i r t u a lc o m p u t i n ge n v i r o n m e n t ，i v c e ) 。所谓虚拟计算环境，是指 建立在开放的网络基础设施之上，通过对分布自治资源的集成和综合利用，为终端 用户或应用系统提供和谐、安全、透明的一体化服务的环境，实现有效资源共享和 便捷合作工作。构建虚拟计算环境，对于释放互联网资源的巨大能力，提高国家在 信息时代的综合国力和国际竞争力，促进入与网络的和谐发展都具有重要战略意义。 2 0 0 5 年，国家设立了9 7 3 项目“虚拟计算环境聚合与协同机理研究”。作者有幸 参与了该项目子课题“虚拟计算环境实验床与仿真平台一的研究工作，主要负责目 录服务系统的设计和实现。目录服务系鲥1 5 以7 ，2 4 1 致力于资源的发现和发布，是虚拟 北京邮电大学硕士论文第一章绪论 计算环境的基础。只有先解决资源的发现问题，才能进一步对资源进行管理和利用。 作者首先设计了一种简单分布式目录服务系统来解决虚拟计算环境中的资源发现与 查找。但是在实际运行中，发现这种方式所导致的单点失效和性能瓶颈问题不能很 好的适应虚拟计算环境的需求。在进一步的研究工作中，作者提出了一种基于p 2 p 的自适应目录服务系统。它在控制单点失效的同时，也有效地实现了自主的负载分 担，为资源发现与查找提供了较好的支持。 1 1 1 虚拟计算环境( i v c e ) 虚拟计算环境( i v c e ) 【3 l 是以网络资源的按需聚合与自主协同为核心机制，实现 有效资源共享和便捷合作工作。在i v c e 中，资源管理主要通过聚合和协同过程的交 叠完成。因此，建立i v c e 的核心是寻求适应互联网资源自然特性的聚合与协同新机 理。 鉴于互联网资源的广域分布性、自治性和异构性特点，为了实现资源的有效共 享和利用，i v c e 提出了3 个重要概念【3 】：“自主元素”( a u t o n o m i ce l e m e n 0 、“虚拟共同 体”( v i r t u a lc o m m o n w e a l t h ) 和“虚拟执行体”( v i r t u a le x e c u t o r ) 。 ( 1 ) 自主元素：是i v c e 中的基本资源管理单位，是具有自主行为能力的资源管 理者。自主元素是资源“虚拟化”的集中表现，其概念和思想从结构上和方法上为实 现互联网资源的按需聚合和自主协同奠定了基础。在“自主”的实现上，i v c e 的自 主元素类似于自主计算技术中的自主管理者( a u t o m a t i cm a n a g e r ) 1 3 , 1 8 , 1 9 l ，希望通过 感知外界环境的变化，参照自身原有的知识库和行为策略，主动地改变执行策略， 以适应变化。不过自主管理者中，所有的感知、执行、分析、计划等都与知识库交 互【1 3 l ，而自主元素则是以行为驱动引擎作为与其他部分交互的中心，知识库与执行 等模块地位同等【3 1 。 ( 2 ) 虚拟共同体：是指一组具有共同兴趣、遵从共同原则的自主元素构成的集合。 在虚拟共同体内部，各个自主元素可能具有不同的角色，可能是资源的提供者，或 资源的消费者，又或者负责资源管理和调度的管理者，单是其所关注的资源都是确 定和一致的。 ( 3 ) 虚拟执行体：是指协同承担同一任务的相关自主元素，为完成该任务而形成 的状态空间的总和。虚拟执行体是i v c e 的基本运行管理单位，是“执行进程虚拟化” 2 北京邮电大学硕士论文 第一章绪论 的载体，与网格计算中虚拟组织( v o ) 1 1 , 1 2 l 的功能相近，都是为了完成一个任务 而临时组合在一起，具有很强的动态性。但是v o 在自管理【1 9 刎方面并没有特别关 注。而哈尔滨工业大学的张伟哲等人在虚拟执行体的基础上，提出了由自主调度单 元、域调度共同体、元调度执行体为核心的多机群协同系统框架，设计了四种启发式 资源选择策略，以支持多组织、多管理域的多机群共享与协同工作【2 l 】。 虚拟计算环境在体系结构方面借鉴了t c p 口和o g s a l 2 2 】的层次式结构，从下至 上逐层将网络上零散的资源聚合起来，协同完成任务【引。同时，在构建新型编程环 境方面，c r o w n 虚拟计算平刽2 3 】为用户提供了独立的计算环境，为应用程序屏蔽 了底层硬件的动态性、分布性等。 1 1 2 虚拟计算环境中的目录服务需求 虚拟计算环境的核心在于网络资源的按需聚合和自主协同，而各种资源和服务 驻留在地理上分布且系统异构的各个节点上，聚合和协同只有在资源发现的基础上 才能实现。常用的发现机制是：资源和服务将自身的基本信息注册并存放在一个通 用的可存取的位置，这就是“目录服务( d i r e c t o r ys e r v i c e ) x s i ，或称为信息服务1 2 4 1 。 一般来说，目录服务应具备如下功能g 支持存储资源的信息 支持更新资源的信息( 修改与删除) 支持用户对资源信息的查询 支持用户访问控制 虚拟计算环境中节点具有数量巨大，加入、退出的频率( c h u r nr a t e ) n 2 5 1 等特点， 相应的，要存储的信息也具有数量大、更新快、一致性低的特点。虚拟计算环境中 的目录服务，除了功能性要求，还应满足以下几点性能需求： 查询响应快：目录服务应满足用户对资源和服务信息的快速查询，即要克 服网络分布性带来的网络延时和海量数据查询带来的响应延时。 负载均衡：虚拟计算环境的目录服务应该能克服单点性能瓶颈，实现负载 均衡。 可扩展性：包括两个层次的扩展性：1 ) 目录服务存储信息的可扩展性，目 前定义的任何数据模型对于未来都将是不完整的；2 ) 目录服务部署的可扩 3 北京邮电大学硕士论文第一章绪论 展性，在分布式的网络中，目录服务必须能随着网络的增长而拓展。 健壮性：目录服务所在的节点可能由于某种原因停止运行或者离开网络， 要保证整个虚拟计算环境仍能正常运行，就需要对目录服务的内容进行冗 余设计，将损失减小到最低嘲 数据一致性：虚拟计算环境的自身特点决定了目录服务最好不是集中式的， 因为这样会引发单点失效和性能瓶颈等问题。分布式的目录服务应该保证 各目录服务中对于相同资源的记录信息总是一致的。 安全性：虚拟计算环境的各节点位于互联网中，互联网固有的安全问题也 是不可忽略的【2 他9 1 。 s d i r i s 2 5 1 针对上述问题，提出了自适应的d 耵底层架构a - f i s s i o n e ，并在此基 础上参考m 删刈给出了高效的多属性区间搜索算法m r f i s s i o n e ( m u l t ip l e a t t r i b u t er a n g ef i s s i o n e ) ，获了得较好的可扩展性和容错性，但是并未涉及负载均衡 以及一致性、安全性等问题。目前，虚拟计算环境中目录服务的结构和实现方式仍 在进一步的探索中。 1 1 3 目录服务相关技术分析 互联网中有各种各样的资源，需要有一定的机制来访问这些资源，得到相关的 服务，于是就有了目录服务。目录服务简单来说，就是为用户提供资源与地址的对 应关系的一种服务。 一般商用的目录服务器，其相关协议从x 5 0 9 【1 5 j 到l d a p ( l i g h t w e i g h td i r e c t o r y a c c e s sp r o t o c 0 1 ) 1 3 1 】等，已经较为成熟。可以按体系结构或者按设计思想进行如下 分类。 根据体系结构的不同，当前的目录服务系统可分为三类1 3 2 1 ： 集中式结构( c s ) ：小规模的网格环境一般采用这种结构。集中式的优 点是系统控制简单，实现容易；缺点是系统的性能和规模受到目录服务 器限制，同时目录服务器容易成为系统性能的瓶颈。 分布式结构( 全对等) ，系统中不存在服务器和客户端的区别，所有节 点对等。分布式的结构优点是系统规模不受限制，具有可扩展性；缺点 是当系统规模达到一定程度，系统管理复杂，系统可靠性和可用性不能 满足用户需求。 层次式结构，是集中式结构和分布式结构的有机结合，主要分为以下两 4 北京邮电大学硕士论文 第一章绪论 种：1 ) 集中集中式( 局域集中，广域集中) ；2 ) 分布集中式( 局域集 中，广域对等) 。 而从设计思想来看，目录服务则可以分为两类【3 3 l ： 层次模型：类似d n s 的组织方式，将对象的名字空间作为一棵或多棵 树，其它实体与根相关联。一般的，层次模型只支持单一的关系，即父 节点子节点。l d a p 采用的就是层次模型，使用别名和指针对层次进 行扩展。模型中涉及的关系丰富了模型的表达能力，不过，在执行各类 查询的时候可能会遇到一些问题刚。 关系模型：类似关系数据库，用平面的表格或关系来表示信息。一种关 系就是一个对象类型，对象本身被定义为属性值对。关系数据模型能 够表示实体之间的任何一种关系( 不仅仅是父节点与子节点的关系) ， 这一点在表示复杂关系的时候要优于层次结构。目前，关系数据模型只 提供最原始的数据类型：整型和字符型。更复杂的类型可以通过在基本 类型之间创建不同的关系产生f 3 5 l 。 目前，主要的目录服务系统包括：基于层次模型的l d a p ，g l o b u sm d s ( m e t a c o m p u t i n gd i r e c t o r ys e r v i c e ) 3 6 - 3 9 l ；基于关系模型的关系型网格监测结构( 1 h e r e l a t i o n a lg r i dm o n i t o r i n ga r c h i t e c t u r e r g m 舢【柏l ，以及r g i s t 4 1 , 4 2 1 。除了上述几个 大型项目外，有许多研究机构和学者也进行了相关的研究。美国w i s c o n s i n 大学研制 的c o n d o r l 4 3 】项目e p 的n a w k c y c t 4 4 1 ，哈尔滨工业大学研制的p g m s l 4 5 l 中的分布式目录 服务f 3 3 l ，中科院计算所研制的织女星网格中的资源发现机制等都是很有代表性的目 录服务系统。 目录服务提供了统一而简便的网络资源管理和组织技术。随着网络上资源以指 数方式增加，对资源的管理和查找问题日益突出，目录服务被视为网络应用发展的 下一个核心技术【3 羽。目录服务有通用协议，也有成熟的商用系统，我们认为目录服 务将向着专业化、标准化两个方向发展。如1 1 2 节所述，i v c e 中的目录服务具有自 身的特殊需求，属于专业化的目录服务应用。 下文将逐个分析p 2 p 、网格、自主计算、u d d i 等技术与目录服务的可结合点 及相应的研究情况。研究这些技术的优缺点和适用范围，是为了在设计和实现虚拟 计算环境中目录服务系统时，有目的、有取舍地借鉴相关的先进思想和方法，以期 在前人基础上实现更高效、更稳定、更安全的目录服务。 5 北京邮电大学硕士论文 第一章绪论 1 1 3 1 目录服务与p 2 p 技术 p 2 p 计算技术近十年来取得了惊人的进步，在文件共享、即时通信、分布计算、 匿名通信等方面取得了巨大的成功，甚至影响了许多互联网用户的生活方式。 p 2 p 是p e e r - t o p e e r 的缩写，称为对等联网。网络中每个节点( p e e r ) 地位都是 对等的，共享他们所拥有的一部分软硬件资源( 计算能力、存储能力、定制的服务、 打印机等) ，这些共享资源需要由网络提供服务和内容，能被其它对等节点( p e e r ) 直 接访问，而无需经过中间实体。也就是说每个节点既是资源( 服务和内容) 提供者， 又是资源( 服务和内容) 获取者。它改变了互联网现在的以服务器为中心的状态、 重返网络最初构想的“非中心化。p 2 p 的非中心化基本特点，带来了其在可扩展性、 健壮性等方面的优势。 可扩展性：在p 2 p 网络中，网络随着用户的加入，不仅服务的需求增加了， 系统整体的资源和服务能力也在同步地扩充，理论上其可扩展性几乎可以认 为是无限的。 健壮性：p 2 p 网络允许节点自由地加入和离开，其架构天生具有耐攻击、高 容错优点。由于服务是分散在各个节点之间进行的，部分节点或网络遭到破 坏对其它部分的影响很小，而且部分节点失效时能够自动调整拓扑，保持其 它节点的连通性。 负载均衡：p 2 p 网络环境下由于每个节点既是服务器又是客户机，减少了对 传统c s 结构服务器计算能力、存储能力的要求，同时因为资源分布在多个 节点，更好的实现了整个网络的负载均衡。 p 2 p 可以分为纯粹的p 2 p 和混合p 2 p 两类。纯粹的p 2 p 模式是指所有参与的计算机 都是对等点，各对等点之间直接通讯，自始至终完全没有中心服务器对对等点间的 信息交换进行控制、协调或处理。而混合p 2 p 模式则依赖于中心服务器去执行一些功 能。纯粹的p 2 p 按其网络节点的组织形式分类，可主要分为非结构化p 2 p ( n o n s t r u c t u r e d p 2 p ) 和结构化p 2 p ( s t r u c t u r e d p 2 p ) 。 非结构化的p 2 p ，即在p 2 p 的准则下节点间组织无固定规则，节点的逻辑连 接艮p i n t e r n e t 中的实际连接。而由于没有中心服务器，节点间查找完全依 6 北京邮电大学硕士论文 第一章绪论 靠泛洪( f l o o d i n g ) ，如g n u t e l l a 4 6 1 ，f r e e n e t 4 7 】等系统。 结构化的p 2 p 网络，网络中的节点按照一定的算法组织成逻辑上的重叠网络 ( o v e r l a y n e t w o r k ) ，重叠网络中节点间的连接和i n t e r n e t 中的实际连接没 有必然关系。结构包括集中式、分层式、树型、环型、几何结构【镐一9 1 ，环 型与集中式相组合、集中式拓扑结构与非规则结构拓扑结构相组合等组合 式拓扑结构。 p 2 p 计算技术虽然有着通用性较差、对协同的支持相对较弱的缺点，但以其良 好的扩展性为各类应用所青睐。近年来，多项研究致力于将p 2 p 应用于目录服务。 2 0 0 1 年，a d r i a n a l a m n i t c h i 和i a nf o s t e r 等人提出了可以将m d s 组织成一个p 2 p 的 网络1 5 0 j ，并对其中的选择路由节点的问题提出了四种方法。在2 0 0 2 年，a r t u r a n d r z e j a k 和z h i c h e nx u 等人提出了一个可扩展的，能进行高效的范围查询的目录 服务模型该模型是以c a n 为基础的，它同时对动态属性的处理提出了几个可行的 办法【5 1 1 。此外，m a r t i nf r a n k , m i nc a i 等人基于c h o r d 提出了一个可以解决范围查询 和部分多属性联合查询的目录服务模型m a a n p o i 。 1 1 3 2 目录服务与网格计算 网格始于元计算( m e t a c o m p u t i n g ) 5 z l ，开始于二十世纪九十年代。其目的是希 望能够在异构环境下利用一些高性能计算集群的计算能力解决高端科学与工程问 题。到2 0 世纪末，出现了一些比较重要的开创性和奠基性的研究项目，比如g l o b u s l 3 6 1 ， l e g i o l l 5 3 1 等。 对网格计算的定义，学术界一直各执一词。其中，由a r g o n n e 国家实验室的i f o s t e r 和c k e s s e l m a n 提出的计算网格的定义具有代表意义，即“计算网格是由硬 件和软件共同构成的基础计算环境，满足用户对可靠、一致、普遍、廉价的高端计 算能力的需求一【1 1 l 。其后f o s t e r 提出了著名的网格的三点判据：1 ) 非中心的资源 管理与控制；2 ) 使用标准、开放、通用的协议和接口；3 ) 提供非平凡的服务质量。 本世纪初，在科学界和工业界共同推动下，网格计算的研究得到了蓬勃发展。 随着w e bs e r v i c e 的发展，网格领域提出了“网格服务 的概念。开放网格服务体系 结构o g s a s 4 , s 5 l ( o p e ng r i ds e r v i c e a r c h i t e c t u r e ) 是网格服务体系结构的代表。o g s a 融合了w e bs e r v i c e s 技术和标准，相比之前以“协议为中心的五层沙漏结构，o g s a 7 北京邮电大学硕士论文第一章绪论 更强调以服务为中心。它的服务概念包括各种计算资源、存储资源、网络、程序、 数据库等。o g s a 定义了统一的服务语义；为服务的创建、命名和发现制定了标准 的机制：提供了服务实例的物理位置透明访问和多协议的绑定；支持服务与本地平 台的集成。开放网格服务基础设施o g s i 5 6 1 ( o p e ng r i ds e r v i c ei n f r a s t r u c t u r e ) 是o g s a 关于网格概念的正式技术规范。之后，g l o b u s 联盟、i b m 等又联合发布了新的网格 标准草案w s r f ( w e bs e r v i c e sr e s o u r c ef r a m e w o r k ) 5 7 , 5 s l ，把o g s i 转换成了6 个 用于扩展w e bs e r v i c e s 的规范。近期，由于工程项目多、理论研究少，理论创新则 更少，对资源的协同关注不够等等原因，网格的发展陷入了一个低谷。 目录服务是网格计算中实现资源管理的基础。在网格监测架构g m a ( g r i d m o n i t o r i n ga r c h i t e c t u r e ) 5 9 1 中将目录服务作为三个核心组件之一，生产者向目录服 务注册自己的能力和信息，而消费者通过向目录服务查询来获取生产者的信息，如 图1 - 1 所示： 事件信j 图卜1g m a 模型体系结构”1 f i g u r e1 - 1g m a m o d e l 1 5 9 1 g l o b u s 早期提出了元计算目录服务( m e t a c o m p u t i n gd i r e c t o r ys e r v i c e ) d r ，主 要使用轻量目录访问协议l d a p 作为网格信息访问与存储的统一界面，提供一个可 配置的信息提供者( i n f o r m a t i o np r o v i d e r ) 组件，称为网格资源信息服务( g r i s g r i dr e s o u r c ei n f o r m a t i o ns e r v i c e ) 和一个可配置的集合目录组件，称为网格目录信 息服务( g i i s - - g r i di n d e xi n f o r m a t i o ns e r v i c e ) 。g l o b u s 后来提出的监测与发现服务 ( m o n i t o r i n ga n dd i s c o v e r ys e r v i c e ) ，完成对分布式系统中服务和资源的监测和发现 i 删。随着目录服务应用瓶颈的暴露，以及对网络资源动态性和分布性的深入研究， 网格目录服务的架构逐渐向p 2 p 方向发展，其中以带超级节点结构的p 2 p 最受关注 【4 5 t 6 1 1 。 8 北京邮电大学硕士论文第一章绪论 1 1 3 3 目录服务与自主计算 自主计算的提出是为了创建一种能够智能监视和管理自身的计算环境，降低计 算系统的复杂性，减少对管理员的需求，节约成本 6 2 1 。它是2 0 0 1 年由i b m 提出并 倡导的技术，此后，对“自主的研究开始在世界范围内扩展，虚拟计算环境的自 主元素也与其有着密切联系。从自主计算的白皮书【蚓中可以得知： 自主计算是指一种计算环境，它有能力管理自己并且能够动态适应环境的 改变以符合业务策略和目标。基于对环境的观察和感知，自管理环境能够执行这种 活动，而不是由r r 的专业人士来执行这种任务。 自主计算系统是指这样一种系统，它能感知自己的操作环境、对环境中的 行为进行建模，并能采取行动改变环境或者它的行为。 自主计算的核心在于自我管理( s e l f - m a n a g e m e n t ) 1 6 3 1 1 6 4 1 ，让系统自己解决问题， 以提高系统运行的效率和增强可靠性。自我管理的四个基本特征是1 6 5 】： 自配置( s e l f - c o n f i g u r i n g ) ：具备通过改变它们自身的配置使得系统能够自适 应地改变条件的特征；具有无需中断服务的情况下增加和移除组件或资源的能力。 自愈( s e l f - h e a l i n g ) ：能够发现和诊断与正常情况之间的偏差，并能够采取 行动使之正常；能够预先解决造成服务中断的问题。 _ 自优化( s e l f - o p t i m i z i n g ) ：系统有能力监测自己的状态和性能，预先调节自己 以便对环境的激励做出响应。 自保护( s e l f - p r o t e c t i n g ) ：结合智能以发现和解决安全威胁；具有保护自身免 受物理损害的设备。 自主计算与虚拟计算环境有着相似的目标和原则，它们都希望设计出的系统能 够自适应地处理环境的变化，同时能够有效地对负载进行平衡。以这种方式，自主 技术能够帮助目录服务的提供者更加容易和廉价地管理其所辖的虚拟计算环境。 1 1 3 4 目录服务与w e b 服务 近年来，随着人们需求的增长和互联网的日益普及，w e b 服务发展迅速。统一 描述、发现和集成( u d d l u n i v e r s a ld e s c r i p t i o n ，d i s c o v e r y , a n di n t e g r a t i o n ) 项目是 一套基于w e b 的、分布式的、为w e b 服务提供信息注册中心的实现标准规范，同 9 北京邮电大学硕士论文第一章绪论 时也包含一组使企业能将自身提供的w e b 服务注册以使得别的企业能够发现的访 问协议的实现标准【6 6 1 。u d d i 提供了一组基于标准的规范用于描述和发现服务，还 提供了一组基于因特网的实现。w e b 服务注册实现的功能与网格监测系统中的目录 服务基本相同。w e b 服务体系结构的基本组件如图2 5 所示1 6 7 1 ： b i n d 固 图卜2w e b 服务体系结构 f i g u r e l - 2a r c h i t e c t u r eo fw e b s e r v i c e 代表w e b 服务体系结构的三个基本组件所执行的三个基本操作是：服务提供者 通过在服务代理那里注册来配置和发布服务，服务请求者通过查找服务代理者那里 的被发布的服务登记记录来找到服务，服务请求者绑定服务提供者并使用可用的服 务。其中发布的服务使用“u d d i a p i 胗；查找服务使用u d d i 和w e b 服务描述语言 的组合( w s d l ) ；绑定服务负责处理w s d l 和简单对象访问协议( s o a p s i m p l e o b j e c ta c c e s sp r o t o c 0 1 ) 嘲。 从体系结构图不难发现，w e b 服务与g m a 模型的工作模式十分相近，也体现 了i v c e 按需聚合的思想，同时又具有较好的可操作性。u d d i 的标准规范对i v c e 中的目录服务有着较高的参考和借鉴价值。不过，w e b 服务不涉及实体的绑定和自 主性，对自主协同没有直接支持，对服务的查询瓶颈等缺少深入的研究。 1 1 3 5 目录服务相关技术小结 如前所述，i v c e 中目录服务的发展与p 2 p 、网格计算、自主计算、w e b 服务等 技术密不可分，这些技术各有其可借鉴之处： p 2 p 技术注重互联网络边缘的计算节点如何参与计算、资源共享和通信， 虽然通用性不足，协议规范性较弱，但是能有效地实现大规模网络的自组 织和自管理，为目录服务应用于大型动态性网络提供了良好典范。 1 n 亨洒 i_。l 北京邮电大学硕十论文 第一章绪论 网格计算与i v c e 一样向以服务为中心发展。其事实标准的g l o b u s 中，目 录服务的g i i s g r i s 分层结构使得其对网络动态性的适应较好，且自身具 有一定的容错性，尽管这个容错性付出了沉重的查询速度代价。此外，其 目录服务的查询语句无法满足复杂的语义，且数据格式设计由于历史原因， 大多只适用于计算资源，而对其他的资源描述则远远不足。 自主计算作为新兴技术之一，与i v c e 中部分思想相近，其自管理、自配 置的理念为有效的提高目录服务性能，实现动态的负载均衡提供了有益的 思路。 w e b 服务尽管在理论上与目录服务相关性不大，但其在实际可操作性、规 范化的层面做出了很大贡献。同时，w e b 服务中的很多协议可以应用于 i v c e 的目录服务，如x m l ，s o a p 等。 目前，已经有一些工作将自主计算技术与网格计算、p 2 p 技术相结合。o r g a n i c g r i d e 6 8 1 在p 2 p 网络上提出了基于移动a g e n t 自主调度的完全分散的方法来组织计算。 a c c o r d t 6 9 】能够对网格服务进行自主的合成，并使得网格应用能够自主管理。哈尔滨 工业大学姚远哲等人与作者也在r n m s ( r n e tm o n i t o r i n gs y s t e m ) 中，试图采用自 主控制的机制来自适应地降低网络监测系统中的侵扰 7 0 l 。 1 2 主要研究内容及意义 由于i v c e 中资源广域分布、异构、自治、动态等特性，建立在其上的资源发现 与管理是一个非常复杂且具有挑战性的问题。本课题虚拟计算环境目录服务系统 设计与实现希望能针对i v c e 中目录服务的需求及现状，结合上述p 2 p 、自主计算 等相关技术，设计出适用于i v c e 的目录服务系统， 较好地解决资源发布与发现的 问题，为资源的聚合与协同提供基础。 传统的集中式目录服务会使目录服务器成为系统性能的瓶颈，而且服务器的单 点失效会导致整个系统功能的崩溃。虽然备份可以降低系统的风险，但是备份所付 出的代价却往往超过获得的效果。于是，分布式的目录成为人们关注的焦点。 本文首先提出了一种简单的分布式目录服务系统。这个分布式目录服务系统分 为全局和局部两个层面的目录服务。全局目录服务由多个相互独立、地位平等的多 个局部目录服务组成，各局部目录服务之间既相互独立，不彼此拥有和管理，又能 够相互通信、密切合作，并且能够缓存部分其它目录服务中的动态信息。根据网络 的局部性原理，资源提供者和资源获取者都只与本地目录服务进行交互，各局部目 录服务之间可以相互进行查询节点信息的通信。这样，将单点失效控制在了一个局 部的自治域内，提高了整个网络的可靠性。同时，由于资源信息更新局限在自治域 北京邮电大学硕士论文第一章绪论 内传输，使得更新效率较高，更新产生的网络侵扰有限；在查询负载较小时，本地 的局部目录服务也可以提供较好的服务。但是，经过进一步的理论分析和作者的实 际测试证明，这种简单的分布式目录服务系统仍有着跨域查询时带宽占用严重、效 率低下，局部目录服务可能负载过重，以及自治域内的单点失效等问题。 明确了上述简单分布式目录服务系统的不足，具有健壮性、负载均衡等特点的 p 2 p 系统此时就成为一个非常有吸引力的解决方案。本文设计和实现了一种基于p 2 p 的自适应目录服务系统( p 2 p - b a s e ds e l f - a d a p t e dd i r e c t o r ys e r v i c e s ，p b s d s ) ，虽 然仍是以各个局部目录服务系统组成，但是这些目录服务系统之间结构化p 2 p 的方 式组织起来。同时，任何信息在存储时，都应在整个p b s d s 中寻找合适的位置存放 其备份，这种非中心的网络结构有效避免了单点失效问题。另外，p b s d s 系统具有 良好的自适应性，主要体现在：( 1 ) 自适应的的负载平衡机制；( 2 ) 自适应的冗余 副本放置机制；( 3 ) 自适应的多路查询选择机制。同时，p b s d s 采用了基于角色的 访问控制策略，有效地保障了目录服务的安全性。在数据更新方面，p b s d s 采取“分 而治之”的策略，对不同类别的信息以不同的频率和副本个数进行更新，进一步减 小对带宽的占用，降低侵扰；而对于自身存储的信息，及时进行有效性检查，以确 保数据一致性和可用性。 总体来说，本文主要有以下贡献： ( 1 ) 设计和实现了一种简单的分布式目录服务系统，该系统查询速度快，侵扰 低，实现简单，解决了全局意义上的单点失效。 ( 2 ) 在分析简单的分布式目录服务系统缺陷的基础上，将p 2 p 与i v c e 结合起 来，设计和实现了一种p 2 p 目录服务系统p b s d s 。它具有以下特点：在负载均衡方 面提出了多路副本分担查询机制和自适应的转发代理机制，避免了目录服务单点负 担过重；在查询机制方面，增加了范围查询和多属性值联合查询，更好的适应了用 户需求；在副本位置选择方面，采用了等间距放置的策略，提高了目录服务的健壮 性；在访问控制方面，引入基于角色的控制机制，提高系统的安全性。 ( 3 ) 对简单分布式目录服务系统和p 2 p 目录服务系统进行了详尽的性能分析。 结果表明p b s d s 能更好地i v c e 中资源发现和查找的问题。 1 3 研究生期间其他研究工作 本人在硕士研究生期间，除了参与本9 7 3 课题“虚拟计算环境聚合与协同机理研 究”，负责其中的目录服务研究与开发以外，本人还参加了v o i p 的安全性研究和i m s 上的彩虹互动体验平台的研究和开发工作。 1 2 北京邮电大学硕+ 论文第一章绪论 v 0 口安全性研究( 国家信息安全2 4 2 项目) ： 1 ) 研究了s i p 和h 3 2 3 协议标准，分析了这两组协议的漏洞和攻击方法。 2 ) 设计并实现了对v o l p 会话的攻击模块。 3 在第十二届全国青年通信学术会议上发表了( v o l p 会话拆卸攻击分析。 彩虹互动体验平台( b e a i m s 应用创意大赛) ： 1 ) 研究了i m s 的网络框架，相关标准如r f c 3 2 6 1 ，r f c 3 2 6 5 ，3 g p p2 9 2 2 8 等。 2 ) 研究并参与开发基于i m s 的彩虹互动体验平台中信令流程。 限于论文篇幅和文章的一致性，本文只关注虚拟计算环境目录服务系统的研究 成果，而不涉及上述两方面的研究和开发。 1 4 论文的组织结构 本文第一章绪论介绍了背景及相关技术，分析了论文的研究内容和积极意义。 文章剩余部分是这样组织的： 第二章“简单分布式目录服务系统设计及实现”，首先给出了i v c e 试验床的基 本工作原理和架构，描述了i v c e 中简单分布式目录服务系统的设计、实现，在理论 分析结合实际性能测试的基础上总结了该方案的优缺点； 第三章“基于p 2 p 的自适应目录服务系统( p b s d s ) 设计与实现 ，在第二章的 分析基础上，针对简单分布式目录服务的缺点提出了基于p 2 p 的自适应目录服务系统 p b s d s 的系统结构，接着详细阐述t p b s d s 对d h t 算法查询机制的改进、系统健壮性设 计、负载均衡设计、安全设计、p o r t a l 设计等方面； 第四章“虚拟计算环境中目录服务系统性能分析，设计了p b s d s 的性能测试， 并以试验数据说明p b s d s 方案的合理性与有效性； 最后，第五章总结了本课题的贡献和创新点，展望下一步努力方向。 北京邮电大学硕士论文 第二章简单分布式目录服务系统设计与实现 第二章简单分布式目录服务系统设计及实现 上一章简要介绍了i v c e 中目录服务系统的需求和相关技术，本章将着重阐述 借鉴g m a 结构设计的简单分布式目录服务系统，并对其实验性能进行评估。 目录服务系统是i v c e 实验床的重要组成部分。因此，在说明简单分布式目录 服务系统前，首先简要介绍i v c e 实验床的功能与结构。设计并构建i v c e 实验床， 其目的在于验证虚拟计算环境的体系结构模型及各类机制的有效性，获得统计性质， 并进行反馈和调整。我们构建的i v c e 实验床由两个平台组成：1 ) i v c e 资源监测 平台，用于监测i