（计算机应用技术专业论文）网格资源选择配置策略技术研究.pdf

天津师范人学硕士学位论文 摘要 随着当今i n t e n l e t 技术目渐成熟和第三代互联网的提出，网格计算的设想与实践已不 再遥远，网格计算的核心是对异地异构资源非集中性控制的资源协调，通过通用开发的协 议和接口，提供优质的服务，而网格资源选择性配置方案，就是为解决现今网格中资源的 不合理利用所提出的。 首先，本文针对服务网格中资源的安全共享问题，提出了在复合条件下认证服务的资 源共享方案，通过消息认证、签名方案和访问控制等方法保证在服务网格环境下资源共享 方和资源申请方的个人信息和共享资源安全。 其次，本文为解决服务网格中资源的不合理利用，传输过程中瓶颈造成的封包被动式 丢弃管理等问题，通过研究在有限容量条件下多元受限任务的等待，提出了网格资源选择 性配置方案以及对应的封包主动式管理g r s ，通过建立数学模型，验证了算法的稳定性 和可靠性，并对模型进行了仿真计算，验证了模型的可行性。在仿真实验过程中，与以往 的被动式管理进行了对比分析，初步证明了方案的实际价值，论文最后对所作的工作进行 总结，并指出有待进一步开展的工作。 本文基于对服务网格中资源的安全共享和网格中资源的不合理利用等问题进行了研 究，通过算法分析和仿真实验初步证明了该方案具有一定应用价值。笔者认为，随着网格 技术和信息通信安全技术不断发展，这里提出的网格资源选择性配置策略和在复合条件下 认证服务的资源共享方案将不断拓宽网格技术的商业化发展道路，具有一定的探索和创新 精神。 关键词：服务网格；安全共享；资源选择性配置；多元受限；主动式队列管理 天津师范大学硕士学位论文 a b s t r a c t n o w a d a y s ，w i t hi n c r e a s i n 西ys o p h i s t i c a t 酣i n t e m e tt e c l l l l o l o g y 觚dt h e 衄r dg e l l e r 撕o no f t l l ei n t 锄e ts u g g e s t e d 血a tm ei d e aa n dp r a c t i c eo f 断dc o m p u t i n gi si l ol o n g e rf 盯a w a y t h e c o r eo f 鲥dc o m p u t i n gi sr e s o u r c cc o o r d i n a t i o nw l l i c hf o c u so no 昏s i t e h e t e r o g e n e o u s r e s o u r c e sc o n 仃o nb yt h en o n c o n c e n 仃a t e d t h f o u 曲m ec o i n m o nd e v e i o p m e i l ta 伊e 啪锄ta i l d i n t e r f a c e s ，i tw a l l tt 0p r o v i d eh i g hq u a l i t ) rs e n ，i c e ，w h i l et h es e l e c t i v i t yo f 鲥dr e s o u r c e a l l o c a t i o ns o l u t i o ni st os o l v et h ec u r r ti r r a t i o n a lu t i l i z a t i o ni n 鲥dr e s o u r c e s f i r s to fa l l ，t l l ea n i c l ef o c u so nt h es e c 嘶t ys h a r i n go f 酊dr e s o u r c e ，i tp r o p o s e dt l l e c o n d i t i o n so fr e s o u r c e - s h 撕n gp r o g r a mmt l l ec o m p o s i t ec e r t m c a t i o ns e r v i c e s ，t l l r o u 曲t h e m e s s a g ea u t h e n t i c a t i o n ，s i 髓a _ t u r ep r o g r a m s 锄da c c e s sc o n n 0 l 狮do t h e rm e t h o d st oe n s u r et l l a t r e s o u r c es h 枷n ga l l dr e s o u r c es i d ea p p l i c a l l t sp e r s o n a li n f o m a t i o na i l ds h 撕n go fr e s o u r c e s e c l l r i t yu n d e rt h es e r v i c e 酣de n v i r o 啪t s e c o n d l y m ea r t i c l ei st oa d d r e s s 吐l ei r r a t i o n a lu s eo fs e r v i c eg r i dr e s o u r c e sa l l d 廿l e p m c e s s o fd i s c 砌i n g p a c k e t sp a s s i v em a l l a g 锄e n t i s s u e sc 制【s c d b y 仃a n s m i s s i o n b o t t l e n e c k s t h r o u 曲r e s e a r c h i n g t h e w a i t i n g u 1 1 d e rt h ec o n d i t i o n so fal i m i t e d c a p a c i t y - c o n s 仃a i n e dm u i t i - t a s k ，t h ea n i c l ea p p l yt h es e l e c t i v e 咖dr e s o u r c ea l l o c a t i o np r o 蓼锄s a i l dt h e c o r r e s p o n d i n gp a c k e t a c t i v e m a l l a g e m e i l t g r s e s t a b l i s h i n g t l l em a t h e m a t i c a l m o d e l s ，i tv 甜f i e st h es t a b i l i t ya n dr e l i a b i l i t yo ft h ea l g o 竹c h m a n di tv e 6 e sm em o d e l s f e a s i b i l i t ys i m u l a t i o nc o u n t i nt h es i m u l a t i o np r o c e s s ，w i t hm ep r e v i o u sp a s s i v em a n a g e m e i l t o fm ec o m p 删h v ea 1 1 a l y s i s ，i tp r o v e sm er c a lv a l u eo ft l l ep m g r 锄f i n a l l y t h ea n i c l es u m su p m ew o r ka 1 1 dn o t e st h a ti tn e e d st ob e 血r t l l e rw o r ki np r o 黟e s s b a s e do nr e s o u r c es h 撕n g 锄d 酊ds e c u n t yo ft l l ei r r a t i o n a lu s eo fr e s o u r c e s 锄do t h e r i s s u e sw i t haa n a l y s i so fa i g o r i t h m s 锄ds i m u l a t i o ni nt l l es e n r i c e 酣d t h i s 缸i c l ep r e l i m i n a r y p r o v et h a tm ep r o 黟锄h a sac e r t a i nv a l u e ib e l i e v em a t ，w i t l lt h ed e v e i o p m e l l to ft e c h n o l o g y a 1 1 di n f 0 n n a t i o nc o m m u n i c a t i o ns e c 嘣t yt e c h n 0 1 0 9 y i tp r e s e l l t e df o rg r i dr e s o u r c es e l e c t i v e a l l o c a t i o ns 昀t e 百e s 觚dr e s o u r c e - s h a r i n gp r o 黟锄o fc c n i 丘c a t i o ns e r v i c e si i lt h ec o m p o s i t e c o n d i t i o n sw i l l c o n t i n u et ob r o a d 印t l l ec o m m e r c i a l i z a t i o no f 鲥dt e c l m o l o g y d e v e l o p m e n t t h u s i th a v eac e r t a i nd e 缪i e ：eo f e x p l o r a t i o na n di n n o v a t i o n k e y w o r d s ：s e i c eg r i d ，s e c u r i t ys h 撕n 岛s e l e c t i v ea l l o c a t i o no fr e s o u r c e s ，m u l t i l i m i t e d ， a c t i v eq u e u em a n a g e i i l e n t l l 独创性声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研究成果。尽 我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过 的研究成果，也不包含为获得苤盗竖整盘堂或其它教育机构的学位或证 s 而使用过的 材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示 了谢意。 签名： 学位论文版权使用授权书 本人完全了解天津师范大学有关保留、使 j 学位论文的规定，即：学校有权将学位论 文的全部或部分内容编入有关数据库进行检索，并采用影印、缩印或扫描等复制手段保存、 汇编以供查阅和借阅。同意学校向国家有关部门或机构送交论文的复印件和磁盘。 ( 保密的论文在解密后应遵守此规定) 签名：夺向导师签名：日期： 天津师范大学硕士学位论文 第一章绪论 1 1课题的开发背景 互联网( i n t e r n e t ，又译因特网、网际网) ，即广域网、局域网及单机按照一定的通 讯协议组成的国际计算机网络，是将两台计算机或者是两台以上的计算机终端、客户端、 服务端通过数据包交换方式和统一标准的信息传输协议t c p i p 互相联系起来的。“1 t c p i p 是英文t r a n s m i s s i o nc o n t r o lp r o t o c o l i n t e m e tp r o t o c o l 的缩写，意思是“传输 控制协议网际协议 。在i i l t e m e t 上传输控制协议和网际协议是配合进行工作的。网际协 议( i p ) 负责将消息从一个主机传送到另一个主机，为了安全消息在传送的过程中被分 割成一个个的小包。传输控制协议( t c p ) 负责收集这些信息包，并将其按适当的次序 放好传送，在接收端收到后再将其正确地还原。传输协议保证了数据包在传送中准确无误。 通过t c p i p 在功能上的互补，我们实现了计算机在局域网问的互联，为因特网发展奠定 了基础，这一阶段的互联网，我们称之为第一代互联网，它的功能主要是进行文件的传输 和邮件的收发等。“1 用超文本和多媒体技术改造了第一代互联网的第二代互联网，万维网( w b d dw i d e w 曲) 是一个资料空间，由一个全域“统一资源标识符”( u r l ) 标识资源，这些资源通过 超文本传输协议( h y p e n e x tt r a n s f e rp r o t o c 0 1 ) 传送给使用者，而后者通过点击链接来获得资 源。从另一个观点来看，万维网是一个透过网络存取的互连超文件( i n t 甜i n l ( e dh y p e n e x t d o c u m e n t ) 系统。 第二代互联网是对上一代互联网的改进，但仍然存在很多严重的问题，首先：现今的 互联网使用的是i p v 4 协议，3 2 位的地址空间提供的约4 0 亿个地址空间，到2 0 0 5 年将全 部分配完毕，这严重制约互联网的发展；其次，现今的互联网信息存储不规范，没有得到 规范的管理，一方面浪费了资源，另一方面降低了工作效率。 下一代互联网将从多角度解决当前互联网暴露的问题： 首先，更强大的网络空间：下一代互联网采用i p v 6 协议，i p v 6 将现有的i p 地址长度 扩大4 倍，由当前i p v 4 的3 2 位扩充到1 2 8 位，以支持大规模数量的网络节点。这样m v 6 的地址总数就大约有3 4 幸1 0 e 3 8 个，i p v 6 支持更多级别的地址层次，i p v 6 的设计者把i p v 6 的地址空间按照不同的地址前缀来划分，并采用了层次化的地址结构，以利于骨干网路由 天津师范大学硕士学位论文 器对数据包的快速转发。这将使网络规模更加强大，接入网络的终端种类和数量更多，网 络应用更广泛。 其次，更加快速安全及时的服务：下一代互联网以1 0 0 m 字节秒以上的速度进行点 对点的高性能通信，并通过数据间的加密保护进行网络终端的个体识别和身份认证，从而 实现一个可信任的网络。 再次，更加及时方便和可控的网络模式：下一代互联网通过有序的管理、高效的运营 方式和及时的维护，提供的组播服务可开发大规模实时交互应用，同时，无处不在的移动 和无线通信技术的应用，使下一代互联网可以为人类提供更加方便快捷的服务，并可创造 实际的社会效益和经济效益。 最后，通过下一代互联网，人们将进一步享受到网络带来的好处：网格计算、高清晰 度电视、强交互点到点视频语音综合通信、智能交通、环境地震监测、远程医疗、远程教 育等都将得以实现。n 1 2 国内外网格计算研究现状 有关网格的研究始于上世纪末，由美国国家实验室和南加州大学信息科学研究所共同 领导的高性能分布式计算g l o b u s 项目中，首次使用了“网格( g r i d ) ”这个具有分布式计算 基础结构的名词，是一种能够广泛利用分布在因特网上数以亿计的异构资源( 包括计算资 源、存储资源、带宽资源、软件资源、数据资源、信息资源、知识资源等) ，并整合为一 个逻辑整体，从而实现虚拟组织( v o ) 的资源共享和问题求解，为用户提供一体化信息服 务。 至今“网格( g r i d ) ”概念并没有统一确定的定义。网格计算创始人i a l lf o s t e r 博士在 网格：2 l 世纪信息技术基础设施的蓝图一书中这样描述网格：“网格是构筑在互联网上 的一组新兴技术，它将高速互联网、高性能计算机、大型数据库、传感器、远程设备等融 为一体，为科技人员和普通老百姓提供更多的资源、功能和交互性。互联网主要为人们提 供电子邮件、网页浏览等通信功能，而网格功能则更多更强，让人们透明地使用计算、存 储等其他资源。”中国科学院计算所所长李国杰院士认为，网格实际上是继传统互联网、 w 曲之后的第三次浪潮，可以称之为第三代互联网应用。4 1 作为一种高性能广域分布式计算模型，从网格概念提出至今，网格计算已经引起了政 府、学术界、高新企业和工商业界的高度重视，掀起了自w 曲之后的第三次技术浪潮， 现在的网格计算其研究和实验早已不在局限于学术和研究领域，在诸如富士通、惠普、微 天津师范大学硕士学位论文 软、谷歌等企业提供资金支持和商业开发之后，网格计算在技术上不断成熟，在应用中不 断取得重要进展。迄今为止，国际上已经出现许多网格研究项目，包括英国建立支持 e s c i e l l c e 和电子商务的下一代i t 基础体系结构的e s c i e l l c e 计划；欧盟资助研究包括高 能物理学、生物与医疗图片处理以及地球观测的e ud a t ag r i d 项目；德国联邦教育和 研究部资助的u n i c o r n 项目；瑞典国家用于高吞吐量计算，以快速处理大量的松散耦 合的非并行计算的s w e g r i d 项目；德国联邦教育和研究部提供资助的d g r l d 项目以 及爱尔兰网格、俄罗斯科学网格等。 在亚洲，j 下在从事网格研究的主要国家和地区有中国大陆、韩国、新加坡和中国台湾。 日本通过亚太网格( a p 例d ) 和亚太应用软件及网格中间件会议( p r a g m a ) ，主动促进地区 网格发展。p r a g m a 是包括美国和澳大利亚在内的亚太地区的网格活动促进组织。亚洲 国家正在积极实施网格项目，以便迅速赶上国际水平。 表l l 国内外网格项目 项目参与机构预算 期限目标 欧盟数据 欧洲核研究中心海德堡大学，英9 8 0 万欧2 0 0 l 2 0 0 3 年通过网格实 网格( 欧 国i b m ，法国国家科学研究中心，意 元3 年，时执行皮字 盟) 大利国家核物理研究院，英国粒子物 节数据处理 理与天文研究理事会 a s 仃o d 爱丁堡大学，莱斯特大学，剑桥 d t i2 0 0 l 2 0 0 4 年欧盟和美国 ( 英国)大学，贝尔发斯特女王大学等p p a r cn v o 共同开 5 0 0 万英展的天文学 镑 观测和研究。 “网格产业技术综合研究所、东京工业经济产业2 0 0 2 2 0 0 6 年实现集群技 集群联大学，筑波大学阿，东京大学省1 3 亿术、网格技术 盟”( 日日元5 年 本) 中国计算4 0 0 0 万网格连接多 网格( 中中国科学院美元中高性能计算 国) 国科技部 机中心( h p c ) 由表1 1 我们可以看出，我国在网格技术领域发展较晚，虽具备了一定研究基础，在 3 天津师范大学硕士学位论文 该领域也已开展了一定程度的研究工作，但仍存在资金不足和科研人员缺乏的情况，且我 国对网格技术具有重大的应用需求，因此在教育部“十五”2 1 1 工程公共服务体系建设中 提出了建设“中国教育科研网格 ( c h i n a 舒d ) ，该项目主要由生物信息学网格、图像处 理网格、远程教育网格、流体力学网格和海量信息处理网格这五大专业应用网格构成。b 1 它将充分利用中国教育科研网和高校的大量计算资源和信息资源，开发相应的网格软件， 配合网络计算机的使用，将分布在c e r n e t 上自治的分布异构的海量信息资源集成起来， 实现c e r n e t 环境下资源的有效共享，消除信息孤岛，提供有效的服务器，形成高水平、 低成本的计算服务平台，项目第一期投资1 2 0 0 万，目前项目研究仍在进行之中，该项目 对提升我国教育科研信息技术和应用水平，促进国民经济和社会发展，具有十分重要的意 义。 1 3网格研究与应用所面临的问题 从网格概念的提出至今，在全球范围内无论是学术界还是产业界对网格的研究都是如 火如荼，并不断取得重要进展，但网格技术的研究与应用仍面临以下问题 ( 1 ) 硬件设施有待提高 目前针对网格技术最低端的终端服务器，其计算机性能、存储器容量以及网络设备均 有待提高，从而满足实时、大规模的应用需求。 ( 2 ) 软件技术有待突破 网格技术的关键是要通过互联网将异地异构资源进行整合，因此对网内动态资源的高 可靠性和高利用性0 资源的安全共享、通信的安全保证以及大型分布存储系统的研发等， 这些均对网格软件技术提出了要求。 ( 3 ) 对网格资源的可靠性和可利用性的保证 首先，网格资源是通过网络连接分布在不同地域的异构资源，从时间上讲，网格是一 个时时变化的环境，作为其中的网格资源节点具有不确定性，其表现为进入网格系统的动 态性和自身动态性，这就要求网格系统对资源状态进行实时监测。 其次，网格系统对于在地理上广域分布的各类数据资源、计算资源以及信息资源其节 点在连接上具有不可靠性和在传输上会存在延时，这同样影响了网格系统的服务质量。 最后，由于网格系统内部资源节点种类繁多，一方面，需要新技术新方法来解决网格 系统中存在的严重的异构问题，得以优化整体性能；另方面，在跨组织的资源共享和协 同服务中，需通过安全可靠的管理策略保证计算环境的可信性。 4 天津师范大学硕七学位论文 因此，由于硬件设施的不足和软件研究理论的薄弱，要形成和第二代互联网一样具有 电子政务、电子医务、电子公务、电子商务、电子教学以及将图像、语音和数据“三网合 一”的多媒体业务综合平台的网格软件系统和应用工具仍需较长的开发和研究时间。 总之，网格技术的发展仍处于初级阶段，网格系统内计算资源的组织管理还没有形成 一套成熟的方案，从科学研究走向实际应用仍需时日，基础理论研究还很薄弱，认识还很 肤浅，要解决上述问题就需要我们进一步开展更多的相关研究工作。 5 天津师范大学硕士学位论文 第二章网格体系结构 2 1网格技术的提出与发展 网格( g r i d ) 一词最早来源于电力网( p o w e 刷d ) 概念，是一种新兴的技术，正处在不断 发展和变化当中，目前学术界和商业界围绕网格开展的研究有很多，其研究的内容和名称 也不尽相同因而网格尚未有精确的定义和内容定位。中国科学院计算所所长李国杰院士认 为，网格实际上是继传统互联网、w 曲之后的第三次浪潮，可以称之为第三代互联网应 用。其最终目的是希望通过高速共享的互联网把广泛分布在因特网上数以亿计的异构资源 ( 包括计算资源、存储资源、带宽资源、软件资源、数据资源、信息资源、知识资源等) 结合起来，连成一个逻辑整体，形成一个虚拟的、空前强大的超级计算机，满足用户不断 增长的计算、存储、访问等需求，为用户提供一体化信息服务，彻底消除资源“孤岛”， 最终实现信息共享，使信息世界成为一个有机的整体。1 网格的发展共经历三个阶段：第一阶段始于2 0 世纪9 0 年代初期，是网格发展的萌芽 阶段，主要研究元计算和千兆网试验床方面的工作：第二阶段在2 0 世纪9 0 年代中后期， 网格技术得到进一步发展，相继出现了一些比较重要的开创性的研究项目，比如e ud a t a g r i d 、g 1 0 b u s 、e g e e 等：目前作为网格计算迅速发展的第三阶段，出现了影响很大的组 织一一全球网格论坛g g f ，一个由网格用户、开发者和生产商组成的社区，一直致力于 推动网格计算的全球化，长期以来领导着网格标准的制定和整个网格计算的发展。今年来， 网格正在向开放网格体系结构进化，其最典型的代表就是用于构建计算网格的开放体系结 构、开放标准的项目的g 1 0 b u s ，这是一个开放源码的网格的基础平台，基于开放结构、 开放服务资源和软件库，并支持网格和网格应用，目的是为构建网格应用提供中间件服务 和程序库，允许跨异构动态虚拟组织的服务集成。同时网格计算正通过更广泛领域的交叉 学科的科学研究，提供科学计算、模拟数据仿真，使其不再仅仅局限于单一的科学研究， 而能致力于社会实际生产，加强企业设计、制作、调试和维护能力，缩短生产周期，降低 生产能耗，最终提高企业竞争力。 网格概念是以异地异构资源( 包括计算资源、存储资源、带宽资源、软件资源、数据 资源、信息资源、知识资源等) 的共享和解决逻辑整体即虚拟组织的协同问题求解为核心， 通过对虚拟组织中地域上的分布性、组织上的动态性、管理上的统性和自治性等特点资 6 天津师范大学硕士学位论文 源的分享和集成，提供协同工作环境，为用户提供一体化信息和应用等服务( 计算、存储、 访问等) 。 2 2 网格技术分类 美国福布斯杂志曾发表文章预测信息技术的下一波浪潮将在2 1 世纪初出现，这 一波浪潮的本质特征就是万维网( w o r l dw i d ew e b ) 升华为网格( g r e a tg l o b a l d ) ，根据它 们的分类，如图2 1 所示，网格技术一般主要分为以下几类：计算和数据网格( c o m p u t a t i o n a l a n dd a t ag r i d ) ；信息和知识网格( i n f o m l a t i o na n dk n o w l e d g e g r i d ) ；服务和商业网格( s e r v i c e g r i d ，b u s i n e s sg r i d ，c o r 啪e r c i a lg r i d ) ；其他网格类型( o t h e rg r i dm o d e l ) 。 图2 1 网格技术分类 2 2 1 计算和数据网格 计算网格( c o m p u t a t i o n a lg r i d ) 即为一个在广域范围内的一体化的继承与协同计算环 境，在早期称为“元计算”( m e t ac o m p u t a t i o n ) ，通过集成互联网中同地、异地、同构、异 构的计算机、工作站、机群( n o w ) 、群集( c o w ) 、数据库、高级仪器和存储设备等各类 资源，形成一个具有高透明性( 对用户) 、高计算性能( 环境) 的虚拟组织，以现有网络 中异地异构各类有效资源的聚合为目标，实现高性能计算。 数据网格( d a t ag r i d ) 是对网格基本功能的数据扩充管理，一方面通过元数据目录搜 索发现资源并对资源进行系统支持，另一方面，通过存储资源代理可以在异地异构的存储 资源( 文件系统、数据库) 上进行数据计算，其主要应用于生物医药、航空航天、地球观 7 天津师范大学硕士学位论文 测模型、高能物理和粒子物理、数据仓库和数据挖掘。 2 2 2 信息和知识网格 信息和知识网格( i n f 0 肌a t i o na i l dk n o w l e d g eg r i d ) 通过网格技术系统性的实现了网络 内异地异构各类有效资源的共享、管理和服务，主要应用于分布式异构数据源的连接和相 互协作问题，以满足企业、高校机关、科研机构等组织信息共享的需求。 2 2 3 服务和商业网格 服务和商业网格( s e r v i c ea n db u s i n e s sg r i d ) 是一种不仅局限于科学研究，还支持诸如： 交易、通信、计算、信息等方面服务的通用网格，当用户向网格中心提交服务申请，网格 中心进行计算，最终完成服务并将结果发送至客户端，服务和商业网格( s e r v i c ea n d b u s i n e s sg r i d ) 的主要评价并不以完成时间、计算速度及正确率等传统指标为标准，而是以 用户满意度和对服务质量的评价为标准。更快的速度和更好的服务同样也是我们研究思路 的方向，在本文后几章我们将提出文章的主要研究核心：为解决网格资源不合理利用所提 出的，网格资源选择性配置方案。 2 3 网格技术体系结构 2 3 1网格五层沙漏体系结构 五层沙漏结构是早期出现的网格体系结构，是建设网格的标准化的协议和服务，该结 构主要包括以下五个层次8 ：构造层( f a b d c ) ：为上层提供共享资源的物理或逻辑实体； 连接层( c o i l l l e c t i v i t y ) ：通过控制网格中网络事务处理、通信与授权来保证通信的便利和安 全；资源层( r e s o u r c e ) ：通过调用构造层函数来控制单一资源；汇集层( c 0 1 l e c t i v e ) ：将受 控资源汇集在一起，供虚拟组织的应用程序共享和调用；应用层( a p p l i c a t i o n ) ：网格上用 户的应用程序。 表2 1 网格五层沙漏结构 层次作用 应用层工具与应用 汇聚层目录代理、诊断监控 资源层资源与服务的安全访问 连接层 构造层各类资源 图2 - 2 开放网格服务体系结构 天津师范大学硕七学位论文 述为服务，这种将实体物理资源抽象为虚拟服务的方式，使地域上具有分布性、管理上具 有灵活性的异地异构资源的动态共享管理机制得到实现。 l o 天津师范人学硕士学位论文 第三章网格资源选择性配置策略 3 1 网格资源模型 网格资源模型决定了系统对资源描述与资源管理的方式，即描述资源的数据及相关数 据的存储，其与没有约束关系的单一节点间全平结构的直接通信不同，网格资源节点间采 用层次结构存储和通信方式，充分考虑了节点之间自然存在的关系，并通过软件管理弥补 节点间通信的灵活性损失，网格资源层次结构分为以下两方面“： 网格资源物理结构：在网格环境中所有通过实际的物理连接形成的节点问存储和通信 关系。 网格资源逻辑结构：在网格环境中各资源节点通过拓扑关系映射及相关特性得到所需 的数据结构。 在实现上，我们首先通过网格环境中所有通过实际的物理连接形成的节点间存储和通 信关系建立一棵物理资源树，再通过各资源节点通过拓扑关系映射及相关特性得到对应的 逻辑资源树( 如图3 1 、图3 2 ) 。 图3 1 网格资源物理树存储 天津师范大学硕士学位论文 图3 2 物理树对应其逻辑树 3 2 网格资源树的建立、存储和维护 网格资源树的建立，通过实际的物理连接形成的节点问存储和通信关系建立一棵物理 资源树，并通过拓扑关系映射建立相应的逻辑树，资源树中各节点的插入和删除对应于虚 拟组织内动态资源的信任评定后的加入和获得信任的资源节点的离去，在插入节点前资 源，首先要通过组织内部信任，一般有两种情况，一是单一资源以叶子节点方式加入，一 种是另一虚拟组织以整棵树的方式加入，这时需要重新改造逻辑资源树，以应对更新后的 物理资源树。删除节点同样有两种情况，一种是作为叶子节点方式由于长期不登陆造成资 源不再被信任删除，另一种是以非叶子节点方式删除，这时同样需要重新改造逻辑资源树， 以应对更新后的物理资源树。 网格资源树通过网格中心管理员建立，在虚拟组织管理员对各个非叶子节点对应网格 资源并采取向下共享节点资源，向上申请资源服务的方式进行管理。在网格逻辑树中，地 域上属于同一区域内的资源节点被集成为同一或邻近虚拟组织，这样的方式与现实中各网 格节点的物理连接也是近似的。通过这样的组织方法，在解决大型分布式计算问题时，可 以通过调用逻辑树中较高层次的非叶子节点，以获得向下更大范围的网格资源支持，同时， 在同一或邻近虚拟组织的问题解决，由于逻辑连接具有物理连接的近似性，因此可以降低 1 2 天津师范大学硕士学位论文 网格环境中物理连接的不可靠性和数据传输的延时等问题。 网格资源树通过实际的物理连接形成的节点间存储和通信关系建立一棵物理资源树， 并通过拓扑关系映射建立相应的逻辑树，其中各资源节点通过以下的方式进行存储 ( 1 ) 任一节点仅有一个标识，且与其他节点区分。 ( 2 ) 任一节点除保存自身信息( 唯一标识、获信任等) 以外，还应保存其对应全部 父、子节点的路径及信息。 ( 3 ) 任一节点应保存自身所属虚拟组织的相应逻辑位置以及该虚拟组织相关信息和 历史信息。 ( 4 ) 任一节点具有独立的安全策略。 3 3 任务调度 3 3 1 单机任务调度 在单机任务调度中，我们将任务的控制权交给内核，系统负责记录各任务状态，包括 执行阶段的相关情况，从而在合适的时刻挑选出一个任务投入执行，系统通过任务控制表 记录相关信息，当任务进入后备状态时，系统建立其对应的控制表，当任务执行完成后， 自动清空控制表内容，释放对应资源n 引。 表3 1 任务控制表 估计运行时间 最迟完成时间 资源要求要求内存量 要求外设数量、类型 要求文件量和输出量 进入系统时间 开始运行时间 资源使用情况 已运行时间 内存地址 外设台号 3 3 2网格资源调度服务 网格资源中的调度服务充分显示了网格的优势，由于网格中的资源节点是异地异构动 1 3 天津师范大学硕士学位论文 态资源，因此在调度时采取本地( 1 0 c a l ) 调度和网格( 酊d ) 调度的调度结构( 图3 3 所 示) 。 其中，本地调度用以监控本机服务器性能参数( 进程数量、c p u 使用率、内存占用 率等) ，区分任务功能：计算型( 要求c p u 时问多) 还是管理型( 要求输入输出量大) ，或图 形设计型( 要求高速图形显示) ，并将信息上传至网格逻辑资源树的父节点。 网格调度用以监控该节点向下的运行服务状态，通过逻辑资源树搜索为用户提供更多 的资源( 包括计算资源、存储资源、带宽资源、软件资源、数据资源、信息资源、知识资 源等) ，同时主动感知周围环境，主动性的引导资源避免网络堵塞，从而科学地解决资源 冲突、网络拥堵和延迟、完成负载均衡的目的。n 3 3 同时使用安全管理机制和容错机制，使 用户在申请资源节点停止响应的情况下，自动向上检索资源，使用户透明的从其他节点或 虚拟组织中得到相应申请资源的答复。 图3 3 本地调度和网格调度结构 3 4 资源网格资源选择性配置策略 随着网格技术的不断发展，按需分配资源将是网格计算的趋势，这要求在技术上多用 户申请任务时的优先级，资源合理分配等问题进行解决。本文提出的选择性网格资源配置 策略解决的是如何以低资源消耗保证用户需求的问题。 1 4 天津师范大学硕士学位论文 3 4 1 网格资源选择性配置的应用 在网格中心进行系统检测和任务分析中，需考虑以下参数： ( 1 ) 用户配置的考虑岱渤跏聊甜溉) 网格环境中，用户是动态、异构的，可以是虚拟组织也可以是个人，用户配置并非整 齐划一，应考虑低配置用户的低效率、低共享。 。 ( 2 ) 耗费时间丁仃跏p ) 不需考虑用户配置c s 用户向网格申请无返回值或仅有一个返回值服务时，消耗时间是网格索取资源时间 ( 乃) 与网格完成任务时间( c ) 的时问和，例如：解决有穷序列( 1 ；r ) 的数据和， 消耗时间丁是网格索取资源时间乃与实际运行z 的时间和： t = t o + t r ( 3 一i ) 需要考虑用户配置岱 用户向网格申请需用户再操作的服务时，必须考虑本地用户配置，消耗时间丁由网格 索取资源时间瓦网格完成任务时间z 与用户再操作时间i 的时间和： l = 1 0 七1 r 七1 s t 3 2 ) z = 尸( 其中p 为再操作任务复杂度) 其中乃与巧为固定值，z 决定时间t ，乃由再操作任务的复杂度和本地用户配置决定， 任务复杂度越低，本地用户配置越高，再操作运行时间z 越短。 ( 3 ) 用户需求c d 化匆以跚脚仃d 删册d 夕 用户的需求涉及其他网格节点，而这些网格节点是虚拟的动态组织，因此需要网格中 心对资源进行合理配置。 ( 4 ) 网格推荐服务6 r 佑脚r 卵嗍朋明d ) 网格中心对任务种类、目的、所需资源进行优化配置，将结果推荐用户选择。 ( 5 ) 网格运行服务傩佑谢舭p ) 用户对网格推荐服务g r 选择后，任务将在网格环境下运行，网格推荐服务不能最终 决定任务的运行方式，这说明选择性网格资源配置是一种双向选择，通过双向选择更好的 从实际出发，达到优化网格资源的目的。 ( 6 ) 用户满意度c 亿匆刀鲥朋甜c 拥枷加删d c c = g s c d( 3 3 ) 当服务达到或者超出申请时( 提前完成任务) c co1 ，当服务不能满足用户申请时， c c 专o ，值客观的体现了解决实际问题的效果。 天津师范大学硕士学位论文 ( 7 ) 服务性能j 5 p( 毗 咖删删c p 一) s p = c c g s | t( 3 4 ) 服务性能的体现既要完成任务又要兼顾用户满意，由于用户满意度由用户需求服务 c d 与网格运行服务傩决定，而耗费时间由资源索取时间，任务运行时间z 以及再操 作时间z 决定，因此上式等价于： s p = g s g s | c d | q o + t r + t j ( 3 5 ) s p = g s 肆g s | c d | 堪，七t r + p | c s 、) ( 3 6 ) 服务性能铲与网格向用户提供的终极服务g s 、本地用户配置c s 成正比，而与用户 需求服务c d ，重复操作复杂度尸，资源索取z 与任务运行时间z 成反比。 因此，若提高网格服务性能，一方面需提升本地用户配置，另一方面，应减少资源索 取和运行时间。 3 4 2x m l 描述资源参数示例 网格资源选择性配置策略对在网格环境下各类异地异构资源的描述如下：用户资源的 处理器资源包括处理器类型、处理器数量、频率、内存容量、硬盘容量；存储资源包括存 储器类型、存储容量等n4 i ，以下是通过x m l 数据存储方式下网格资源参数的描述： ( g n dh o s t d ( c p u = ”g h z ” 2 5 铂钯m d 哕= ”( 活” 2 ( h a r dd i s k = ”g b ” 6 0 ( o st y p e m i c r o s 啦q o s 两p e 彳脱d ( c p u = ”g h z ” 2 5 刮c p u 2 ( h n r dd i s k = ”( i b ” i 2 0 q h n r dd i s c m i c m s 啦 1 6 天津师范大学硕士学位论文 勺幻喇妒砌痧s 陀勺幻r 口g e 乃咿e i qs t o r n g e q g n ds l o m g e s s a n q s t o r n g e 珂p e 础d m 秽= ”纺” 彳勺台幻懈p 吲g r i ds t o r a g ep 3 4 3 实现最低消费的数学模型 该模型研究对象为一系列向网格中心提出资源申请的任务序列，包含单一任务和含有 子任务的任务，该模型同时以时间脉冲函数作为决策变量，以决策变量构造整数规划的数 学模型，其目标函数为任务序列从申请至网格中心分析区到释放分析区资源( 即完成分析) 的最低消费值，由于网格中心分析区资源容量有限，因此要定义其他参数作为约束条件， 保证数学模型有效性。 ( 1 ) 多元受限任务等待耗时模型 定义变量如下： m ：任务集 翩：分析区全部资源 乙：任务聊分析服务时间r 瓯( f ) ：任务聊等待网格中心将任务分配到分析区的等待时间 吸( f ) ：任务所等待分析区内资源等待时问 e ：任务m 等待分配至分析区单位时间成本，即分配损失系数 c w ：任务m 等待分析区内资源单位时间成本，即资源损失系数 绒( ，) ：，时刻任务聊释放分析区内资源数量 以( f ) ：f 时刻任务聊申请分析区内资源数量 1 7 天津师范大学硕士学位论文 形( f ) ：f 时刻任务川实际获得分析区内资源数量 4 r ( 聊) ：任务研向网格中心提出申请分析时间 瑚r ( 聊) ：任务聊实际进入分析区时间 尺r ( 聊) ：任务册计划释放分析区资源时间 职丁( 小) ：任务朋实际释放分析区资源时间 瓯( f ) ：t 时刻网格任务占用分析区资源数 q ，( f ) ：t 时刻网格分析区剩余资源数 r ( ，z ，七) ：任务聊进入分析区内时间为p ( m ，耽丁( m ，川，由于考虑到某些申请任务会存 在问题( 比如无解，死循环) ，因此规定丁( 聊，f ) 为进入分析区内下限时间，r ( ，l ，j ) 为离开 分析区上限时间 ( f ) = 一1 ，o ，l ：规定分析区内资源有限，因此会出现任务虽然已进入分析区，但仍 需等待分析区内部资源的情况，虬( f ) = 一l 表示任务等待分配至分析区( f ) = o 表示 任务进入分析区等待资源或完成分析释放资源，u 。( f ) = l 表示任务进入分析区得到资源， 其中肌m ，虬( f ) 为关于f 时间的脉冲函数，假设有任务朋在【r 1 ，丁2 】时刻等待分配至分析 区，z 2 时刻进入分析区，【r 2 ，丁3 】进入分析区等待资源，【丁3 ，r 4 】进行分析，丁4 时刻释放 资源，则其【，( f ) 脉冲函数图如下 u ( f ) o 图3 4 ( f ) 脉冲函数图 由图可见，任务聊在第一个时间段等待分配至分析区，消耗时间为该任务实际进入 分析区时间丁2 减去任务申请分析时间n ，则某时刻任务集m 耗费时间为： q ( f ) =( ( f ) + 1 ) 一爿r ( m ) ( ，了一力 f e r ( 研七) ，肘e 1 8 天津师范人学硕士学位论文 任务_ ，z 进入分析区后，等待分析资源消耗时间为丁3 一r 2 ，而我们并不清楚任务聊开 始分析的具体时间丁3 ，因此单任务m 在分析区等待分析资源消耗时间为任务m 释放资 源时间丁4 减去分析任务服务时间【r 3 ，丁4 】即乙，再减去任务等待分配至分析区消耗时间 瓯( f ) ，并且假设同样任务的分析服务时间乙为固定值，则某时刻任务集膨等待分析资 源耗费时间为： ( f ) = 豫丁( 聊) 一乙一q ( f ) 伯别 f e r ( 栅，膏) m ， 构造目标函数：多元受限任务等待耗时问题模型的目的是使总等待成本最低，q ( f ) 和 既( f ) 分别表示等待分配消耗时间和等待资源消耗时问，q 为分配损失系数，c w 为资源 损失系数，基于等待损失和最小原则，构造目标函数如下： i i l i n 乞瓯( f ) + e 既( f ) 似圳 f 日( m ，女) ，m 肘 用式门一j ，夕阳习夕阳勺) 做线性替换，得到目标函数如下： m i n c g f ( 眠(