（计算机应用技术专业论文）构建金融网格的若干技术研究.pdf

摘要 网格技术以其独具的资源共享优势在金融行业拥有广泛的应用前景。美国摩根大通 银行、联邦住房信贷机构等相当数量的金融机构已经开始应用网格技术并取得了初步的 成效。然而，网格技术还处在不断发展之中，针对不同的应用领域，需要进行二次开发。 构建金融网格依然需要针对金融业来研究相关的关键技术。 本文在分析已有的网格技术的基础上，结合金融业的应用特点进行了以下工作 对金融网格的数据管理策略进行研究，设计了金融网格数据库管理模型，针对 金融企业的应用实时性要求高的需求，提出了一种二级分布式的网格副本管理 策略，与其他的复制管理服务相比较，该复制管理服务既解决了单点失效问题 又增强了可扩展性，同时也避免了在金融数据这样的多级结构中需要进行多层 次查找降低效率的问题。 分析金融领域的数据特点和安全需求，研究金融网格的安全技术，提出能满足 金融数据安全的安全策略，并在此基础上设计其安全模型。 设计了一个金融网格访问系统，描述了金融数据访问服务的仿真实现过程。旨 在提供一个对金融异构存储数据的虚拟化，消除数据资源的异构性，为用户提 供一个虚拟的数据库。 实现了一个金融数据的访问服务的应用示例，同时对服务的实现过程进行了仿 真试验，验证了网格应用于金融业可以达到消除数据资源的异构性。 关键词：网格；金融网格；网格数据库管理；金融网格安全；数据访问 a b s t r a c t g r i dt e c h n o l o g i e se n j o yb r i g h tf u t u r eo w l lt ot h e i ru n i q u ea d v a n t a g e - - r e c o u r s e ss h a r i n g a m e r i c a nj p m o r g a nc h a s eb a n k ，f e d e r a lh o u s i n gc r e d i t l o a ni n s t i t u t i o n sh a v ea c h i e v e d o b v i o u ss u c c e s sb ye m p l o y i n gt h e m h o w e v e r , g r i dt e c h n o l o g i e sa r es t i l lu n m a t u r e d w en e e d as e c o n dd e v e l o p m e n ta c c o r d i n gt od i f f e r e n ta r e a s w h i l eb u i l d i n gf i n a n c i a lg r i d ，i ti ss t i l lt o f a c el o t so fd i f f i c u l t i e sw h i c hn e e dt ot a r g e tf i n a n c ei nr e s e a r c ho ft h ea p p l y i n gt e c h n o l o g i e s o f g r d b a s e do nt h ea l r e a d yg r i d st e c h n o l o g i e st o g e t h e rw i t ht h ef e a t u r e so ff i n a n c e ，t h i se s s a y f o c u s e do nt h ef o l l o w i n ga s p e c t s ： t h ed a t am a n a g e m e n ts t r a t e g i e so ff i n a n c i a lg r i da r er e s e a r c h e d a n di t sm o d e li s d e s i g n e d o w nt ot h eh i g ht i m ed e m a n d so f f i n a n c i a le n t e r p r i s e s ，ak i n do f t w o l e v e l r e p l i c a t i o ns t r a t e g yo fg r i dd u p l i c a t e s a r ep r e s e n t e d c o m p a r i n gt oo t h e rc o p y m a n a g e m e n ts e r v i c e s ，t h i so n en o to n l ya v o i dt h es i n g l e - p o i n ti n e f f i c i e n c yb u ta l s o e n h a n c ei t st e n a c i t y b e s i d e s ，i tc a na l s oo v e r c o m et h el o w e f f i c i e n c yo fm u t i l e v e l s e e k i n gi nt h ec o m p l i c a t e dc o n s t i t u t i o n a n a l y z i n gd a t ac h a r a c t e r i s t i c sa n ds e c u r i t y d e m a n d s a n dr e s e a r c h i n gs e c u r i t y t e c h n o l o g yo ff i n a n c i a lg r i d ，t h u st og i v es a f es t r a t e g i e sc o n c e r n i n gf i n a n c i a ld a t a s s e c u r i t y f i n a l l yd e s i g ni t ss a f em o d e l d e s i g n i n gaf i n a n c i a lg r i da c c e s s i n gs y s t e m a n dd e p i c t i n gam o c kr e a l i z i n gp r o c e s s o fi t sa c c e s s i n gs y s t e mw h i c ha i m st of a b r i c a t et h ed e p o s i t i n gd a t e s ，e l i m i n a t ei t s d i v e r s i f i c a t i o no fd a t ar e c o u r s e sa n dp r o v i d eaf a b r i c a t e dd a t ab a s ef o ru s e r s a c h i e v e da na p p l y i n ge x a m p l ef o rt h ea c c e s s i n gs y s t e m a tt h es a m et i m e c o n d u c t i n g am i m i ce x p e r i m e n tt o w a r d si t s r e a l i z i n gp r o c e s s t op r o v et h a t a p p l i c a t i o no fg r di nf i n a n c ew i l le l i m i n a t ed a t ar e c o u r s e s d i v e r s i f i c a t i o n ，t h u s p r o v i d eaf a b r i c a t e dd a t ab a s ef o ru s e r s k e yw o r d s ：g r i d ；f i n a n c i a lg r i d ；d a t a b a s em a n a g e m e n to f g r i d ；s e c u r i t yo f f i n a n c i a lg r d d a t aa c c e s s i n g l l 长沙理工大学 学位论文原创性声明 本人郑重声明：所呈交的论文是本人在导师的指导下独立进行研究所取得的 研究成果。除了文中特别加以标注引用的内容外，本论文不包含任何其他个人或 集体已经发表或撰写的成果作品。对本文的研究做出重要贡献的个人和集体，均 已在文中以明确方式标明。本人完全意识到本声明的法律后果由本人承担。 作者签名：胡蘑 日期：渺年r 月f6 日 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意学校保 留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借 阅。本人授权长沙理工大学可以将本学位论文的全部或部分内容编入有关数据库 进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。 本学位论文属于 1 、保密口，在年解密后适用本授权书。 2 、不保密团。 ( 请在以上相应方框内打“4 ”) 作者签名：胡薨 日期如( ) 年广月1 1 6 日 导师签名：日期：州年厂月“日 第一章绪论 1 1 课题的研究背景及研究意义 1 1 1 金融领域面临的数据和存储问题 在金融领域，核心应用系统经常被成千上万的客户频繁访问，还不时出现业务“巅 峰”，随着中间业务的深入开展，这种现象将有增无减；同时，许多金融业务诸如风险 管理、成本分析、产品定价、利率计算等都需要进行大量的数值计算。网格技术和网格 计算恰好能满足上述多方面的应用需求，发挥它的独特作用和优势，从而增强金融企业 的核心竞争力，促进金融业的可持续发展。“金融需要网格应用，网格促进金融发展” 已经开始得到越来越多的人们的共识旧”。有专家甚至指出，在众多的网格商业应用中， 金融服务和石油勘探将是其中最耀眼的“明星”【4 】。 传统的数据库技术是面向应用的，银行往往针对不同的应用建立不同的数据库，甚 至选用不同的数据库管理系统( d b m s ) ，因此，银行的业务数据分散地存储在不同的 数据库( 可能是同构的，也可能是异构的) 中，不易于统一查询访问，而且大量的历史 数据脱机存放，无法进行联机查询，在此情况下对数据进行综合分析时，其结果往往缺 乏可靠性且数据处理的效率很低。 网格的本质特性是实现分布式计算资源的虚拟化，包括计算能力、数据、存储和应 用。一是数据和存储的虚拟化，就是将金融企业在不同地理位置的存储资源和数据看成 一个存储系统、一个数据库系统。举例来说，尽管金融企业的数据是分布在各地的( 对 已完成数据大集中的银行来说，这里的数据是指非账户数据) ，但用户登录银行i t 系统 时，只需要一个用户名，网格决定用户权限，决定用户可以访问哪些数据，用户面对的 是一个文件系统，所有的存储都只有一个界面。二是计算能力的虚拟化。当前我国金融 企业使用的大多是数据访问，对计算能力虚拟化的需求还不迫切，深度计算的工作几乎 还未涉及，这正是我国金融业和发达国家金融业的巨大差距所在。网格的本质特性是实 现分布式计算资源的虚拟化，包括计算能力、数据、存储和应用。 1 1 2 网格应用于金融业的意义 网格技术以其独具的资源共享优势在金融行业拥有广泛的应用前景。美国摩根大通 银行、联邦住房信贷机构等相当数量的金融机构已经采用网格技术并取得了明显的成效 【l 】。网格技术在金融领域的应用主要集中在以下方面： 资源共享。金融行业是i t 资源的应用大户，随着业务的发展，对资源的要求越来 越高。主机升档、软件升级、网络扩容是金融企业的常事，有时一次性投资就达几千万 甚至上亿元人民币。不少金融机构每个月的微机、笔记本电脑的采购量都在几十甚至几 i 百台以上，而这些资源的利用率却不高，有的微机一天的使用时间不过2 3 个小时， 资源白白地浪费了。资源共享是网格技术突出的特点和长处，利用网格技术可以很好地 解决上述问题，大大地提高整个企业的计算能力和i t 资源的利用率，有效抑制对i t 资 源的无穷尽的投入。网格技术还是一种支持分布式计算发展的独特方法，使任何设备都 能够利用任何位置的任何资源；还可以促进虚拟协作组织的发展，在开放的环境中共享 数据。总之，借助网格技术可以使金融机构的所有i t 资源充分发挥作用，使各种资源、 各类数据和信息充分共享，从而大大降低成本，提高i t 的投入产出率。 风险管理、利率计算、贷款分析和产品定价。网格技术所蕴藏的对数据、信息的巨 大处理和存储能力可以在金融产品的建模和风险分析方面发挥极大的作用，网格技术的 发展更为风险管理、利率计算、贷款分析、产品仓q 新和定价提供了有力的工具。美国联 邦住房信贷机构利用网格技术进行贷款分析，原来处理3 0 0 0 笔贷款需花6 6 0 个小时， 采用网格技术后3 个小时就可以处理1 0 0 0 0 笔贷款，速度提高了7 0 0 多倍。摩根大通银 行已经构建了全球内部网格，连接了纽约、东京、伦敦三个主要数据中心，利用网格技 术平台进行套期保值基金的风险管理、利率计算、期权定价和投资组合，并且收到了明 显效果2 ，”。 灾害备份。数据的存储备份及数据中心的灾难恢复能力是现代金融企业生存和发展 的生命线。银行系统数据大集中工程的进展对i t 环境的故障容错能力和灾难恢复能力 提出了更高的要求，网格技术恰好可以发挥独特的作用，为有关解决方案提供有力的支 持和手段。一些大型商业银行都在全国乃至全球设有多个数据中心，利用网格技术，采 用相互备份的方案( 不另建灾难备份中心) 不仅可以节约巨额资金和管理维护费用，而 且实现起来也更可靠更方便。 资源服务。金融业是i t 投入最多的行业，也是占有i t 资源最多的行业。这些宝贵 的资源除了满足自身的需要外，往往还有富余。不同时间、不同时段，富余量不同，例 如每天非业务高峰时资源的富余量比高峰时更多一些；周末、节假日和工作日相比，资 源有更多的富余。这些富余的i t 资源可以有偿地提供给社会，即利用网格技术和网格 系统，把金融业的富余i t 资源有偿地提供给其他企业和用户。这样，既有利于全社会 i t 资源的合理配置和有效利用，也增加了金融企业的收益。加上金融业特别是银行特有 的信息优势，这类服务将具有广阔的前景，也是今后金融服务的崭新领域。美国 c h a r l e s s c h w a b 证券公司已经利用网格系统为个人投资者提供投资组合和个人理财等计 算服务，受到人们欢迎，公司本身也取得了可观的收益【q 。 1 2 国内外的研究动态 1 2 1 网格中数据管理技术的研究 在网格数据管理研究领域，美国和欧洲处于领先地位，他们的研究范围和规模都比 较大。最著名的网格数据管理系统开发工具是g l o b u s t ，i 中的数据管理支撑模块。 g l o b u s 系统主要由美国m g o 衄e 国家实验室和南加州大学联合研制。它借鉴了因特 网和u n i x 的开发路线，不构造一个完整的系统，而只是构造一套底层的开发工具，采 用模块化设计方式，可升级或替换，是一个中间件系统。g l o b u s 对资源的管理、安全、 信息服务和数据管理等网格计算的关键技术和方法进行研究，提供了一整套s d k ( s o f t w a r ed e v d o p m e n tk i t ) 和a p i ( a p p l i c a t i o np r o g r a m m i n gi n t e r f a c e ) ，用户可以任 意选择其中的工具模块进行高层次的应用开发。目前，美国n a s a ( n a t i o n a l a e r o n a u t i c s a n ds p a c e a d m i n i s t r a t i o n ) i p g ( i n f o r m a t i o n p o w e r g r i d ) 【8 】、欧洲数据网格o 】、美国国 家技术网格n t g , 、g r i p h y n t n ，1 2 、粒子物理数据网格p p d g , ( p a r t i c l ep h y s i c sd a t a g r i d ) 、 美国先进战略计算创新计划网格( a s c i g r i d ) 、日本的d a t a f a r m 等项目都采用了g l o b u s 系统。 g l o b u s 系统最初是面向计算网格的，后来由于网格中数据管理的需求迫切，g l o b u s 系统在原有的基础上增加了数据管理的功能，对数据的高速传输、数据复制、数据复制 的选择、元数据管理等进行了研究和实现，成为网格数据管理的开发平台。 美国圣地亚哥超级计算中心s d s c 的s r b t i ，, 1 4 1 存储资源代理系统是用途较广的数据 网格中间件之一。它实际上是一个网格环境下的数据管理系统。s r b 为用户提供了一个 访问文件系统、档案系统、数据库系统等多种异构存储系统的统一接口，屏蔽了存储系 统异构的特性。它支持广域网络环境下多种数据源的访问，提供了复制、复制数据的访 问、文件的汇集、分布文件的逻辑集合等功能。目前，s r b 系统已经被几十多个单位使 用，包括英国的国家网格、美国的联邦数据库等。它们正在和g l o b u s 系统相结合，以 满足网格技术和用户的需求。 1 2 2 金融业的网格研究 尽管当今网格计算常用于科研与学术领域，但商家都是坐享网格技术的成果，即： 通过网格技术获得更紧密的分工协作和更低的成本减损 is 】。 大型的电脑公司和中间件供应商则正在为提供金融网格计算产品而合力协作。 i b m 作为网格计算机的重要参与者之一，也提供起工作中能体现其价值的网格计算 产品和相关革新技术6 】。在金融方面，网格的应用包括网络技术和分析能力的优化与提 升圳。现在，i b m 的网格计算已介入在北美、欧洲和日本的逾2 0 家主要的金融机构 和其他世界范围内的逾百家组织。数以千计的s u n 网格引擎的成功安装以及关键性的 j a v a 和j i n i 语言的应用，s u n 和它的若干合作伙伴正在建设公司的网格引擎软件以 迎合金融服务公司的需要【2 0 ：“。c t c ( t h ec o m e l lt h e o r yc e n t e r ) 心在i n t e l 集成器上首 推w i n d o w s h p c ，它最初是使用一些复杂的科学工程件，然后是通过大量的金融数 据堆积与它的主要支持商微软紧密合作，以通过网格服务优化其风险分析技术。如今， c t c 通过使用w i n d o w ss e r v e r2 0 0 3 ，其风险分析技术业绩已呈9 0 的直线上升【2 2 j 。 肥後银行作为日本一家重点地方银行，肥後银行开始采用i b m 信息嘲格解决方案为其 随需应变的提供数据，网格解决方案能管理多个平台上的不同贷款系统，实现实时应用 整合，客户从申请到完成整个贷款流程速度提高3 0 ，银行成本也能相应减少。网格解 决方案基于i b me s e r v e rp 系列、t o t a l s t o r a g e ( 企业存储服务器和线性磁带开放驱动器) 、 d b 2 和w e b s p h e r ei i 平台上1 2 3 】。 对于投资银行和证券公司而言，网格计算为它们提供的不仅是资源共享和应用协作 的发展，它还为它们产生了共享处理上的行业效益。这样的进步能使成本大大降低。b a n k o n e ，c h a r l e ss c h w a b 和日本m o r g a n 银号都是已把网格计算应用于工作中进行高级 分析，投资组合的搭配和先进的风险管理。在欧洲公司里，m i l a n - b a s e d 的投资银行 t r a d i n g l a b 也是网格计算的皈依者。d e u t s c h e 银行也引入了s u n 网格引擎软件，且宣 称已能更好的利用其资源，从而降低了它t c o 。目前在德国，该银行已把网格应用于产 出，该行还计划将网格配置推广至伦敦、纽约和新加坡的分行 1 7 , 2 0 , 2 1 】。波士顿召开的 g r i d w o r l d 大会上，s u n 展示了p r e d i c t i o n 公司采用s u ng r i d 进行的数据分析应用 的情况。p r e d i c t i o n 公司采用s u ng r i d 公共计算服务对纽约股票交易所( n y s e ) 的数 据进行了分析和传输试验。该试验显示，采用s u ng r i d 技术，对于更多的数据分析和 更快地将数据投放市场具有极大的潜力，s u ng r i d 可使数据分析加快2 5 ，同时还可 大大降低成本费用。通过对s u ng r i d 的采用，p r e d i c t i o n 公司能够在更深的层次上对 更大量的数据进行分析，且可降低成本，为投资者提供更多的回报，使股东获得更高的 价值f 2 1 1 。 2 0 世纪7 0 年代后期，中国才开始了金融电子化工程( p r o j e c to ff i n a n c i a l e l e c t r i c a l i z a t i o n ) 。如今3 0 年已过，我们己建立起一个先进的金融信息基础设施。是时 候让我们的计算机科学家和金融专家联手解决金融领域的低效症结了。网格计算现在正 被应用于金融服务业，这对于金融产业以及我们自身都是挑战与机遇并存的n 5 l 。 1 2 3 目前我国的网格应用项目 我国在这方面也做了大量基础性和前瞻性的研究。从1 9 9 5 年开始，中国科学院计 算所就建立了专门的网格研究队伍，开始研究与网格相关的技术，并开发成功了多个版 本的信息一体化平台。主要有以下一些研究项目。 2 0 0 4 年1 月6 日，中石化公司石油勘探开发研究院与i b m 公司举行签约仪 式，宣布双方将共同合作建立中国第一个企业应用网格系统。 上海市政府高瞻远瞩，利用网格技术，打造数字城市。2 0 0 3 年1 1 月5 日， 第五届上海国际工业博览会“数字城市与城市网格”国际论坛召开，上海市各 方负责人，众多的网格技术专家及i b m 、i n t e l 、曙光等国内外知名企业代表参 加了论坛，共商网格大事，为建设上海城市网格出谋划策。上海市信息化发展 规划显示2 0 0 7 年上海将初步建成数字城市的基本框架，重点发展“电子政务”、 “智能交通”、“远程医疗”、“气象预报”和“城市应急处理”等项目，而网格 技术将在其中发挥关键作用，扮演主要角色。“打破信息孤岛，实现信息共享和 协同工作”是上海市信息化建设的重中之重。 还有上海科研教育网格，上海将投资两个多亿，建设e i n s t i t u t e ，其中网格是重 点，将把上海交大、复旦、华东理工等多所重点高校用网格整合起来，共享资 源，协同教学科研工作。 清华大学计算机系高性能计算研究所开发的校园网格工具包c a m p u sg r i d t o o l k i t ( g g ) ，目的在于将分布于校园网内的集群、高性能服务器、超级计算机以 及计算机软件等计算资源有机的聚集起来，通过w e b 方式为校园网用户提供方 便实用的计算服务。 2 0 0 3 年1 0 月，教育部与i b m 合作共建的投资2 0 0 0 万元人民币“中国教育科 研网格项目( c h i n ag r i d ) 。 深圳发展银行高级顾问陈增圭是中国银行业互联网的“布道者”，如今，他又 将目光投向了网格。陈增圭指出，中国四大国有银行不良贷款率高，根本原因 是体制问题，但不可否认，业务部门、科技部门对金融风险的分析手段不够也 是重要原因，信贷虽然有许多指标体系，对客户也有一定的评估，但缺少分析， 各种数据仅停留在表面。而依靠网格技术可以解决这些问题，他说中国虽然没 有必要立即构建金融网格，但是也不能等太久，近一两年内应该开始考虑。他 预计2 至3 年内至少将有一个金融行业的网格建成。 综上所述，随着新标准的出现以及厂商们对网格这一强大计算功能的看好，网格将 会越来越多地进入更为广扩的商业应用领域。企业应试验性的引进网格技术，时刻作好 引进网格技术的准备，一旦网格技术商业化，不要使自己的企业脱离社会联网的潮流。 1 3 论文研究的内容 金融业是需要网格，然而，网格技术还不成熟，针对不同的应用领域，需要进行二 次开发。在构建金融网格肯定有许多问题需要针对金融业来研究专门的网格应用技术。 比较典型的有这样几个问题： 安全问题：网格的实质是共享，而共享就会对金融的数据安全带来威胁，数据 是金融领域的生命线。如果不解决安全问题，网格就很难在金融领域应用起来。 数据和存储的虚拟化：中国的银行业在做数据大集中，但事实上银行的很多数 据是无法集中的，如代收代付业务，大量数据分布在各个地方，当银行需要知道一些管 理信息，如地区性差异、平均情况等时，需要一个有效的机制将数据整合在一起。即数 据和存储的虚拟化。如何通过网格服务来实现数据和存储的虚拟化。 有效的数据库系统：金融企业的某些应用是要考虑响应时间的，比如柜面业务。 金融企业分支机构做交易时，业务量很大，需要有效的数据库系统，所以如何提高金融 网格中的实时性，也是需要进一步研究的问题。 本文将在已有的网格技术的基础上，结合金融业的应用特点进行工作 e 对金融网格的数据管理策略进行研究，针对金融企业的应用实时性要求高的需 求，研究网格的副本管理策略，改善目前网格技术中副本管理技术，以提高其响应性和 改善单点实效的问题 分析金融领域的数据特点和安全需求研究金融网格的安全技术，提出能满足金 融数据安全的安全策略，并在此基础上设计其安全模型。 设计一个金融网格访问系统，描述其仿真实现的过程，旨在提供一个对金融异 构存储数据的虚拟化，消除数据资源的异构性，为用户提供一个虚拟的数据库。 架构一个金融数据的访问服务的应用示例，同时对服务的实现过程进行了仿真 试验，验证了网格应用于金融业可以达到消除数据资源的异构性。 1 4 论文的章节安排 论文的第一章是绪论，分析课题的研究背景及意义，并进行国内外现状分析。第二 章是网格技术应用分析，分析网格的特点、安全机制，数据管理策略等。第三章金融网 格的数据管理策略研究，对金融网格的数据管理层次及策略进行研究。第四章金融网格 安全模型设计，分析金融数据的安全性需求，提出相应的安全策略，设计一种安全模型。 第五章金融网格访问系统的构建设计，基于开放网格数据服务的思想设计金融数据访问 系统，为客户访问金融网格数据屏蔽掉底层数据系统的异构特性。论文的最后一章是原 型试验及进一步工作。用o g s a d a i 构建试验平台，验证通过网格对异构数据库访问的 实现过程，最后将提出本人在以后进一步的研究工作。 2 1 引言 第二章网格技术应用分析 网格的构想源于电力供应网( p o w e r g r i d ) o 其基本思想就像人们日常生活中从电网中 获取电能一样获取高性能的计算能力【2 4 】。传统因特网实现了计算机硬件的连通，w e b 实现 了网页的连通，但网站( 信息孤岛) 上的信息并不能按照用户的指令进行有意义的交流。人 们不能共享广域网络中的异构资源；不能将运行在通过i n t r a n e t 或i n t e m e t 连接的分布式 服务器上的应用集成在一起，构架松散偶合的企业应用；不能聚集分散的计算能力，形成 超级计算的能力，解决诸如虚拟核爆炸、生物医药、航天、气象预报和环境保护等重大 科学研究和工程技术应用领域的问题。解决这一问题的途径是建立连接和统一各类不同 远程资源的网格结构，实现网络虚拟环境上的资源共享和协同工作，消除信息孤岛和资 源孤岛。 网格是构造在互联网上的一组新兴技术，它将高速互联网、计算机、大型数据库、 传感器、远程设备等融为一体，为科技人员和普通老百姓提供更多的资源、功能和服务。 互联网主要为人们提供电子邮件、网页浏览等通信功能，而网格的功能则更多更强，它 能让人们共享计算、存储和其他资源。 网格是继万维网之后出现的一种新型网络计算平台，目的是为用户提供一种全面共 享包括网页在内的各种资源的基础设施。网格是把地理位置上分散的资源集成起来的一 种基础设施。通过这种基础设施，用户不需要了解这个基础设施上资源的具体细节就可 以使用自己需要的资源。分布式资源和通信网络是网格的物理基础，网格上的资源包括 计算机、集群、计算机池、仪器、设备、传感器、存储设备、数据、软件等实体，另外 这些实体工作时需要的相关软件和数据也属于网格资源【2 5 1 。 2 2 网格的概念 目前，对网格还没有一个普遍接受的定义。下面是关于网格的一些有代表性的观点 网格就是方便资源管理、有效支持广域分布的、多领域的科学与工程问题解决 的中间件系统。 网格就是在动态变化的、拥有多个部门或者团体的复杂资源使用者( v i s u a l o r g a n i z a t i o n ) t 勾，灵活、安全地协同资源共享与问题求解。 网格是建造分布式科学计算环境的一种一体化的集成方法，该环境包括计算、数 据管理、科学仪器及人类的协作。 网格是一种无缝的、集成的计算与协作环境。 无论是哪种观点，网格的概念应该是面向问题的，它具有两类主要功能：超级计算 功能。对使用者而言，整个网络就是一台巨大的超级计算机。智能信息处理功能。提供 全面的信息资源共享，解决信息孤岛问题，能为用户提供一体化的智能信息服务，用户通 过单一入口访问所有信息资源。 网格的核心观念是“网络就是计算机”，其根本特征是具有以下特点而不是它的规模 大小： _ 异构性。网格可以包含多种异构资源，包括跨越地理分布的多个资源提供者。构 成网格计算系统的超级计算机有多种类型，不同类型的超级计算机在体系结构、 操作系统及应用软件等多个层次上可能具有不同结构。 可扩展性。网格可以从最初包含少数的资源发展到具有成千上万资源的大网格。 由此可能带来的一个问题是随着网格资源的增加而引起的性能下降以及网格延 迟，网格必须能适应规模的变化。 _ 可适应性。在网格中，具有很多资源，资源发生故障的概率很高。网格的资源管理 或应用必须能动态适应这些情况，调用网格中可用的资源和服务来取得最好的 性能。与一般的局域网系统和单机的结构不同，网格系统由于地域分布和系统的 复杂使其整体结构经常发生变化，网格系统的应用必须能适应这种不可预测的 结构。 _ 结构的不可预测性。动态和不可预测的系统行为。在传统的高性能计算系统中， 计算资源是独占的，因此系统的行为是可预测的。而在网格系统中，由于资源的共 享造成系统行为和系统性能经常变化。 多级资源提供者。由于构成网格系统的超级计算机等资源通常属于不同的机构 或组织并且使用不同的安全机制，因此需要各个机构或组织共同参与解决多级 资源提供者的问题。 2 3 网格的典型体系结构 网格技术不断地发展使人们逐渐地意识到了网格体系结构的重要性。网格体系结构 用来划分系统的基本组件，指定系统组件的目的和功能，说明组件之间如何相互作用， 规定了网格各部分相互的关系与集成的方法。可以说，网格体系结构是网格的骨架和灵 魂，是网格技术中最核心的部分。 五层沙漏结构 五层沙漏结构是一种早期的抽象层次结构，以“协议”为中心，强调协议在网格的资 源共享和互操作中的地位。通过协议实现一种机制，使得资源使用者的用户与资源之间 可以进行资源使用的协商、建立共享关系，并且可以进一步管理和开发新的共享关系。 r 这一标准化的开放结构对网格的扩展性、互操作性、一致性以及代码共享都很有好处。 五层沙漏结构的典型结构如图2 1 。 应用层 汇聚层 资源与 连接层 构造层 图2 1 五层沙漏结构 五层结构之所以形如沙漏，是由各部分协议数量的分布不均匀引起的。考虑到核心 的移植、升级的方便性，核心部分的协议数量相对比较少( 例如i n t e m e t 上的t c p 和 h t t p ) ，对于其最核心的部分，要实现上层协议( 沙漏的顶层) 向核心协议的映射，同 时实现核心协议向下层协议( 沙漏的底层) 的映射。按照定义，核心协议的数量不能太 多，这样核心协议就成了一个协议层次结构的瓶颈。在五层结构中，资源层和连接层共 同组成这一核心的瓶颈部分，它促进了单独的资源共享。 开放网格服务结构 开放网格服务结构o g s a ( o p e n g r i ds e r v i c e s a r c h i t e c t u r e ) 2 6 ，2 7 是g l o b a l g r i d f o r u m 的重要标准建议，是目前最新也最有影响力的一种网格体系结构，被称为是下一代的网 格结构。o g s a 的目的就是要将g r i d 的一些功能，更确切的说是g l o b u s t 7 2 8 1 的一些功能 融合到w e bs e r v i c e 这个框架中。与前期网格不同的是，o g s a 是面向服务的结构，将 所有事务都表示成一个g r i d 服务，计算资源、存储资源、网络、程序、数据等都是服 务，所有的服务都联系对应的接口，所以，o g s a 被称为是以服务为中心的“服务结构”， 通过标准的接口和协议支持创建、终止、管理和开发透明的服务，其发展象征着w e b s e r v i c e 的一个进步，结合目前的w e bs e r v i c e 技术，支持透明安全的服务实例，o g s a 有效地扩展了w e bs e r v i c e 架构的功能。五层模型与o g s a 都相当重视互操作性，但 o g s a 更强调服务的观点，将互操作性问题转化为定义服务的接口和识别激活特定接口 的协议。这一面向服务模型具有很多优点，环境中的所有组件都是虚拟化的，通过提供 一个所有g r i d 服务实现基础的一致接口的核心集，可以使得分级的、更高级别的服务 9 的构建能够跨多个抽象层以一种统一的方式进行处理。虚拟化还促使从多个逻辑资源实 例到同一物理资源的映射，不考虑实现的服务组合，以及一个v o 内的基于低级资源组 合的资源管理。正是g r i d 服务的虚拟化加强了通用服务语义行为无缝地映射到本地平 台设施的能力。 2 4 网格协议g l o b u s 工具包 由于现在的互联网结构并不是针对网格计算设计的，为了使网格计算和现有的结构 兼容，一个可扩展的中间件是必需的，也就是基于操作系统之上的网格管理软件。在网 络化应用成为主流的时代，单机操作系统如n t 、w i n d o w s 等的地位已经降低，网格管 理软件实际上是更高层次的网格操作系统，其核心技术主要是一体化的信息平台、语义 网站、智能代理和知识本体技术等。建立网格服务的协议与标准是网格发展的重点和难 点。g l o b u s 项目是目前国际上最有影响力的与网格计算相关的项目之一，是来自世界各 地关注网格技术的研究人员和开发人员共同努力的成果。它是围绕四种主要活动来组织 的：研究、软件工具、实验台和应用程序。g 1 0 b u s 对资源管理安全、信息服务及数据管 理等网格计算的关键技术进行研究，开发能在各种平台上运行的网格计算工具软件，帮 助规划和组建大型的网格实验平台，开发适合大型网格系统运行的大型应用程序。 g l o b u s 工具包是g l o b u s 最重要的实践成果，它是一个开放源码的关键g r i d 协议的参考 实现，支持大量的主要的电子科学项目。该工具包基于开放结构、开放服务资源和软件 库并支持网格和网格应用，致力于安全、信息发现、资源管理、数据管理、通信错误诊 断等问题。g l o b u s 的网格计算协议是建立在互联网协议之上的，以互联网协议中的通信、 路由、名字解析等功能为基础。g l o b u s 的协议分为5 层：构造层、连接层、资源层、汇 聚层和应用层。上层协议可调用下层协议的服务。网格内的全局应用都通过协议提供的 服务来调用操作系统。g l o b u s 工具包包括网格安全、网格信息获取与分布、网格资源管 理及网格远程传输等内容，这些都是网格开发中的关键技术和必须解决的重要问题。 2 5 网格核心技术 为解决不同领域复杂科学计算与海量数据服务问题，人们以网络互连为基础构造了 不同的网格，有代表性的如计算网格、拾遗网格、数据网格等，它们在体系结构和需要 解决的问题类型等方面不尽相同，但都需要共同的关键技术，主要有如下几种： 高性能调度技术在网格系统中，大量的应用共享网格的各种资源，如何使得这些 应用获得最大的性能，这就是调度所要解决的问题。网格调度技术比传统高性能计 算中的调度技术更复杂，这主要是因为网格具有一些独有的特征，例如，网格资源 的动态变化性、资源的类型异构性和多样性、调度器的局部管理性等。所以网格的 调度需要建立随时间变化的性能预i 贝| l 模型，充分利用网格的动态信息来表示网格性 能的波动。在网格调度中，还需要考虑移植性、扩展性、效率、可重复性以及网格 调度和本地调度的结合等一系列问题。 资源管理技术资源管理的关键问题是为用户有效地分配资源。高效分配涉及到资 源分配和调度两个问题，一般通过一个包含系统模型的调度模型来体现，而系统模 型则是潜在资源的一个抽象，系统模型为分配器及时地提供所有节点上可见的资源 信息，分配器获得信息后将资源合理地分配给任务，从而优化系统性能。 网格安全技术网格计算环境对安全的要求比i n t e m e t 的安全要求更为复杂。网格 计算环境中的用户数量、资源数量都很大且动态可变，一个计算过程中的多个进程 间存在不同的通信机制，资源支持不同的认证和授权机制且可以属于多个组织。正 是由于这些网格独有的特征，使得它的安全要求性更高，具体包括支持在网格计算 环境中主体之间的安全通信，防止主体假冒和数据泄密；支持跨资源使用者的安全； 支持网格计算环境中用户的单点登录，包括跨多个资源和地点的信任委托和信任转 移等。 网格研究最初的目标是希望能够将超级计算机连接成为一个可远程控制的元计算 机系统( m e t a c o m p u t e r s ) ，现在，这一目标已经深化为建立大规模计算和数据处理的通 用基础支撑结构，将网络上的各种高性能计算机、服务器、p c 、信息系统、海量数据存 储和处理系统、应用模拟系统、虚拟现实系统、仪器设备和信息获取设备( 例如传感器) 集成在一起，为各种应用开发提供底层技术支撑，将i n t e m e t 变为一个功能强大、无处 不在的计算设施，最终实现资源共享和分布协同工作。网格的这种概念可以清晰地指导 行业和企业中各个部门的资源进行行业或企业整体上的统一规划、部署、黎合和共享， 而不仅仅是行业或大企业中的各个部门自己规划、占有和使用资源。这种思想的沟通和 认同对行业和企业是至关重要的，将提升或改变整个行业或企业信息系统的规划部署、 运行和管理机制。 2 6 网格的应用领域 按照i a nf o s t e r 和g l o b u s 项目组的观点，网格应用领域目前主要有四类：分布式 超级计算、分布式仪器系统、数据密集型计算和远程沉浸。下面主要介绍这些应用领域 中有代表性的项目。 分布式超级计算 分布式超级计算( d i s t r i b u t e ds u p e r c o m p u t i n g ) 是指将分布在不同地点的超级计算机 用高速网络连接起来，并用网格中间件软件“粘合”起来，形成比单台超级计算机强大 得多的计算平台。事实上，网格的最初设计目标主要就是要满足更大规模的计算需求， g l o b u s 正是从这类应用起家的。在这个领域有两个应用引人关注：第一个是军事仿真项 目s fe x p r e s s l 2 9 1 ，它将大型军事仿真任务分解到分布式环境中运行，在场景分发、资源 配置、资源管理、信息服务、日志服务、监视和容错等方面，都利用了g l o b u s t o o l k i t 1 1 的动态管理功能。第二个应用称作数字相对论，它利用网格求解爱因斯坦相对论方程并 模拟出天体的运动规律。该项目使用了4 台超级计算机，并采用了许多措施来优化分布 式计算的整体性能，运行效率由优化前的1 5 ，提升到了优化后的6 3 。 远程访问贵重仪器 分布式仪器系统( d i s t r i b u t e di n s m u n e n t a t i o ns y s t e m ) 是指用网格管理分布在各地的 贵重仪器系统，提供远程访问仪器设备的手段，来提高仪器的利用率，方便用户的使用。 在网格出现之前，人们就试图通过网络访问一些仪器设备或仪器数据，但当时的软硬件 环境还不成熟，只能实现一些低要求应用。而网格将分布式仪器系统变成了一个非常易 于管理和有弹性的系统。这个领域有代表性的是美国能源部支持的x p o r t 项目。它基于 g l o b u s ，能提供远程仪器使用规划、仪器操作、数据获取、筛选和分析等功能，已明显 地简化了巨型分子晶体结构的设计和实施。科技工作者只要用邮包把晶体快递给仪器所 在地，就可以在自己的实验室中获取到晶体内部结构的可视化图像。 数据密集型计算 数据密集型计算( ( d a t ai n t e n s i v ec o m p u t i n g ) 对应的数据网格更侧重于数据的存贮、 传输和处理。在这个领域独占鳌头的项目是欧洲原子能研究机构c e r n 所开展的数据网 格d a t a g r i d 项目，它的目标是处理2 0 0 5 年建成的大型强予对撞机源源不断产生的p b s 量级实验数据。 一远程沉浸 远程沉浸( t e l e i m m e r s i o n ) 是一种特殊的网络化虚拟现实环境。这个环境可以是对现 实或历史的逼真反映，可以是对高性能计算结果或数据库的可视化，也可以是个纯粹虚 构的空间。“沉浸”的意思是人可以完全融入其中：各地的参与者通过网络聚在同一个虚 拟空间里，既可以随意漫游，又可以相互沟通，还可以与虚拟环境交互，使之发生改变。 目前，已经开发出几十个远程沉浸应用，包括虚拟历史博物馆、协同学习环境等。更重 要的是，它将“人机交互”模式扩展成为“人机协作”模式，不仅提供协同环境，还 将对数据库的实时访问、数据挖掘、高性能计算等集成了进来，为科技工作者提供了一 种崭新的协同研