6网格体系结构-五层沙漏模型

LHCExperimentsWorldWideCollaboration

distributedcomputing&storagecapacityLHC: >5000 physicists

>270 institutes

>60 countries网格的基本概念虚拟组织概念上述实例的不同点不同数量和类型的参与者;不同的行为类型;互操作的持续时间和规模不同;访问的资源不同相同点拥有不同优先级的彼此不信任的参与者为了共同完成任务都需要共享资源被共享的资源不仅是简单的文件资源,还包括软件资源,计算资源,数据资源,传感器资源,网络资源,通信资源等.共享规则资源提供者和资源消费者需明确仔细的定义共享什么,谁可以共享,以及共享时所要满足的条件.由这些共享规则定义的一组个体和/或机构形成”虚拟组织”(virtualorganizations,VO)网格的基本概念Grid的定义Coordinatedresourcesharingandproblemsolvingindynamic,multi-institutionalvirtualorganizations.动态多机构虚拟组织中的协同资源共享与问题解决IanFosterSeniorScientist,Mathematics&ComputerScienceDivision,

ArgonneNationalLaboratory

Professor,DepartmentofComputerScience,

TheUniversityofChicago

/~foster网格的基本概念共享关系带来的技术挑战计算模式C/S模式P2P模式资源的异构性和多样性程序,文件,数据,计算机,传感器,网络等对资源的高级\精确的控制功能包括细粒度的多所有者的访问控制、授权、本地和全局策略的应用资源虚拟化为服务资源能以标准的方式透明访问，而不需要考虑其物理位置和实现方法应用模式的挑战单用户vs多用户性能敏感vs成本敏感服务质量记帐网格的基本概念虚拟组织中的共享关系实例物理组织AirCar，Boeing，CyclesRU虚拟组织VO-Space：作用：使用不同位置(AirCar，Boeing)的程序和数据设计先进的航天工具．性质：国际性虚拟组织VO-Cycles:作用:把未使用的计算周期聚集到一个本地服务提供者(CyclesRU，Boeing)以便完成计算密集型任务虚拟组织中的共享关系BoeingAirCarCyclesRUVO-Cycles中的参与者可以使用空闲CPU周期VO-space中的参与者可以运行程序B和DVO-space中的参与者可以运行程序AWhatistheGrid?

—AThreePointChecklistJuly20,2019IanFosterGrid的三要素AGridisasystemthat:

(1)coordinatesresourcesthatarenotsubjecttocentralizedcontrol…

对非集中控制的资源进行协调

(2)…usingstandard,open,general-purposeprotocolsandinterfaces

使用标准的、开放的、通用的协议和接口

(3)…

todelivernontrivialqualitiesofservice(QoS)

提供非平凡的服务质量

网络计算体系结构的发展五层沙漏结构开放网格服务体系结构OGSAOpenGridServiceArchitectureWebService资源框架WSRFWebServiceResourceFrameWork网络计算体系结构的发展（续）网格计算体系结构层次体系结构开放网格服务体系结构OGSAOGSI→WSRF（WS－ResourceFramework）八十年代中后期2019自治多域服务联合计算九十年代中期20192019多层网格体系结构开放网格服务体系结构OGSA技术体系OGSIOGSA技术体系WSRF元计算计算网格20世纪60年代，提出了网格计算的基本思想

。因特网的先驱：J.C.R.Licklider提出银河间计算机网络的概念，相信世界上每个人能随处使用计算机和获取数据。20世纪80年代末，提出了“元计算”（meta-computing）概念。通过联网环境透明地获得和使用的强大的计算资源。90年代末，提出了网格（Grid）概念。

一个无缝集成的计算和协同环境。网格的起源网格的发展萌芽阶段：在90年代早期，主要是千兆网的测试床，以及一些元计算的实验；如FAFNER(FactoringviaNetwork-EnabledRecursion),如I-WAY;早期实验阶段：在90年代中期到后期，包括一些学术性的软件项目，比如，Globus，Legion，还有一些应用实验；迅速发展阶段：2019年以来，出现了大量的应用社团和项目，主要基础设施的开发的使用，工业对网格计算的兴趣在增长等，比如IBM，Platform，Microsoft，Sun，等重要的公司；网格特点

作为一种新出现的重要基础设施，了解这个设施的特点，可以帮助了解认识和把握网格。网格的特点如下：

（1）分布性

网格特点（2）（2）自相似性

分形模型最重要特征就是自相似性，即整体和局部之间存在一定的相似性。整体和局部互相体现特征。网格特点（3）（3）动态性和多样性动态性包括动态增加和动态减少两个方面（4）自治性与管理的多重性网络中的资源首先是归自身所有者拥有的，网格资源也必须接受网格的统一管理。网格的自治性是指网格允许资源拥有者对他的资源有自主的管理能力。网格管理多重性是指一方面它允许网格资源的拥有者对资源具有自主性管理，另一方面又要求网格资源必须接受网格的统一管理。网格体系结构体系结构本身就是一个系统的整体框架结构，通过它从整体上了解一个系统的构架布局等。网格体系结构也是如此，我们给出一个通用意义上的定义：网格体系结构就是关于如何建造网格的技术。它给出了网格的基本组成与功能，描述了网格各组成部分的关系以及它们集成的方式或方法，刻画了支持网格有效运转的机制。网格体系结构的精髓网格体系结构体现了一个分合思想，贯穿两条主线，一个是“分”，另一个就是“合”网格体系结构的作用是在一定程度上对网格的解剖。GA必须要能够标识出网格的基本组成成分，要能够清楚地说明网格整体是由那些关键部分结合在一起形成的。GA还必须能够对各个部分地功能、目的、特点等进行清晰地描述，使人们能够了解各个组成部分的作用。这是“分”的作用。“分”的基础之上，GA还需要进一步描述“合”的功能，即充分了解网格的各个部分的作用机理、作用方式等的基础上，将分的部分按照一定的方式进行组织和集成，形成一个特定功能的整体对外提供服务。网格体系结构--网格的同轴模型高性能网络通信资源管理网格服务网格应用网格体系结构--网格系统的组件模型网格体系结构--网格系统的组件模型网格资源：包括网络上所有分布的，可访问的计算资源。不仅仅实现了计算资源在物理上的连通。网格中间件：一系列工具和协议软件。屏蔽网格资源的分布、异构特性，提供透明、一致的接口。网格开发环境和工具：让开发人员开发不同的应用以及用户代理在全局资源中调度计算。网格应用层：是用户需求的具体体现。提供网格入口(gridportals)技术。从网格开发角度体现出来的网格层次结构网格体系结构的演变五层沙漏结构由Foster等最早提出的，是一个最先出现的应用和影响广泛的结构。OGSA体系结构开放网格服务结构OGSA(OpenGridServicesArchitecture)是GlobalGridForum4的重要标准建议，是继五层沙漏结构之后最重要的一种网格体系结构。是由Foster等结合WebService等技术，在IBM合作下提出的新的网格结构。五层沙漏结构五层沙漏结构是一种以协议为中心的结构，也十分强调服务与API（ApplicationProgrammingInterfaces）和SDK（SoftwareDevelopmentKits）的重要性。五层沙漏的基本思想：共享互操作协议API/SDK五层划分沙漏结构设计原则保持参与的开销最小核心协议较少的，要普遍支持提供一些核心服务为基础类似OS内核，移植方便管辖多种资源，允许局部控制用来构建高层的、特定领域的应用服务支持适应性“IPhourglass”modelDiverseglobalservices核心服务LocalOSApplications高层功能向瓶颈部分的映射瓶颈部分功能向底层的映射瓶颈部分Hourglass

GridArchitecture

比较InternetArchitectureApplication构造层Fabric“Controllingthingslocally”:Accessto,&controlof,resources连通层“Talkingtothings”:通讯(Internetprotocols)&安全资源层Resource“共享单个资源”:协商访问,控制使用聚合层Collective“管理多个资源”:无处不在的底层基础服务services应用层“Specializedservices”:面向用户或面向应用的分布式服务servicesInternetTransportApplicationLinkInternetProtocolArchitecture每一层存在的协议、服务和接口Languages/FrameworksFabricLayerApplicationsLocalAccessAPIsandProtocolsCollectiveServiceAPIsandSDKsCollectiveServicesCollectiveServiceProtocolsResourceAPIsandSDKsResourceServicesResourceServiceProtocolsUserServiceProtocolsUserServiceAPIsandSDKsUserServicesConnectivityAPIsConnectivityProtocols五层沙漏结构构造层(Fabric)构造层——本地控制的接口提供资源如计算资源，存储资源，目录，网络资源，传感器等资源可以是逻辑实体，如一个分布式文件系统、计算集群或分布式计算机池。实现了本地的，具体于资源的操作具有内省机制，该机制支持发现资源的结构、状态和能力实现资源本地管理机制。如集群资源具有内部协议如集群管理协议和软件，网格可以利用该协议提供对服务质量的某种控制构造层(Fabric)构造层计算资源需要启动程序并监视和控制结果进程执行的机制；需要内省功能来确定硬件和软件的特征，以及相关的状态信息存储资源需要发送和获取文件的机制；需要对文件的部分子集进行读和写，以及执行远程数据选择和数据裁剪的机制；对分配给数据传输的资源（磁盘空间、磁盘带宽、网络带宽、CPU等）进行控制和管理的机制；需要内省功能来确定可用的空间和带宽利用率等信息网络资源需要对分配给网络传输的资源（例如，优先级队列、预留的资源）进行管理的机制；需要内省功能来确定网络的特征和负载。Grid体系结构各层说明构造层(Fabric)：提供一套对局部资源控制的工具和接口；计算、存储、网络、数据和目录等对所控制的共享资源进行局部管辖和调度实现各种资源本身的一些控制管理机制不同类型资源不同的控制管理机制YH资源和作业管理系统SGI资源和作业管理系统IBM资源和作业管理系统特定构造层资源及其功能特性构造层资源举例功能特性计算资源启动程序，监控和控制进程的执行，控制进程资源分配的管理机制，提前预留机制，查询功能.存储资源存放与获取文件的机制，第三方高性能传输方式，读写文件子集机制，远程数据选取与归约机制，对分配用于数据传输资源的控制管理机制，提前预约机制，查询功能.网络资源对网络传输资源的管理机制，查询功能（用来得到网络特性和负载）.代码库源代码和目标代码管理机制，比如CVS控制系统.目录目录查询与更新操作机制，比如关系数据库连接层连接层——安全便利的通信定义了通信和认证核心协议通信协议通信协议实现传输（IP/TCP/UDP,IPX/SPX）、路由（OSPF/RIP/EIGRP）和命名(DNS/Netbios)不局限于TCP/IP协议栈，还包括ATM，高性能光纤网，无线网络等通信协议连接层连接层——安全便利的通信保证通信安全的认证核心协议单一登录网格用户需要启动访问多个远程资源的计算任务，但是用户应该只认证一次，而不必为访问每个资源或管理域都“登录”委托和限制性委托一个用户必须能够赋予一个程序代表他运行的能力，以便该程序能够访问授权该用户访问的资源被委托的程序能够有选择的把它的权限的一部分委托给另外一个程序，即限制性委托与本地安全方案的集成在异构网络中，每个资源提供者通常都有本地安全方案，不能要求对本地安全方案进行大规模替换。网格安全方案必须能和不同的本地方案互操作，实现对本地环境的映射。基于用户的信任关系如果用户拥有地点A和地点B的权力，那么该用户应该能够一起使用地点A和地点B，而不需要地点A和地点B的安全管理者之间进行交互Grid体系结构各层说明连通层(connectivity):定义了Grid网络事务处理的通信和验证协议，基于Internet协议；基于Internet协议，完成通信；认证和安全通信连接层安全认证特性特点描述单一登陆用户只需登陆一次，就可以以该身份访问不同的构造层网格资源，不需要对不同的资源多次重复登陆，也不需要用户进一步介入.代理用户必须有让程序以自己身份运行的能力，因此程序就能够访问用户认证的不同资源.该程序还能够有条件将它的部分权限授予另一个程序（受限制的代理）.与局部安全方法的集成不同的资源可以使用其局部的安全方案，但是网格安全方案必须与那些局部的方案进行互操作.不要求网格安全方案完全代替局部安全方案，但是它必须能够实现向局部安全的映射.基于用户的信任机制用户可以使用多个提供者提供的资源，但并不是要求资源提供者在安全环境中协同操作或互操作.即如果一个用户有权使用站点A和B的资源，用户能够将A和B的资源结合起来使用，并不要求A和B的安全管理相互作用.资源层资源层实现经过身份认证的网格用户与远端资源和服务进行交互的功能定义单一资源上的共享操作协议如安全协商、初始化、监控、控制、记帐、付费等资源层协议调用Fabric层的功能来访问和控制本地资源两种主要协议类型信息协议：用来获得资源的结构和状态信息，如配置＼负载＼代价等管理协议：用来协商对共享资源的访问，指定资源请求策略（如资源预留，或资源Qos），以及资源操作（如进程创建＼数据访问等）的实例化Grid体系结构各层说明（续）资源层（Resource)：定义了一些对单个的资源共享操作协议定义了某类资源的管理和操作等的标准协议和接口可以远程统一的访问和共享操作资源如交换、启动、监视、控制、记帐和支付等，以及应用程序接口和软件包；例如：标准的作业管理系统接口和标准资源层的协议类型与描述协议类型描述信息协议得到资源的结构和状态信息，比如配置，当前负载，使用策略等.管理协议通过判断访问共享资源，指出资源需求以及执行的操作.初始化共享关系，保证要求的协议操作与底层共享资源提供的共享策略一致.还要考虑记账和付费的问题，协议还可能需要具有监控操作的状态并控制某些操作的功能.汇聚层汇聚层所定义的协议和服务不是同某一特定资源相关的,而是用来定义资源集之间的交互汇聚层能够实现多种不同的共享行为而不需要对共享资源施加新的限制,如网格目录服务:MDS-2协同分配\调度\代理服务:AppLeS,Condor-G,Nimrod-G等监控和诊断服务数据复制服务汇聚层提供编程工具和编程模型编程模型(chap24)工作流系统软件发现服务（NetSolve,Ninf）虚拟社区内协同信息交换（如AccessGrid,Butterfly,群件系统等）汇聚层同样涉及安全\策略和记帐问题Grid体系结构各层说明（续）聚合(Collective)：提供多个资源协同工作联合资源调度和预约，信息服务，数据复制服务、资源发现服务、团体授权服务、协作服务和分布记帐服务等；例如：标准的作业管理系统接口和标准联合分配汇聚层服务和协议服务与功能名称描述目录服务允许虚拟组织参加者发现存在的资源或者是存在的资源的特性，允许用户根据名字或者属性来查询资源.协同分配，调度以及代理服务允许虚拟组织参加者申请一个或者更多的资源，并且在相应的资源上进行任务调度.监控和诊断服务用于监视虚拟组织资源的失败，恶意的攻击，入侵检查，过载等等.数据复制服务支持虚拟组织存储，网络与计算的管理