应用需求与网格技术

1,应用需求与网格技术Grid Computing,新一代互联网络应用技术,2,引子,网格（Grid）技术是近年来兴起的一门信息新技术，它代表了继Internet技术和Web技术之后的第三次技术浪潮。网格最早从高性能计算发展而来，后经历元计算到网格计算，再到现在的网格信息服务。网格不仅支持旨在聚合计算资源的高性能科学计算，而且支持分布式资源的协作与共享；不仅综合了对科学计算、并行计算以及工程计算等各种业务的支持，即解决计算密集型的重大挑战性的问题，同时还构成事务处理、信息交流、电子商务、远程教育、远程医疗、数字图书馆等新型应用的基础。,3,动机,应用需求应用需求是推动着网格技术产生和发展的主要动力资源浪费计算机、服务器、工作站、机群闲置严重。信息丰富互联网每年增加1018字节以上的信息，只有百万分之一为公众使用。,4,研究热度,5,1988 1993 1995 1998 2000 2002 2005,同构计算,异构计算,元计算,网格计算,普适计算,计算规模,应用推动计算模式的演变,YEAR,SCALE,6,应用推动计算模式的演变,网格是应用需求的产物。由于人类对计算机性能的需求永无止境，在诸如预测模型的构造和模拟，工程设计和自动化，能源勘探，医学，军事等领域内对计算能力提出了极高的、具有挑战性的要求。而传统的计算模式已经难以适应日益增长的应用需求，计算模式发生改变成为必然。计算模式从基于同构系统的并行计算演变到基于异构环境的分布式计算，再从分布式计算演变到元计算和网格计算。,7,生物计算需要高性能计算机,1965 1970 1975 1980 1985 1990 1995 2000,100,00010,0001,0001001010.10.010.001,1,000,Medline Records,Transistors/Chip,DNA Sequences,3D Structures,Cumulative Growth of Biological Information and Computer Power,Mark Bogulski (1998) Bioinformatics: A New Era,8,元器件的发展不能满足应用需要,元器件的发展，无疑是过去几十年来推动计算机技术发展的重要动力，也是最活跃、最具影响的因素。尽管元器件制造技术在不断改进，集成电路的设计方法不断更新，但在未来十年内，元器件的速度不可能继续以以往的速度继续提高(在过去10年里，CPU的主频每18个月就提高一倍)。据SIA(Semiconductor Industry Association)预测，目前集成电路制造的主导技术-CMOS技术，在2010年左右可能达到极限。如果没有理论与技术上的重大突破，那么提高元器件的速度最终将受到光速和氢原子直径的限制。而另一方面，人类对计算机系统性能的需求永无止境，应用领域需要计算机解决的问题越来越复杂，规模越来越大。,9,单一体系结构不能满足应用需要,过去40年来，科学家提出了很多并行处理技术，如流水线、向量化和陈列等；设计了各种计算机系统，如对称多处理机(Symmetrical Multi-Processors，SMP)，大规模并行处理机(Massive Parallel Processors，MPP)等，它们都极大地提高了计算机系统的整体速度。但由于SMP、MPP的处理器往往是同构的，而应用任务可能包含复杂的内在并行性(如SIMD、MIMD和向量等)，不同的并行性可能适合不同的处理机来运行。在SMP或MPP系统中，大部分应用程序仅能获得其峰值性能的一小部分。,10,同构计算系统不能满足应用需要,传统的同构计算系统通常在一个给定的机器上使用一种并行编程模型，不能满足多于一种并行性的应用需求。单一类型的机器经常花费大部分的时间在不适合其执行的代码上。任何一类同构系统都有其固有的局限性。向量机器使用交错存储器，流水线ALU，从而导致可达每秒百万浮点的性能。如果应用程序不能开发出这些特性，则系统性能将严重下降。由Amdahl定理可知，并行计算系统对于不适合其执行的并行任务往往将花费大量的额外开销。如果映射大部分任务(或子任务)在不合适的机器上运行，将引起计算系统的机器性能的下降，并使编程人员的调度努力失去意义。研究和开发支持多种内在并行应用的计算系统是摆在我们面前的重大挑战，其目的是提高计算效率，获取应用程序峰值性能的大部分。,11,异构计算系统的优势,异构计算系统支持具有多内在并行性的应用，它可以提高应用程序实际执行性能与其峰值性能的比。计算系统的异构性并不是一个新概念，几种专门的协处理器已经用于提高计算机系统的吞吐量。I/O处理器和浮点处理器是其中的典型代表，它们是增强系统性能的一个异构化方法。一个异构系统通常包括若干异构的计算节点、互连的高速网络、通信接口以及编程环境等。下面给出一个典型的异构计算环境，该异构计算环境包括PC、工作站机群、超级计算机等。,12,一个典型的异构计算环境,13,异构计算系统的优势,异构计算环境具有实现Petaflops (1015Flops/s)性能的潜力。Why？通过下面的例子而窥见一斑,14,引用,15,异构计算系统的演化,基于异构计算环境的异构处理可分为粗粒度异构处理和细粒度异构处理。细粒度异构是按指令分配和调度，通信开销太大；而粗粒度异构是按指令块进行调度，通信开销可以容忍，是具有开发前景的一种异构处理。 粗粒度的异构处理又称为元计算(Metacomputing，Metacomputation)，,16,网格计算系统,分布式计算 扩展到 信息共享服务计算服务 + 信息服务 网格服务元计算提供“分布式与并行计算”服务网格聚合广域计算资源网格共享广域信息资源,17,网格的概念,2002年7月，Ian Foster在What is the Grid? A Three Point Checklist中，认为网格必须同时满足三个条件：(1)在非集中控制的环境中协同使用资源；(2)使用标准的、开放的和通用的协议和接口（也就是指Globus）；(3)提供非平凡的服务。可见，这三个条件要求非常严格，这样像P2P(Peer to Peer)、SUN Grid Engine、Condor、Entropia、MultiCluster 等都被排除在网格之外。而另一些人则赞同广义的“网格观”，并把它称作巨大全球网格（Great Global Grid，GGG），它不仅包括计算网格、数据网格、信息网格、知识网格、商业网格，还包括一些已有的网络计算模式，例如对等计算P2P、进化计算等。,显然，网格这一概念也是“与时俱进”的。,18,网格技术的目标,（1）降低应用成本低（2）屏蔽资源的分布性（3）屏蔽资源的异构性（4）保证资源自治性、动态性和扩展性,19,网格的理想,正如元计算专家L. Smarr和C.E. Catlett所认为的那样：“最终，除了一台摆在桌面上的计算机外，用户将觉察不到对其它计算机资源的使用，因为系统拥有了通过网络延伸并获得任何所需计算资源的能力”。,20,网格计算的不足,普适计算优势使技术消失，人们无意识的使用用户看不见计算机将计算机集成到环境中，人们可以在移动中和计算机更加自然的交互使设备感知环境的变化，自动适应，按照人们的喜好响应,“随时随地”和“透明”,21,普适计算的优势,使计算无处不在，贴近生活软件即服务，更自然的使用软件硬件(半导体)公司致力于更小的设备通信公司致力于更快的连接信息技术公司致力于方便的信息处理,22,引用,23,网格研究现状,网格技术的发展到目前为止基本上可以划分为以下3个阶段：（1）萌芽阶段：在上世纪90年代早期，主要是千兆网的测试床，以及一些元计算的实验系统；（2）早期实验阶段：在上世纪90年代中期到晚期，比如I-WAY项目，还包括一些学术性的软件项目，如Globus、Legion、NetSolve，还有一些应用实验；（3）迅速发展阶段：2002年以来，出现了大量的应用社团和项目，主要基础设施的开发和使用。,24,中国政府计划,2002年，863计划的“高性能计算”专项；2003年，教育部 “ChinaGrid”计划；2003年12月，国家自然科学基金委员会 “以网络为基础的科学活动环境”；2004年5月，国家科技部启动“国家科技基础条件平台专项项目”；2005年7月，国家自然科学基金委员会 “以网络为基础的科学活动环境（II）”；,25,学术研究,I-WAY是一个大规模的广域计算测试平台。Globus以I-WAY和I-Soft为基础，高性能计算环境构建基础工具。Legion强调工作站簇(或机群)上的并行任务的高效运行。NetSolve是基于代理技术的网络化科学计算环境。SETIhome， SETI （搜寻地外文明） 是一个寻找地球以外智慧生命的科学实验。ChinaGrid，中国教育与科研网格,26,我们的部分工作,国家高性能计算环境西安节点NHPCC 面向科学与并行计算的网格计算中间件GridWader （http:/G )(1) MPI & PVM 聚合环境(2) 科学计算与工程库聚合环境网格编程工具Grid Shell，VGPE、SGPL生物信息学网格数据库重定向生物信息服务平台etc,27,我们的部分工作,国家863计划项目广域虚拟计算环境关键技术（19982000）校园级网格计算实验环境与试验床（20012003）国家高性