专题4 扩展的宽带网络及其应用新技术资料

1、第4章 扩展(kuzhn)的宽带网络及其应用新技术 4.1 网 格 计 算4.2 网 络 存 储共六十四页4.1 网 格 计 算4.1.1 网格与网格计算4.1.2 网格系统的主要(zhyo)功能4.1.3 网格计算的关键技术4.1.4 网格计算的应用4.1.5 网格体系结构4.1.6 网格计算的发展现状与趋势共六十四页4.1.1 网格(wn )的概念 网格（Grid）一词来源于人们熟悉的电力网，希望用户在使用网格解决问题时像使用电力网一样(yyng)方便。 网格是一个集成的计算与资源环境和基础设施，它把地理上广泛分布的计算资源、存储资源、网络资源、软件资源、信息资源等连成一个逻辑整体，然后像

2、一台超级计算机一样为用户提供一体化的信息应用服务。共六十四页 网格又是构筑在因特网上的一组新兴技术，它将高速互联网络、计算机、大型数据库、传感器、远程设备等融为一体，为用户提供更多的资源、功能和服务。 网格实现互联网络上所有资源的全面贯通。 网格形式多种多样(du zhn du yn)，如计算网格、数据网格、科学网格、存取网格、服务网格、知识网格、语义网格、地理网格、传感器网格、集群网格、校园网格、亿万量级网格和商品网格等。 网格是一个开放、标准的系统。 只要遵守网格规则，任何设备都可以加入网格。共六十四页 网格主要有以下特点。 虚拟性。 资源对外提供的只是一个虚拟化的接口。 集成性。 网格可

3、以集成(j chn)来自不同管理域、不同管理平台、具有不同能力的资源。 协商性。 可以通过协商获取不同质量的服务和需求。 分布性。 这是指网格的资源是分布的。共六十四页 共享性。 各方面的资源都可以进行(jnxng)共享。 自相似性。 网格的局部和整体之间存在着一定的相似性。 动态性。 资源动态增加和网格资源动态减少。 多样性。 网格资源是异构和多样的。 自治性。 拥有者对他的资源有自主的管理能力。 管理的多重性。 对资源具有自主性的管理。共六十四页 所谓网格计算就是第三代因特网计算，是高性能的协同计算，是利用网络中一些闲置的处理能力来解决复杂科学计算的新型计算模式。 其内容涉及资源的网格化、

4、协调性以及融合(rngh)性。 可以根据需要重新分配计算机资源，使用高层计算能力。 网格计算又是以元数据、构件框架、智能体、网格公共信息协议和网格计算协议为主要突破点对网格计算进行的研究。 网格计算是一种分布式计算。共六十四页4.1.2 网格系统(xtng)的主要功能 管理等级结构。 定义网格系统组织方式。 通信服务(fw)。 网格支持多种通信方式， 信息服务。 需要提供一种能迅速、可靠地获取网格结构、资源、服务和状态的机制， 名称服务。 网格系统使用名字引用各种资源。 共六十四页 分布式文件系统。该系统能提供一致的全局名字(mng zi)空间。 安全及授权。 系统状态和容错。 资源管理和调度

5、。 计算付费和资源交易。 编程工具。网格应提供多种工具。 用户图形界面和管理图形界面。共六十四页图4-1 网格系统(xtng)的基本功能模块示意图共六十四页4.1.3 网格(wn )计算的关键技术（1）网格节点 网格节点就是网格计算资源的提供者。（2）宽带网络系统（3）资源管理和任务调度工具(gngj)（4）监测工具（5）应用层的可视化工具（6）分布对象技术（7）互操作技术（8）地理标记语言共享技术共六十四页4.1.4 网格(wn )计算的应用1在科学计算方面(fngmin)的应用（1）分布式超级计算。（2）密集型计算。（3）高吞吐率计算。（4）更广泛的资源贸易。共六十四页（1）在资源共享方面

6、。（2）在协作(xizu)学习环境的构建方面。（3）教育科学研究方面。2网格(wn )计算在教育中的应用共六十四页 包括研究与开发、商业智能和分析、工程(gngchng)和产品设计、企业优化。 IT资源有可能访问以前不能访问的特殊设备。 可以简化运行环境及其管理并提高工作效率。 建立、重建和改变一个安全资源共享域的各种参数。3网格计算在当今业务(yw)中的应用共六十四页提供(tgng)远程访问仪器设备的手段。 4分布式仪器(yq)系统共六十四页 远程沉浸是一种特殊的网络化虚拟现实环境。 这个环境可以是对现实或历史的逼真反映(fnyng)，可以是对高性能计算结果或数据库的可视化，也可以是纯粹虚构

7、的空间。 “沉浸”的意思是人可以完全融入其中，各地的参与者通过网络聚在同一个虚拟空间里，既可以随意漫游，又可以相互沟通，还可以与虚拟环境交互，使之发生改变。 5远程(yunchng)沉浸共六十四页 网格(wn )将使分布在世界各地的应用程序和各种信息，能够进行无缝融合和沟通。 6信息(xnx)集成 网格技术可以整合和管理分散在各部门的信息化资源。7电子政务 8个人娱乐 共六十四页4.1.5 网格(wn )体系结构1网格(wn )的三层结构 网格可以简单划分为分布式资源、网格系统、网格用户三个层次。图4-2 网格的三层结构共六十四页 图4-3 五层沙漏结构(jigu)及其与TCP/IP网络协议的

8、对比2层次化的网格(wn )体系结构共六十四页 构造层的基本功能就是控制局部的资源，包括查询机制（资源的结构和状态等信息）、控制服务质量的资源管理能力等，并向上提供访问这些(zhxi)资源的接口。 （1）构造(guzo)层共六十四页连接层的基本功能就是(jish)实现相互的通信。它定义了核心的通信和认证协议。 （2）连接(linji)层 资源层的主要功能就是实现对单个资源的共享。 （3）资源层共六十四页汇聚层的主要功能(gngnng)是协调多种资源的共享。 （4）汇聚(hu j)层 网格层次结构又分为面向协议的层次结构和面向服务的层次结构两种。 （5）应用层共六十四页4.1.6 网格计算的发展

9、(fzhn)现状与趋势1标准化现状(xinzhung)与趋势 网格的全球标准化组织有Global Grid Forum、研究模型驱动体系结构的OMG、致力于网络服务与语义WWW研究的W3C以及G等标准化团体。 大多数网格项目都是基于Globus Tookit 所提供的协议及服务建设的。共六十四页 Globus项目组和IBM共同倡议(chngy)了一个全新的网格标准开放式网格服务体系结构（OGSA，Open Grid Services Architecture）。 2003年1月，符合OGSA 规范的Globus Toolkit 3.0（Alpha 版）已经在第一届Globusworld会议上发

10、布。共六十四页 国外对网格的研究始于20世纪90年代中期。 美国是网格研究起步最早的国家，多家研究机构制定了很多网格研究计划，如美国国家科学基金会资助的TeraGrid、NCSA、NPACI，美国国防部的HPCMP网格、全球信息网格（GIG），美国宇航管理局的IPG，美国政府资助的大型物理实验(shyn)网格（GriPhyN）及美国能源部的ASCI Grid、国家技术网格（NTG）等计划。2国外网格计算(j sun)的发展现状共六十四页 TeraGrid 将连接位于5个不同地方的超级计算机，达到每秒20万亿次的计算能力，并能存储和处理近1千万亿字节的数据，连接网格的专用网络带宽将达到40Gbi

11、t/s。 GriPhyN计划建立每秒千万亿次级别的计算平台，用于数据密集型计算。 英国政府宣布投资1亿英镑，用以研发英国国家(guji)网格。 欧洲启动了一系列网格开发计划，日本主要在进行国家研究网格计划、生物网格计划。共六十四页 联想计算机公司(n s)研制的峰值运算速度每秒5.324万亿次的国家网格主节点“深腾6800”超级计算机于2003年11月研制成功。 采用网格技术实现230万亿次计算速度的曙光5000A于2008年11月落户上海超级计算中心。3中国网格计算(j sun)的发展现状共六十四页 据美国预测，网格技术在2020年将产生一个年产值为20万亿美元的大工业。 未来的网格计算(j

12、 sun)主要有三大发展趋势，即标准化、大型化和技术融合化。 网格计算将从标准化向更广域、多学科渗透，技术将进一步融合，从前沿技术逐步走向实用化、大众化。 4网格计算(j sun)的前景共六十四页4.2 网 络 存 储4.2.1 服务器附加存储结构4.2.2 网络附加存储结构4.2.3 存储区域网络存储结构4.2.4 基于IP的存储网络4.2.5 网络存储的新技术(jsh)4.2.6 网络存储的发展与展望 共六十四页 最早是“网络硬盘”，网络存储实现的功能是把用户的文件存储在通过因特网可以访问到的网络服务器上或者与服务器相连的专门设备(shbi)上，用户只需要连接到因特网上就可以自由存取自己账

13、号中或者其他用户共享出来的文件。 而存储网络是一种全新的存储体系结构。 它支持网络协议和存储设备协议，采用面向网络的存储体系结构，使数据处理和数据存储分离，把信息智能从服务器迁移到网络中的各个设备上。 共六十四页 网络存储系统的特点如下。 设计贴近用户(yngh)。 操作简单。 网络存储实现了与电子邮件系统的结合。 网络存储服务支持用户级的共享。共六十四页目前(mqin)有以下4种网络存储共享技术。 服务器附加存储。 网络附加存储。 存储区域网络。 基于IP的存储网络。共六十四页4.2.1 服务器附加存储(cn ch)结构 SAS也称为直接附加存储系统被定义为直接连接在各种服务器或客户端扩展接

14、口下的数据存储设备。 I/O请求(qngqi)直接发送到存储设备。 这种存储结构是将数据存储在各服务器的磁盘族或磁盘阵列等存储设备中。图4-6 SAS的存储结构共六十四页4.2.2 网络(wnglu)附加存储结构 NAS是直接挂网的存储器，即是一个网络的附加存储设备，允许客户机与存储设备之间进行直接的数据访问，通过(tnggu)TCP/IP进行通信，以文件I/O方式进行数据传输。 图4-7 NAS的存储结构共六十四页 NAS存储系统的设计和实现具有以下 实现简单。 由于数据的存储与处理相分离。 部件(bjin)拥有一个在整个网络中的惟一的地址。 NAS设备不依赖通用的操作系统，而是采用了瘦服务

15、器技术。 NAS是一种成本较低、易于安装、易于管理、易于扩展、使用性能和可靠性均较高的资源存储和共享解决方案。共六十四页4.2.3 存储(cn ch)区域网络存储(cn ch)结构 SAN是一种通过光纤集线器、光纤路由器、光纤交换机等连接设备将磁盘阵列、磁带等存储设备与相关服务器连接起来的一个集中式管理的高速存储专用子网。 SAN由3个基本的组件构成：接口、连接设备。 这3个组件再加上附加的存储设备、存储管理软件(run jin)和独立的SAN服务器就构成一个SAN系统。共六十四页1问题的提出(t ch)2SAN的结构图4-8 SAN的结构(jigu)共六十四页 SAN使用FC调节技术来优化服

16、务器和存储器之间的数据块传输，实现了数据块的高密度传输，节省了带宽。 在SAN中，确保了设备连接的可靠(kko)和高效，提高了容错度。 既具有SCSI高速的优势，又具有以太网网络构筑的灵活性，既允许更多连接，又使服务器与存储器之间的距离可以延伸得很长，最长达150km。3SAN的特点(tdin)共六十四页 SAN的管理是集中而且高效的。 将存储与主机的联系断开(dun ki)，可以动态地从集中存储器分配存储量。 高可用性和应用软件故障恢复环境可以确保以较少的开销。共六十四页 FC-SAN即光纤通路存储区域网络是一个由FC协议组成的存储区域网络。 FC可实现处理器与多个海量存储设备间的并行通信，

17、允许的传输速度的理论值达到(d do)4000Mbit/s；服务器系统可以通过电缆远程连接，最大可跨越10km的距离。 FC存储区域网络的带宽可达到100Mbit/s，FC允许镜像配置。4FC-SAN共六十四页 FC本身具有的高传输速率使得SAN网络的传输速率可以(ky)达到200Mbit/s或者更高。 SAN的设备仅能做到与连接在SAN上的服务器间的直接访问，而在LAN上的客户端是无法直接访问SAN的设备的，必须通过服务器间接访问。FC的硬件设备价格昂贵。共六十四页表4-1DAS、NAS和SAN之间的比较(bjio)5DAS、NAS、SAN比较(bjio)DASNASSAN数据被存放在多台不

18、同的服务器上，难以访问数据被整合并存放在相同的存储器上，易于访问数据被整合并存放在相同或不同的存储器上，但提供统一的用户访问视图，易于访问难以升级，容量有限制即插即用，容量无限制即插即用，需配置，容量无限制不支持不同操作系统访问支持不同操作系统访问不支持不同操作系统访问服务器认证网络协议认证服务器认证服务器集中配置数据网络集中配置数据集中配置数据直接连接在服务器上直接连接在网络上，独立于文件服务器与网络服务器、存储产品、网络产品、软件以及服务相关无I/O优化文件I/O优化块I/O优化性能一般高性能极高性能服务器组成部分LAN组成部分独立的网络通过文件系统访问文件通过以太网协议访问文件通过FC协

19、议访问文件易于安装自维护、易于安装、即插即用需要长时间的设计和安装成本低廉成本低廉成本高昂难以维护易于维护难以维护难以备份/恢复易于备份/恢复易于备份/恢复共六十四页4.2.4 基于IP的存储(cn ch)网络 IP存储网络可以说是结合了NAS和SAN两者的优点：一方面它采用TCP/IP作为网络协议，使得它具有NAS易于访问的特点；另一方面它又有独立专用的存储网络结构。 IP网络存储是指在IP网络中实现类似SAN FC的“块级”数据处理，通过用GbE/10吉比特以太网等网络技术构建(u jin)网络存储。 对于基于IP SAN的计算机，数据均可集中存储于网络存储设备上。共六十四页 目前主流的3

20、种IP存储方案包括因特网小型计算机系统接口、因特网光纤通路(tngl)协议和基于IP的光纤通路(tngl)方案。共六十四页 它是一种在因特网协议上进行数据块传输的标准，是一个供硬件设备使用的可在IP上层运行的SCSI指令集。该技术重要的贡献体现(txin)在：第一，SCSI技术是被磁盘、磁带等设备广泛采用的存储标准；第二，沿用TCP/IP，TCP/IP在网络方面是最通用、最成熟的协议。 它解决了开放性、容量、传输速度、兼容性、安全性等问题。 工作流程如图4-9所示。1iSCSI标准(biozhn)共六十四页图4-9 iSCSI工作(gngzu)流程图共六十四页 它是基于TCP/IP网络运行FC

21、通信的标准，具备网关功能，它能将FC独立磁盘冗余阵列、交换机以及服务器连接到IP存储网，而不需要额外的基础架构投资。 它将FC数据以IP包形式封装，并将IP地址映射到分离FC通信设备上。 FC信号在iFCP网关处终止，信号转换后存储通信在IP网中进行，这样iFCP就打破(d p)了传统FC网的距离（约10km）限制。 2iFCP标准(biozhn)共六十四页 当位于iFCP网关的两节点间进行存储数据通信时，首先(shuxin)运用内部FC协议，遍历多iFCP网关的通信随后被封装进iFCP，然后映射到不同IP地址，数据即可通过IP网进行交换或路由传输了。 共六十四页 它是一种IP的存储联网技术，

22、利用IP网络通过数据通道在SAN设备之间实现FC协议的数据传输，把成本(chngbn)节省和数据保护都提升到了一个新的高度。 在同一个SAN范围内，TCP/IP数据包再封装FC通信命令和数据，从而在IP网络上传输FC通信命令和数据。3FCIP标准(biozhn)共六十四页 IP存储的优势如下。 利用无所不在的IP网络，保护了现有投资。 IP存储超越了地理距离的限制。IP能延伸到多远，存储就能延伸到多远，十分适合于对数据的远程(yunchng)备份。 IP网络技术成熟。 4IP存储(cn ch)的优势及存在的问题共六十四页 IP存储减少了配置、维护、管理的复杂度。存在的问题(wnt)如下。 IP

23、存储的产品总体上还不十分成熟，用户可选择的余地较小。 IP存储并不是像在IP网络上连接一个带网卡的存储设备那样简单，需要一些专门的驱动和设备。 IP存储特别的消耗资源，对QoS要求较高的场合是一个挑战。共六十四页4.2.5 网络(wnglu)存储的新技术1基于(jy)InfiniBand的存储系统 InfiniBand把网络技术引入I/O体系中，形成一个I/O交换网络结构，主机系统通过一个或多个主机通路适配器（HCA，Host Channel Adapter）连接到I/O交换网上，存储器、网络通信设备通过目标通路适配器（TCA，Target Channel Adapter）连接到该I/O交换网

24、上。共六十四页 InfiniBand体系结构把IP网络和存储网络合二为一，以交换机互连和路由器互连的方式支持系统的可扩展性。 服务器端通过(tnggu)HCA连接到主机内存总线上,存储设备端通过TCA连接到物理设备上。 两种实现途径：一是SAN存储设备内部通过InfiniBand I/O路径进行数据通信；二是SAN存储设备和主机系统利用InfiniBand I/O路径取代FC I/O路径。共六十四页 直接访问文件系统（DAFS，Direct Access File System）是一种文件访问协议，可以在大量甚至过量负载时有效地减轻存储服务器的计算压力，提高存储系统的性能。DAFS把远程直接内

25、存存取（RDMA，Remote Direct Memory Access）的优点和NAS的存储能力集成在一起，全部读写操作都直接通过(tnggu)DAFS的用户层RDMA驱动器执行。 2直接(zhji)访问文件系统共六十四页 DAFS的基本原理是通过缩短服务器读写文件(wnjin)时的数据路径来减少和重新分配CPU的计算任务。 它提供内存到内存的直接传输途径，直接由应用服务器内存传输到存储服务器内存。 DAFS可以直接集成到NAS存储服务器中。共六十四页 虚拟存储是一种具有智能结构(jigu)的系统，它允许客户以透明有效的方式在磁盘和磁带上存储数据，统一管理磁盘空间。 所谓存储虚拟化就是新存储

26、实体对原存储实体的存储资源和存储管理 进行变化和转换的过程。存储虚拟化是物理存储的逻辑表示方法，是在服务器与存储之间设置的一个抽象层，服务器被绑定到逻辑抽象层上。 3虚拟存储共六十四页 存储虚拟化有3个层次：基于服务器的虚拟存储、基于存储设备的虚拟存储、基于网络的虚拟存储。 虚拟存储被认为是可以简化管理(gunl)大型、复杂、异构的存储环境的技术。 它使主机操作系统看到的存储与实际物理存储分开，管理员可以通过图形用户界面或类似界面让很多服务器共享后端的存储池。共六十四页 “对应用系统和用户透明”，这是智能存储的核心理念，即存储系统自身应具备智能。 智能存储必须由不同存储产品组合才能(cinng

27、)实现，包括智能化的存储设备、智能化的存储网络设施和智能化的存储管理软件等。 智能存储需要存储产品在不同层次实现多种数据安全保障措施，形成多层次的安全保障。4智能(zh nn)存储共六十四页 在智能存储方案中，选择的磁带库产品要具备大型磁盘阵列的动态扩展能力、高可用性设计、智能存储控制器等特点。 还必须(bx)具备新型的存储管理软件，才能真正实现透明的智能存储。共六十四页 零复制(fzh)（zero-copy）的基本思想是：数据报从网络设备到用户程序空间传递的过程中，减少数据复制(fzh)次数，减少系统调用，简化协议处理层次，实现CPU的零参与。 实现零复制用到的最主要技术是DMA数据传输技术和内存区域映射技术。 零复制技术首先利用DMA技术将网络数据报直接传递到系统内核预先分配的地址空间