专题4 扩展的宽带网络及其应用新技术.ppt

1、第4章 扩展的宽带网络及其应用新技术,4.1 网 格 计 算,4.1.1 网格与网格计算 4.1.2 网格系统的主要功能 4.1.3 网格计算的关键技术 4.1.4 网格计算的应用 4.1.5 网格体系结构 4.1.6 网格计算的发展现状与趋势,4.1.1 网格的概念,网格（Grid）一词来源于人们熟悉的电力网，希望用户在使用网格解决问题时像使用电力网一样方便。 网格是一个集成的计算与资源环境和基础设施，它把地理上广泛分布的计算资源、存储资源、网络资源、软件资源、信息资源等连成一个逻辑整体，然后像一台超级计算机一样为用户提供一体化的信息应用服务。,网格又是构筑在因特网上的一组新兴技术，它将高速

2、互联网络、计算机、大型数据库、传感器、远程设备等融为一体，为用户提供更多的资源、功能和服务。 网格实现互联网络上所有资源的全面贯通。 网格形式多种多样，如计算网格、数据网格、科学网格、存取网格、服务网格、知识网格、语义网格、地理网格、传感器网格、集群网格、校园网格、亿万量级网格和商品网格等。 网格是一个开放、标准的系统。 只要遵守网格规则，任何设备都可以加入网格。,网格主要有以下特点。 虚拟性。 资源对外提供的只是一个虚拟化的接口。 集成性。 网格可以集成来自不同管理域、不同管理平台、具有不同能力的资源。 协商性。 可以通过协商获取不同质量的服务和需求。 分布性。 这是指网格的资源是分布的。,

3、 共享性。 各方面的资源都可以进行共享。 自相似性。 网格的局部和整体之间存在着一定的相似性。 动态性。 资源动态增加和网格资源动态减少。 多样性。 网格资源是异构和多样的。 自治性。 拥有者对他的资源有自主的管理能力。 管理的多重性。 对资源具有自主性的管理。,所谓网格计算就是第三代因特网计算，是高性能的协同计算，是利用网络中一些闲置的处理能力来解决复杂科学计算的新型计算模式。 其内容涉及资源的网格化、协调性以及融合性。 可以根据需要重新分配计算机资源，使用高层计算能力。 网格计算又是以元数据、构件框架、智能体、网格公共信息协议和网格计算协议为主要突破点对网格计算进行的研究。 网格计算是一种

4、分布式计算。,4.1.2 网格系统的主要功能, 管理等级结构。 定义网格系统组织方式。 通信服务。 网格支持多种通信方式， 信息服务。 需要提供一种能迅速、可靠地获取网格结构、资源、服务和状态的机制， 名称服务。 网格系统使用名字引用各种资源。, 分布式文件系统。 该系统能提供一致的全局名字空间。 安全及授权。 系统状态和容错。 资源管理和调度。 计算付费和资源交易。 编程工具。 网格应提供多种工具。 用户图形界面和管理图形界面。,图4-1 网格系统的基本功能模块示意图,4.1.3 网格计算的关键技术,（1）网格节点 网格节点就是网格计算资源的提供者。 （2）宽带网络系统 （3）资源管理和任务

5、调度工具 （4）监测工具 （5）应用层的可视化工具 （6）分布对象技术 （7）互操作技术 （8）地理标记语言共享技术,4.1.4 网格计算的应用,1在科学计算方面的应用,（1）分布式超级计算。 （2）密集型计算。 （3）高吞吐率计算。 （4）更广泛的资源贸易。,（1）在资源共享方面。 （2）在协作学习环境的构建方面。 （3）教育科学研究方面。,2网格计算在教育中的应用,包括研究与开发、商业智能和分析、工程和产品设计、企业优化。 IT资源有可能访问以前不能访问的特殊设备。 可以简化运行环境及其管理并提高工作效率。 建立、重建和改变一个安全资源共享域的各种参数。,3网格计算在当今业务中的应用,提供

6、远程访问仪器设备的手段。,4分布式仪器系统,远程沉浸是一种特殊的网络化虚拟现实环境。 这个环境可以是对现实或历史的逼真反映，可以是对高性能计算结果或数据库的可视化，也可以是纯粹虚构的空间。 “沉浸”的意思是人可以完全融入其中，各地的参与者通过网络聚在同一个虚拟空间里，既可以随意漫游，又可以相互沟通，还可以与虚拟环境交互，使之发生改变。,5远程沉浸,网格将使分布在世界各地的应用程序和各种信息，能够进行无缝融合和沟通。,6信息集成,网格技术可以整合和管理分散在各部门的信息化资源。,7电子政务,8个人娱乐,4.1.5 网格体系结构,1网格的三层结构,网格可以简单划分为分布式资源、网格系统、网格用户三

7、个层次。,图4-2 网格的三层结构,图4-3 五层沙漏结构及其与TCP/IP网络协议的对比,2层次化的网格体系结构,构造层的基本功能就是控制局部的资源，包括查询机制（资源的结构和状态等信息）、控制服务质量的资源管理能力等，并向上提供访问这些资源的接口。,（1）构造层,连接层的基本功能就是实现相互的通信。它定义了核心的通信和认证协议。,（2）连接层,资源层的主要功能就是实现对单个资源的共享。,（3）资源层,汇聚层的主要功能是协调多种资源的共享。,（4）汇聚层,网格层次结构又分为面向协议的层次结构和面向服务的层次结构两种。,（5）应用层,4.1.6 网格计算的发展现状与趋势,1标准化现状与趋势,网

8、格的全球标准化组织有Global Grid Forum、研究模型驱动体系结构的OMG、致力于网络服务与语义WWW研究的W3C以及G等标准化团体。 大多数网格项目都是基于Globus Tookit 所提供的协议及服务建设的。,Globus项目组和IBM共同倡议了一个全新的网格标准开放式网格服务体系结构（OGSA，Open Grid Services Architecture）。 2003年1月，符合OGSA 规范的Globus Toolkit 3.0（Alpha 版）已经在第一届Globusworld会议上发布。,国外对网格的研究始于20世纪90年代中期。 美国是网格研究起步最

9、早的国家，多家研究机构制定了很多网格研究计划，如美国国家科学基金会资助的TeraGrid、NCSA、NPACI，美国国防部的HPCMP网格、全球信息网格（GIG），美国宇航管理局的IPG，美国政府资助的大型物理实验网格（GriPhyN）及美国能源部的ASCI Grid、国家技术网格（NTG）等计划。,2国外网格计算的发展现状,TeraGrid 将连接位于5个不同地方的超级计算机，达到每秒20万亿次的计算能力，并能存储和处理近1千万亿字节的数据，连接网格的专用网络带宽将达到40Gbit/s。 GriPhyN计划建立每秒千万亿次级别的计算平台，用于数据密集型计算。 英国政府宣布投资1亿英镑，用以研

10、发英国国家网格。 欧洲启动了一系列网格开发计划，日本主要在进行国家研究网格计划、生物网格计划。,联想计算机公司研制的峰值运算速度每秒5.324万亿次的国家网格主节点“深腾6800”超级计算机于2003年11月研制成功。 采用网格技术实现230万亿次计算速度的曙光5000A于2008年11月落户上海超级计算中心。,3中国网格计算的发展现状,据美国预测，网格技术在2020年将产生一个年产值为20万亿美元的大工业。 未来的网格计算主要有三大发展趋势，即标准化、大型化和技术融合化。 网格计算将从标准化向更广域、多学科渗透，技术将进一步融合，从前沿技术逐步走向实用化、大众化。,4网格计算的前景,4.2

11、网 络 存 储,4.2.1 服务器附加存储结构 4.2.2 网络附加存储结构 4.2.3 存储区域网络存储结构 4.2.4 基于IP的存储网络 4.2.5 网络存储的新技术 4.2.6 网络存储的发展与展望,最早是“网络硬盘”，网络存储实现的功能是把用户的文件存储在通过因特网可以访问到的网络服务器上或者与服务器相连的专门设备上，用户只需要连接到因特网上就可以自由存取自己账号中或者其他用户共享出来的文件。 而存储网络是一种全新的存储体系结构。 它支持网络协议和存储设备协议，采用面向网络的存储体系结构，使数据处理和数据存储分离，把信息智能从服务器迁移到网络中的各个设备上。,网络存储系统的特点如下。

12、 设计贴近用户。 操作简单。 网络存储实现了与电子邮件系统的结合。 网络存储服务支持用户级的共享。,目前有以下4种网络存储共享技术。 服务器附加存储。 网络附加存储。 存储区域网络。 基于IP的存储网络。,4.2.1 服务器附加存储结构,SAS也称为直接附加存储系统被定义为直接连接在各种服务器或客户端扩展接口下的数据存储设备。 I/O请求直接发送到存储设备。 这种存储结构是将数据存储在各服务器的磁盘族或磁盘阵列等存储设备中。,图4-6 SAS的存储结构,4.2.2 网络附加存储结构,NAS是直接挂网的存储器，即是一个网络的附加存储设备，允许客户机与存储设备之间进行直接的数据访问，通过TCP/I

13、P进行通信，以文件I/O方式进行数据传输。,图4-7 NAS的存储结构,NAS存储系统的设计和实现具有以下 实现简单。 由于数据的存储与处理相分离。 部件拥有一个在整个网络中的惟一的地址。 NAS设备不依赖通用的操作系统，而是采用了瘦服务器技术。 NAS是一种成本较低、易于安装、易于管理、易于扩展、使用性能和可靠性均较高的资源存储和共享解决方案。,4.2.3 存储区域网络存储结构,SAN是一种通过光纤集线器、光纤路由器、光纤交换机等连接设备将磁盘阵列、磁带等存储设备与相关服务器连接起来的一个集中式管理的高速存储专用子网。 SAN由3个基本的组件构成：接口、连接设备。 这3个组件再加上附加的存储

14、设备、存储管理软件和独立的SAN服务器就构成一个SAN系统。,1问题的提出 2SAN的结构,图4-8 SAN的结构, SAN使用FC调节技术来优化服务器和存储器之间的数据块传输，实现了数据块的高密度传输，节省了带宽。 在SAN中，确保了设备连接的可靠和高效，提高了容错度。 既具有SCSI高速的优势，又具有以太网网络构筑的灵活性，既允许更多连接，又使服务器与存储器之间的距离可以延伸得很长，最长达150km。,3SAN的特点, SAN的管理是集中而且高效的。 将存储与主机的联系断开，可以动态地从集中存储器分配存储量。 高可用性和应用软件故障恢复环境可以确保以较少的开销。,FC-SAN即光纤通路存储

15、区域网络是一个由FC协议组成的存储区域网络。 FC可实现处理器与多个海量存储设备间的并行通信，允许的传输速度的理论值达到4000Mbit/s；服务器系统可以通过电缆远程连接，最大可跨越10km的距离。 FC存储区域网络的带宽可达到100Mbit/s，FC允许镜像配置。,4FC-SAN,FC本身具有的高传输速率使得SAN网络的传输速率可以达到200Mbit/s或者更高。 SAN的设备仅能做到与连接在SAN上的服务器间的直接访问，而在LAN上的客户端是无法直接访问SAN的设备的，必须通过服务器间接访问。FC的硬件设备价格昂贵。,表4-1DAS、NAS和SAN之间的比较,5DAS、NAS、SAN比较

16、,4.2.4 基于IP的存储网络,IP存储网络可以说是结合了NAS和SAN两者的优点：一方面它采用TCP/IP作为网络协议，使得它具有NAS易于访问的特点；另一方面它又有独立专用的存储网络结构。 IP网络存储是指在IP网络中实现类似SAN FC的“块级”数据处理，通过用GbE/10吉比特以太网等网络技术构建网络存储。 对于基于IP SAN的计算机，数据均可集中存储于网络存储设备上。,目前主流的3种IP存储方案包括因特网小型计算机系统接口、因特网光纤通路协议和基于IP的光纤通路方案。,它是一种在因特网协议上进行数据块传输的标准，是一个供硬件设备使用的可在IP上层运行的SCSI指令集。该技术重要的

17、贡献体现在：第一，SCSI技术是被磁盘、磁带等设备广泛采用的存储标准；第二，沿用TCP/IP，TCP/IP在网络方面是最通用、最成熟的协议。 它解决了开放性、容量、传输速度、兼容性、安全性等问题。 工作流程如图4-9所示。,1iSCSI标准,图4-9 iSCSI工作流程图,它是基于TCP/IP网络运行FC通信的标准，具备网关功能，它能将FC独立磁盘冗余阵列、交换机以及服务器连接到IP存储网，而不需要额外的基础架构投资。 它将FC数据以IP包形式封装，并将IP地址映射到分离FC通信设备上。 FC信号在iFCP网关处终止，信号转换后存储通信在IP网中进行，这样iFCP就打破了传统FC网的距离（约1

18、0km）限制。,2iFCP标准,当位于iFCP网关的两节点间进行存储数据通信时，首先运用内部FC协议，遍历多iFCP网关的通信随后被封装进iFCP，然后映射到不同IP地址，数据即可通过IP网进行交换或路由传输了。,它是一种IP的存储联网技术，利用IP网络通过数据通道在SAN设备之间实现FC协议的数据传输，把成本节省和数据保护都提升到了一个新的高度。 在同一个SAN范围内，TCP/IP数据包再封装FC通信命令和数据，从而在IP网络上传输FC通信命令和数据。,3FCIP标准,IP存储的优势如下。 利用无所不在的IP网络，保护了现有投资。 IP存储超越了地理距离的限制。IP能延伸到多远，存储就能延伸

19、到多远，十分适合于对数据的远程备份。 IP网络技术成熟。,4IP存储的优势及存在的问题,IP存储减少了配置、维护、管理的复杂度。存在的问题如下。 IP存储的产品总体上还不十分成熟，用户可选择的余地较小。 IP存储并不是像在IP网络上连接一个带网卡的存储设备那样简单，需要一些专门的驱动和设备。 IP存储特别的消耗资源，对QoS要求较高的场合是一个挑战。,4.2.5 网络存储的新技术,1基于InfiniBand的存储系统,InfiniBand把网络技术引入I/O体系中，形成一个I/O交换网络结构，主机系统通过一个或多个主机通路适配器（HCA，Host Channel Adapter）连接到I/O交

20、换网上，存储器、网络通信设备通过目标通路适配器（TCA，Target Channel Adapter）连接到该I/O交换网上。,InfiniBand体系结构把IP网络和存储网络合二为一，以交换机互连和路由器互连的方式支持系统的可扩展性。 服务器端通过HCA连接到主机内存总线上, 存储设备端通过TCA连接到物理设备上。 两种实现途径：一是SAN存储设备内部通过InfiniBand I/O路径进行数据通信；二是SAN存储设备和主机系统利用InfiniBand I/O路径取代FC I/O路径。,直接访问文件系统（DAFS，Direct Access File System）是一种文件访问协议，可以在

21、大量甚至过量负载时有效地减轻存储服务器的计算压力，提高存储系统的性能。DAFS把远程直接内存存取（RDMA，Remote Direct Memory Access）的优点和NAS的存储能力集成在一起，全部读写操作都直接通过DAFS的用户层RDMA驱动器执行。,2直接访问文件系统,DAFS的基本原理是通过缩短服务器读写文件时的数据路径来减少和重新分配CPU的计算任务。 它提供内存到内存的直接传输途径，直接由应用服务器内存传输到存储服务器内存。 DAFS可以直接集成到NAS存储服务器中。,虚拟存储是一种具有智能结构的系统，它允许客户以透明有效的方式在磁盘和磁带上存储数据，统一管理磁盘空间。 所谓存

22、储虚拟化就是新存储实体对原存储实体的存储资源和存储管理 进行变化和转换的过程。存储虚拟化是物理存储的逻辑表示方法，是在服务器与存储之间设置的一个抽象层，服务器被绑定到逻辑抽象层上。,3虚拟存储,存储虚拟化有3个层次：基于服务器的虚拟存储、基于存储设备的虚拟存储、基于网络的虚拟存储。 虚拟存储被认为是可以简化管理大型、复杂、异构的存储环境的技术。 它使主机操作系统看到的存储与实际物理存储分开，管理员可以通过图形用户界面或类似界面让很多服务器共享后端的存储池。,“对应用系统和用户透明”，这是智能存储的核心理念，即存储系统自身应具备智能。 智能存储必须由不同存储产品组合才能实现，包括智能化的存储设备、智能化的存储网络设施和智能化的存储管理软件等。 智能存储需要存储产品在不同层次实现多种数据安全保障措施，形成多层次的安全保障。,4智能存储,在智能存储方案中，选择的磁带库产品要具备大型磁盘阵列的动