第六章网络GIS数据存储

1、第六章第六章 网络网络GIS数据存储数据存储网络网络GIS数据存储数据存储o6.1 数据存储概述数据存储概述o6.2 网络存储分类网络存储分类o6.3 网络存储模式网络存储模式o6.4 网络网络GIS数据存储实例数据存储实例6.1 数据存储概述数据存储概述数据存储技术须解决的问题：数据存储技术须解决的问题：o速度速度o纠错与恢复纠错与恢复o备份备份o安全安全o费用与成本费用与成本o在线、近线、离线存储在线、近线、离线存储6.1 数据存储概述数据存储概述一、数据存储技术的发展与分类一、数据存储技术的发展与分类1.存储技术的发展趋势存储技术的发展趋势o磁存储技术磁存储技术 软磁盘、硬磁盘软磁盘、硬

2、磁盘o光存储技术光存储技术l光存储技术就是用光存储技术就是用CD、DVD等光盘来读写数据的等光盘来读写数据的技术。技术。l光存储技术在记录密度、容量、数据传输率、寻址光存储技术在记录密度、容量、数据传输率、寻址时间等关键技术上将有巨大的发展潜力。时间等关键技术上将有巨大的发展潜力。6.1 数据存储概述数据存储概述一、数据存储技术的发展与分类一、数据存储技术的发展与分类1.存储技术的发展趋势存储技术的发展趋势o可生存存储系统可生存存储系统 将一个文件分成多个数据段，分别存储将一个文件分成多个数据段，分别存储到各个服务节点上，当用户需要访问时，必到各个服务节点上，当用户需要访问时，必须要访问各个存

3、储服务器，当一个服务节点须要访问各个存储服务器，当一个服务节点被攻破时，并不能泄漏任何完整的文件信息，被攻破时，并不能泄漏任何完整的文件信息，保证了在存储服务器被攻破后，仍然能够保保证了在存储服务器被攻破后，仍然能够保护数据的保密性。护数据的保密性。6.1 数据存储概述数据存储概述一、数据存储技术的发展与分类一、数据存储技术的发展与分类1.存储技术的发展趋势存储技术的发展趋势o基于MEMS的存储器供应微机电式供应微机电式(MEMS)集成硅微型麦克风集成硅微型麦克风运动传感器系列产品加速计运动传感器系列产品加速计 6.1 数据存储概述数据存储概述一、数据存储技术的发展与分类一、数据存储技术的发展

4、与分类2.存储技术的分类存储技术的分类o按连接方式分l直接连接存储、附网存储、存储区域网o按存储系统联机方式分l在线存储、近线存储、离线存储o按接口协议标准lSCSI、光纤连接、3GIO、InfiniBand6.1 数据存储概述数据存储概述二、磁盘阵列技术二、磁盘阵列技术1.RAID技术技术RAID卡卡4.3GB磁盘阵列示意图磁盘阵列示意图6.1 数据存储概述数据存储概述二、磁盘阵列技术二、磁盘阵列技术1.RAID技术技术oRAID（磁盘阵列：Redundant Array of Inexpensive Disk，简称RAID技术)。o它是1988年由美国加州大学Berkeley分校的Davi

5、d Patterson教授等人提出来的磁盘冗余技术。从那时起，磁盘阵列技术发展得很快，并逐步走向成熟。oRAID 的优点是： （1）传输速率高。（2）容错功能。（3）RAID比起传统的大容量磁盘驱动器来，在同样的容量下，价格要低很多。6.1 数据存储概述数据存储概述RAID 0 (0级磁盘阵列) RAID 0又称数据分块，即把数据分布在多个盘上，没有容错措施。其容量和数据传输率是单机容量的N倍，N为构成磁盘阵列的磁盘机的总数，I/O传输速率高，但平均无故障时间MTTF(Mean Time To Failure)只有单台磁盘机的N分之一，因此零级磁盘阵列的可靠性最差。6.1 数据存储概述数据存储

6、概述RAID l (1级磁盘阵列) RAID l又称镜像(Mirror)盘，采用镜像容错来提高可靠性。即每一个工作盘都有一个镜像盘，每次写数据时必须同时写入镜像盘，读数据时只从工作盘读出。一旦工作盘发生故障立即转入镜像盘，从镜像盘中读出数据，然后由系统再恢复工作盘正确数据。因此这种方式的数据可以重构，但工作盘和镜像盘必须保持一一对应关系。这种磁盘阵列可靠性很高，但其有效容量减小到总容量一半以下。因此RAID l 常用于对出错率要求极严的应用场合，如财政、金融等领域。6.1 数据存储概述数据存储概述RAID 2 (2级磁盘阵列) RAID 2又称位交叉，采用汉明码作盘错检验，无需在每个扇区之后进

7、行CRC(Cyclic Redundancy Check)检验。汉明码是一种(n，k)线性分组码，n为码字的长度，k为数据的位数，r为用于检验的位数。因此按位交叉存取最有利于作汉明码检验。这种盘适于大数据的读写。但冗余信息开销还是太大，阻止了这类盘的广泛应用。6.1 数据存储概述数据存储概述RAID 3 (3级磁盘阵列) RAID 3为单盘容错并行传输阵列盘。它的特点是将检验盘减小为一个（RAID 2校验盘为多个，RAID l 检验盘为1比1），数据以位或字节的方式存于各盘。它的优点是整个阵列的带宽可以充分利用，传输时间减小；其缺点是每次读写要牵动整个组，每次只能完成一次I/O。6.1 数据存

8、储概述数据存储概述RAID 4 (4级磁盘阵列) RAID 4是一种可独立地对组内各盘进行读写的阵列。其校验盘也只有一个。RAID 4和RAID 3的区别是：RAID 3是按位或按字节交叉存取，而RAID4是按块(扇区)存取，可以单独地对某个盘进行操作。不像RAID 3那样，每一次小I/O操作也要涉及全组，RAID4只需涉及组中两台磁盘机（一台数据盘，一台检验盘）即可，从而提高了小量数据的I/O速率。6.1 数据存储概述数据存储概述RAID 5 (5级磁盘阵列) RAID5是一种旋转奇偶校验独立存取的阵列。它和RAID 1、2、3、4各磁盘阵列的不同点是它没有固定的校验盘，而是按某种规则把其冗

9、余的奇偶校验信息均匀地分布在阵列所属的所有磁盘上，于是在同一台磁盘机上既有数据信息也有校验信息。这一改变解决了争用校验盘的问题，因此 DAID 5内允许在同一组内并发进行多个写操作。所以RAID5既适于大数据量的操作，也适于各种事务处理。它是一种快速、大容量和容错分布合理的磁盘阵列。6.1 数据存储概述数据存储概述注意：o工业上很少销售RAID 2，4。这些级别的校验信息的数学计算量太大而不实用。o对于RAID 3，校验盘是一个单一故障点，如果它丢失，将是致命的。oRAID 5能够在丢失单个盘时恢复数据，但它和RAID 3一样，都不能恢复2个磁盘的丢失。oRAID 6和RAID 5非常相似，但

10、是存储了额外的冗余信息，以防止多个磁盘发生故障，可以容忍2个磁盘同时发生故障。qRAID的组织方式及容错技术的组织方式及容错技术RAID的组织方式及容错技术的组织方式及容错技术6.1 数据存储概述数据存储概述三、数据存储接口协议和标准三、数据存储接口协议和标准1.SCSI技术技术oSCSI(Small Computer System Interface)o通常用于服务器承担关键业务的较大的存储负载通常用于服务器承担关键业务的较大的存储负载o目前的主流目前的主流SCSI硬盘都采用了硬盘都采用了Ultra 320 SCSI接口，能提供接口，能提供320MB/s的接口传输速度。的接口传输速度。o支持

11、热拔插技术支持热拔插技术6.1 数据存储概述数据存储概述三、数据存储接口协议和标准三、数据存储接口协议和标准1.SCSI技术技术o优势：优势：l接口支持数量多接口支持数量多lSCSI的带宽很宽的带宽很宽lSCSI硬盘硬盘CPU占用率低、并行处理能力强占用率低、并行处理能力强6.1 数据存储概述数据存储概述三、数据存储接口协议和标准三、数据存储接口协议和标准1.SCSI技术技术6.1 数据存储概述数据存储概述三、数据存储接口协议和标准三、数据存储接口协议和标准2光纤通道技术光纤通道技术o高端存储产品高端存储产品o光纤通道是高性能的连接标准，用于服务器、海量光纤通道是高性能的连接标准，用于服务器、

12、海量存储子网络、外设间通过集线器、交换机和点对点存储子网络、外设间通过集线器、交换机和点对点连接进行双向、串行数据通讯。连接进行双向、串行数据通讯。 o对于需要有效地在服务器和存储介质之间传输大量对于需要有效地在服务器和存储介质之间传输大量资料而言，光纤信道提供远程连接和高速带宽。它资料而言，光纤信道提供远程连接和高速带宽。它是适于存储局域网、集群计算机和其它资料密集计是适于存储局域网、集群计算机和其它资料密集计算设施的理想技术。算设施的理想技术。 6.1 数据存储概述数据存储概述三、数据存储接口协议和标准三、数据存储接口协议和标准2光纤通道技术光纤通道技术o光纤通道的优势光纤通道的优势o在一

13、个环路可连接最多在一个环路可连接最多126个设备个设备o通过交换结构最多可连接通过交换结构最多可连接1600万设备万设备o低低CPU占用占用o在服务器不关机就可增加和配置所连设备在服务器不关机就可增加和配置所连设备o易于扩展以加大存储容量易于扩展以加大存储容量o利用利用SCSI至光纤桥可实现对现有至光纤桥可实现对现有SCSI硬盘的高速连硬盘的高速连接接o可实现光纤和铜缆的连接可实现光纤和铜缆的连接o全双工传输速率达全双工传输速率达2000兆兆/秒秒6.1 数据存储概述数据存储概述三、数据存储接口协议和标准三、数据存储接口协议和标准2光纤通道技术光纤通道技术6.1 数据存储概述数据存储概述三、数

14、据存储接口协议和标准三、数据存储接口协议和标准3iSCSI技术技术oInternet SCSI（Small Computer System Interface，小型计算机系统接口），小型计算机系统接口）o它是由它是由Cisco和和IBM两家发起的，并且得到了两家发起的，并且得到了IP存储技术拥护者的大力支持。是一个供硬件设备使存储技术拥护者的大力支持。是一个供硬件设备使用的可以在用的可以在IP协议上层运行的协议上层运行的SCSI指令集。指令集。oiSCSI磁盘阵列是一套非常适合于中小型企业应用磁盘阵列是一套非常适合于中小型企业应用的存储解决方案，不仅价格低廉，而且管理机制和的存储解决方案，不仅

15、价格低廉，而且管理机制和部署过程相对比较简单。部署过程相对比较简单。o适用于存储容量在适用于存储容量在3TB以下的用户以下的用户6.1 数据存储概述数据存储概述3iSCSI技术技术o优势：优势：liSCSI 协议可以跨现有的以太网网络运行。协议可以跨现有的以太网网络运行。l可以使用任何支持的网络接口卡可以使用任何支持的网络接口卡 (network interface card, NIC)、以太网集线器或交换机。、以太网集线器或交换机。l一个一个 IP 端口可以处理多个端口可以处理多个 iSCSI 目标设备。目标设备。l可以对可以对 IP 网络使用现有的基础结构和管理工具。网络使用现有的基础结构

16、和管理工具。l配置的配置的 iSCSI 目标设备的最大数目没有上限。目标设备的最大数目没有上限。l可以使用该协议连接至光纤通道或包含适当硬件的可以使用该协议连接至光纤通道或包含适当硬件的 iSCSI 存储区域网络存储区域网络 (Storage Area Network, SAN) 环境。环境。6.1 数据存储概述数据存储概述o比较比较o如果需要应用于如果需要应用于I/O负载较轻的应用比如文件共享、负载较轻的应用比如文件共享、FTP、音频存储、数据备份等可以考虑基于、音频存储、数据备份等可以考虑基于SATA硬盘的阵列。硬盘的阵列。o如果如果I/O负载较重的负载较重的FTP、VOD、EMAIL、W

17、eb、数据库应用，那么可以考虑基于、数据库应用，那么可以考虑基于SCSI硬硬盘的存储系统；盘的存储系统；o如果是较大规模的数据中心，硬盘数量需求巨大，如果是较大规模的数据中心，硬盘数量需求巨大，考虑到目前考虑到目前SAS技术的不成熟，我们仍然推荐选技术的不成熟，我们仍然推荐选用基于光纤硬盘的存储系统。用基于光纤硬盘的存储系统。6.2 网络存储分类网络存储分类6.2 网络存储分类网络存储分类6.2 网络存储分类网络存储分类每个新的应用服务器都要有它自己的存储器。这样造成数据处理每个新的应用服务器都要有它自己的存储器。这样造成数据处理复杂，随着应用服务器的不断增加，网络系统效率会急剧下降。复杂，随

18、着应用服务器的不断增加，网络系统效率会急剧下降。 6.2 网络存储分类网络存储分类将存储器从应用服务器中分离出来，进行集中管理。将存储器从应用服务器中分离出来，进行集中管理。这就是所说的存储网络（这就是所说的存储网络（Storage Networks） 6.2 网络存储分类网络存储分类SAN结构中，文件管理系统（结构中，文件管理系统（FS）还是分别在每一个应用服务）还是分别在每一个应用服务器上；而器上；而NAS则是每个应用服务器通过网络共享协议使用同一则是每个应用服务器通过网络共享协议使用同一个文件管理系统。换句话说：个文件管理系统。换句话说：NAS和和SAN存储系统的区别是存储系统的区别是N

19、AS有自己的文件系统管理。有自己的文件系统管理。 6.2 网络存储分类网络存储分类oNAS是将目光集中在应用、用户和文件以及它们是将目光集中在应用、用户和文件以及它们共享的数据上。共享的数据上。SAN是将目光集中在磁盘、磁带是将目光集中在磁盘、磁带以及联接它们的可靠的基础结构。将来从桌面系统以及联接它们的可靠的基础结构。将来从桌面系统到数据集中管理到存储设备的全面解决方案将是到数据集中管理到存储设备的全面解决方案将是NAS加加SAN。 6.2 网络存储分类网络存储分类一、直接存储一、直接存储o直接附加存储（直接附加存储（Direct Attached Storage，DAS），也可称为服务器附

20、加存储（），也可称为服务器附加存储（Server-Attached Storage，SAS）。）。 图图6.1 基于基于DAS结构的存储备份结构的存储备份 6.2 网络存储分类网络存储分类二、附网存储二、附网存储概念概念o网络附加存储（网络附加存储（Network Attached Storage, NAS）是一种专业的网络文件存储及文件备份设）是一种专业的网络文件存储及文件备份设备，它通过标准的网络拓扑结构连接到计算机网络备，它通过标准的网络拓扑结构连接到计算机网络上，利用现有的网络资源来接入专用的网络存储设上，利用现有的网络资源来接入专用的网络存储设备，因此也称为网络直联存储设备、网络磁盘

21、阵列备，因此也称为网络直联存储设备、网络磁盘阵列系统。系统。 基于基于NAS结构的存储备份结构的存储备份6.2 网络存储分类网络存储分类三、存储区域网络三、存储区域网络概念概念o存储区域网（存储区域网（Storage Area Networking，SAN）以数据存储为中心，采用可伸缩的网络拓）以数据存储为中心，采用可伸缩的网络拓扑结构，通过具有高传输速率的光纤通道直接连接，扑结构，通过具有高传输速率的光纤通道直接连接，提供提供SAN内部任意节点之间的多路可选择的数据内部任意节点之间的多路可选择的数据交换，并且将数据存储管理集中在相对独立的存储交换，并且将数据存储管理集中在相对独立的存储区域网

22、内。区域网内。 基于基于SAN结构的存储备份结构的存储备份 6.3 网络存储模式网络存储模式一、网络存储集成技术一、网络存储集成技术oNAS与与SAN的融合的融合 SAN与与NAS融合前的环境融合前的环境6.3 网络存储模式网络存储模式一、网络存储集成技术一、网络存储集成技术oNAS与与SAN的融合的融合 SAN与与NAS融合的拓扑融合的拓扑6.3 网络存储模式网络存储模式一、网络存储集成技术一、网络存储集成技术oNAS与与SAN的融合的融合 另一种拓扑另一种拓扑高端高端NAS盘阵，它盘阵，它集成了集成了NAS服务器、服务器、光纤磁盘阵列等设备光纤磁盘阵列等设备6.3 网络存储模式网络存储模式一、网络存储集成技术一、