课程设计大报告

1、课程设计大报告云存储关键技术班级：021151学号:02115036学生：王亦玮指导老师：朱虎明时间：2014年9月云存储关键技术综述班级：021151学号：02115036学生：王亦玮指导老师：朱虎明0前言随着海量存储系统的出现与并行文件系统、分布式文件系统的发展，云存储系统建立在云计算技术基础之上，以其成本低、可拓展的特点，将成为未来主要的存储方式。本文是一篇关于云存储关键技术的综述。开始部分从4个角度定义了云存储，接着有云存储架构的介绍，包括一些基本概念，然后就是本文的核心部分云存储关键技术，分为7大技术进行阐述。包括有虚拟化，分布式存储，数据备份、缩减、迁移、压缩及内容分布网络技术，最

2、后还有提到云存储的优势、安全问题和云存储的现状及发展。1云存储的定义1.1定义1云存储系统以传统的分布式存储技术为基础，利用高吞吐率网络技术为依托，一方面高效地整合管理网络存储资源，另一方面对外提供友好的接口，发布便捷的网络数据存储服务。1.2定义2从狭义上来说，云存储是指通过虚拟化、分布式技术、集群应用、网格技术、负载均衡等技术，将网络中大量的存储设备通过软件集合起来高效协同工作，共同对外提供低成本、高扩展性的数据存储服务。从广义上来讲，云存储可以理解为按需提供的虚拟存储资源，如同云计算的Paas、laas服务一样，可称为数据存储即服务(DataStorageAsaService，DaaS)

3、，即基于指定的服务水平请求，通过网络提供适当的虚拟存储和相关数据服务。1.3定义3云存储不是指某一个具体的设备，而是指一个由许许多多个存储设备和服务器所构成的集合体。使用者使用云存储，并不是使用某一个存储设备，而是使用整个云存储系统带来的一种数据访问服务。云存储的核心是应用软件与存储设备相结合，通过应用软件来TOCo1-5hz实现存储设备向存储服务的转变。1.4定义4云存储就是将储存资源放到网络上供人存取的一种新兴方案。使用者可以在任何时间、任何地方，透过任何可连网的装置方便地存取数据。综合以上定义，云存储系统应具有以下通用特征：高可扩展性：云存储系统可支持海量数据处理，资源可以实现按需扩展；

4、低成本：云存储系统应具备高性价比的特点，低成本体现在两方面，更低的建设成本和更低的运维成本；无接入限制：相比传统存储，云存储强调对用户存储的灵活支持，服务域内存储资源可以随处接入，随时访问；易管理：少量管理员可以处理上千节点和PB级存储，更高效的支撑大量上层应用对存储资源的快速部署需求。2云存储架构云存储是由一个网络设备、存储设备、服务器、应用软件、公用访问接口、接入网和客户端程序等组成的复杂系统。以存储设备为核心，通过应用软件来对外提供数据存储和业务访问服务。云存储的架构如下图所示：应用護口层网络接入、用户认证r权根管理公用API摟口、应用丰欠件、恥bServin等基础管理层集群系统分布式文

5、件聚统网络计算内容分发P2P重复数据删除数据压缩数据加密敌据备份数据容灾访问层访问层个人空间服务运营商空间租赁竽企事业单位实现数揺备粉、数据归档、集中存储、远程共享视频监控、IPTV集中存储、网站犬容量在线存储存储层存储层存储虚拟化*存储集中管理、状态监控、维护升级、存储设备云存储架构存储层：存储设备数量庞大且分布在不同地域，彼此通过广域网、互联网或光纤通道网络连接在一起。在存储设备之上是一个统一存储设备管理系统，实现存储设备的逻辑虚拟化管理、多链路冗余管理，以及硬件设备的状态监控和故障维护。基础管理层：通过集群、分布式文件系统和网格计算等技术，实现云存储设备之间的协同工作，使多个的存储设备可

6、以对外提供同一种服务，并提供更大更强更好的数据访问性能。数据加密技术保证云存储中的数据不会被未授权的用户访问，数据备份和容灾技术可以保证云存储中的数据不会丢失，保证云存储自身的安全和稳定。应用接口层：不同的云存储运营商根据业务类型，开发不同的服务接口，提供不同的服务。例如视频监控、视频点播应用平台、网络硬盘，远程数据备份应用等。访问层：授权用户可以通过标准的公用应用接口来登录云存储系统，享受云存储服务。3云存储中的关键技术3.1云存储中的存储虚拟化通过存储虚拟化方法，把不同厂商、不同型号、不同通信技术、不同类型的存储设备互联起来，将系统中各种异构的存储设备映射为一个统一的存储资源池。存储虚拟化

7、技术能够对存储资源进行统一分配管理，又可以屏蔽存储实体间的物理位置以及异构特性，实现了资源对用户的透明性，降低了构建、管理和维护资源的成本，从而提升云存储系统的资源利用率。主要存储虚拟化技术存储虚拟化技术虽然不同设备与厂商之间略有区别，但从总体来说，可概括为基于主机虚拟化、基于存储设备虚拟化和基于存储网络虚拟化三种技术。基于主机的虚拟化存储的实现，其核心技术是通过增加一个运行在操作系统下的逻辑卷管理软件将磁盘上的物理块号映射成逻辑卷号，并以此实现把多个物理磁盘阵列映射成一个统一的虚拟的逻辑存储空间（逻辑块）实现存储虚拟化的控制和管理。从技术实施层面看，基于主机的虚拟化存储不需要额外的硬件支持，

8、便于部署，只通过软件即可实现对不同存储资源的存储管理。但是，虚拟化控制软件也导致了此项技术的主要缺点：首先，软件的部署和应用影响了主机性能；其次，各种与存储相关的应用通过同一个主机，存在越权访问的数据安全隐患；最后，通过软件控制不同厂家的存储设备存在额外的资源开销，进而降低系统的可操作性与灵活性。基于存储设备虚拟化技术依赖于提供相关功能的存储设备的阵列控制器模块，常见于高端存储设备，其主要应用针对异构的SAN存储构架。此类技术的主要优点是不占主机资源技术成熟度高，容易实施；缺点是核心存储设备必须具有此类功能，且消耗存储控制器的资源，同时由于异构厂家磁盘阵列设备的控制功能被主控设备的存储控制器接

9、管导致其高级存储功能将不能使用。基于存储网络虚拟化的技术的核心是在存储区域网中增加虚拟化引擎实现存储资源的集中管理，其具体实施一般是通过具有虚拟化支持能力的路由器或交换机实现。在此基础上，存储网络虚拟化又可以分为带内虚拟化与带外虚拟化两类，二者主要的区别在于：带内虚拟化使用同一数据通道传送存储数据和控制信号，而带外虚拟化使用不同的通道传送数据和命令信息。基于存储网络的存储虚拟化技术架构合理，不占用主机和设备资源；但是其存储阵列中设备的兼容性需要严格验证，与基于设备的虚拟化技术一样，由于网络中存储设备的控制功能被虚拟化引擎所接管，导致存储设备自带的高级存储功能将不能使用。存储虚拟化技术对比用表格

10、的方式对三种存储虚拟化技术的技术优点与缺点、适应场景等进行了分析对比，结果如下：存储虚拟化按术討比翊L层面主机丈打异构的存储採烷；不占用时盘控制黠费檢与主机无关不占用主机贸視；能蚌支持畀构主机“异构存储设备；对苹同存储设备他统一普程平台I可扩展性好与爭机无务，不占用主机黑a；数据营理功弗丰常：技术战熟度盍占用主机资涯”障低应用性能：存在撇作系折和应用的叢容性问懸；主机數呈越多卜背理咸本駆高占用交换机资涯；面临芾内、莆外的遶捧；存楠逵备豪容性彌整产格验述；原肯的甜盘晖刿的高级存储功罷将不能使用凭制于存储揑制甜授口資憑虚拟化禮力较前；异构厂家存傭设备的高誠存储功能辫證橈用王要用逢滾巌爵器的存髀空问

11、町以跨延雪个异枸謎盘薩刿塞用子隹不圖讎耸薩列之间册葩彊蝶懂保护异构存请系扌元St含和饶一數掘営理1灾备）SftSilSiSS含宛揽一数据苜餐（磁）主抓已王旳SF卷莒理.需剽很系甄中包把自带虛船化功能的商舶？睛设备与若干需要利旧的中（虑鎖存傭适用场捷予台存储谡备；存请亲顿中包含澤构阵列设备；业务持拔翅力与辭据卷吐菱求玫鬲系箱包拈下冋品牌和型r的主机与苻储设番；对数据无显迁畤艮数搪牯式样摘春较高时團性幌证不适用场量主机数量大采用5F会涉及高昂的貰用；特迁入来航数据量过大*如鶏丸龍聲取存Hf级迁務方武廈嚣僭式转戡将住竇犬童的时冋和人力对业务持续龍力和诒定性要衣苛希要新购机去时费用税茴；存在更高靖的存

12、储设备3.2云存储中的分布式存储技术分布式存储是通过网络使用服务商提供的各个存储设备上的存储空间，并将这些分散的存储资源构成一个虚拟的存储设备，数据分散的存储在各个存储设备上。目前比较流行的分布式存储技术为：分布式块存储、分布式文件系统存储、分布式对象存储和分布式表存储。分布式块存储块存储就是服务器直接通过读写存储空间中的一个或一段地址来存取数据。由于采用直接读写磁盘空间来访问数据，相对于其他数据读取方式，块存储的读取效率最高，一些大型数据库应用只能运行在块存储设备上。分布式块存储系统目前以标准的Intel/Linux硬件组件作为基本存储单元，组件之间通过千兆以太网采用任意点对点拓扑技术相互连

13、接，共同工作，构成大型网格存储，网格内采用分布式算法管理存储资源。此类技术比较典型的代表是IBMXIV存储系统，其核心数据组件为基于Intel内核的磁盘系统，卷数据分布到所有磁盘上，从而具有良好的并行处理能力；放弃RAID技术，采用冗余数据块方式进行数据保护，统一采用SATA盘，从而降低了存储成本。分布式文件系统存储文件存储系统可提供通用的文件访问接口，如POSIX、NFS、CIFS、FTP等，实现文件与目录操作、文件访问、文件访问控制等功能。目前的分布式文件系统存储的实现有软硬件一体和软硬件分离两种方式。主要通过NAS虚拟化，或者基于X86硬件集群和分布式文件系统集成在一起，以实现海量非结构

14、化数据处理能力。软硬件一体方式的实现基于X86硬件，利用专有的、定制设计的硬件组件，与分布式文件系统集成在一起，以实现目标设计的性能和可靠性目标；产品代表Isilon,IBMSONASGPFS。软硬件分离方式的实现基于开源分布式文件系统对外提供弹性存储资源，软硬件分离方式可采用标准PC服务器硬件;典型开源分布式文件系统有GFS、HDFS。分布式对象存储对象存储是为海量数据提供Key-Value这种通过键值查找数据文件的存储模式；对象存储引入对象元数据来描述对象特征，对象元数据具有丰富的语义；引入容器概念作为存储对象的集合。对象存储系统底层基于分布式存储系统来实现数据的存取，其存储方式对外部应用

15、透明。这样的存储系统架构具有高可扩展性，支持数据的并发读写，一般不支持数据的随机写操作。最典型的应用实例就是亚马逊的S3(AmazonSimpleStorageService)。对象存储技术相对成熟，对底层硬件要求不高，存储系统可靠性和容错通过软件实现，同时其访问接口简单，适合处理海量、小数据的非结构化数据，女口：邮箱、网盘、相册、音频视频存储等分布式表存储表结构存储是一种结构化数据存储，如传统数据库相比，它提供的表空间访问功能受限，但更强调系统的可扩展性。提供表存储的云存储系统的特征就是同时提供高并发的数据访问性能和可伸缩的存储和计算架构。提供表存储的云存储系统有两类接口访问方式。一类是标准

16、的xDBC、SQL数据库接口，一类是Map-reduce的数据仓库应用处理接口。前者目前以开源技术为主，尚未有成熟的商业软件，后者已有商业软件和成功的商业应用案例。分布式存储总结如今分布式存储系统已经得到了快速的发展，其技术已经较为成熟。先进的分布式存储系统必须具备下面几个特性：高性能、高可靠性、高可扩展性、透明性以及自治性。高性能：对于分布式系统中的每一个用户都要尽量减小网络的延迟和因网络拥塞、网络断开、节点退出等问题造成的影响；高可靠性：高可靠性是大多数系统设计时重点考虑的问题。分布式环境通常都有高可靠TOCo1-5hz性需求，用户将文件保存到分布式存储系统的基本要求是数据可靠；高可扩展性

17、：分布式存储系统需要能够适应节点规模和数据规模的扩大；透明性：需要让用户在访问网络中其他节点中的数据时能感到像是访问自己本机的数据一样；自治性：分布式存储系统需要拥有一定的自我维护和恢复功能。3.3云存储中的数据备份副本数据布局一种被广泛采用的副本布局方式是通过集中式的存储目录来定位数据对象的存储位置这种方法可以利用存储目录中存放的存储节点信息，将数据对象的多个副本放置在不同机架上，这样可大大提高系统的数据可靠性。谷歌文件系统(GoogleFileSystem，GFS)、Hadoop分布式文件系统(HadoopDistributedFileSystem，HDFS)等著名的分布式文件系统都采用了

18、这种数据布局方式，然而，基于集中式存储目录的数据放置方式存在以下两个缺陷：TOCo1-5hz随着存储目录的增长，查找数据对象所需的开销也会越来越大；为提高数据对象的定位速度，一般情况下都会将存储目录存放在服务器内存中，对于PB级的云存储系统来说，文件的数量可能达到上亿级，这导致存储目录将会占用上百GB的内存。因此，当数据对象数量达到上亿级别时，基于集中式存储目录的数据放置方法在存储开销和数据定位的时间开销上都是难以接受的，此外，还会大大限制系统的扩展性。另一种副本布局方法是基于哈希算法的副本布局方法，它完全摒弃了记录数据对象映射信息的做法。基于哈希算法的副本布局方法需要满足以下要求：1.均衡性

19、：根据节点权重为存储节点分配数据对象。2动态自适应性：当系统中的节点数量发生变化时，需迁移的数据量应该尽量少。3低性能开销。4.高效性：确定副本位置所需的时间开销尽可能小，理想情况下为0（1）。传统的备份策略典型的用户备份流程是这样的：每天都要在凌晨进行一次增量备份，然后每周末凌晨进行全备份。采用这种方法，一旦出现了数据灾难，用户可以恢复到某天（注意是以天为单位的）的数据，因此在最坏的情况下，可能丢失整整一天的数据。那么，能不能缩小备份时间单位呢？比如，可不可以每半天进行一次增量备份呢？答案是非常困难。因为每次进行备份的数据量都很大的情况下，备份时间窗口很大，需要繁忙的业务系统停机很长时间才能

20、做到。因此，为了确保数据的更高安全性，用户必须对在线系统实行在线实时复制，尽可能多TOCo1-5hz地采用快照等磁盘管理技术维持数据的高可用性，这样势必需要增加很大一部分投资。连续数据保护连续数据保护（CDP）是一种连续捕获和保存数据变化，并将变化后的数据独立于初始数据进行保存的方法，而且该方法可以实现过去任意一个时间点的数据恢复。CDP系统可能基于块、文件或应用，并且为数量无限的可变恢复点提供精细的可恢复对象。因此，所有的CDP解决方案都应当具备以下几个基本的特性：数据的改变受到连续的捕获和跟踪；所有的数据改变都存储在一个与主存储地点不同的独立地点中；恢复点目标是任意的，而且不需要在实际恢复

21、之前事先定义。所以，CDP可以提供更快的数据检索、更强的数据保护和更高的业务连续性能力，而与传统的备份解决方案相比，CDP的总体成本和复杂性都要低。尽管一些厂商推出了CDP产品，然而从它们的功能上分析，还做不到真正连续的数据保护，比如有的产品备份时间间隔为一小时，那么在这一小时内仍然存在数据丢失的风险因此，严格地讲，它们还不是完全意义上的CDP产品，目前我们只能称之为类似CDP产品。3.4云存储中的数据缩减技术为应对数据存储的急剧膨胀，企业需要不断购置大量的存储设备来满足不断增长的存储需求。权威调查机构的研究发现，企业购买了大量的存储设备，但是利用率往往不足50%,存储投资回报率水平较低。数据

22、量的急剧增长为存储技术提出了新的问题和要求，怎样低成本高效快速地解决无限增长的信息的存储和计算问题摆在科学家的面前。通过云存储技术不仅解决了存储中的高安全性、可靠性、可扩展、易管理等存储的基本要求，同时也利用云存储中的数据缩减技术，满足海量信息爆炸式增长趋势，一定程度上节约企业存储成本，提高效率。自动精简配置自动精简配置是一种存储管理的特性，核心原理是欺骗”操作系统，让操作系统认为存储设备中有很大的存储空间，而实际的物理存储空间则没有那么大。传统配置技术为了避免重新配置可能造成的业务中断，常常会过度配置容量。在这种情况下，一旦存储分配给某个应用，就不可能重新分配给另一个应用，由此就造成了已分配

23、的容量没有得到充分利用，导致了资源的极大浪费。而精简配置技术带给用户的益处是大大提高了存储资源的利用率，提高了配置管理效率，实现高自动化的数据存储。自动精简配置技术是利用虚拟化方法减少物理存储空间的分配，最大限度提升存储空间利用率。这种技术节约的存储成本可能会非常巨大，并且使存储的利用率超90%。通过欺骗”操作系统，造成的好像存储空间有足够大，而实际物理存储空间并没有那么大。自动精简配置技术的应用会减少已分配但未使用的存储容量的浪费，在分配存储空间时，需要多少存储空间系统则按需分配。自动精简配置技术优化了存储空间的利用率，扩展了存储管理功能，虽然实际分配的物理容量小，但可以为操作系统提供超大容

24、量的虚拟存储空间。随着数据存储的信息量越来越多，实际存储空间也可以及时扩展，无需用户手动处理。利用自动精简配置技术，用户不需要了解存储空间分配的细节，这种技术就能帮助用户在不降低性能的情况下，大幅度提高存储空间利用效率；需求变化时，无需更改存储容量设置通过虚拟化技术集成存储，减少超量配置，降低总功耗。自动精简配置这项技术最初由3Par公司开发，目前支持自动精简配置的厂商正在快速增加。这项技术已经成为选择存储系统的关键标准之一。但是并不是所有的自动精简配置的实施都是相同的。随着自动精简配置的存储越来越多，物理存储的耗尽成为自动精简配置环境中经常出现的风险。因此，告警、通知和存储分析成为必要的功能

25、，并且对比传统环境，其在自动精简配置的环境中扮演了更主要的角色。自动存储分层自动存储分层（AST）技术主要用来帮助数据中心最大程度地降低成本和复杂性。在过去，进行数据移动主要依靠手工操作，由管理员来判断这个卷的数据访问压力或大或小，迁移的时候也只能一个整卷一起迁移。自动存储分层技术的特点则是其分层的自动化和智能化。传统配置方式与自动存储分层方式比较是一个整卷一起迁移。新技术的特点则是其分层的自动化和智能化。自动存储分层是存储上减少数据的另外一种机制。一个磁盘阵列能够把活动数据保留在快速、昂贵的存储上，把不活跃的数据迁移到廉价的低速层上，以限制存储的花费总量。自动存储分层的重要性随着固态存储在当

26、前磁盘阵列中的采用而提升，并随着云存储的来临而补充内部部署的存储。自动存储分层使用户数据保留在合适的存储层级，因此减少了存储需求的总量并实质上减少了成本，提升了性能。数据从一层迁移到另一层的粒度越精细，可以使用的昂贵存储的效率就越高。子卷级的分层意味着数据是按照块来分配而不是整个卷，而字节级的分层比文件级的分层更好。如何控制数据在层间移动的内部工作规则，决定需要把自动分层放在正确的位置的努力程度。一些系统，是根据预先定义的什么时候移动数据和移动到哪一层。相反的，NetApp公司和Oracle公司(在SunZFSStorage7000系列中)倡导存储系统应该足够智能，能重复数据删除，能自动的保留

27、数据在其合适的层，而不需要用户定义的策略。重复数据删除物理存储设备在使用一段时间后必然会出现大量重复的数据。“重复删除”技术(De-duplication)作为一种数据缩减技术可对存储容量进行优化。它通过删除数据集中重复的数据，只保留其中一份，从而消除冗余数据。使用De-dupe技术可以将数据缩减到原来的1/20-1/50。由于大幅度减少了对物理存储空间的信息量，进而减少传输过程中的网络带宽、节约设备成本、降低能耗。重复数据删除技术原理De-dupe按照消重的粒度可以分为文件级和数据块级。可以同时使用2种以上的hash算法计算数据指纹，以获得非常小的数据碰撞发生概率。具有相同指纹的数据块即可认

28、为是相同的数据块，存储系统中仅需要保留一份。这样，一个物理文件在存储系统中就只对应一个逻辑表示。NetApp公司为其所有的系统提供重复数据删除选项，并且可以针对每个卷进行激活。NetApp公司的重复数据删除并不是实时执行的。相反，它是使用预先设置的进程执行的，一般是在闲暇时间执行，通过扫描把重复的4KB数据块替换为相应的指针。与NetApp公司相似，Oracle公司在其SunZFSStorage7000系列系统中也具备块级别重复数据删除的功能。与NetApp公司不同的是，去重是在其写入磁盘时实时执行的。戴尔公司获得了内容感知的去重和压缩技术，并企图把这种技术整合到其所有的存储系统中。数据压缩数

29、据压缩技术是提高数据存储效率最古老最有效的方法之一。为了节省信息的存储空间和提高信息的传输效率，必须对大量的实际数据进行有效的压缩。数据压缩作为对解决海量信息存储和传输的支持技术受到人们极大的重视。数据压缩就是将收到的数据通过存储算法存储到更小的空间中去。随着目前CPU处理能力的大幅提高，应用实时压缩技术来节省数据占用空间成为现实。这项新技术就是最新研发出的在线压缩(RACE)，它与传统压缩技术不同。对RACE技术，当数据在首次写入时即被压缩，以帮助系统控制大量数据在主存中杂乱无章地存储的情形，特别是多任务工作时更加明显。该技术还可以在数据写入到存储系统前压缩数据，进一步提高了存储系统中的磁盘

30、和缓存的性能和效率。压缩算法分为无损压缩和有损压缩。相对于有损压缩来说，无损压缩的占用空间大，压缩比不高，但是它有效地保存了原始信息，没有任何信号丢失。但是随着限制无损格式的种种因素逐渐被消除，使得无损压缩格式具有广阔的应用前景。数据压缩中使用的LZS算法基于LZ77实现，主要由2部分构成，滑窗(SlidingWindow)和自适应编码(AdaptiveCoding)。压缩处理时，在滑窗中查找与待处理数据相同的块，并用该块在滑窗中的偏移值及块长度替代待处理数据，从而实现压缩编码。如果滑窗中没有与待处理数据块相同的字段，或偏移值及长度数据超过被替代数据块的长度，则不进行替代处理。LZS算法的实现

31、非常简洁，处理比较简单，能够适应各种高速应用。数据压缩的应用可以显著降低待处理和存储的数据量，一般情况下可实现2:13:1的压缩比。压缩和去重是互补性的技术，提供去重的厂商通常也提供压缩。而对于虚拟服务器卷、电子邮件附件、文件和备份环境来说，去重通常更加有效，压缩对于随机数据效果更好，像数据库。换句话说，在数据重复性比较高的地方，去重比压缩有效。3.5云存储中的内容分发网络技术云存储是构建于互联网之上的，何如降低网络延迟、提高数据传输率是关系到云存储性能的关键问题。尽管有一些通过本地高速缓存、广域网优化等技术来解决问题的研究工作，但离实际的应用需求还有一定的距离。内容分发网络是一种新型网络构建

32、模式，主要是针对现有的Internet进行改造。基本思想是尽量避开互联网上由于网络带宽小、网点分布不均、用户访问量大等影响数据传输速度和稳定性的弊端，使数据传输的更快、更稳定。通过在网络各处放置节点服务器，在现有互联网的基础之上构成一层智能虚拟网络，实时地根据网络流量、各节点的连接和负载情况、响应时间、到用户的距离等信息将用户的请求重新导向离用户最近的服务节点上。目的是使用户可就近取得所需内容，解决Internet网络拥挤的状况，提高用户访问网站的速度。3.6云存储中的数据迁移当我们从一个物理环境和单个阵列过渡到完全虚拟化的、高度动态的存储环境时，数据的迁移就成了云存储方案中最为基础、关键的步

33、骤，它在整个方案中占有了举足轻重的作用。把企业的数据转移到云中，针对不同的实际情况这里有两种方法：1.当企业的数据吞吐量较大但是数据量不是特别多，对传输延迟也没过多要求时，云供应商可以提供从企业到供应商某个存储节点之间的私人链接，方便企业迁移数据。企业可以根据自己的时间，在不影响公司正常运行的情况下做数据的转移安排；2当企业的数据可以提供拷贝，那么我们可以采用sneaker-net的方式，即人工网络模式，将数据通过磁盘、移动存储设备等从企业服务器拷入到云数据中心或者从云数据中心拷贝出来。如果企业对当前云供应商提供的服务不满意需要更换服务商，如何在两家服务商的云之间转移数据？这应该是当前一个很棘

34、手的问题。由于目前云存储还处在初级阶段，各个云供应商都采用自己的加密或传输机制，因此没有一个规范和约束的统一标准。很多云存储供应商无法直接将客户数据迁移到另一家供应商。当服务出现故障时，数据将返还给客户，然后客户要再找另一家云供应商，或者将数据存储在本地服务器。所以希望各个云供应商提供一组云数据管理的应用编程接口API，让不同云供应商之间的数据迁移更加便捷。3.7云存储中的数据容错技术数据容错技术是云存储研究领域的一项关键技术，良好的容错技术不但能够提高系统的可用性和可靠性，而且能够提高数据的访问效率。数据容错技术一般都是通过增加数据冗余来实现的，以保证即使在部分数据失效以后也能够通过访问冗余

35、数据满足需求。冗余提高了容错性，但是也增加了存储资源的消耗。因此,在保证系统容错性的同时，要尽可能地提高存储资源的利用率，以降低成本。目前，常用的容错技术主要有基于复制(replication)的容错技术和基于纠删码(erasurecode)的容错技术两种。基于复制的容错技术简单直观，易于实现和部署，但是需要为每个数据对象创建若干同样大小的副本存储空间开销很大；基于纠删码的容错技术则能够把多个数据块的信息融合到较少的冗余信息中，因此能够有效地节省存储空间，但是对数据的读写操作要分别进行编码和解码操作，需要一些计算开销。当数据失效以后，基于复制的容错技术只需要从其他副本下载同样大小的数据即可进行

36、修复；基于纠删码的技术则需要下载的数据量一般远大于失效数据大小，修复成本较高。基于复制的容错技术基于复制的容错技术对一个数据对象创建多个相同的数据副本，并把得到的多个副本散布到不同的存储节点上。当若干数据对象失效以后，可以通过访问其他有效的副本获取数据基于复制的容错技术主要关注两方面的研究：数据组织结构：数据组织结构主要研究大量数据对象及其副本的管理方式；数据复制策略：数据复制策略主要研究副本的创建时机、副本的数量、副本的放置等问题.基于纠删码的容错技术基于复制的容错技术存储开销巨大，要提供冗余度为k的容错能力，就必须另外创建k个副本，存储空间的开销也增大了k倍。基于编码的容错技术通过对多个数

37、据对象进行编码产生编码数据对象，进而降低完全复制带来的巨大的存储开销。RAID技术中使用最广泛的RAID5通过把数据条带化(stripping)分布到不同的存储设备上以提高效率，并采用一个校验数据块使之能够容忍一个数据块的失效。但是随着节点规模和数据规模的不断扩大，只容忍一个数据块的失效已经无法满足应用的存储需求。纠删码(erasure-coding)技术是一类源于信道传输的编码技术，因为能够容忍多个数据帧的丢失，被引入到分布存储领域，使得基于纠删码的容错技术成为能够容忍多个数据块同时失效的、最常用的基于编码的容错技术。4云存储的优势云存储的优势主要体现在以下几个方面：高可扩展性：云存储架构采用的是并行扩容方式，当容量不够时，只需采购新的存储服务器，容量即可增加，而且几乎没有上限控制。负载均衡：云存储能自动将工作任务均匀分配到不同的存储服务器上，从而可避免因个别存储服务器工作量过大而造成性能瓶