服务计算与云存储

1、云存储与服务计算完成日期：2011-12-29摘要：云存储将大量不同类型的存储设备通过软件集合起来协同工作， 共同对外提供数据存储服务。云存储服务对传统存储技术在数据安全 性、可靠性、易管理性等方面提出新的挑战。文章基于云存储平台架 构的4个层次:将多存储设备互连起来的数据存储层、为多服务提供 公共支撑技术的数据管理层、支持多存储应用的数据服务层以及面向 多用户的访问层展开研究，并探讨云备份的软件架构、应用特点及研 究要点。关键词：云存储，信息安全，高性能计算，分布式计算引言：从这个月的12日起，苹果设备的玩家们已经可以把他们的音乐曲 库、游戏记录、电子书、电视节目、电影以及个人资料备份到苹果

2、的 云存储服务iCloud上。iCloud提供5GB免费空间。它的体验者表示， iCloud是典型的苹果风格-简单易用。你想备份一首歌曲，系统可 以自动识别它，并从庞大的云端音乐库中选出这首歌曲与你的设备进 行自动匹配，你根本不需要上传它，这就不会消耗你的带宽；你用 iPhone手机拍摄了照片，系统可以立即通过云端在iPad或Mac等 苹果设备上进行浏览，你不用手动来配置。在今年6月的苹果电脑全球研发者大会上，前苹果CEO乔布斯宣称“我们要把用户的数码生活主流引向云技术产品。我们将降低PC 和Mac的地位，让它们成为与iPad、iPhone相似的设备。”为此，苹 果耗资10亿美元在北卡罗莱纳州

3、建成了一个数据中心来提供iCloud 服务。当然，iCloud更像是苹果“绑架”用户的一种手段，各种数据只 能在苹果设备之间协同，这将迫使用户更多地停留在苹果设备与服务 体系之中。亚马逊的云存储服务名字为Cloud Drive，它同样把这一服务与其 出售的数字内容、硬件设备挂上了钩。亚马逊的政策是，如果用户通 过亚马逊设备在其网站购买数字内容，那么将提供免费的云存储。如 果存储其他地方购买来的数字内容，亚马逊仅提供5GB免费空间。 超过5GB用户将要付费。亚马逊希望通过云存储和旗下的硬件设备 鼓励用户在其网站上购买更多内容。当然，微软、谷歌和其他公司也在推广面向个人的云存储。不过， 正像市场调

4、研机构Constellation Research首席执行官Ray Wang所 说的那样，目前还没有任何一家公司能像苹果和亚马逊那样将软件与 硬件进行如此紧密的整合。总之，云储存成为了目前最流行的网络新技术词汇之一。正文：云计算：通过使计算分布在大量的分布式计算机上，而非本地计 算机或远程服务器中，企业数据中心的运行将更与互联网相似。这使 得企业能够将资源切换到需要的应用上，根据需求访问计算机和存储 系统。这种服务类型是将网络中的各种资源调动起来，为用户服务。微软正式推出云服务平台Windows Azure , Ray Ozzie ,微软的软件架构师，在PDC开场演讲中特别强调了服务和“云”广

5、为普通人 所用的服务器需求和在企业内部所用的服务器需求有着本质的不同。 由于服务器分散在世界上不同的数据中心，以及因新闻、博客、产品 发布、甚至购物季节等带来的巨大变化需求。在亚马逊宣布EC2之 前的几个月，微软就已经开始了他们自己的云平台。据市场调研机构 IDC称，当下美国的经济危机让那些投资云计算的IT公司看到了希 望的曙光，这将给他们未来五年带来大幅度的增长。基于对企业主管、 CIO和其他业务领导的调查结果，IDC近日表示，到2012年在IT 云服务上的开支将达到420亿美元，而这个增长部分是由于美国经 济危机以及波及全球范围的经济衰退所推动的。云服务让用户可以通过因特网存储和读取数据，

6、通过繁殖大量创 业公司提供丰富的个性化产品，以满足市场上日益膨胀的个性化需 求。其繁殖方式是为创业公司提供资金、推广、支付、物流、客服一 整套服务，把自己的运营能力像水和电一样让外部随需使用。这就是 云服务的商业模式。但是，我个人觉得，当前社会潮流将云存储定义的太过深奥，有 一些唬人的嫌疑，一些大公司对云存储的定义不尽相同，有的甚至背 道而驰，有一些“挂羊头买狗肉”之嫌，这一点对消费者是相当不公平 的。应该统一并向消费者给出一个合理的解释及定义。互联网打破地域分割形成一个统一大市场，为个性化需求提供产 品开始有利可图。其客观效果是：把创业成本降到最低，创业者只专注于创意等核心环节，运营和管理将

7、不再重要。小公司开始挑战大公 司，颠覆“规模制胜”的工业文明。我们的社会和文化将更加独立和自 由。云计算还处在发展的早期阶段，现在的云存储和网格一样，都没 有一个硬性的成熟的大系统出来。也就是说，许多公司，有大有小， 都提供云服务的开发服务和工具。最基本的产品面向从零开发的应用 程序，为其提供基于云的托管服务。功能更为齐全的产品包括开发工 具和预先建立的应用程序，开发人员可以将其用作构造单元来构建自 己独特的基于Web的应用。 让我们回来从云服务开发的角度看一 看谁在提供哪些服务。这是一个有趣的公司和服务的组合。亚马逊， 因特网上最大的零售商之一，也是一个主要的云开发服务供应商。按 照如下的方

8、式来考虑：亚马逊已经花了大量的时间和金钱设立了众多 的服务器来服务其广受欢迎的网站，它正在将这些海量的硬件资源提 供给所有开发者使用。我们讨论的这项服务称之为弹性计算云，亦称 为EC2。这是一个商业Web服务，它允许开发人员和公司租用亚马 逊公司拥有的服务器云的能力，这一服务器云正是世界上最大的服务 器农场之一。通过让客户请求指定数目的虚拟机，并在上面加载他们 选择的任何应用，EC2使得可扩展的应用部署成为可能。因此，客 户可以按需创建、启动和终止服务器实例，从而形成真正的“弹性”操 作。因为市场的需要，中国云计算在今后两年应该会呈现一种快速增 长的态势，并经历一个从私有云到混合云和公有云发展

9、的阶段。云存储平台整体架构可划分为4个层次,自底向上依次是:数据存 储层、数据管理层、数据服务层以及用户访问层。云存储平台整体架 构如图1所示。数据存储层云存储系统对外提供多种不同的存储服务，各种服务的数据统一 存放在云存储系统中，形成一个海量数据池。从大多数网络服务后台 数据组织方式来看,传统基于单服务器的数据组织难以满足广域网多 用户条件下的吞吐性能和存储容量需求7;基于P2P架构的数据组织 需要庞大的节点数量和复杂编码算法保证数据可靠性8。相比而言， 基于多存储服务器的数据组织方法能够更好满足在线存储服务的应 用需求9，在用户规模较大时，构建分布式数据中心能够为不同地理 区域的用户提供更

10、好的服务质量10。云存储的数据存储层将不同类型的存储设备互连起来，实现海量 数据的统一管理，同时实现对存储设备的集中管理、状态监控以及容 量的动态扩展，实质是一种面向服务的分布式存储系统。数据管理层云存储系统架构中的数据管理层为上层提供不同服务间公共管 理的统一视图。通过设计统一的用户管理、安全管理、副本管理及策 略管理等公共数据管理功能，将底层存储及上层应用无缝衔接起来，实 现多存储设备之间的协同工作,以更好的性能对外提供多种服务。数据服务层数据服务层是云存储平台中可以灵活扩展的、直接面向用户的部 分。根据用户需求，可以开发出不同的应用接口,提供相应的服务。比 如数据存储服务、空间租赁服务、

11、公共资源服务、多用户数据共享服 务、数据备份服务等。用户访问层通过用户访问层，任何一个授权用户都可以在任何地方，使用一台 联网的终端设备，按照标准的公用应用接口来登录云存储平台,享受云 存储服务。与传统的购买存储设备和部署存储软件相比，云存储方式存在以 下优点：成本低、见效快传统的购买存储设备或软件定制方式下，企业根据信息化管理的 需求，一次性投入大量资金购置硬件设备、搭建平台。软件开发则经 过漫长的可行性分析、需求调研、软件设计、编码、测试这一过程。 往往在软件开发完成以后，业务需求发生变化，不得不对软件进行返工, 不仅影响质量，提高成本，更是延误了企业信息化进程,同时造成了企 业之间的低水

12、平重复投资以及企业内部周期性、高成本的技术升级。 在云存储方式下，企业除了配置必要的终端设备接收存储服务外，不需 要投入额外的资金来搭建平台。企业只需按用户数分期租用服务，规 避了一次性投资的风险，降低了使用成本,而且对于选定的服务，可以 立即投入使用，既方便又快捷。易于管理传统方式下,企业需要配备专业的IT人员进行系统的维护，由此 带来技术和资金成本。云存储模式下，维护工作以及系统的更新升级 都由云存储服务提供商完成，企业能够以最低的成本享受到最新最专 业的服务。(3 )方式灵活传统的购买和定制模式下，一旦完成资金的一次性投入，系统无法 在后续使用中动态调整。随着设备的更新换代,落后的硬件平

13、台难以 处置;随着业务需求的不断变化，软件需要不断地更新升级甚至重构来 与之相适应，导致维护成本高昂，很容易发展到不可控的程度。而云存 储方式一般按照客户数、使用时间、服务项目进行收费。企业可以根 据业务需求变化、人员增减、资金承受能力，随时调整其租用服务方 式，真正做到“按需使用。而云备份服务与传统的备份软件相比，不同点主要体现在3个方 面(1)用户规模备份软件通常应用于局域网或目标群体固定的广域网范围内。由 于用户规模较小，出于易于部署维护、成本低廉等考虑,通常存储服务 器较少，用户对存储服务器的访问路径是固定的，无须根据各种影响因 素动态指定或调整。云备份服务的对象则是广域网范围内的大规

14、模用户，而且随着服 务推出时间的延长,用户数量会持续增长。为此，系统必须设置多台存 储服务器，以满足系统扩展性方面的要求。在此基础上，系统必须能够 很好地响应大量用户的并发访问,并通过高效的并行调度策略来为用 户指定合适的目标存储服务器，使得存储服务器总体负载均衡,且达到 较高的存储利用率。同时，该过程必须对用户完全透明。数据量云备份服务与备份软件在用户规模上的区别将直接导致两者所 处理的数据量区别极大。广域网范围内的大规模用户所产生的备份数 据很容易达到TB甚至PB级,如何通过研究数据组织方法和压缩算法, 来提高海量数据的传输和存储效率，进而提高系统性能、降低硬件成 本、实现存储节能，具有重要的现实意义。服务安全云备份服务要满足多方面的需求:既要兼容客户端的异构数据平 台,又要满足数据在块级、文件级及应用级的完整性;既要适应于复杂 多变的广域网环境，又要保证数据的安全性。要统筹兼顾的问题越多，意味着存储系统的功能越复杂，也就越容 易产生各种异常。另一方面，云备份服务系统比一般的备份软件对可 信性的要求更高。当前备份服务的概念在中国刚刚兴起，阻碍其发展的一个重要原 因是用户的消费习惯。人们在潜意识里总是感觉将