第7讲 云计算-云存储-关键技术-当前热点

国内外动向12企业IT架构面临的问题–复杂、低效、不灵活资料来源：财富100强企业原因现状极为复杂依赖于脆弱的基础架构影响超过70%的IT预算仅用于

“维持”现状不到30%的IT预算用于创新和

实现竞争优势IT资源占用情况42%

基础架构维护30%

应用程序维护23%

应用程序投资5%

基础架构投资业务灵活性依赖于IT灵活性3削减成本和更快的价值实现是企业选择云的首要驱动力调查对象可以投票多个驱动因素50%72%77%提高可靠性更快的价值实现削减成本提高系统可用性根据使用付费节省硬件节省软件许可证系统劳动效率，降低IT支持成本降低外部维护成本利用新功能的优势简化更新和升级加快部署动态扩展IT资源来满足需求•••提高系统可靠性•••这些因素在多大程度上吸引您采用云服务？来源:IBMMarketInsights,CloudComputingResearch,July2009.n=1,090采用云的市场驱动力•••••云计算发展的驱动因素新摩尔定律全球数据总量每18个月翻番。大数据已经成为一种自然资源大数据不被利用就是成本数据利用比例直降计算速度越来越快，企业却越来越笨。今天很多企业能弄懂7%的企业数据，但这个数字很快会下降到4%，然后继续螺旋式下降。IBM实体分析首席科学家JeffJonas数据使用率提升10%的影响云计算是网络发展的必然结果什么是云计算云计算是一种IT服务交付模式：把IT资源、数据、应用作为服务通过网络提供给用户云计算是一种架构管理方法论：把大量的高度虚拟化的资源管理起来，组成一个大的资源池，用来统一提供服务。如果把“云”视为一个虚拟化的存储与计算资源池，那么云计算则是这个资源池基于网络平台为用户提供的数据存储和网络计算服务。互联网是最大的一片“云”，其上的各种计算机资源共同组成了若干个庞大的数据中心及计算中心。云计算特性：虚拟化、标准化、自动化、自优化、自服务、网络化按云的类型：公共云、私有云、混合云云计算的典型服务模式有三类：“软件即服务(SoftwareasaService，SaaS)平台即服务(PlatformasaService，PaaS)基础设施即服务(InfrastructureasaService，IaaS)10所谓SaaS是指用户通过标准的Web浏览器来使用Internet上的软件。从用户角度来说，这意味着他们前期无需在服务器或软件许可证授权上进行投资；从供应商角度来看，与常规的软件服务模式相比，维护一个应用软件的成本要相对低廉。SaaS供应商通常是按照客户所租用的软件模块来进行收费的，因此用户可以根据需求按需订购软件应用服务，而且SaaS的供应商会负责系统的部署、升级和维护。SaaS在人力资源管理软件上的应用较为普遍.SaaS:11所谓PaaS是指云计算服务商提供应用服务引擎，如互联网应用程序接口（API）或运行平台，用户基于服务引擎构建该类服务。PaaS是基于SaaS发展起来的，它将软件研发的平台作为一种服务，以SaaS的模式提交给用户，可以加快SaaS的发展，尤其是加快SaaS应用的开发速度。从用户角度来说，这意味着他们无需自行建立开发平台，也不会在不同平台兼容性方面遇到困扰；从供应商的角度来说，可以进行产品多元化和产品定制化。PaaS:12所谓IaaS是指云计算服务商提供虚拟的硬件资源，如虚拟的主机、存储、网络、安全等资源，用户无需购买服务器、网络设备和存储设备，只需通过网络租赁即可搭建自己的应用系统。IaaS定位于底层，向用户提供可快速部署、按需分配、按需付费的高安全与高可靠的计算能力以及存储能力租用服务，并可为应用提供开放的云基础设施服务接口，用户可以根据业务需求灵活定制租用相应的基础设施资源.IaaS:无论是SaaS、PaaS还是IaaS，其核心概念都是为用户提供按需服务。于是产生了“一切皆服务”（EverythingasaService，EaaS或XaaS）的理念。基于这种理念，以云计算为核心的创新型应用不断产生。云计算与电子商务结合产生的电子外包就是前景看好的应用之一。13云计算的工作原理在典型的云计算模式中，用户通过终端接入网络，向“云”提出需求；“云”接受请求后组织资源，通过网络为“端”提供服务。用户终端的功能可以大大简化，诸多复杂的计算与处理过程都将转移到终端背后的“云”上去完成。用户所需的应用程序并不需要运行在用户的个人电脑、手机等终端设备上，而是运行在互联网的大规模服务器集群中；用户所处理的数据也无需存储在本地，而是保存在互联网上的数据中心里。云计算技术体系结构15从技术层面上讲，云计算基本功能的实现取决于两个关键的因素：1：数据的存储能力2：分布式的计算能力因此，云计算中的“云”可以再细分为“存储云”和“计算云”，也即“云计算=存储云+计算云”。存储云：大规模的分布式存储系统；计算云：资源虚拟化+并行计算并行计算的作用是首先将大型的计算任务拆分，然后再派发到云中节点进行分布式并行计算，最终将结果收集后统一整理，如排序、合并等。

虚拟化最主要的意义是用更少的资源做更多的事。在计算云中引入虚拟化技术，就是力求能够在较少的服务器上运行更多的并行计算，对云计算中所应用到的资源进行快速而优化的配置等。云计算的关键技术16云计算的优点：

更低的成本，包括用户终端、IT基础设施和软件；更高的性能，包括增强的计算能力、无限的存储容量和增强的数据安全；改进操作系统和文件格式之间的兼容性；即时的软件更新，更少的维护问题；消除了对特定设备的依赖；更容易的群组协作；对文档的普适访问以及最新文档版本的可用性；

云计算的缺点:需要持久的因特网连接；低速连接时效果差；可能是缓慢的；功能可能是有限的；可能存在不兼容的情况；存储的数据也许不安全甚至莫名其妙的消失；

……云计算的优缺点17云计算应用存在的主要问题安全：是云计算面临的首要问题。云计算意味着企业将把类似客户信息这类具有很高商业价值的数据存放到云计算服务提供商的手中，信息的安全性和私密性是用户最为关心的事情。对于严重依赖云计算的个人或企业用户，一旦服务提供商出现安全问题，他们存储在云中的数据可能会被长期遗忘在某个角落里甚至像石沉大海般消失得无影无踪.技术：建立云计算系统是一个技术挑战。必须购买或征用数百或数千台个人电脑或服务器并将它们联在一起进行并行管理，并且需要开发功能丰富的软件以提供24×7的Web应用。此外，目前众多云计算服务提供商各自云计算服务的技术和标准还不统一，用户在选择时面临不少困惑。经济：建立云计算服务花费巨大，只有大公司才可能够承担如此大规模的资源，那么这些提供云计算服务的公司如何获得足够的回报将是一个重要的问题。毕竟企业对于现有本地数据和业务往往已经建立了专有的数据中心，是否迁移以及如何以更低成本何迁移到云计算平台之中是个不小的困扰。18网络：持久的宽带互联网接入是云计算成功运行的基本前提，但是目前接入是网络发展最主要的瓶颈。有赖于政府和企业投入更多的资源来提高接入的带宽和质量。兼容性：用户已经习惯于现有的操作系统和文件系统，云计算要实现跨平台的服务，就必须保证现有文件格式与未来基于Web应用的文件格式能够兼容，否则很难使大多数用户向云计算迁移。19什么是存储云，及其存储服务类型？备份服务归档服务存储容器服务记录管理服务STORAGECLOUD通用目的性能或成本优化数据保护变量恢复数据保持长期

和安全记录优化合规和永恒性在$/GB基础上的存储可用性，通过丰富的SLAs来提供辅助的即需即供的存储容量。在高可用性、可靠性、连续性或增量备份很重要的场合，为业务连续性进行数据备份。可能会包括场外和镜像备份。为长期的资产或信息管理建立归档。能为诸如医疗影像或记录、M&E视频归档、政府记录/归档、保健药剂研究、气象预测归档等垂直行业提供特定实施。数据存档和保持，用于法规遵从、风险缓释，或在成本和信息生命周期管理很重要的场合留作参考。20云存储的关键要素房间规划和设施共享客房管理–House-keeping预订、订价/帐单、营销存储资源和服务存储空间：高速、大容量、磁带存储形式：块设备(逻辑卷)、文件系统数据保护：备份/恢复、灾备…存储管理存储自动化：资源部署存储优化：重删、压缩、瘦供给存储虚拟化生命周期管理：数据迁移…SVCSoNASCFS服务管理

用户使用界面服务生命周期流程计量和结算角色和权限SLA管理TSMTPC21存储云与传统存储平台的区别块存储云文件存储云块存储用户文件存储用户LUN,iSCSILUNTargetsPOSIX(NFS,CIFS,WebDAV),快速为用户部署存储空间按实际用量计费降低存储成本(存储共享，重复数据删除，数据压缩)系统管理简单弹性扩展22存储云实现的考虑因素数据服务的对象：公共存储云还是私有存储云？存储数据服务的种类：块存储还是文件存储？性能和吞吐量：对性能要求比较高的应用，如OLTP，服务器与存储云应该放在一起，避免网络延迟带来的影响。高可用性:99.999%的可用性需要可靠的硬件，更需要有效的系统管理手段数据安全：如何保障公共存储云上数据的安全性？数据加密？实现途径：建设/购买，租用23构建一个私有存储云要求将你的存储基础架构“云化”整合物理架构共享资源自助式服务,按使用量付费,多租户自动化配置,ILM,HA/DR,管理优化高效运营虚拟化提高使用率CLOUDready高效的数据中心要求通过整合、虚拟化、优化来实现高效存储踏上云交付模式之旅24存储云的框架物理设备层设备管理层数据管理层服务接入层高可用性数据在线迁移数据备份数据归档数据合规重复数据删除内容管理专用APINFSCIFSLUN/iSCSILUNWebDAV数据安全信息挖掘存储资源部署存储云用户Tier-1DiskTier-2DiskTier-3DiskSANSwitchTape块存储云(LUN服务)文件存储云(文件服务)数据快照应用相关性0100存储虚拟化25块存储云主机拥有“虚拟”盘容量再分配变得更加容易可以推迟购买容量，直至SAN物理容量达到出发点数据根据策略实现自动迁移主机系统和应用不受影响通用的拷贝API，SAN-wide，当存储硬件变化时不受影响拷贝目标可以是低成本的磁盘，从而降低拷贝服务的总成本GreenFlexibleAvailableOptimizeSimplify存储池化高应用可用性灵活的拷贝服务26CIFSClientsHTTPClientsFTPClientsNFSClientsManagementNodeInterfaceNode......IPNetworkTapeInterfaceNodeStoragePodStoragePodStoragecontrolleranddiskSCPClients....InterfaceNodeGlobalNamespaceStoragecontrolleranddiskStoragecontrolleranddiskStoragecontrolleranddiskStorageNodeStorageNodeStorageNodeStorageNodeInfinibandDataNetworkIPMgmt.Network为用户的各类服务器/操作系统环境提供文件存储服务海量的弹性扩展能力，支持TB与PB级数据量和数十亿个文件存储的物理结构对用户透明全局命名空间自动实现文件生命周期管理高性能可用性高文件存储云27IBM的STGIaaS云平台架构CloudFoundationStack/TSAM部署TPM/BPApp云计算服务管理平台服务请求&操作IT基础架构和应用提供者服务创建和实现设计&创建映像库安装映像的运作虚拟映像管理终端用户请求&操作员…服务目录用户请求界面用户操作界面计费ITUAM/BPApp监控ITM/BPApp认证ITDS/LDAP单一平台虚拟资源聚合POWER网络物理资源刀片存储虚拟化技术跨平台虚拟化管理(SystemDirector/VMControl)SystemzSystemx27虚拟网络虚拟存储SoNAS虚拟服务器28企业级的云管理平台测试/开发云等的门户用户自服务云管理员WEB2.0用户界面RESTAPI

服务自动化模板部署管理

流程自动化引擎预订部署工作流服务器网络存储应用镜像管理VMWare,XEN,KVM,PowerVM,z/VM。。。虚拟化服务器/存储/网络物理平台及虚拟化技术数据模型DCM运维管理产品ITM（监控）,ITUAM（计费）。。。服务请求管理28轻量级的云管理平台设计的关键点…占用空间小模块化可扩展客户价值容易上手，快速的价值实现降低IT管理与资源管理成本更高效的服务器利用与整合灵活供给模块SLA与工作负载策略计量与核对核心功能…STG系统的云管理服务Power系统和X86的云管理STG平台上云终端用户与云管理员的自助服务接口灵活供给：虚拟机(VM)与baremetal供给基于SLA策略的STG系统云的负载分配与使用基于标准的IaaSAPI支持开放的扩展性集成的计量与审计核心组件存储即服务-RESTAPIBSS(业务支撑系统)OSS(操作支撑系统)管理UI工具集基础服务架构灵活供给客制化UI通过RESTAPI实现可扩展硬件抽象接口发现和资源服务30存储资源虚拟化精简配置数据压缩重复数据删除自动层级自动数据迁移构建存储云的关键技术将数据转移到适当的位置利用现有资源存储更多数据去除多余的数据压缩通过减少处理的数据量来提高吞吐量，缩短响应时间。改进联机存储优化，显著降低成本。透明地压缩主存储空间，最高可达80%。去重消除冗余数据，提高敏捷性，增强面对瞬息万变市场情况的反应能力。改善备份和恢复性能，保持每秒1,000MB（或更高）的内联式去重速度。自动分层更智能化地存储信息，帮助降低成本，缩短访问时间。有效利用固态驱动器以提升关键应用程序的性能，最高可达200%。将次重要的数据迁移至成本更低的介质，以降低成本。虚拟化存储逻辑地聚集磁盘存储产品，以便在应用程序和用户间高效地分配容量。现有存储利用率提升多达30%移动和管理数据，以便可以为硬件提供服务，而无需打断用户的操作。自动精简配置通过随需分配存储空间，显著改善可用存储空间的利用率。优化可用存储空间的利用率。减少资本成本，同时降低对新存储设备的需求。31数据中心的云基础架构–实例ServerHardwareVMHypervisorVMPlatform&VirtualizationCloudManagementArchitectureStorageHardwareStoragePlatform&VirtualizationGoogle云计算关键技术Google文件系统GFS(GoogleFileSystem)并行数据处理MapReduce结构化数据表BigTable分布式锁管理ChubbyMapReduceBigTableGFSChubbyGoogle文件系统(GFS)Google

48%MSN

19%Yahoo

33%客户端客户端客户端互为备份管理节点GFS主节点GFS主节点C0C1C2C5数据结点1C0C2C5数据结点NC1C5数据结点2…客户端客户端客户端客户端客户端客户端C12010年，由于数据中心和远程通信网络的快速增长，使得用电量激增，从而对气候变暖产生极大的负面影响。到2020年，数据中心将消耗的电力资源，比法国、德国、加拿大和巴西目前消耗的电力总量还要多。绿色和平组织的报告云计算给用户体验带来的革命小小终端=超级计算机更加智能的服务如影随行的私人数据中心服务器永远不会塞车90%Off的价格信息随手可得计算智能将大幅提升淘宝分布式数据处理云可靠性研究小组云可靠性研究小组云操作系统WebQQ2.0

腾讯PaaS百度框计算44新浪SinaAppEngine云计算热点46云计算的热点问题云计算安全云数据中心建设云计算的能源问题云计算平台云计算应用云计算标准云计算的热点问题云计算安全云数据中心建设云计算的能源问题云计算平台云计算应用云计算标准云计算的安全威胁与应对安全挑战数据泄漏数据所有权失控虚拟机隔离性DOS攻击恶意代码ARP攻击内部人员越权应对措施虚拟机隔离加密数据数据校验安全传输最小权限控制安全认证增强监控云计算的热点问题云计算安全云数据中心建设云计算的能源问题云计算平台云计算应用云计算标准云数据中心开源与普通数据中心相比，Facebook数据中心的能效高38%，建造成本低24%。云数据中心开源俄勒冈州普林维尔(Prineville)云数据中心开源云计算的热点问题云计算安全云数据中心建设云计算的能源问题云计算平台云计算应用云计算标准云计算的能源问题AtlanticWindConnection(大西洋风力传输，AWC)计划。总成本约50亿美元，Google将提供该