云计算系统概述及前景分析

东南大学研究生职业素质教育课程报告东南大学研究生职业素质教育课程报告云计算-CloudComputing职业素质教育课程报告—云计算系统概述及前景分析引言引言云，这个平淡无奇的词到了互联网领域就是另一片天空，云计算、云存储、云阅读等等。近日与所有人息息相关的快递业发生的菜鸟快递与顺丰之争背后隐藏着阿里云与腾讯云对数据的你争我夺。事实上，云是指你作为接受服务的对象，是云端，不管你在何时何地，都能享受云计算提供的服务。云是网络、互联网的一种比喻说法。本文将要讨论的云计算也是云的应用之一。本文将要简要的探讨云计算的定义，并对云计算的系统架构及相关技术做一个简要的归纳梳理，最后就云计算在当下的典型应用分析其行业发展前景。一一云计算定义云计算到底是什么呢？云计算到目前为止还没有一个统一的定义。云计算的一些领先者如Google、IBM等IT厂商又或者其他一些研究机构，依据各自的利益和各自不同的研究视角都给出了各自对云计算的定义和理解。首先参考维基百科的定义，“云计算是一种基于互联网的计算新方式，通过互联网上异构、自治的服务为个人和企业用户提供按需即取的计算”；咨询机构Gartner将云计算定义为“云计算是利用互联网技术来将庞大且可伸缩的IT能力集合起来作为服务提供给多个客户的技术”；而IBM则认为“云计算是一种新兴的IT服务交付方式，应用、数据和计算资源能够通过网络作为标准服务在灵活的价格下快速地提供最终用户。”图1云计算示意图狭义层次的云计算是指IT基础设施的交付和使用模式，通过网络以按需、易扩展的方式获得所需的资源（硬件、平台、软件）。广义层面而言云计算则指服务的交付和使用模式，通过网络以按需、易扩展的方式获得所需的服务。这种服务可以是IT和软件、互联网相关的，也可以是任意其它的服务。具体而言，由于在后端有规模庞大、非常自动化和高可靠性的云计算中心的存在，人们只要接入互联网，就能非常方便地访问各种基于云的应用和信息，并免去了安装和维护硬件等繁琐操作，同时，企业和个人也能以低廉的价格来使用这些由云计算中心提供的服务或者在云中直接搭建其所需的信息服务。二云计算体系架构云计算可以按需提供弹性的服务资源，故而它的表现形式是一系列服务的集合。结合当前云计算的应用与研究，其体系架构可大致分为核心服务、服务管理、用户访问接口这三层构架。核心服务层将硬件基础设施、软件运行环境、应用程序抽象成服务，这些服务具有可靠性强、可用性高、规模可伸缩等特点，满足多样化的应用需求。服务管理层为核心服务提供支持，进一步确保核心服务的可靠性、可用性与安全性。用户访问接口层实现端到云的访问。图2云计算体系架构2.1核心服务层云计算核心服务通常可以分为3个子层：基础设施即服务层（IaaS,infrastructureasaservice）、平台即服务层（PaaS,platformasaservice）、软件即服务层（SaaS,softwareasaservice）。IaaS提供硬件基础设施部署服务，为用户按需提供实体或虚拟的计算、存储和网络等资源。在使用IaaS层服务的过程中，用户需要向IaaS层服务提供商提供基础设施的配置信息，运行于基础设施的程序代码以及相关的用户数据。PaaS是云计算应用程序运行环境，提供应用程序部署与管理服务。通过PaaS层的软件工具和开发语言，应用程序开发者只需上传程序代码和数据即可使用服务，而不必关注底层的网络、存储、操作系统的管理问题。由于目前互联网应用平台（如Facebook、Google、淘宝等）的数据量日趋庞大，PaaS层应当充分考虑对海量数据的存储与处理能力，并利用有效的资源管理与调度策略提高处理效率。SaaS是基于云计算基础平台所开发的应用程序。企业可以通过租用SaaS层服务解决企业信息化问题，如企业通过GMail建立属于该企业的电子邮件服务。该服务托管于Google的数据中心，企业不必考虑服务器的管理、维护问题。对于普通用户来讲，SaaS层服务将桌面应用程序迁移到互联网，可实现应用程序的泛在访问。服务管理层服务管理层对核心服务层的可用性、可靠性和安全性提供保障。服务管理包括服务质量（QoS,qualityofservice）保证和安全管理等。云计算需要提供高可靠、高可用、低成本的个性化服务。然而云计算平台规模庞大且结构复杂，很难完全满足用户的QoS需求。为此，云计算服务提供商需要和用户进行协商，并制定服务水平协议（SLA，servicelevelagreement），使得双方对服务质量的需求达成一致。当服务提供商提供的服务未能达到SLA的要求时，用户将得到补偿。此外，数据的安全性一直是用户较为关心的问题。云计算数据中心采用的资源集中式管理方式使得云计算平台存在单点失效问题。保存在数据中心的关键数据会因为突发事件（如地震、断电）、病毒入侵、黑客攻击而丢失或泄露。根据云计算服务特点，研究云计算环境下的安全与隐私保护技术（如数据隔离、隐私保护、访问控制等）是保证云计算得以广泛应用的关键。除了QoS保证、安全管理外，服务管理层还包括计费管理、资源监控等管理内容，这些管理措施对云计算的稳定运行同样起到重要作用。用户访问接口层用户访问接口实现了云计算服务的广泛访问，通常包括命令行、Web服务、Web门户等形式。命令行和Web服务的访问模式既可为终端设备提供应用程序开发接口，又便于多种服务的组合。Web门户是访问接口的另一种模式。通过Web门户，云计算将用户的桌面应用迁移到互联网，从而使用户随时随地通过浏览器就可以访问数据和程序，提高工作效率。虽然用户通过访问接口使用便利的云计算服务，但是由于不同云计算服务商提供接口标准不同，导致用户数据不能在不同服务商之间迁移。为此，在Intel、Sun和Cisco等公司的倡导下，云计算互操作论坛（CCIF,cloudcomputinginteroperabilityforum）宣告成立，并致力于开发统一的云计算接口（UCI,unifiedcloudinterface），以实现“全球环境下，不同企业之间可利用云计算服务无缝协同工作”的目标。三云计算的关键技术云计算的目标是以低成本的方式提供高可靠、高可用、规模可伸缩的个性化服务。为了达到这个目标，需要数据中心管理、虚拟化、海量数据处理、资源管理与调度、QoS保证、安全与隐私保护等若干关键技术加以支持。据《2014-2020年中国云计算行业深度调研及发展趋势分析报告》指出云计算的五大关键技术如下：虚拟化技术、分布式海量数据存储、海量数据管理技术、编程方式以及云计算平台管理技术。3.1虚拟化技术虚拟化技术是指计算元件在虚拟的基础上而不是真实的基础上运行，它可以扩大硬件的容量，简化软件的重新配置过程，减少软件虚拟机相关开销和支持更广泛的操作系统。通过虚拟化技术可实现软件应用与底层硬件相隔离，它包括将单个资源划分成多个虚拟资源的裂分模式，也包括将多个资源整合成一个虚拟资源的聚合模式。虚拟化技术根据对象可分成存储虚拟化、计算虚拟化、网络虚拟化等，计算虚拟化又分为系统级虚拟化、应用级虚拟化和桌面虚拟化目。在云计算实现中。计算系统虚拟化是一切建立在“云”上的服务与应用的基础。虚拟化技术目前主要应用在CPU、操作系统、服务器等多个方面，是提高服务效率的最佳解决方案。所以，云计算的虚拟化技术不同于传统的单一虚拟化，它是涵盖整个IT架构的，包括资源、网络、应用和桌面在内的全系统虚拟化，它的优势在于能够把所有硬件设备、软件应用和数据隔离开来，打破硬件配置、软件部署和数据分布的界限，实现IT架构的动态化，实现资源集中管理，使应用能够动态地使用虚拟资源和物理资源，提高系统适应需求和环境的能力。对于信息系统仿真，云计算虚拟化技术的应用意义并不仅仅在于提高资源利用率并降低成本，更大的意义是提供强大的计算能力。众所周知，信息系统仿真系统是一种具有超大计算量的复杂系统，计算能力对于系统运行效率、精度和可靠性影响很大，而虚拟化技术可以将大量分散的、没有得到充分利用的计算能力，整合到计算高负荷的计算机或服务器上，实现全网资源统一调度使用，从而在存储、传输、运算等多个计算方面达到高效。虚拟化是IaaS层的重要组成部分，也是云计算的最重要特点。虚拟化技术特点总结如下：资源分享。通过虚拟机封装用户各自的运行环境，有效实现多用户分享数据中心资源。资源定制。用户利用虚拟化技术，配置私有的服务器，指定所需的CPU数目、内存容量、磁盘空间，实现资源的按需分配。细粒度资源管理。将物理服务器拆分成若干虚拟机，可以提高服务器的资源利用率，减少浪费，而且有助于服务器的负载均衡和节能。基于以上特点，虚拟化技术成为实现云计算资源池化和按需服务的基础。分布式海量数据存储云计算系统由大量服务器组成，同时为大量用户服务，因此云计算系统采用分布式存储的方式存储数据，用冗余存储的方式(集群计算、数据冗余和分布式存储)保证数据的可靠性。冗余的方式通过任务分解和集群，用低配机器替代超级计算机的性能来保证低成本，这种方式保证分布式数据的高可用、高可靠和经济性，即为同一份数据存储多个副本。云计算系统中广泛使用的数据存储系统是Google的GFS和Hadoop团队开发的GFS的开源实现HDFS。海量数据管理技术云计算需要对分布的、海量的数据进行处理、分析，因此，数据管理技术必需能够高效的管理大量的数据。云计算系统中的数据管理技术主要是Google的BTsT~lO数据管理技术和Hadoop团队开发的开源数据管理模块HBase。由于云数据存储管理形式不同于传统的RDBMS数据管理方式，如何在规模巨大的分布式数据中找到特定的数据，也是云计算数据管理技术所必须解决的问题。同时，由于管理形式的不同造成传统的SQL数据库接口无法直接移植到云管理系统中来，目前一些研究在关注为云数据管理提供RDBMS和SQL的接口，如基于Hadoap子项目HBase和Hive等。编程方式云计算提供了分布式的计算模式，客观上要求必须有分布式的编程模式。云计算采用了一种思想简洁的分布式并行编程模型Map—Reduce。Map—Reduce是一种编程模型和任务调度模型。主要用于数据集的并行运算和并行任务的调度处理。在该模式下，用户只需要自行编写Map函数和Reduce函数即可进行并行计算。其中，Map函数中定义各节点上的分块数据的处理方法，而Reduce函数中定义中间结果的保存方法以及最终结果的归纳方法。云计算平台管理技术云计算资源规模庞大，服务器数量众多并分布在不同的地点，同时运行着数百种应用，如何有效的管理这些服务器，保证整个系统提供不问断的服务是巨大的挑战。云计算系统的平台管理技术能够使大量的服务器协同工作，方便的进行业务部署和开通，快速发现和恢复系统故障，通过自动化、智能化的手段实现大规模系统的可靠运营。综上所述，云计算是分布式计算、互联网技术、大规模资源管理等技术的融合与发展，其研究和应用是一个系统工程，涵盖了数据中心管理、资源虚拟化、海量数据处理、计算机安全等重要问题。图3云计算与相关技术的联系四云计算的应用随着各家互联网巨头、硬件厂商乃至诸多科研机构的努力，云计算已经不是空中之谈了，他已经有了很多的应用场景，比如如今已经为众人所知的企业云、云存储、云杀毒等，在未来云计算将在IT产业各个方面都有其用武之地。以下就一些比较典型的应用场景来加以分析。4.1云计算在物流行业中的应用目前，在物流领域有些运作已经有“云”的身影，如车辆配载、运输过程监控等。借助云计算中的“行业云”，多方收集货源和车辆信息，并使物流配载信息在实际物流运输能力与需求发生以前得以发布，加快了物流配载的速度，提高了配载的成功率。图4云计算与物流行业目前行业对大数据云计算的应用还处在初级阶段，随着技术的推广和完善，大数据云计算必将对整个物流业产生深刻的影响。4.1.1云计算对物流领域的影响云计算为物流行业有效整合信息资源我国物流服务市场基本上还处于分散、封闭和无序竞争状态，物流信息化水平相对滞后，多数物流企业缺乏规范的物流流程和信息化标准，限制了物流活动向专业化、信息化方向发展。结合当前互联网发展趋势，实现物流信息的资源整合势在必行。通过云计算对信息资源进行统一整合，提高了物流企业对整个系统信息资源的有效管理，同时对业务进行支撑的可用性也大大提高了。云计算架构灵活的扩展性，随着整个系统资源和需求的部署而动态进行。云计算的基础本身就是虚拟化，能够把单个的物理资源整合起来划分给更多的用户使用。云计算高效的资源整合为物流企业带来的成本优势也是非常明显的。现在IT设备的淘汰率比较高，更新周期缩短，后期的运维费用也较高。采用云计算的理念来整合资源，投资相对减少很多，不用多占建筑资源，设备更新相对节省，人员的配置也将减少。云计算为物流行业构建云平台物流行业足够大，涉及面广，天生具有全球化的特点，以服务为核心业务的网络遍布全国和全球。其中国际货代、报关行、仓储和集卡运输等物流公司以及相关链条上的公司，由于与国外机构的紧密合作，平均信息化水平已经高于其他行业，但是公司与公司之间，同一个公司不同的分公司之间，信息不能互联互通，尚未能通过互联网来实现全程的服务。要解决这样的问题，正是云计算平台的优势。云计算平台采用云计算核心集成技术“单点登陆、统一认证、数据同步、资源集成”，和云计算物联网互融技术“端、传、网、计、控五联”，一切将变得简单、便捷、高质、低价、有效、安全。实现物流企业生意全程电子化，实现在线询价、在线委托、在线交易、在线对账和在线支付等服务，让物流生意中的买卖双方尽享电子商务“门到门”服务的便捷，降低成本，提升效率，降低差错率。实现国际物流各类服务商和供应商之间订单的数据交换、物流信息的及时共享、以及交易的支付和信贷融资等完整的一条龙服务。将国际物流业务操作系统和服务平台作为切入点，通过云平台，建立用户基础，构建互联互通网络，深入挖掘用户特征，提高用户黏性，开展快速营销，牢牢把握住客户资源。云计算为物流行业提供云存储云存储为物流企业提供空间租赁服务。通过高性能、大容量云存储系统，可以满足物流企业不断增加的业务数据存储和管理服务，同时，大量专业技术人员的日常管理和维护可以有效地保障云存储系统运行安全，确保数据不会丢失。有效减少硬件成本和人力维护成本。云存储为物流企业提供远程数据备份和容灾。通过高性能、大容量云存储系统和远程数据备份软件，可以为物流企业提供空间租赁和备份业务租赁服务，物流企业也可租用IDC数据中心提供的空间服务和远程数据备份服务功能，建立自己的远程备份和容灾系统。不仅可以保证本地数据的安全性，还能保证当本地发生重大的灾难时，可通过远程备份或远程容灾系统进行快速恢复。云存储为物流企业提供视频监控系统。通过云存储、物联网等技术建立的视频监控平台，所有监控视频集中托管在数据中心，在远程服务器上运行应用程序，应用客户端通过互联网访问它。客户通过网络登录管理网页，即可及时、全面、准确地掌握物品的可视化数据和信息。4.1.2结合云计算的物流行业未来展望未来的物流行业通过对基础设施运营层梳理物流行业的业务开发、部署、管理上的流程，通过基础设施的整合，物理设备资源使用的规范化、流程化等管理手段，把快递公司分布在全国范围内的服务器、存储、网络重新划分区域、机架、网段，然后利用虚拟化技术进行资源的池化，实现基本可管理的资源池。最后梳理快递企业的各种业务应用，分配不同的虚拟化资源，进行部署和配置，通过数据中心自动化管理工具帮助快递业实现灵活的业务驱动，其中包括智能监控、自动化部署，把简单的软件堆叠，变为深层次的业务整合和流程整合，达到了高度自动化的IT资源供给服务，真正实现了云计算的价值。4.2云计算对教育领域的影响云计算在教育领域发挥作用将降低教育信息系统建设的成本，同时有效地消除教育信息系统中的“孤岛”现象。4.2.1云计算对教育领域的影响（1）可以为学校节约计算机等硬件设备的购买和维护成本目前各级大中小学都配备着大量的计算机和网络设备，为了满足越来越多的计算需求，学校不得不经常购买更新计算机和网络设备。云计算固有的特点使其比其他新技术更容易进入学校。如果使用云计算服务，绝大部分计算任务交给云端来完成，学校只需让电脑接入互联网即可。云计算对用户端的设备要求很低这一特点决定了云计算将会在学校大受欢迎可以为学校节约大量的计算机网络交换等硬件设备的购买和维护成本。（2）云计算可以为学校提供经济的应用软件定制服务软件即服务（SaaS）是云计算提供的一种服务类型，它将软件作为一种在线服务来提供。学校接入这类云计算服务后，无需再花费大量资金购买商业软件授权，一些常用的应用软件如办公软件、电子邮件系统等云服务已经提供，收费低廉，有的甚至是免费。作为客户端的本地电脑只需运行图形界面的Linux操作系统和FireFox浏览器即可享受云服务，不用担心应用软件是否是最新版本，这也极大地减少了学校为维护和升级操作系统和应用软件而投入的费用。云计算可以为学校提供可靠和安全的数据存储中心由于对教育信息资源建设的投入不断加大，各个学校都积累了大量的教育信息资源。在病毒猖獗的互联网时代，数据存储的安全、可靠越显重要。而信息安全的问题在专业人员欠缺的学校特别突出，云计算可以为学校提供可靠和安全的数据存储中心。学校使用云计算服务将数据储存在云端，由云计算服务提供商提供专业、高效和安全的数据存储。因此无需担心病毒和黑客的侵袭以及由硬件的损坏所导致的数据丢失问题。云计算使教育信息资源的共建与共享更为便捷目前我国各级教育行政机构、学校和教育企业已经建设了大量的教育信息资源，并且还在建设更多的教育信息资源。由于可以将教育信息资源存储在云上，这样使教育信息资源的共享将更为方便与快捷。各个教育机构或信息资源建设人员也可以利用云计算所提供的强大的协同工作能力实现教育信息资源的共建。图5云计算与教育行业4.2.2云计算在教育领域面临的问题在云计算教育应用技术的开发方面，高校与企业双方都面临困境，一方面高校院系缺乏应用技术开发方面的经验及技术支持，另一方面相关的通信公司或网络公司掌握了成熟的云计算技术却难以很好地将其应用于教育教学中。此外，缺少专门的研究组织。相比国外如美国类似GartnerGroup等多个组织致力于研究云计算及其在教育中的应用，我国仅有中国电子学会云计算专家委员会等少数几个专门的研究组织在从事云计算方面的工作，而侧重于研究云计算教育应用的组织则更少。4.3金融行业实施云计算的作用云计算平台在金融行业的应用，可以尽可能发挥出它本身的巨大优势，为金融行业带来便利。4.3.1金融行业实施云计算的 优势1)加速系统资源整合、降低成本。通过云计算的数据集中存储，可以实现绿色节能、服务器整合、机房规模化，利用虚拟化技术则可大大降低维护成本和提高资源的利用率。2)具有高可靠性及动态可扩展性。云计算服务器端提供了可靠的数据存储中心，用户数据存储在服务器端，应用程序也在服务器端运行，计算还是由服务器端来处理，所有的服务分布在不同的服务器上。在云计算体系中，可以将服务器实时加入到现有服务器群中，提高云的处理能力，如果某计算节点出现故障，则通过相应策略抛弃掉该节点，并将其任务交给别的节点，而在节点故障排除后可实时加入现有集群中。3)提高系统的计算和存储能力。金融信息系统用户可以在任何时间、任意地点，采用任何设备登录到云计算系统后就可以进行计算服务;云计算云端由成千上万台甚至更多服务器组成的集群具有大量存储空间和非常快的处理速度。图6云计算与金融行业4)提高安全威胁及安全事件快速反应能力。云安全体系的安全威胁发现和响应