《新一代信息技术讲堂》课件-项目4 云计算技术（P100）

项目四

云计算技术

新一代信息技术讲堂目录

/CONTENTS01项目背景02思维导图03项目相关知识0405项目小结与展望项目任务01项目背景新一代信息技术讲堂项目背景依托互联网，仅用了二十多年，数字技术彻底改变了千百年来人们工作、消费和沟通的方式。数字生活已经成为大众生活不可或缺的一部分。从最初的电子邮件、社交网络，到后来的手机支付、网上购物，再到现在的线上政务、网上挂号。如今，这些深刻影响几乎每一个人的应用的背后，云计算扮演着越来越重要的角色。互联网让人们过上了数字生活，而云计算让数字生活过得更舒适。中国铁路12306网站，采用云计算以保证春运高峰期车票业务稳定运行，是云计算应用的一个绝佳例子。春运期间，12306把访问量最大的车票查询业务部分切换到第三方的云上，春运结束后逐渐释放占用的服务器资源。采用云计算，12306可以按需租用云计算资源，节省大量的硬件采购成本。项目背景

云计算是信息技术发展和服务模式创新的集中体现，是信息化发展的重大变革和必然趋势。云计算现已成为承载各类应用的关键基础设施，并为大数据、物联网、人工智能等新兴领域的发展提供基础支撑。国家高度重视以云计算为代表的新一代信息产业发展，近年发布了多项政策措施。在政府积极引导和企业战略布局等推动下，经过社会各界共同努力，云计算已逐渐被市场认可和接受。02思维导图思维导图03项目相关知识新一代信息技术讲堂4.1云计算的演变人工智能科学家JohnMcCarthy（约翰·麦卡锡）在1961年提出：“正如电话系统是一种公用设施（publicutility），计算（computing）有朝一日可能会被组织为一种公用设施。”互联网开创者之一的LeonardKleinrock（伦纳德·克莱因罗克）在1969年预言：“截至目前，计算机网络仍处于婴儿阶段。但随着他们长大并变得更加复杂，我们可能会看到‘计算机公用设施’的普及，就像现在的电力和电话一样，将为全国的个人家庭和办公室提供服务。”思想萌芽计算上“云”的理念可追溯到上世纪的60年代。4.1云计算的演变大型机大型机IBMSystemz9，里面放了一台IBMThinkPad笔记本电脑，用来管理大型机大型机具有高可靠性，可以容忍部分组件故障而不需要停机修理，因此能长时间在线提供不间断服务。与分布式系统相比，大型机在成本、可靠性、易用性方面不占有优势，近年已很少部署。大型机（mainframecomputer），是从IBMSystem/360开始的一系列计算机及与其兼容或同等级的计算机，主要用于大量数据和关键项目的计算，例如银行金融交易及数据处理、人口普查等。4.1云计算的演变集群计算集群计算（clustercomputing）作为大型机的一个低成本替代方案被引入到众多大学和小型研究。自20世纪80年代起，集群计算成为并行与高性能计算的标准技术。计算机集群结构DEC公司于1984年发布的VAXcluster产品，最大支持8个节点，运行OpenVMS操作系统，支持并行计算及共享文件系统。VAXcluster产品4.1云计算的演变网格计算（gridcomputing）出现在20世纪90年代初，借助互联网，网格节点实现了地理上分散分布，从而带来比集群计算更大的处理能力。网格计算使用网格，一个大的计算任务可以拆分到地理位置不同的多台机器上运行，常用于处理诸如天气预报等繁重的分析任务。4.2云计算的定义百花齐放维基百科：“云计算，也被意译为网络计算，是一种基于互联网的计算方式，通过这种方式，共享的软硬件资源和信息可以按需求提供给计算机各种终端和其他设备，使用服务商提供的电脑基建作计算和资源。”GoogleCloud：“云计算就是指通过互联网，以按需服务的形式提供计算资源。这样企业就无需自行采购、配置或管理资源，而且只需要为实际使用的资源付费。”Gartner咨询公司：“一种计算方式，其中可扩展和弹性的IT能力作为服务提供给使用Internet技术的外部客户。”ForresterResearch：“一种标准化的IT能力（如服务、软件或基础设施），通过互联网技术以按使用付费、自助服务的方式提供。”4.2云计算的定义NIST定义美国国家标准与技术研究院（NationalInstituteofStandardsandTechnology，NIST）在2011年给出定义：“云计算（cloudcomputing）是一种模式，用于实现对可配置的计算资源（例如，网络、服务器、存储、应用程序和服务）共享池的无处不在、方便、按需的网络访问，这些资源只需少量管理工作或与服务供应商少量交互就可以快速配置和发布。”NIST的云计算定义揭示了云计算的一些基本特征云计算是一种使用模式云计算基于资源的池化云计算资源可以快速提供并且易于使用4.3云计算的五大特征NIST列出了云计算的五个基本特征按需自助服务（On-demandself-service）广泛的网络接入（Broadnetworkaccess）资源池化（Resourcepooling）快速弹性（Rapidelasticity）可计量服务（Measuredservice）云计算的五大特征4.3云计算的五大特征按需自助服务按需自助服务使用户能够根据需要使用云计算资源，而无须用户与云服务供应商之间的人工交互。传统采购的缺点仔细规划、购买、配置和实施需时长，多人参与按需自助服务的优点用户根据需要申请云计算资源用户与云服务供应商之间无须人工交互快速采购和访问所需服务4.3云计算的五大特征广泛的网络接入服务通过Internet获得扩大了用户群体支持各种客户端访问移动电话、平板电脑、笔记本电脑和工作站4.3云计算的五大特征资源池化计算资源通常以突发的方式使用（例如发送一段数据）。当一个客户没有使用资源时，其他客户可以使用这些资源，而不是闲置。云环境通常配置为大型计算资源池，例如CPU池、RAM池和存储池，客户可以从中选择使用或释放给其他客户资源池化是可扩展的基本前提如果每个用户都需要专用硬件，就不可能支持大量用户如果不支持大量用户，云计算就没有经济意义4.3云计算的五大特征快速弹性快速弹性是指快速提供可扩展服务的能力。云用户扩大或缩小的需求应该自动得到满足，用户能够随时消耗任何数量的资源典型应用场景：电商促销活动活动期间通过云服务可以快速增添服务器购物热潮消退后，可以逐渐减少直至停用这些服务器某些时段不能满足需求资源配备过多，造成浪费动态配置资源迎合需求4.3云计算的五大特征可计量服务可计量服务是云计算具有“随用随付”（pay-as-you-go）特性的前提可计量的计算资源虚拟机的运行时间存储量的使用使用的网络带宽两种定价方案基于订阅的定价（包年包月）按使用时间付费4.4云计算的三大服务模式NIST列出了云计算的三种服务模式软件即服务（SoftwareasaService，SaaS）平台即服务（PlatformasaService，PaaS）基础设施即服务（InfrastructureasaService，IaaS）云计算的三种服务模式4.4云计算的三大服务模式软件即服务自助服务，用户为使用软件而不是拥有软件付费通过浏览器访问服务，支持不同用户平台，如Windows、Linux、Mac无需在本机电脑上安装软件支持多个租户同时使用软件，软件以不同实例运行比直接购买软件便宜软件可能是云服务商独有，存在“厂商锁定”（vendorlock-in）的问题4.4云计算的三大服务模式平台即服务用户为软件开发者（程序员）用户在平台上部署应用程序，这些应用程序使用云供应商支持的编程语言、库、服务和工具创建可以将云供应商提供的API调用合并到应用程序中以访问和操作云中的资源。例如，地图软件获取用户的GPS信息提供导航服务4.4云计算的三大服务模式基础设施即服务向用户提供计算资源CPU、存储、网络等由用户自行搭建虚拟环境操作系统版本、CPU数量、内存大小、硬盘类型和容量虚拟机内软件的安装与配置4.5云计算的四种部署模式NIST列出了云计算的四种部署模式私有云（Privatecloud）公有云（Publiccloud）社区云（Communitycloud）混合云（Hybridcloud）云计算的四种部署模式4.5云计算的四种部署模式私有云服务部署在仅供单个企业使用的硬件资源上硬件位于第三方（例如云服务供应商）的设施内并由第三方提供并保证不会被非法访问硬件位于企业自身拥有的数据中心4.5云计算的四种部署模式公有云公有云是标准的云模式硬件、网络、存储、服务、应用以及接口由第三方拥有、管理和运营向用户提供服务水平协议(service-levelagreement，SLA)通常承诺99.99%时间的可用性4.5云计算的四种部署模式社区云允许多个组织、企业使用同一平台的多租户平台不向大众开放云设施可以处在任一成员拥有的物业内或者托管在外部，例如公有云社区云的例子政务云医疗社区云4.5云计算的四种部署模式混合云私有云、社区云或公有云的组合，对外提供统一的服务常见场景是企业在私有云与公有云之间的过渡阶段私有云转公有云：业务上云公有云转私有云：自行搭建私有云负载均衡：临时租用公有云资源一年一度购物节期间的电商促销12306网站春运售票4.6云计算的基础技术虚拟化技术虚拟化（virtualization）是一个宽泛的概念，若应用于对计算机资源的抽象，虚拟化是一种资源管理技术本质上，虚拟化把软件与硬件解耦合（decoupling），因此软件可以方便地被调度到网络上不同服务器虚拟化极大地方便了云服务商对不同客户的隔离，没有虚拟化就没有云计算一个Windows虚拟机运行在一个Linux物理机内4.6云计算的基础技术服务器虚拟化计算（compute）是云计算的核心，服务器虚拟化是计算能力得以实现的一种方式云服务商把计算资源以云主机的形式向用户提供。一台云主机就是包含CPU、内存、网络、存储资源并安装了操作系统的虚拟机运行多个虚拟机的物理服务器称为计算节点服务器虚拟化的三种不同形式全虚拟化半虚拟化容器化4.6云计算的基础技术全虚拟化Hypervisor（虚拟机监控程序）负责实现所有加入到虚拟机的虚拟硬件的功能，例如CPU、键盘、鼠标、网卡等软件辅助的全虚拟化虚拟机内对虚拟硬件的所有请求都被提交到hypervisor，经过二进制翻译后，hypervisor再把请求提交到物理CPU支持对不同CPU体系结构的操作系统虚拟化硬件辅助的全虚拟化现代的CPU加入了对虚拟化的支持（例如IntelVT-x和AMD-V）Hypervisor把虚拟机的部分指令直接提交物理CPU，虚拟机的性能得以显著提升4.6云计算的基础技术半虚拟化全虚拟化缺陷：虚拟机与物理硬件的通信需要经hypervisor中转，收发大量数据时，性能损耗大半虚拟化（para-virtualization）虚拟机（GuestOS）安装了支持半虚拟化的驱动程序（如VirtIO），使得虚拟机知道自己运行在虚拟环境下，从而可以与hypervisor协调，加快与主机（HostOS）之间的传输数据。增加虚拟机的磁盘与网络IO的性能并降低延迟4.6云计算的基础技术容器化容器（container）是一个轻量虚拟机，只包含特定应用程序及其所依赖的软件环境，能够快速启动容器运行在宿主机（host）操作系统，共享宿主机的CPU和内存，但只能访问容器内的文件容器只能运行同一类型操作系统平台的软件，例如Linux平台的容器无法运行Windows的应用程序谷歌的所有产品（包括Gmail、YouTube和Google搜索）都是在容器中运行计算机领域的容器与现实中的集装箱有类似之处4.6云计算的基础技术网络虚拟化网络虚拟化把网络资源与网络功能结合成一个单一的、基于软件的管理实体云环境下，不同租户的虚拟网络相互独立避免不同租户之间的网络攻击网络虚拟化两种常用协议VLAN（虚拟局域网）设计于90年代，未有充分考虑可扩展性理论上最多只能创建4096个子网，规模足够企业内网使用，但对大型云服务供应商，满足不了隔离租户的需求VXLAN（可扩展虚拟局域网）支持多达1600万个逻辑网络，足够为云服务供应商的每一位租户分配一个子网4.6云计算的基础技术存储虚拟化计算资源的使用必须借助于软件，而软件必须存储到硬盘上，因此，存储是计算机系统不可或缺的部分传统的计算机系统存储设备（机械硬盘和SSD）直接安装到服务器机箱内不利于服务器之间对存储资源的共享云环境下的数据中心安装大量硬盘的物理服务器称存储节点存储节点不运行虚拟机多个存储节点组成存储集群，即存储池虚拟机所挂载的虚拟硬盘空间来自于存储池4.6云计算的基础技术分布式系统分布式系统是一个由多台独立的计算机组成、但对外以一个整体的形式呈现给用户的系统分布式系统的一个主要特点：容错（faulttolerance）提高系统可靠性的基本方法：冗余（redundancy）常见的冗余手段：网络链路、网络设备、服务器主机以及后端存储设备的冗余分布式系统专家LeslieLamport（莱斯利·兰波特）：“分布式系统就是系统中的一台电脑失效你察觉不到，但若同样的失效发生在你自己的电脑，你的电脑就不能用”LeslieLamport4.6云计算的基础技术网络链路冗余4.6云计算的基础技术网络设备冗余双网卡冗余双交换机（PowerConnect5224）冗余4.6云计算的基础技术服务器冗余故障转移（failover）主服务器提供服务，从服务器随时待命监控程序采用“心跳”的方式监测主从服务器的存活，一旦发现主服务器失去联络，立即把服务请求指向从服务器负载均衡（loadbalancing，LB）多台服务器同时提供服务用户的某个请求由负载均衡器根据策略指定某个服务器负责执行4.6云计算的基础技术分布式系统的特点-透明透明性（transparency）-对外隐藏下层细节的属性位置透明性：用户无法知道也不必知道访问的资源所在的物理位置并发透明性：上层提交的任务，下层以并发的方式（多CPU核或多节点）处理复制透明性：用户保存的数据以冗余的方式（例如三副本）备份失效透明性：故障组件由其他冗余组件自动替代，上层不明显感知失效的发生迁移透明性：数据可被迁移至系统内其他节点，但对上层透明4.6云计算的基础技术分布式系统的特点-可扩展可扩展性（scalability）是指系统或服务在添加资源后，性能能够根据所添加的资源的多寡而按比例提升的能力垂直扩展（scaleup）增加节点内部的资源。例如升级处理器、增加内存、添加硬盘等容易实现，适合单机系统水平扩展（scaleout）增加服务器节点管理复杂，适合分布式系统4.6云计算的基础技术分布式系统的特点-并行处理并发与并行并发（concurrency）指多个任务在一个时间区间内交替运行单核CPU处理多任务，例如边上网、边听歌并行（parallelism）指多个任务在一个时间区间内同时运行多核CPU处理多任务，例如上网与听歌由不同CPU核处理4.6云计算的基础技术分布式系统的特点-高可用（HA）可用性（availability）是指服务不中断的能力云服务供应商提供的计算、网络、存储服务的可用性用“服务时间”（uptime）表示服务时间与总时间的百分比以9的个数作定量描述9的个数可用性（%）宕机时间/年例子190.036天12小时个人电脑299.087小时36分钟普通工作站399.98小时45.6分钟高可用系统499.9952分33.6秒数据中心599.9995分15.4秒银行系统699.999931.5秒军事防御系统不同可用性对应的宕机时间4.6云计算的基础技术云存储技术在云计算概念盛行之前，云存储旧称“网络存储”或“分布式存储”存储设备不在本机，数据存放在网络上不同的服务器高可靠：数据通常以多副本形式分散保存到不同节点上的多个硬盘，数据不会丢高可用：三个节点只要一个节点存活，读不受影响；两个节点存活，写不受影响高性能：多节点并行读写，借助高速网络，远超传统机械硬盘吞吐率大容量：可提供远高于普通单一节点所能提供的磁盘空间如今，云存储有时也指“网盘”4.6云计算的基础技术云存储的数据保护–冗余副本冗余（replication）数据通常以三副本保存系统性能好，但大幅增加存储空间的开销纠删码冗余（erasurecoding）纠删码广泛用于通信领域与存储领域，用来恢复丢失的数据应用于光盘、无线通信、二维码顾名思义，纠删码只纠删，不纠错存储空间占用较少系统写入性能比副本低很多纠删码计算的基本原理：对原始数据使用异或运算产生冗余数据块，当原始数据的某一块丢失后，再对冗余数据与剩余的原始数据做异或运算，即可恢复丢失的数据4.6云计算的基础技术云存储的三种类型块（block）向虚拟机提供虚拟硬盘，即云硬盘，在使用上与物理硬盘没有区别云硬盘按用途分两种系统盘，例如40GB，已安装操作系统，用于启动虚拟机数据盘，大小由用户指定，例如几十GB~几十TB，分区、格式化后存放数据文件系统（filesystem）虚拟机内挂载文件系统，类似用Windows的“网上邻居”访问共享文件可以创建、读写、删除文件，但不能格式化对象（object）使用HTTP协议上传或下载文件，主要存放图片、视频等只读数据网盘可由对象存储系统构建4.7云计算的加速技术数据缓存在计算机领域中，为了降低传输速度差距大的硬件在相互传输数据时带来的延迟，广泛使用缓存技术（caching）。价格容量读写性能HDD（机械硬盘）便宜大低SSD（固态硬盘）较贵小高为加速由大量HDD组成的存储集群，存储系统可安装小量SSD作为缓存，用户读写的数据暂时存放在SSD，而SSD中的数据可以后台择期写入HDD集群。4.7云计算的加速技术智能网卡在服务器侧引入智能网卡（SmartNIC），将网络、存储、操作系统中不适合CPU处理的高性能数据处理功能卸载（offload）到网卡执行，提升数据处理能力，释放CPU算力。由于智能网卡支持数据直接从应用程序到网卡的传输，不用经过操作系统内核，降低了数据传输延迟，进而提升了系统整体的性能。Mellanox公司的智能网卡产品4.7云计算的加速技术裸金属服务器一台计算节点上运行多个虚拟机存在两大问题性能损失：虚拟化的引入，虚拟机访问物理硬件带来延迟性能抖动：硬件资源以共享的形式分配给虚拟机使用，存在争用多台虚拟机同时执行计算密集型任务，每台虚拟机能获得的CPU资源必然减少多台虚拟机同时大量收发数据会造成网络饱和裸金属服务器（bare-metalserver）是普通物理服务器，但仅供一个客户使用系统直接运行在物理硬件上，客户