云计算与大数据技术全套教学课件

云计算-云计算简述全套可编辑PPT课件第01章云计算概述第02章虚拟化技术第03章海量数据存储与管理技术第04章网络虚拟化第05章云计算管理工具第06章大数据概述第07章大数据分析平台与技术栈第08章数据采集工具和消息队列第09章Hadoop分布式系统基础架构第10章Spark计算平台第12章Flink计算平台与实践第13章NoSQL数据库第14章Hive数据仓库第15章数据可视化云计算单机或PC时代云计算Network网络时代云计算Network…机房信息中心（机房）云计算互联网Internet云计算IDCIDCIDC…互联网数据中心（IDC）云计算Network…机房服务器虚拟化服务器虚拟化机房服务器虚拟化云计算物理基础设施虚拟机虚拟化平台…云计算云计算把有形的产品（网络设备、服务器、存储设备、各种软件等）转化为服务产品（IaaS，PaaS，SaaS），并通过网络让人们远程在线使用，使产品的所有权和使用权分离。服务器笔记本电脑台式电脑Pad手机软件即服务（SaaS）平台即服务（PaaS）基础设施即服务（IaaS）云服务器存储设备网络连接对象存储块存储数据库消息队列计算引擎在线会议在线办公云输入法地图导航云财务云计算基础设施即服务（IaaS）数据安全应用安全身份验证系统安全传输安全

网络安全物理安全数据中心安全平台即服务（PaaS）软件即服务（SaaS）开发平台安全应用软安全云计算安全云安全一方面是指云计算自身的安全，即为使用云计算服务提供安全防护。另一方面以云服务方式提供安全服务云计算安全学习云计算和大数据技术内容参考资料《云计算技术与应用学习教程（精华版）》云计算与大数据发展史云计算发展史2006年3月2006年8.92008年2009年初2009年2009~2011年2010年亚马逊推出了弹性计算云服务施密特在搜索引擎大会提出“云计算”概念Google推出云业务GoogleAppEngineSalesforce公司公布了2008财年报告，公司云服务收入超过了10亿美元美国政府机关（A）开始试水云计算IBM、VMWare、微软和AT&T开始参与云市场竞争微软正式启动Azure平台亚马逊每年举办AWSre:Invent大会2012年起微软、阿里云、金山云都开始积极开拓中国市场2012年起云计算发展史2019年2021年2022年亚马逊选址宁夏中卫，2015年建设完毕，正式提供商用服务国内规定把云计算基础设施纳入互联网数据中心业务，微软与世纪互联合作阿里云中国公共云IaaS市场份额扩大至47.6%阿里云在全球云计算厂商排名挤进前四云成为获取人工智能最重要路径国内国家《十四五规划纲要》提出七个数字经济重点产业。亚马逊宣布EKSAnywhere服务正式推出阿里云推出云数据中心专用处理器CIPU…...…2013年底2015年2017年6月2017年云计算发展史Gartner公司

Gartner(高德纳)全球最具权威的IT研究与顾问咨询公司，成立于1979年，总部设在美国康涅狄克州斯坦福。技术成熟度曲线技术成熟度曲线（TheHypeCycle），又称技术循环曲线，光环曲线，炒作周期。1995年开始，高德纳咨询公司依其专业分析预测与推论各种新科技的成熟演变速度及要达到成熟所需的时间Gartner技术成熟度曲线技术萌芽期期望膨胀期泡沫破裂低谷期稳步爬升复苏期生产成熟期expectationstime媒体宣传开始负面影响开始方法论和实践进步被接受的高增长阶段Gartner2008技术成熟度曲线云计算Gartner2009技术成熟度曲线云计算Gartner2010技术成熟度曲线云计算Gartner2011技术成熟度曲线云计算大数据Gartner2012技术成熟度曲线云计算大数据Gartner2013新兴技术成熟度曲线大数据正在由过热期转向低谷期，物联网将成为新的热点话题，云计算、内存分析和企业3D打印日益成熟云计算大数据Gartner2014新兴技术成熟度曲线物联网登顶、大数据走向谷底云计算大数据Gartner2015新兴技术成熟度曲线脱离曲线的技术包括：大数据、云计算…,大数据、云计算已经不是一种新兴技术了，已经开始用于实践。Gartner2021新兴技术成熟度曲线Gartner2022新兴技术成熟度曲线云计算-云计算应用云计算应用IaaS虚拟机服务器存储IaaSIaaS云服务用户IaaS云服务合约：产品：实例-2核4G，地域-华南（深圳），

系统盘-20G高效云盘，带宽-1MSLA（服务等级协议）：可用性=99.9%等价格：41元/3个月

按照云计算的交付资源或服务类型来划分云计算服务-IaaSIaaS（1）最早云计算服务就是最基础的云主机（VirtualMachine)。

（2）后来，基础服务被拆分为主机、存储、网络、数据库和安全等几个重要的基础云产品，允许用户灵活组合，并实现了弹性计费。云计算服务-IaaSIaaS

PaaSPaaSPaaS云服务-终端用户PaaS云服务合约（例）：产品：应用服务器（50CU）+DBMSSLA（服务等级协议）：可用性=99.5%等价格：存储资源-按量计费，0.004元/GB/天下载量-按量计费，仅外网收费0.8元/GB数据安全备份/恢复应用托管可扩展基础设施集成开发环境IntegratedDevelopmentEnvironmentWeb应用实例/业务应用系统PaaS云服务-开发人员云计算服务-PaaSPaaS（平台即服务）PaaS特指开发平台，应用开发工作从本地迁移到云端，自然需要在云计算环境中提供对应的更优解决方案。所以过去传统的中间件市场陆续发生变迁，逐一转换为在云计算平台上的某项服务。比较常见的开发平台服务包括：（1）通讯：提供音视频通信、消息推送、短信、邮件等服务（2）地理信息：提供地图、定位、导航相关的服务（3）应用开发框架：提供应用开发环境和运行时环境（4）媒体服务：提供图片和音视频等媒体文件的编码、加工和存储服务（5）机器学习框架：提供面向AI应用开发者的机器学习数据标注和模型训练平台云计算服务-PaaSPaaS（范例）SaaSSaaSSaaS云服务政企用户SaaS云服务合同（例）：产品：SaaS软件产品SLA（服务等级协议）：响应时间=0.5ms等价格：0.4元/1000个请求

CRM销售管理

在线会议办公协作人力资源管理财务管理其他网盘表格制作文件管理照片管理联系人管理账务管理其他SaaS云服务个人用户云计算SaaS（案例）Dropbox是一面向个人和团队提供文件存储和共享服务的创业公司。

在AWS起步的时候，Dropbox就直接使用了AWS现成的S3对象存储服务，这让一家团队人数很小的初创公司有机会能够聚焦在应用开发和营销上，让Dropbox通过短短的几年时间发展成市场份额第一的文件共享应用。

AWS其他客户“奈飞“（Netflix）、Salesforce。百度网盘搜狗云输入法有道云笔记云杀毒软件云办公软件微软Azure平台阿里云服务器案例阿里云服务器案例阿里云服务器案例阿里云服务器案例阿里云服务器案例私有云公有云混合云企业防火墙云计算部署类型混合云混合云混合云实质上是一组通讯服务。若预算高，安全性和连通性要求高情况下，用好的网络设备和专线连接，若预算低的话，安全性和连通性的要求没有那么高，也可以自助搭建经济的VPN网络。客户就可以围绕自己的基础用量采购自有IT资产，自己运营私有云。短期波动的增量则可以通过公共云服务满足，等需求高峰过去，就可以去掉这部分的开支。如12306购票系统。

运维难度比较低的基础云服务保留在自己的设施内，而同时使用公共云提供的复杂计算服务，比如机器学习平台等。

云计算-云计算服务商及产品云计算服务商及产品阿里云及产品云计算服务商及产品亚马逊云及产品云计算服务商及产品微软云及产品参考资料《云计算技术与应用学习教程（精华版）》/view/3922.html云计算-云计算关键技术云计算关键技术云计算服务的实现主要通过编程模型技术、数据管理技术、数据存储技术、虚拟化技术、云计算平台管理技术等关键技术的支持。分布式计算通用计算模型作为高效任务调度模型，主要用于数据集并行运算和并行任务的调度处理。Hadoop的MapReduce计算框架Spark计算框架Flink编程模型

分布式计算MapReduce计算框架分布式计算Spark计算框架分布式计算Flink计算框架虚拟化技术虚拟化技术主要实现将单个资源划分成多个虚拟资源的裂分模式，或将多个资源整合成一个虚拟资源的聚合模式，可实现软件应用与底层硬件相隔离。服务器虚拟化是指在一台物理机上虚拟出多个虚拟机。虚拟化技术服务器虚拟化是指在一台物理机上虚拟出多个虚拟机。服务器虚拟化要通过CPU虚拟化、内存虚拟化和I/O虚拟化实现。虚拟化技术存储虚拟化是指将物理存储资源通过虚拟化技术集中到一个大容量的资源池并实行单点统一管理，无需中断应用即可改变存储系统和数据迁移。虚拟化技术网络虚拟化是在物理网络上虚拟多个相互隔离的虚拟网络，从而使得不同用户之间使用独立的网络资源切片，实现不同租户相互隔离。数据存储技术为了满足大量用户需求，并行的为大量用户提供服务，云计算数据存储技术采用分布式存储的方式来存储数据，采用冗余存储的方式来保证存储数据的可靠性，即为同一份数据存储多个副本。云计算的数据存储技术典型代表有Hadoop的HDFS（HadoopDistributedFileSystem)，OpenStack的Ceph块存储和文件存储，以及Swift对象存储，Google的GFS（GoogleFileSystem）等等。数据存储技术Hadoop的HDFS数据存储技术Ceph分布式文件系统云计算关键技术-虚拟化技术概述虚拟化技术传统特定用途虚拟化技术什么是虚拟化什么是虚拟化

虚拟化是一种方法，本质上讲是指从逻辑角度出发的资源配置方案，是对物理资源的一种抽象。抽象的结果是，在只有一台计算机硬件的情况下、通过虚拟化技术、可以让多个操作系统同时运行在此计算机硬件上，并且让这些操作系统都认为自己独享整个硬件，资源划分对操作系统是透明的。虚拟化的工作原理虚拟化的工作原理虚拟机监控程序VMM虚拟机监控程序（也称为Hypervisor）软件可有效分隔物理资源，并将这些资源分配给不同虚拟环境使用。

虚拟机监控程序可能位于操作系统的顶层，或者直接安装在硬件上。

虚拟机监控程序接管物理资源，并对它们进行划分，以便虚拟环境能够对其进行使用。虚拟化的特点服务器虚拟化虚拟化将硬件、操作系统和应用程序一同封装在一个可迁移的虚拟机档案文件中虚拟化的益处实现资源最优利用

通过虚拟化实现服务器整合，大大提高硬件利用率，增加了系统可管理性。

简化服务器安装过程，减少应急购买需求和节省维护成本HYPERVISORHYPERVISORHYPERVISORHYPERVISOR虚拟化的益处实现动态负载均衡

利用虚拟机与硬件无关特性的虚拟机迁移技术，按需分配资源。

HYPERVISORHYPERVISORHYPERVISOR虚拟化的益处系统自愈功能提升可靠性

实现经济高效、独立于硬件和操作系统的应用程序高可用性。服务器硬件故障时，可自动重启虚拟机，任何物理服务器均可作为虚拟服务器的恢复目标。HYPERVISORHYPERVISORHYPERVISOR虚拟化的益处节能减排

优化虚拟机资源的实际运行位置，实现耗电最小化，实现节能减排。HYPERVISORHYPERVISORHYPERVISOR休眠虚拟化与云计算虚拟化是一种技术，可让用户以单个物理硬件系统为基础，创建多个模拟环境或专用资源。云是一种能够抽象、汇集和共享整个网络中的可扩展资源的IT环境。简而言之，虚拟化是一项技术，而云是一种环境或服务。虚拟化与云计算虚拟化的主要功能是把单个资源抽象成多个给用户使用，而云计算则是帮助不同部门（通过私有云）或公司（通过公共云）访问一个自动置备的资源池。如果已经有虚拟基础架构，可以将虚拟资源集中在一起，使用管理和自动化软件对其进行编排，然后为用户创建自助服务门户，以此来创建云服务。虚拟化与云计算参考资料/zh/topics/cloud-computing/cloud-vs-virtualization云计算-虚拟化简史虚拟化技术

虚拟化技术虚拟化技术主要用于云计算物理资源的池化，从而可以弹性地分配给用户。物理资源包括服务器（计算）、网络和存储。虚拟化发展简史VMware公司针对x86平台推出了商业虚拟化软件VMwareWorkstation1999VMWare发布ESX和GSX，是ESXi的前身2001FabriceBellard发布开源虚拟化软件QEMU2001EMC收购VMWare;微软收购Connectix公司获得VirtualPC虚拟化技术2003微软发布VirtualServer2005计划2004OpenVZ发布-Linux操作系统的容器化技术实现2005法布里斯·贝拉（FabriceBellard）虚拟化发展简史Intel和AMD对虚拟化技术的支持加入到x86体系结构的中央处理器中（IntelVT-x，AMD-V）

2006红帽将Xen作为RHEL的默认特性2006AmazonWebServices（AWS）开始以Web服务的形式向企业提供IT基础设施服务2006Sun公司发布了开源虚拟化软件VirtualBoxXen被Citrix（思杰）收购2007LinuxKernel2.6.20合入

虚拟化内核模块KVM2007微软发布了虚拟化产品Hyper-V2008以色列公司Qumranet开发的虚拟化内核模块KVM（Kernel-basedVirtualMachine，基于内核的虚拟机）虚拟化发展简史LinuxContainer（LXC）发布0.1.0版本，提供轻量级的虚拟化2008RedHat收购以色列公司Qumranet，使用KVM替换Xen2008NASA发布了可以IaaS云操作系统OpenStack2010Docker发布了第一个正式版本v1.02014Kubernetesv1.0发布2015IBM正式收购Redhat微软收购Github2018博通收购VMware2022参考资料计算机体系结构:量化研究方法(第5版)亚马逊的云原生故事/broadview2006/article/details/83780974亚马逊云服务列表/about-aws/regional-product-services/对话亚马逊AWSCTO：第一朵“Cloud”出现的故事https://36/p/1722717224961云计算传奇故事亚马逊误入云计算始末/view/9369606e2e60ddccda38376baf1ffc4ffe47e2d4.html#为何这么牛？亚马逊AWS简史/s?id=1591645839949053927&wfr=spider&for=pc云计算-虚拟机监控器及虚拟化模式虚拟机虚拟机（VM）是在一个硬件平台上模拟一个或者多个独立的和实际底层硬件相同的执行环境。每个虚拟的执行环境里面可以运行不同的操作系统（GuestOS）。GuestOS通过虚拟机监控器提供的抽象层来实现对物理资源的访问和操作。虚拟机监控器虚拟机监控器（VirtualMachineMonitor，VMM），负责为虚拟机统一分配CPU、内存和外设，调度虚拟资源。当VMM与操作系统“合二为一”时，一般称作Hypervisor。虚拟化模式根据VMM（虚拟机监控器）在物理系统中的位置，将虚拟化模式分为裸机模式、宿主机模式、混合模式三种(1)裸机模式虚拟化模式(2)宿主机模式虚拟化模式(3)混合模式虚拟化的分类不同的虚拟化模式，并不是根据同一个标准来分类。（1）从应用的角度来分类可分为操作系统虚拟化、应用程序虚拟化、桌面虚拟化、存储虚拟化、网络虚拟化等等。（2）从应用模式的角度来分类从应用模式的角度可分为一对多、多对一、多对多三类。（3）从硬件资源调用模式来分类可分为全虚拟化、半虚拟化、硬件辅助虚拟化三类。等等。（4）从运行平台的角度来分类可分为基于X86平台和非X86平台的虚拟化内存虚拟化VMM采用分块共享的思想来虚拟计算机物理内存。将机器内存分配给虚拟机，并维护机器内存和虚拟机所见的“物理内存”的映射关系，使这些内存在虚拟机看来是从0开始、连续的物理地址空间。I/O设备虚拟化模式I/O全虚拟化I/O半虚拟化I/O直通虚拟化I/O设备虚拟化模式-KVMI/O全虚拟化I/O半虚拟化I/O直通虚拟化虚拟化工具个人PC上使用比较多的虚拟化VMware、VirtualBox企业级服务器上虚拟化工具，VMware服务器端虚拟化工具ESXI，KVM和Xen。linux服务器首选KVM，国内的阿里和国外的AWS都是使用的XEN。Linux安装XENLinux安装XENDomain0是做管理用的虚机，DomainU是用户用的虚机在Domain0里面跑物理的驱动通过Domain0将这个物理的设备虚拟化成多个设备供其他的虚机（DomainU）去使用，所以说Domain0和Hypervisor一起实现了外部设备的虚拟化。Xen和KVM虚拟化XEN虚拟化结构示意图KVM虚拟化结构示意图微软的HyperVisor叫做Hyper_V跟Xen比较类似。VMware云计算操作系统vSphere架构

参考资料I/O虚拟化的三种形式/p/7a656326c439虚拟化技术的历史/view/e310bcccd5d8d15abe23482fb4daa58da0111c0f.htmlLinuxKVMIO设备虚拟化的三种方式/wjw7869/article/details/52020937云计算-服务器虚拟化虚拟化技术服务器虚拟化服务器虚拟化就是将服务器物理资源抽象成逻辑资源，让一台物理服务器虚拟出几台甚至上百台相互隔离的虚拟服务器。不再受限于物理上的界限，而是让CPU、内存、I/O设备、磁盘等硬件变成可以动态管理的“资源池”，从而提高资源的利用率，简化系统管理，实现服务器整合，让IT对业务的变化更具适应力。CPU虚拟化CPU的虚拟化技术是一种硬件方案，支持虚拟技术的CPU带有优化过的指令集来控制虚拟过程，通过这些指令集，虚拟机监控器（VMM）会很容易提高性能。CPU的架构有X86、ARM等。X86架构（TheX86architecture）是微处理器执行的计算机语言指令集。X86服务器又称CISC（ComplexInstructionSetComputer-复杂指令集）架构服务器，即通常所讲的PC服务器，它是基于PC机体系结构，使用Intel或其它兼容x86指令集的处理器芯片的服务器。大多数CPU厂商(如AMD，Intel)生产的就是这种处理器。CPU虚拟化服务器虚拟化就是将服务器物理资源抽象成逻辑资源，让一台物理服务器虚拟出几台甚至上百台相互隔离的虚拟服务器。不再受限于物理上的界限，而是让CPU、内存、I/O设备、磁盘等硬件变成可以动态管理的“资源池”，从而提高资源的利用率，简化系统管理，实现服务器整合，让IT对业务的变化更具适应力。X86服务器X86架构CPU特点CPU都会划分为用户态和内核态。

x86CPU更是细分为Ring0~3四种执行状态。Ring0核心态（KernelMode）Ring3用户态（UserMode）X86架构CPU特点Ring0核心态是操作系统内核的执行状态（运行模式），运行在核心态的代码（OS）可以无限制的对系统内存、设备驱动程序、网卡接口、显卡接口等外部设备进行访问。Ring3用户态（UserMode）

所有的应用程序都应该运行在用户态中。当应用程序需要访问外围硬件设备时，CPU会通过特别的接口去调用核心态的代码。

X86架构CPU虚拟化x86架构的虚拟化需要在操作系统(运行于最高权限的ring0)之下放置一个提供共享资源的虚拟化层（Hypervisor）来创建和管理虚拟机。虚拟化在这里就遇到了一个难题，因为宿主操作系统是工作在ring0的，客户操作系统（guestOS）就不能工作在ring0了，但是它不知道这一点，以前执行什么指令，现在还是执行什么指令，但是没有执行权限，这时就会出现“非法指令”等异常错误信息。这时，虚拟机就要通过VMM或Hypervisor来避免上述错误的发生，根据其实现原理的不同，共有三种技术来实现x86架构CPU敏感指令和特权指令的虚拟化，常用虚拟化技术内存虚拟化内存虚拟化涉及到对系统物理内存的共享和动态地为虚拟机分配内存，内存虚拟化的效率将对虚拟机的性能产生重大影响；而现代计算机通常都采用段页式存储管理、多级页表等复杂的存储体系结构，又给高性能内存虚拟化的设计带来很大挑战。内存虚拟化云计算服务中在虚拟机中运行的客户操作系统（GuestOS）的虚拟内存和操作系统的虚拟内存不同，它需要通过虚拟化技术来对virtualmemory（虚拟内存）进行虚拟化。为了在一个系统上运行多个虚拟机，还需要另外一层的内存虚拟化。也就是说，MMU需要被虚拟化来支持虚拟机系统。内存虚拟化虚拟内存

虚拟内存访问：CPU访问主存的时候会将一个虚拟地址（virtualaddress）被内存管理单元（MemoryManagementUnit,MMU）进行翻译成物理地址PA（physicaladdress）才能访问。地址转换带页表虚拟内存地址转换物理内存地址缺页转换页表与虚拟内存内存虚拟化在引入虚拟化技术后，内存地址空间就变得复杂了，客户机(Guest)和宿主机(Host)都有自己的地址空间。客户操作系统（GuestOS）本身有虚拟地址和物理地址。宿主操作系统（HostOS）也有虚拟机地址和物理地址。那虚拟机如何访问到物理机上的物理地址就是内存虚拟化技术。内存虚拟化内存虚拟化主要通过VMM采用分块共享的思想来虚拟计算机的物理内存。VMM将机器的内存分配给各个虚拟机，并维护机器内存和虚拟机内存之间的映射关系，这些内存在虚拟机看来是一段从地址0开始的、连续的物理地址空间。在进行内存虚拟化后，内存地址将有物理地址、中间物理地址和虚拟地址三种地址。内存虚拟化虚拟地址和物理地址内存虚拟化虚拟机地址转换常用虚拟化技术为了在一个系统上运行多个虚拟机，还需要另外一层的内存虚拟化。也就是说，MMU需要被虚拟化来支持虚拟机系统。常用虚拟化技术软件方式：通过软件实现内存地址的翻译，比如Shadowpagetable（影子页表）技术常用虚拟化技术硬件实现：基于CPU的辅助虚拟化功能，比如AMD的NPT和Intel的EPT技术I/O设备虚拟化为了满足多个客户机操作系统对I/O外部设备访问的需求，VMM必须通过I/O虚拟化的方式复用有限的I/O外部设备资源。所谓的虚拟I/O设备就是由VMM创建的，提供给客户操作系统进行I/O访问的虚拟I/O设备。I/O外部设备虚拟化包括虚拟芯片组；虚拟PCI总线布局；虚拟系统设备：PIC、IO-APIC、PIT、RTC；虚拟基本输入输出设备：显卡、网卡、硬盘。I/O设备虚拟化VMM系统针对I/O设备虚拟化主要有全虚拟化、半虚拟化、直接I/O访问等设计思路。I/O设备虚拟化全虚拟化I/O设备虚拟化全虚拟化I/O设备虚拟化半虚拟化I/O设备虚拟化I/O直通虚拟化技术就是将宿主机（host）中的物理PCI/PCIe设备直接分配给GuestOS使用，虚拟机独占这个PCI/PCIe设备，利用效率几乎等同于将硬件插到了虚拟机的主板扩展槽里一样。I/O设备虚拟化硬件辅助虚拟化I/O设备虚拟化MMU(MemoryManagementUnit)，即内存管理单元，是CPU芯片上的专用硬件，主要功能包括将用户访问的虚拟地址翻译为实际的物理地址，以便CPU对实际的物理地址进行访问，实现对一些虚拟地址进行访问权限控制，对系统的物理内存资源进行管理。Intel为支持虚拟机而设计的I/O虚拟化技术DMARemapping出现。DMARemapping硬件会把DMA地址翻译成物理内存地址，并检查访问权限等等。负责DMARemapping操作的硬件称为IOMMU。常用虚拟化技术IOMMU常用虚拟化技术I/O直通虚拟化技术

I/O直通虚拟化技术需要硬件平台具备I/O透传技术，目前与此相关的技术有IOMMU（IntelVT-d,PCIe之SR-IOV等），旨在建立高效的I/O虚拟化直通道。常用虚拟化技术IntelVT-d技术在Intel平台上的设备直接分配（Deviceassignment\DevicePass-Through）是VT-d（IntelVirtualizationTechnologyforDirectedI/O），VT-d是在VT-X的基础上对硬件辅助虚拟化的扩展。VT-d是一个位于CPU、内存和I/O设备之间的硬件设备。

IntelVT-d把设备访问的虚拟地址转化成物理地址，在芯片组里引入了DMA重映射硬件（DMARemapping），以提供设备重映射和设备直接分配的功能。I/O设备虚拟化通过SR-IOV（SingleRootI/OVirtualization）技术，一个物理网卡可以虚拟出多个网卡，分配给虚拟机使用,从而让每个虚拟机都能直接和物理网卡通信，获得接近物理网卡的网络性能。存储虚拟化存储虚拟化是指将物理存储资源通过虚拟化技术抽象成逻辑资源，集中到一个大容量资源池，管理员实行单点统一管理，通过逻辑层访问或者调整存储资源，提供更好的性能和易用性，提高存储利用率。存储虚拟化存储虚拟化就是将实际的物理存储实体与存储的逻辑表示分离开来，应用服务器只与分配给它的逻辑卷交互，不用关心其数据存储在哪个物理存储实体上。网络虚拟化网络虚拟化主要解决的是虚拟机构成的网络通信问题，是基于物理主机的网卡、交换机、路由器等网络设备资源虚拟化，完成虚拟机在同主机和跨主机之间的通信。网络虚拟化虚拟化网络架构网络虚拟化主要用在提供云服务的网络中。网络虚拟化在大规模的云计算环境，集群中物理服务器上运行多个虚拟机，每个虚拟机都有自己的独立虚拟网卡，需要通过网络虚拟化解决虚拟机之间的通信、虚拟机和外网的通信等问题，同时集群中的大规模虚拟机迁移是常见事情，通过虚拟机迁移提高资源利用率和容错性。Overlay技术是在网络层实现二层网络，多个物理机之间只要网络层可达就能组建虚拟的局域网，Overlay为虚拟机在数据中心任意网络位置之间无感知迁移迁移提供了非常好的基础。虚拟化软件目前市面较受欢迎的虚拟架构主要有KVM、XEN和VMware三大类别。

其中，KVM和XEN都是免费开源的，而VMware则是付费的。

个人PC上使用比较多的虚拟化VMware的workstation、VirtualBox。

企业级服务器上虚拟化工具有VMware服务器端虚拟化工具ESXServer和vSphere，KVM和Xen。linux服务器首选KVM，国内的阿里和国外的AWS都是使用的XEN。常用虚拟化技术存储虚拟化-存储架构基本知识数据存储与管理技术云计算数据存储和数据管理核心技术主要涉及海量数据的分布式存储技术、海量数据管理技术。云计算系统基础设施部分由大量服务器组成，同时为大量用户服务，因此云计算系统采用分布式存储的方式存储数据，用冗余存储的方式保证数据的可靠性。存储分类常见存储的分类存储分类（服务器类型）封闭系统的存储开放系统的存储内置存储外挂存储直连式存储（DAS）网络存储（FAS）网络接入存储（NAS）存储区域网络（SAN）封闭系统：大型机开放系统：指基于Windows、UNIX、Linux等操作系统的服务器数据存储与管理技术集中式存储和分布式存储大型机服务厂商有IBM、思科、联想等，比如IBMZ15™大型机数据存储与管理技术存储接口技术不同设备、功能层之间的通信规则称为接口。硬件接口的种类繁多，如数据接口、通信接口、软件接口、管理接口等等。

磁盘按照接口类型我们可以分为ATA、SATA、SCSI、SAS、FC等等。集中式存储技术集中式存储就是一个可以支持基于文件的网络附加存储（NAS）以及基于数据块的SAN的网络化的存储架构。由于其支持不同的存储协议为主机系统提供数据存储，因此也被称为多协议存储。集中式外挂存储类型分为直连式存储（Direct-AttachedStorage，简称DAS）、网络附加存储（NetworkAttachedStorage，简称NAS）、存储区域网络（StorageAreaNetwork，简称SAN）三类。数据存储与管理技术集中式存储数据存储与管理技术分布式存储

分布式存储采用“标准的x86服务器硬件+存储软件”的架构，将标准X86/ARM服务器通过高速以太网或Infiniband（无限带宽）互连，通过分布式存储软件将服务器本地的机械硬盘、固态硬盘等存储介质组织成统一的大规模存储资源池。

分布式存储实现了存储的硬件与软件解耦，数据中心能够以标准化硬件搭建存储平台，提升IT敏捷性，降低运维成本，符合软件定义数据中心的发展趋势。分布式存储分布式存储分布式存储分布式文件存储采用分布式文件系统（DistributedFileSystem-DFS）完成数据存入，取出和删除，可以当做key/value的存取。分布式文件系统现在比较出名的有Google的GFS（未开源），Hadoop平台的HDFS（Hadoopdistributedfilesystem）。文件存储适合多客户端有目录结构数据。典型应用场景有日志存储、多个用户有目录结构的文件存储共享。目前分布式文件系统主要用于大数据的存储场景。分布式存储分布式块存储适合客户端使用，典型使用场景有docker容器、虚拟机远程挂载磁盘存储分配、日志存储等。分布式对象存储适合更新变动较少的数据，没有目录结构，不能直接打开/修改文件。典型使用场景有图片存储、视频存储、文件、软件安装包、归档数据等。存储分类分布式数据库都支持存入，取出和删除。分布式数据库现在出名的有Hadoop生态中的Hbase，阿里公司的oceanbase。其中Hbase是基于HDFS，而oceanbase是自己内部实现的分布式文件系统做基础存储。存储虚拟化-分布式存储分布式文件系统网络文件系统网络文件系统（NetworkFileSystem，NFS）是个分布式的客户机/服务器文件系统，NFS的实质在于用户间计算机的共享，它允许网络中的计算机之间通过TCP/IP网络共享资源。分布式文件系统分布式文件系统分布式文件系统把大量数据分散到不同的节点上存储，大大减小了数据丢失的风险。分布式文件系统具有冗余性，部分节点的故障并不影响整体的正常运行，而且即使出现故障的计算机存储的数据已经损坏，也可以由其它节点将损坏的数据恢复出来。因此，安全性是分布式文件系统最主要的特征。分布式文件系统分布式存储根据其架构分为（1）中间控制节点架构：以HDFS为代表，NameNode节点存放管理数据，DataNode节点存放业务数据。（2）完全无中心架构--计算模式：以Ceph为代表，客户端通过设备映射关系的CRUSH数据分布算法（CRUSH数据分布算法和一致性哈希算法思想相同），明确写入的位置，从而达到客户端与存储节点的直接通信。（3）完全无中心架构--一致性哈希：以Swift为代表，通过将设备制定为哈希环，然后通过数据名称计算出对应的哈希值，从而映射到哈希环的某个位置实现数据定位。分布式文件系统HDFS是Master和Slave的主从结构。将设备分为主设备和从设备，主设备负责分配工作并整合结果，或作为指令的来源；从设备负责完成工作，一般只能和主设备通信）。（1）NameNode:分布式文件系统中的管理者，主要负责管理文件系统的命名空间、集群配置信息和存储块的复制等；（2）SecondaryNameNode：辅助NameNode，分担其工作，紧急情况可以辅助恢复；

(3)DataNode：Slave节点，实际存储数据、执行数据块的读写并汇报存储信息给NameNode。分布式文件系统HDFS分布式文件系统分布式文件系统Ceph分布式文件系统

Ceph是一种为优秀的性能、可靠性和可扩展性而设计的统一的、分布式文件系统。同时支持对象存储RGW(radosgateway)、块存储RBD(Radosblockdevice)和文件存储（CephFS）3种存储访问接口，Ceph在存储的时候充分利用存储节点的计算能力，将数据存储均衡分布，被广泛应用于云计算框架OpenStack或CoudStack整个存储后端，为云计算平台提供虚拟机存储和对象访问能力。当然Ceph也可以单独作为存储，例如部署一个集群作为对象存储、SAN存储、NAS存储等。分布式文件系统分布式文件系统

Ceph可以提供对象存储、块设备存储和文件系统服务，其对象存储可以对接网盘应用业务等，其块设备存储可以对接当前主流的IaaS平台软件，如：OpenStack、CloudStack、Zstack、Eucalyptus等。分布式对象存储由于文件系统空间组织的特点，当我们访问一个文件的时候，首先需要找到文件对应的元数据，然后根据元数据信息找到数据的位置，并读取数据。这个过程可能要涉及到多次次的磁盘访问。对于互联网应用来说，多次磁盘访问会显著降低性能，影响用户的体验。比如国内的今日头条，淘宝、京东等互联网应用会产生海量的图片访问，文件系统很难满足性能和扩展性需求，为了保证横向扩展能力、降低访问延时，对象存储应运而生。对象存储在数据处理层面的特点是将待处理的数据看作一个整体。分布式对象存储Swift对象存储

Swift特点是存储大对象，典型的应用如网盘类的存储引擎、存储虚拟机镜像、图片存储、邮件存储、存档备份和日志文件存储等数据。因为没有中心单元或主控结点，Swift提供了无限扩展能力、冗余和持久性。分布式对象存储Swift总体架构分布式对象存储Haystack对象存储

Facebook的业务场景是大量图片只写一次，从不更新，不定期会读，极少删除。Facebook对其照片应用开发了Haystack对象存储。Haystack与前面swift的差异是其存储的是小对象。分布式对象存储Haystack架构存储虚拟化-分布式数据库分布式数据库数据库架构模型数据库常用的架构模型分为共享计算存储资源（shared-Everything）的单机集中式数据库架构、共享存储的架构、不共享资源的分布式架构。分布式数据库数据库架构模型

分布式数据库OLTP和OLAP融合的数据库联机事务处理(OnLineTransactionProcessing)是一种快速响应、实时在线的一种数据处理方式，是关系型数据的主要应用，面向存储和管理日常运营的数据，例如：生产\销售\运营管理系统、制造执行系统（manufacturingexecution，简称MES）系统、人事管理系统、超市零售系统等。分布式数据库联机分析处理(OnLineAnalyticalProcessing)存储和管理与分析和决策相关的数据，用于分析数据并做出决策。是一种离线的、复杂场景的数据计算方式，通常需要对大量的历史数据查询和分析，涉及的历史周期比较长，数据量大。OLAP主要面向于复杂查询操作，聚焦于数据的聚合、汇总、分组计算、窗口计算等数据加工和操作，需从多维度去使用和分析数据。典型的应用场景有：报表、金融风险预警系统、反洗钱系统、数据集市、数据仓库等。分布式数据库传统的数据仓库（OLTP+OLAP+ETL）架构分布式数据库大规模并行处理数据库

MPP是将任务并行的分散到多个服务器和节点上，在每个节点上计算完成后，将各自部分的结果汇总在一起得到最终的结果。

MPP数据库通常有无Master和Master-Slave两种架构方式，该领域的产品主要是商业产品，如无Master的MPP架构的独立厂商Teradata的数据库Asterdata和华为的自研数据库GaussDB，HP的Vertica。主从（Master-Slave）MPP架构的产品：EMC的Greenplum，IBM的Netezza数据仓库数据库。分布式数据库MPP架构分布式数据库

分布式数据库分布式数据库是指利用高速计算机网络将物理上分散的多个数据存储单元连接起来组成一个逻辑上统一的数据库。

分布式数据库的基本思想是将原来集中式数据库中的数据分散存储到多个通过网络连接的数据存储节点上，以获取更大的存储容量和更高的并发访问量。分布式数据库分布式数据库发展数据库的发展经历了SQL、NoSQL、NewSQL、DistributedSQL。NoSQL数据库主要用于解决SQL的可扩展性问题，它是没有架构的并且建立在分布式系统上，这使得它易于扩展和分片。分布式数据库NewSQL和分布式数据库（DistributedSQL）

应用领域需要的数据库产品既具有一个单机的关系型数据库的特性，又有分布式的分片与同步特性。NewSQL和分布式数据库（DistributedSQL）正是为了这个目的而生的，实现了SQL的完整支持和可靠的分布式事务。分布式数据库NewSQL数据库NewSQL是基于NoSQL模式构建的分布式数据库，它通常采用现有的SQL类关系型数据库为底层存储或自研引擎，并在此之上加入分布式系统，从而对终端用户屏蔽了分布式管理的细节。分布式数据库分布式数据库分布式数据库是指数据在物理上分布而在逻辑上集中管理的数据库系统。物理上分布是指分布式数据库的数据分布在物理位置不同并由网络连接的节点或站点上；逻辑上集中是指各数据库节点之间在逻辑上是一个整体，并由统一的数据库管理系统管理，不同的节点分布可以跨不同的机房、城市甚至国家。分布式数据库分布式数据库

DistributedSQL数据库使用的是特殊的底层存储引擎，来构建水平可伸缩的数据库。它在NewSQL的功能基础上，往往提供的是“地理分布”功能，用户可以跨可用区、区域甚至在全球范围内分布数据。

Google的Spanner、蚂蚁集团的OceanBase、PingCAP的TiDB、CockroachLabs公司的CockroachDB就是很好的例子，这些引擎通常比NewSQL的目标更高。

分布式数据库分布式数据库数据分片是分布式数据库的关键设计，将存放在同一个数据库实例中的数据分散存放到多个数据库实例上，进行多台设备存取以提高性能，在切分数据的同时可以提高系统整体的可用性。数据同步是分布式数据库的基础，由于数据库理论传统上是建立在单机数据库基础上，而引入分布式理论后，一致性原则被打破，因此需要引入数据库同步技术来帮助数据库恢复一致性。分布式数据库分布式数据库产品

PG-XC（类似PostgreSQL-XC）架构风格的分布式数据库产品有中兴的GoldenDB、华为的GaussDB300、腾讯的TDSQL、亚信科技AntDB等等。NewSQL风格分布式数据库有Google（谷歌）的Spanner、PingCAP的TiDB、蚂蚁集团的OceanBase、巨杉的SequoiaDB、星环的NuoDB、CockroachDB和YugabyteDB等等。分布式数据库分布式数据库云原生OLTP型分布式数据库，OLTP与OLAP融合为HTAP（HybridTransaction/AnalyticalProcessing，混合事务分析处理/融合交易分析处理）数据库。云原生数据库典型的产品有AWS的Aurora、微软的CosmosDB、阿里的PolarDB、腾讯的CynosDB、华为的Taurus等等。

存储虚拟化-存储虚拟化和云存储存储虚拟化存储虚拟化

存储虚拟化是指将物理存储资源通过虚拟化技术集中到一个大容量的资源池并实行单点统一管理，无需中断应用即可改变存储系统和数据迁移。

虚拟化存储环境下，无论后端物理存储是什么设备，服务器及其应用系统看到的都是其物理设备的逻辑映像。。存储虚拟化实现原理存储虚拟化实现原理存储虚拟化分类存储虚拟化分类存储虚拟化分类存储虚拟化按照实现方式分为带内虚拟化和带外虚拟化，带内虚拟技术是在数据读写的过程中，在主机到存储设备的路径上实现存储虚拟化；而带外虚拟技术，是在数据读写之前，就已经做好了虚拟工作，而且实现虚拟的部分并不在主机到存储设备的访问路径上。所以带内虚拟技术可以基于主机、设备和网络实现，而带外虚拟技术则只能是基于存储网络实现。带内虚拟化和带外虚拟化带内虚拟化和带外虚拟化存储虚拟化分类依据存储虚拟化实现位置分类存储虚拟化分类依据实现结果块虚拟化存储虚拟化分类依据实现结果磁盘虚拟化存储虚拟化分类依据实现结果磁带驱动器、磁带库虚拟化云存储云存储发展过程云存储云存储实现原理云存储存储云技术参考架构云存储云存储的应用场景云存储面向互联网应用的流媒体、社交网站、图片存储等。面向数据备份，企业或个人可以将数据备份到存储云，在需要的时候进行恢复。面向云计算的存储，为IaaS服务，可存放映像、应用映像。面向云存储之间相互操作，存储云之间的数据共享、数据复制、数据分布等。云存储应用实例公共云存储服务-阿里云存储服务云存储公共云存储服务-华为云存储服务云存储个人云存储服务-百度网盘云存储阿里云盘网络虚拟化--网络虚拟化概述网络虚拟化网络虚拟化网络虚拟化主要用在提供云服务的网络中。在大规模的云计算环境，集群中物理服务器上运行多个虚拟机，每个虚拟机都有自己的独立虚拟网卡，需要通过网络虚拟化解决虚拟机之间的通信、虚拟机和外网的通信等问题。网络虚拟化网络虚拟化同时集群中的大规模虚拟机迁移是常见事情，通过虚拟机迁移提高资源利用率和容错性、Overlay技术是在网络层实现二层网络，多个物理机之间只要网络层可达就能组建虚拟的局域网，Overlay为虚拟机在数据中心任意网络位置之间无感知迁移迁移提供了非常好的基础。网络虚拟化常见的网络虚拟化

（1）VLAN（VirtualLocalAreaNetwork-虚拟局域网）是一种将局域网内的设备从逻辑上划分成一个个网段，从而实现虚拟工作组的数据交换技术。划分的逻辑组与物理位置无关，这些逻辑组具有某些共同需求。网络虚拟化VLAN（VirtualLocalAreaNetwork-虚拟局域网）网络虚拟化SDN（软件定义网络）

软件定义网络（Software Defined Network，SDN）是由美国斯坦福大学CLean State课题研究组提出的一种新型网络创新架构，是网络虚拟化的一种实现方式。

其核心技术OpenFlow通过将网络设备的控制面与数据转发面分离开来，从而实现了网络流量的灵活控制，进一步对网络进行抽象，摆脱了传统局域网的局限性，拥有更好的网络扩展性，为核心网络及应用的创新提供了良好的平台。网络虚拟化虚拟化中物理网络网络虚拟化虚拟化中的虚拟网络虚拟网络架构网络虚拟化虚拟交换机网络虚拟化虚拟交换机实现方式

基于服务器CPU虚拟交换机网络虚拟化基于物理网卡虚拟交换机网络虚拟化基于物理交换机某些物理交换机可通过特殊协议，感知虚拟机的存在，在交换机层实现虚拟交换。网络虚拟化开源虚拟交换机OpenvSwitch（简称OvS）是一款开源的、高质量的、支持多层协议的虚拟交换机，广泛应用在云计算行业，为网络管理员提供虚拟云主机之间和之内的流量可见性与可控性。网络虚拟化OpenvSwitch集群网络网络虚拟化分布式虚拟交换机分布式虚拟交换机分布在不同的物理主机上，通过虚拟化管理工具，可以对分布式虚拟交换机进行统一地配置。虚拟机能够进行热迁移的条件之一就是要有分布式虚拟交换机。网络虚拟化分布式虚拟交换机网络虚拟化—云计算与网络虚拟化云计算与网络虚拟化云计算与网络虚拟化云计算就是通过网络虚拟化技术为每个租户提供一个甚至多个虚拟网络，不局限于物理数据中心网络拓扑，在虚拟网络中还有虚拟防火墙、虚拟负载均衡、虚拟路由等。云计算与网络虚拟化网络虚拟化云计算与网络虚拟化软件定义网络（SoftwareDefinedNetwork，缩写为SDN）网络功能虚拟化（NetworkFunctionVirtualization，缩写为NFV）Overlay（叠加网络、覆盖网络）技术云计算与网络虚拟化云计算就是通过网络虚拟化技术为每个租户提供一个至多个虚拟网络，不局限于物理数据中心网络拓扑，在虚拟网络中还有虚拟防火墙、虚拟负载均衡、虚拟路由等等。网络虚拟化是一种网络技术，可以在物理拓扑上创建虚拟网络。基于SDN的网络架构可以更容易地实现网络虚拟化。云计算与网络虚拟化网络功能虚拟化（NFV）

网络功能虚拟化（NetworkFunctionVirtualization，缩写为NFV）就是将网络中的专用设备的软硬件功能转移到虚拟主机(VM，VirtualMachines)上，提供了一种设计、部署和管理网络服务的全新方式，NFV将网络功能如网络地址转换（NAT）、防火墙、入侵检测、域名服务和缓存等功能从专有硬件中分离出来，并通过软件加以实现。云计算与网络虚拟化Overlay

Overlay（叠加网络、覆盖网络）是通过在现有网络上叠加一个虚拟的逻辑网络，让原有网络尽量不做改造，通过定义的逻辑网络来实现业务逻辑，解决原有数据中心的网络问题。

云计算与网络虚拟化SDN与NFV的关系

SDN与NFV的结合可为用户提供最优的解决方案。昂贵的专业设备被通用硬件和高级软件替代，软件控制平面被转移到了更优化的位置，数据平面的控制则被从专有设备上提取出来并标准化，让网络与应用的革新无需升级网络硬件设备。

NFV是将网络设备上的各类功能“通用化”。

云计算与网络虚拟化SDN与NFV的关系云计算与网络虚拟化Overlay技术

Overlay技术通过在现有物理网络（Underlay网络）上叠加一个虚拟的逻辑网络，让原有网络尽量不做改造，通过定义的逻辑网络来实现业务逻辑，解决原有数据中心的网络问题。只要网络支持IP路由可达就可以部署Overlay网络。采用Overlay技术后，不用改变原有Underlay网络架构即可用于支撑数据中心新的云计算业务，轻松支撑新型网络架构部署。

云计算与网络虚拟化Overlay技术云计算与网络虚拟化常见的网络虚拟化

网络虚拟化VLAN（VirtualLocalAreaNetwork-虚拟局域网）网络虚拟化—云计算与网络虚拟化软件定义网络（SDN）SDN（SoftwareDefinedNetwork,SDN）通过将传统封闭的网络设备中的数据平面与控制平面分离，实现网络硬件与控制软件（设置系统）分离，制定开放的标准接口，允许网络软件开发者与网络管理员通过编程控制网络，将传统的专用网络设备变为可通过编程定义的标准化通用网络设备。SDN的系统架构

SDN系统架构软件定义网络（SDN）SDN系统架构在数据转发平面，主要集中在交换机处理流程设计与实现、转发规则对交换机流表的高效利用、交换机流表的正确性验证与流表优化等方面。在控制平面，主要集中在单点控制器设计、集群控制器架构、控制器接口标准、控制器部署、分布式控制器系统特性等方面。​在应用平面，主要集中在QoS、负载均衡、流量工程、各种应用场景，以及SDN网络安全性等方面。软件定义网络（SDN）SDN特点（1）控制面和数据转发平面分离（2）控制平面集中化（3）数据转发平面通用化（4）控制器软件可编程OpenFlow协议OpenFlow

OpenFlow是一种网络通信协议，应用于SDN架构中控制器和转发器之间的通信。属于数据链路层，能够控制网上交换器或路由器的数据转发平面（ForwardingPlane），借此改变网上数据包所经过的网上路径。OpenFlow协议OpenFlow协议

软件定义网络SDN的一个核心思想就是“转发、控制分离”，要实现转、控分离，就需要在控制器与转发器之间建立一个通信接口标准，允许控制器直接访问和控制转发器的转发平面。OpenFlow协议OpenFlow协议OpenFlow协议架构OpenFlow协议架构

整个OpenFlow协议架构由控制器（Controller）、OpenFlow交换机（OpenFlowSwitch）、以及安全通道（SecureChannel）组成。OpenFlow协议架构OpenFlow协议架构OpenFlow控制器（OpenFlowController）位于SDN架构中的控制层，是SDN的“中枢”。Controller上运行的各种网络应用，均被转换成OpenFlow“指令集”下发，从而易于实现标准化的模式。OpenFlow交换机（OpenFlowSwitch)由硬件平面上的FlowTable和软件平面上的安全通道组成。OpenFlow协议架构OpenFlow协议架构流表（FlowTable）为OpenFlow的关键组成部分，所有的流表指令均被定义成标准规范，通过Controller与代理之间的加密协议可靠传递。FlowTable本身的生成、维护、下发完全由外置的Controller来实现，实现控制平面对转发平面的控制。安全通道（SecureChannel）就是连接OpenFlow交换机与控制器的信道，负责在OpenFlow交换机和控制器之间建立安全链接。控制器通过这个通道来控制和管理交换机，同时接收来自交换机的反馈。网络虚拟化—网络功能虚拟化网络功能虚拟化网络功能虚拟化

网络功能虚拟化（NetworkFunctionVirtualization，缩写为NFV）就是将网络中的专用设备的软硬件功能转移到虚拟主机(VM，VirtualMachines)上，提供了一种设计、部署和管理网络服务的全新方式，NFV将网络功能如网络地址转换（NAT）、防火墙、入侵检测、域名服务和缓存等功能从专有硬件中分离出来，并通过软件加以实现。网络功能虚拟化网络功能虚拟化

随着设备的控制平面与数据平面（具体物理设备）的分离，不同设备的控制平面基于虚拟机，虚拟机基于云操作系统，这样当企业需要部署新业务时只需要在开放的虚拟机平台上创建相应的虚机，然后在虚拟机上安装相应功能的软件包即可，这种方式就叫做网络功能虚拟化。网络功能虚拟化网络功能虚拟化架构VNF（VirtualizationNetworkFunction）通常是指路由器、防火墙、负载均衡等网络设备的软件化。网络功能虚拟化网络功能虚拟化架构（1）虚拟网络功能（VNF）是提供网络功能（例如文件共享、目录服务和IP配置）的软件应用。（2）网络功能虚拟化基础架构（NFVI）包含了平台上的基础架构组件（计算、存储、联网），从而支持运行网络应用所需的软件（例如像KVM这样的虚拟机监控程序）或容器管理平台。（3）管理自动化和网络编排（MANO）提供了用于管理NFV基础架构和置备新VNF的框架。网络功能虚拟化网络功能虚拟化管理和编排由于NFV需要大量的虚拟化资源，因此需要高度的软件管理，业界称之为编排。NFVMANO（网络功能虚拟化管理和编排）是用于管理和协调虚拟化网络功能（VNF）和其他软件组件的架构框架。NFVMANO有三个主要功能块：NFV编排器，VNF管理器和虚拟基础设施管理器（VIM）网络虚拟化—Overlay技术Overlay技术Overlay

Overlay（叠加网络、覆盖网络）技术指的是一种网络架构上叠加的虚拟化技术模式，是通过在现有物理网络（Underlay网络）上叠加一个虚拟的逻辑网络，让原有网络尽量不做改造，通过定义的逻辑网络来实现业务逻辑，解决原有数据中心的网络问题。Overlay技术

OverlayOverlay技术Overlay

Overlay是一种隧道封装技术，将二层网络封装在三层/四层报文中进行传递，提供了一种解决数据平面转发和多租户隔离的技术手段。

相当于直接在源网络和目标网络之间直接拉了一根“光纤”。不过，现有的这些隧道技术都是点到点的隧道协议，只能点对点建立隧道。隧道是一种机制，可以通过不兼容的传送网络传输有效载荷（Payload）。Overlay网络Overlay网络

一个Overlay网络主要由三部分组成：边缘设备、控制平面和转发平面。

边缘设备是指与虚拟机直接相连的设备，控制平面主要负责虚拟隧道的建立维护以及主机可达性信息的通告，转发平面是承载Overlay报文的物理网络。Overlay构建Overlay构建

Overlay网络可以分为网络Overlay，主机Overlay和混合式Overlay三大技术。采用三大Overlay技术，可实现数据中心上云计算应用大规模部署，是新一代数据中心网络发展的主要方向。网络Overlay网络Overlay

网络Overlay指的是隧道封装在物理交换机上完成，通过控制协议对边缘的网络设备完成网络构建和扩展。网络Overlay的技术标准是VXLAN。主机Overlay主机Overlay

主机Overlay指的是隧道封装在服务器的vSwitch上完成，不用增加新的网络设备即可完成Overlay部署，可以支持虚拟化的服务器之间组网互通。混合Overlay混合Overlay混合Overlay指的是采用网络Overlay和主机Overlay的混合组网，可以支持物理服务器和虚拟服务器之间的组网互通。

Overlay主要技术标准Overlay主要技术标准当前主流的Overlay技术标准主要有VXLAN，NVGRE和STT，这三种二层Overlay技术，整体思路均是将以太网报文承载到某种隧道层面，不同地方在于选择和构造隧道的不同，而底层均是IP转发。VXLANVXLAN

VXLAN（VirtualeXtensibleLAN）是将以太网报文封装在UDP传输层上的一种隧道转发模式。它利用现有通用的UDP传输，对传输层无修改，使用标准的UDP传输流量（STT需要修改TCP）。VXLANVXLAN

VXLANVXLAN

VXLAN标准应用于数据中心内部，使虚拟机可以在互相连通的三层网络范围内迁移，而不需要改变IP地址和MAC地址，保证业务的连续性。VXLANVXLAN

VXLAN采用24bit的网络标识，使用户可以创建16M（2^24)相互隔离的虚拟网络，突破了目前广泛采用的VLAN所能表示的4K（4094）个隔离网络的限制，这使得大规模多租户的云环境中具有了充足的虚拟网络分区资源。VXLANVXLAN

VXLAN还支持隔离，每个租户一个VNID(VXLANNetworkIdentifier，虚拟可扩展局域网网络标识符)，属于不同VNID的虚拟机之间不能直接进行二层通信。VNID是24位的，这比VLAN的12位扩展了很多，它能提供一个跨数据中心的大二层。

VXLANVXLAN

网络虚拟化—网络切片网络切片网络切片

网络切片（NetworkSlicing）是将一个物理网络切割成（划分）为多个逻辑独立的虚拟网络，每个虚拟网络具备不同的功能特点，可以灵活的应对不同的需求和服务，这些虚拟网络相互隔离，逻辑独立，任何一个虚拟网络发生故障都不会影响到其它虚拟网络。。网络切片的应用网络切片的应用

网络切片是一种新型网络架构，在同一个共享的网络基础设施上提供多个逻辑网络，每