云计算技术及应用PPT完整全套教学课件

第1章云计算概述第1章云计算概述.pptx第2章阿里云ECS.pptx第3章阿里云负载均衡服务SLB.pptx第4章阿里云关系数据库服务RDS.pptx第5章阿里云对象存储服务OSS.pptx第6章虚拟化技术原理.pptx第7章分布式存储与批量计算.pptx第8章云原生.pptx第9章Dev.pptx第10章容器技术docker.pptx全套PPT课件目录

1.1云计算是什么 1.2为什么会有云计算 1.3云计算的基本概念 1.3.1云计算的基本特征 1.3.2云计算的部署模式 1.3.3云计算的服务模式 1.4云计算的发展历史 1.5云计算与大数据的关系 1.6本章小结 1.7习题 1.1云计算是什么

云计算是一种商业计算模型。它将计算任务分布在大量计算机构成的资源池上，使各种应用系统能够根据需要获取计算能力、存储空间和信息服务。1.1云计算是什么云计算的基本思想所有的计算能力、存储能力、和各种各样功能的应用都通过网络从云端获得用户不需要不停地更换昂贵的高性能电脑用户不需要购买、安装和维护各种系统和应用软件用户不需要担心数据的安全存储1.2为什么会有云计算

构建一个信息系统，我们需要做哪些工作？存在哪些问题？过采购欠采购前期投入成本巨大系统运维网络规划、系统部署病毒、木马、网络攻击、信息泄露……1.3云计算的基本概念

这里从三个方面聊一下云计算相关的基本概念，包括：云计算的基本特征云计算的部署模式云计算的服务模式。1.3.1云计算的基本特征

按需自助服务无处不在的网络服务弹性敏捷资源池化可度量1.3.2云计算的部署模式

1.3.3云计算的服务模式

IaaS:Infrastructure-as-a-Service（基础设施即服务）AmazonEC2，Linode，Joyent，Rackspace，IBMBlueCloud和CiscoUCS等PaaS:Platform-as-a-Service（平台即服务）GoogleAppEngine，，heroku和WindowsAzurePlatform等SaaS:Software-as-a-Service（软件即服务）SalesforceSalesCloud，GoogleApps，Zimbra，Zoho和IBMLotusLive等1.3.3云计算的服务模式

1.4云计算的发展历史

2006年3月，亚马逊（Amazon）推出弹性计算云（ElasticComputeCloud；EC2）服务。2006年8月9日，Google首席执行官埃里克·施密特（EricSchmidt）在搜索引擎大会（SESSanJose2006）首次提出“云计算”（CloudComputing）的概念2007年10月，Google与IBM开始在美国大学校园，包括卡内基梅隆大学、麻省理工学院、斯坦福大学、加州大学柏克莱分校及马里兰大学等，推广云计算的计划1.4云计算的发展历史

1.5云计算与大数据的关系

云计算与大数据两者相辅相成，不可分割。我们可以形象地把两者想象为函数和自变量的关系。1.6本章小结

本章介绍了什么是云计算，云计算的基本特征、服务模式、部署模式以及云计算的诞生和发展历程，让读者对云计算有了一个模糊的认识。在接下来的教学内容里，将首先带领读者尝试使用云计算产品，之后再去深入学习云计算背后的核心技术，由浅入深地了解云计算的相关知识。1.7习题

1）云计算是在怎样的背景下产生的，为什么会有云计算？2）云计算是由什么组成的？3）哪些IT技术催动了云计算技术的产生？4）请简述云计算的基本特征。5）请简述云计算的部署模式。6）请简述云计算的服务模式。第2章阿里云ECS2.1

ECS概述

云服务器（ElasticComputeService，简称ECS）是阿里云提供的一种可以弹性扩展的IaaS（InfrastructureasaService）云计算服务。使用云服务器可以避免前期的IT硬件采购，并获得像使用水、电、天然气等公共资源一样便捷、高效地使用服务器，实现计算资源的即开即用和弹性伸缩。2.2

ECS应用场景

2.2

ECS应用场景应用场景ECS实例规格配置描述HadoopMapReduce/HDFS/Hive/HBase等Spark内存计算/MLlib等大数据型d1CPU内存比1:4，8核32GB最大内网带宽17GbpsSATAHDD本地盘￥16701.00

起/年深度学习，例如图像分类、无人驾驶、语音识别等人工智能算法的训练以及推理应用科学计算，例如计算流体动力学、计算金融学、分子动力学、环境分析等GPU计算型gn6v最高配置8张NVIDIA，16G显存V100计算卡；82核，336GB￥38622.55

起/月深度学习推理基因组学研究数据库加速图片转码，例如JPEG转WebP实时视频处理，例如H.265视频压缩FPGA计算型f3FPGA计算卡Xilinx16nmVirtexUltraScale+器件VU9P4核16GB￥35944.80

起/年专属物理隔离支持第三方虚拟化、AnyStack；支持容器；高网络包收发场景，例如视频弹幕、电信业务转发等；视频编解码、渲染等计算网络增强型弹性裸金属服务器ebmc5s计算性能与传统物理机无差别，安全物理隔离96核192GB￥87781.20

起/年2.3

ECS基本概念

2.3.1ECS在阿里云架构中的位置

2.3.2地域和可用区

2.3.3

ECS组件

2.3.4

ECS组件间的关系

2.3.5

ECS故障迁移

2.3.6

ECS的计费

2.3.7

ECSAPI 2.3.1

ECS在阿里云架构中的位置

ECS构建在飞天云平台之上，其单机虚拟化通过XEN/KVM实现，存储依赖盘古分布式文件系统。2.3.2地域和可用区

Region和zoneRegion，地域，阿里云提供云计算服务的城市Zone，可用区，Region下电力和网络独立，软件故障隔离的物理数据中心如何选择？2.3.3

ECS组件

镜像(image)：ECS镜像提供了创建ECS实例所需的信息。创建ECS实例时，必须选择镜像。公共镜像AliyunLinuxWindowsServerLinux系统：Ubuntu、CentOS、RedhatEnterpriseLinux、Debian、SUSELinux、FreeBSD和CoreOS自定义镜像共享镜像镜像市场2.3.3

ECS组件

快照（snapshort）：文件，数据备份、制作自定义镜像、应用容灾；备份：更新OS、应用软件升级、业务数据迁移；恢复：ECS被误释放、应用错误、黑客利用应用漏洞恶意删除业务数据；2.3.3

ECS组件

块存储：块存储是为ECS提供的块设备产品，支持QEMU协议，具有高性能和低时延的特点，支持随机读写。可以像使用物理硬盘一样格式化并建立文件系统来使用块存储，满足大部分通用业务场景下的数据存储需求。云盘、本地盘2.3.3

ECS组件

安全组：安全组是一种虚拟防火墙，具备状态检测和数据包过滤能力，用于在云端划分安全域。通过配置安全组规则，可以控制安全组内一台或多台ECS实例的入流量和出流量。2.3.3

ECS组件

网络类型：经典网络：统一部署在阿里云公共基础设施内，规划和管理由阿里云负责专有网络：VirtualPrivateCloud，简称VPC，是基于阿里云构建的一个隔离的网络环境，专有网络之间逻辑上彻底隔离。用户可以自定义这个专有网络的拓扑和IP地址，适用于对网络安全性要求较高和有一定网络管理能力的用户。选择IP地址范围、配置路由表和网关在自己定义的专有网络中使用阿里云资源如云服务器、云数据库RDS版和负载均衡；将专有网络连接到其他专有网络或本地网络，实现应用的平滑迁移上云和对数据中心的扩展。2.3.3

ECS组件

VPC组成部分：每个VPC都由一个路由器、至少一个私网网段和至少一个交换机组成。2.3.4

ECS组件间的关系

2.3.5

ECS故障迁移

当一个实例的物理机宕机时，ECS系统将启动宕机迁移过程，将此物理机上运行的ECS实例迁移到其他物理机上，这个过程持续时间为5——10分钟，实例只能在一个可用区内容迁移。2.3.6

ECS的计费

2.3.7

ECSAPI 帮助文档：/document_detail/25501.html?spm=a2c4g.11186623.6.1225.184d5671PW86yXAPI使用方式：OpenAPIExplorer/?spm=a2c4g.1118669ef4256542WSG#/API使用方式：OpenAPIExplorer/?AccessKeyId=TMP.3KfA4UcdErF182vJyFHBTd3FZCNKe7hNiZFoLdBcvK51s3ezNt4HxDNUFFcrTVmajRJnz3GQGovxYp8qxF7dFnRs3LKMpj&Action=DescribeInstances

&Format=JSON&RegionId=cn-zhangjiakou&SecureTransport=true&SignatureMethod=HMAC-SHA1&SignatureNonce=063400eb7d811e45d36e2a0387474f58&SignatureVersion=1.0&SourceIp=52&Timestamp=2020-04-20T04%3A55%3A29Z&Version=2014-05-26&Signature=4Hd2lQsJzMN5vZ55haoHElJsroQ%3D真实请求URL2.4开启ECS使用之旅

2.4.1创建阿里云账号 2.4.2开通ECS服务 2.4.3创建ECS实例 2.4.4

ECS数据盘的使用2.4.1创建阿里云账号

创建阿里云账号后，才可以购买和使用阿里云产品，创建阿里云账号包括注册阿里云账号、实名认证阿里云账号、创建RAM子账号以及获取AccessKey等步骤。2.4.2开通ECS服务

在“产品与服务”中选择并点击“云服务器ECS”2.4.3创建ECS实例

登录ECS管理控制台，它提供了ECS实例创建向导，向导中列出了创建ECS实例时所有可配置的信息，引导用户逐步完成创建一台ECS实例2.4.3创建ECS实例

付费模式2.4.3创建ECS实例

选择镜像2.4.3创建ECS实例

确认订单2.4.4

ECS数据盘的使用

步骤一：操作环境准备购买一个ECS实例，配备一个系统盘，一块数据盘，准备一个远程登录工具，如：putty等。步骤二：数据盘的卸载和释放步骤三：ECS数据盘分区以及挂载在控制台，完成数据盘的加载；使用putty远程登录Linux系统ECS实例，输入命令fdisk-l，查询当前系统中的数据盘2.4.4

ECS数据盘的使用

2.4.4

ECS数据盘的使用

执行fdisk/dev/vdb对数据盘进行分区，在弹出的命令行中需要输入的参数p，Partitionnumber参数输入1，进行磁盘分区。再次执行命令fdisk-l，如果看到显示分区/dev/vdb1的信息,则说明数据盘分区成功。2.4.4

ECS数据盘的使用

使用命令mkfs.ext3/dev/vdb1对数据盘进行格式化。使用命令mkdir/alidata自定义并创建一个挂载点，然后使用命令mount/dev/vdb1/alidata将磁盘挂载上去。使用命令df-h可以查看磁盘的使用情况2.4.4

ECS数据盘的使用

步骤四：验证数据盘卸载之后，内容不变在数据盘中增加一个文件a.c，在控制台卸载数据盘。之后，在控制台重新加载数据盘，并在操作系统中重新执行mount数据盘操作（步骤三），可以验证数据盘内容是保持不变的。步骤五：ECS数据盘快照的创建通过命令cd/alidata进入数据盘，使用命令>test.txt在数据盘创建文件，并使用echo“HelloAliyun”>test.txt往文件里面写入内容。找到磁盘属性是“数据盘”的磁盘，点击其右侧的“创建快照”。点击左侧“快照”中的“快照列表”，进入ECS实例的快照页面。查看快照的创建进度，等待3-5分钟。2.4.4

ECS数据盘的使用

步骤六：ECS磁盘回滚在ECS的命令行中，通过命令rm-ftest.txt删除刚刚创建的文件，模拟数据误删除的情况。通过快照回滚的方式，将磁盘恢复到包含删除数据的快照的时间点，从而将数据恢复出来。回滚磁盘需要ECS是停止的状态，因此首先需要在ECS控制台的“实例”页面中点击实例右侧“更多”下拉列表中的“停止”操作，从而停止ECS实例。ECS停止需要一段时间才能完成，当ECS实例的状态变为“已停止”时，说明ECS实例的停止操作已经完成。当ECS实例停止成功后，在ECS控制台点击“快照”中的“快照列表”进入ECS的快照页面，找到已创建的数据盘快照，点击其右侧的“回滚磁盘”进行磁盘数据的回滚。磁盘回滚成功后，ECS的状态将会变为“运行中”。磁盘回滚完成后，会自动启动ECS，在ECS实例列表中查看实例是否启动成功。当ECS实例启动成功后，使用ssh登录到ECS中，并重新使用命令mount/dev/vdb1/alidata将数据盘挂载到挂载点/alidata。2.4.4

ECS数据盘的使用

步骤七：ECS自定义镜像的创建ECS的自定义镜像是基于ECS的系统盘快照来创建的，因此需要首先创建ECS系统盘的快照。当系统盘快照创建成功后，点击右侧的“创建自定义镜像”，从而创建一个基于当前系统盘快照的自定义镜像。用户在对系统进行水平扩容的时候，可以使用创建好的自定义镜像快速创建多个相同配置的ECS。在ECS的镜像页面中，可以看到该ECS实例已创建的所有自定义镜像。2.5

ECS应用案例——搭建简易论坛系统

步骤一：开放服务端口登陆阿里云控制台，找到ECS-实例-管理-本实例安全组-配置规则-添加安全组规则，入方向（协议类型：自定义tcp，端口范围：80/80，授权类型：地址段，授权对象：/0）。除了添加80端口，相同方法，再分别把以下端口范围：20/20，21/21，3306/3306，30000/30050加上。步骤二：获取权限下载linux端的远程工具putty，载后解压并打开putty.exe，并输入ECS实例IP及端口，端口一般默认为22，远程登录ECS服务器2.5

ECS应用案例——搭建简易论坛系统

输入catdefault.pass，里面有数据库的root权限，自动生成数据库名，FTP权限。数据库的管理地址为：http://您的ip/phpmyadmin/；论坛访问地址：http://您的IP/（或者用您的域名解析到您的IP后，用域名访问安装）。获得上述信息后，就可以完成论坛系统的安装了2.5

ECS应用案例——搭建简易论坛系统

步骤三：安装论坛系统在浏览器中输入IP地址，随即打开论坛安装页面2.5

ECS应用案例——搭建简易论坛系统

论坛软件安装完成之后，相关路径：2.5

ECS应用案例——搭建简易论坛系统

步骤一：开放服务端口登陆阿里云控制台，找到ECS-实例-管理-本实例安全组-配置规则-添加安全组规则，入方向（协议类型：自定义tcp，端口范围：80/80，授权类型：地址段，授权对象：/0）。除了添加80端口，相同方法，再分别把以下端口范围：20/20，21/21，3306/3306，30000/30050加上。步骤二：获取权限下载linux端的远程工具putty，载后解压并打开putty.exe，并输入ECS实例IP及端口，端口一般默认为22，远程登录ECS服务器2.6本章小节

本章主要介绍了阿里云弹性计算服务ECS的基本概念、基本原理、应用场景和使用方法。本章最后还给出了一个基于ECS构建网站论坛的简单案例，系统的各个组件均部署在一个实例上。随着学习的深入，后面会给出一个更加实用和可靠的论坛系统架构。ECS是阿里云上最基础的IaaS服务之一，应用非常广泛，建议读者从ECS学习开始，逐步开启云计算之旅。2.7习题

1）什么是ECS？这项服务的主要功能是什么？2）用户购买了ECS实例后，如何为其安装操作系统？3）什么是ECS快照？快照的主要作用是什么？4）什么是安全组？安全组的主要作用是什么？5）简述VPC的基本功能。6）VPC达到了隔离资源的效果，但并不表示VPC与外界是完全隔离无法通信的。请简述VPC是如何连接公网的。第3章阿里云负载均衡服务SLB3.1

SLB概述

访问量、数据流量不断增长，单一一台服务器设备无法承担高流量、高并发访问；硬件升级的方式造成成本增加和资源浪费，且不具备可扩展性，容易触碰天花板；负载均衡提供了一种有效的扩展网络设备和服务器的方法；传统负载均衡通过购买负载均衡硬件的方式实现，硬件架构昂贵，单台设备也容易触碰性能天花板，产生性能瓶颈，扩展性受限；云计算的负载均衡服务提供了更加完善的解决方案，能够更好的满足弹性计算的需求。3.1.1为什么需要负载均衡

负载均衡提供了一种有效的扩展网络设备和服务器的方法3.1.2

SLB的产品类型和特点

负载均衡（ServerLoadBalancer）是对多台云服务器进行流量分发的负载均衡服务。负载均衡可以通过流量分发扩展应用系统对外的服务能力，通过消除单点故障提升应用系统的可用性。3.2

SLB应用场景

3.2.1SLB用于同城容灾3.2.2

SLB用于跨地域容灾3.2.1

SLB用于同城容灾

同城容灾指的是容忍单个可用区发生故障，系统仍然可用。要做到同城容灾，我们需要把系统冗余部署到同一个地域的多个可用区中。3.2.2

SLB用于跨地域容灾

首先，在不同地域下部署负载均衡实例，并分别挂载相应地域内不同可用区的ECS。所有用户的请求会先到达智能DNS。上层利用云解析做智能DNS，将域名解析到不同地域的负载均衡实例服务地址下，可实现全局负载均衡3.3

SLB概念、组成和架构

3.3.1基本概念3.3.2

SLB后端的基础架构3.3.1基本概念

负载均衡实例（ServerLoadBalancerinstances）一个负载均衡实例是一个运行的负载均衡服务，用来接收流量并将其分配给后端服务器。要使用负载均衡服务，您必须创建一个负载均衡实例，并至少添加一个监听和两台ECS实例。监听（Listeners）监听用来检查客户端请求并将请求转发给后端服务器。监听也会对后端服务器进行健康检查。后端服务器（BackendServers）一组接收前端请求的ECS实例。您可以单独添加ECS实例到后端服务器池，也可以通过虚拟服务器组或主备服务器组来批量添加和管理3.3.1基本概念负载均衡服务阿里云计算提供的一种网络负载均衡服务，结合阿里云提供的ECS服务，提供四层和七层负载均衡服务。负载均衡实例负载均衡实例是一个运行的负载均衡服务。要使用负载均衡服务，必须先创建一个负载均衡实例。服务地址系统为创建的负载均衡实例分配的服务IP地址。根据创建的负载均衡实例的类型，服务地址可能是公网IP也可能是私网IP。您可以将域名解析到公网IP地址提供对外服务。监听负载均衡服务监听规定了如何将请求转发给后端服务器。一个负载均衡实例至少添加一个监听。后端服务器处理负载均衡分发的前端请求的ECS实例。默认服务器组一组处理负载均衡分发的前端请求的ECS实例。如果监听未配置指定的虚拟服务器组或主备服务器组，则将流量转发给默认服务器组中的后端服务器。虚拟服务器组一组处理负载均衡分发的前端请求的ECS实例。不同的监听可以关联不同的虚拟服务器组，实现监听维度的请求转发。主备服务器组一个主备服务器组只包含两台ECS实例，一台作为主服务器，一台作为备服务器。当主服务器健康检查失败，系统会直接将流量切到备服务器。3.3.2

SLB后端的基础架构

3.3.2

SLB后端的基础架构

3.3.2

SLB后端的基础架构

SLB高可用的实现3.4开启SLB使用之旅

3.4.1开通SLB服务 3.4.2创建SLB实例 3.4.3监听配置 3.4.4

SLB监控和计费3.4.1开通SLB服务

登录阿里云首页，点击“登录”，使用已经注册好的账号和密码进行登录，之后点击“控制台”，进入控制台页面进入SLB管理控制页面，创建SLB实例3.4.2创建SLB实例

操作步骤一：登录传统型负载均衡CLB控制台操作步骤二：在实例管理页面，单击创建传统型负载均衡操作步骤三：在购买页面选择一种付费方式。本章选择按量付费。操作步骤四：对实例进行配置和选择。3.4.3监听配置

创建负载均衡实例后，需要为实例配置监听。监听负责检查连接请求，然后根据调度算法定义的转发策略将请求流量分发至后端服务器。负载均衡提供四层（TCP或UDP协议）和七层（HTTP或HTTPS协议）监听，需要根据应用场景选择监听协议。3.4.4

SLB监控和计费

用户可以对SLB的状态进行监控，常用的监控指标包括流量、连接数等3.5本章小节

SLB是一种对流量进行按需分发的服务，通过将流量分发到不同的后端服务器来扩展应用系统的吞吐能力，并且可以消除系统中的单点故障，提升应用系统的可用性。阿里云负载均衡SLB分为两类：传统型负载均衡CLB和应用型负载均衡ALB。CLB支持TCP、UDP、HTTP和HTTPS协议，具备强大的四层处理能力，以及基础的七层处理能力；ALB专门面向七层，提供超强的业务处理性能，提供基于内容的高级路由特性，是阿里云官方云原生Ingress网关。3.6习题

1）请简述负载均衡硬件或者SLB的基本功能。

2）请简述阿里云SLBSLB的分类和各自的功能特点。

3）对于用户并发访问量非常大、系统本身结构又比较复杂的应用系统，应该如何设计其系统内部的SLB使用方法？4）SLB是如何实现同城容灾的？请简述实现过程。

5）负载均衡SLB目前支持哪些通信协议？

6）传统负载均衡CLB支持哪些调度算法？第4章阿里云关系数据库服务RDS4.1RDS概述

关系型数据库服务（RelationalDatabaseService，简称RDS）是一种稳定可靠、可弹性伸缩的在线数据库服务。基于阿里云分布式文件系统和SSD盘高性能存储，RDS支持MySQL、SQLServer、PostgreSQL、PPAS（PostgrePlusAdvancedServer，高度兼容Oracle数据库）和MariaDBTX引擎，并且提供了容灾、备份、恢复、监控、迁移等方面的全套解决方案。4.1.1

RDS的技术特点

RDS在MySQL和PostgreSQL社区版的基础上，对内核进行了深度定制和开放。AliSQL是阿里云深度定制的独立MySQL分支，除了社区版的所有功能外，AliSQL提供了类似于MySQL企业版的诸多功能，如企业级备份恢复、线程池、并行查询等，并且AliSQL还提供兼容Oracle的能力，如sequence引擎等。RDSMySQL使用AliSQL内核，为用户提供了MySQL所有的功能，同时提供了企业级的安全、备份、恢复、监控、性能优化、只读实例等高级特性。4.1.1

RDS的技术特点

RDS支持一系列兼容PostgreSQL的云数据库服务产品，目前包括RDSPostgreSQL和专属集群MyBaseforPostgreSQL，这些云数据库服务采用统一的数据库内核（简称AliPG），AliPG兼容PostgreSQL开源数据库，于2015年正式商用，目前支持9.4、10、11、12、13和14PostgreSQL大版本，已稳定运行多年，支撑了大量阿里巴巴集团内部以及云上的客户业务。4.1.2

RDS使用特点

计费对于短期需求，可以创建按量付费（按小时计费）的实例，用完可立即释放实例；对于长期需求，可以创建包年包月的实例；按需变配即开即用透明兼容管理阿里云负责RDS的日常维护和管理，包括软硬件故障处理、数据库补丁更新等工作，保障RDS的正常运转。用户可以通过阿里云控制台或者API自行完成数据库的增加、删除、重启、备份、恢复等管理操作。4.2

RDS应用场景4.2.1开放搜索 4.2.2数据多样化存储 4.2.3数据异地容灾 4.2.4读写分离 4.2.5大数据分析4.2.1开放搜索

开放搜索服务（OpenSearch）是一个结构化数据搜索托管服务，为移动应用和网站提供搜索解决方案。OpenSearch自可将RDS中的数据自动同步至OpenSearch实现各类复杂搜索4.2.2数据多样化存储

多样化存储高热数据结构化非结构化RDS可以搭配：RedisMemcacheOSS……4.2.3数据异地容灾

异地备份数据传输服务DTS，将自建机房的数据库或者ECS上的自建数据库实时同步到任一地域的RDS实例。4.2.4读写分离

RDSMySQL/SQLServer可以添加只读实例，分担主实例的读取压力。主实例和只读实例都有独立的连接地址，当开启读写分离/集群管理功能后，系统会额外提供一个读写分离地址/只读地址，使用这个地址实现读写分离。只需增加只读实例的个数，即可不断扩展系统的处理能力，应用程序无需修改。4.2.5大数据分析

数据仓库解决方案数据集成服务将RDS数据导入MaxComputeRDS支持大数据分析；但并不在RDS上进行大数据分析；RDS是大数据分析平台的数据源之一；4.3

RDS基本概念RDS实例（Instance）实例是阿里云关系型数据库的运行环境各实例之间相互独立、资源隔离、相互之间不存在CPU、内存、IOPS等抢占问题同一实例中的不同数据库之间是资源共享的RDS实例目前支持的最大内存为48GB，最大磁盘容量为6TB一个账号可以创建多个实例RDS数据库（Database）是用户在一个实例下创建的逻辑单元一个实例可以创建多个数据库，在实例数据库命名唯一MYSQL类型实例，最多可以创建500个数据库；RDS数据库账号每个数据库账号可以用于多个数据库每个数据库的读写权限可以被分配给多个数据库账号4.3

RDS基本概念只读实例：只能接受读请求的实例缓解有非常高的并发读取的请求的系统的压力（如电商系统等）MySQL（5.6以上）/SQLServer版本才支持创建只读实例从备实例复制数据数据与主实例一致主实例的数据更新也会在主实例完成操作后立即自动同步到所有只读实例也可以在只读实例上设置只读实例延时复制。注意：设置了延时复制的只读实例，无法添加到读写分离中灾备实例和主备实例在不同地域。只读实例创建并设置读权重后就会持续提供服务；备实例和灾备实例在主实例正常运行时都不会提供服务。4.3

RDS基本概念只读实例和主备实例在同一地域，可以在不同可用区；备实例和主实例在同一个地域；系列说明适用场景基础版单节点实例，采用计算与存储分离的架构，可实现超高的性价比。详细信息，请参见基础版。个人学习微型网站中小企业的开发测试环境高可用版采用一主一备的经典高可用架构，适合80%以上的用户场景。大中型企业的生产数据库互联网、物联网、零售电商、物流、游戏等行业的数据库集群版仅SQLServer提供，基于AlwaysOn技术实现，最大支持一主一备高可用架构和七个只读实例，支持横向扩展集群读能力。购买时默认为高可用架构（仅包括主实例和备实例，没有只读实例）。详细信息，请参见集群版。大中型企业的生产数据库，如互联网新零售行业、汽车制造行业、企业大型ERP系统等。三节点企业版（原金融版）仅MySQL提供，采用一主两备的三节点架构，通过多副本同步复制，确保数据的强一致性，提供金融级的可靠性。详细信息，请参见三节点企业版。对数据安全性要求非常高的金融、证券、保险行业的核心数据库各行业大型企业的核心生产数据库RDSMYSQL产品系列4.3

RDS基本概念4.3

RDS基本概念

RDS数据安全4.4开启RDS使用之旅

4.4.1开通RDS服务 4.4.2创建RDS实例 4.4.3创建数据库和数据库账号 4.4.4数据恢复 4.4.5性能优化4.4.1开通RDS服务

登录阿里云首页，点击“登录”，使用已经注册好的账号和密码进行登录，之后点击“控制台”，进入控制台页面在“产品与服务”中选择并点击“云数据库RDS版”4.4.2创建RDS实例

进入RDS管理控制页面，点击“创建实例”4.4.2创建RDS实例

操作步骤一：选择计费方式操作步骤二：地域选择操作步骤三：选择数据库类型、系列和存储类型4.4.2创建RDS实例

操作步骤四：选择可用区操作步骤五：选择实例规格操作步骤六：存储空间选择操作步骤七：网络类型选择操作步骤八：选择存储引擎4.4.3创建数据库和数据库账号

操作步骤一：创建数据库访问RDS实例列表，在上方选择地域，然后单击目标实例ID。在左侧导航栏中单击数据库管理。单击创建数据库4.4.3创建数据库和数据库账号

操作步骤二：创建账号访问RDS实例列表，在上方选择地域，然后单击目标实例ID。在左侧导航栏选择账号管理。单击创建账号4.4.4数据恢复

首先需要对数据库中的数据进行周期性的备份。当出现数据误删除时，我们需要去寻找距离删除时间最近的数据备份，并执行数据恢复。为了确保数据安全，我们通常会在一个临时实例上去做尝试性的恢复。临时实例就是为了进行数据恢复而临时创建的一个数据库环境。每个RDS实例可以创建一个临时实例，它自动继承备份点的账号和密码，创建成功后48小时内有效。建议用户在临时实例上进行数据恢复，并进行各种数据恢复的操作，如果确认临时实例中的数据确实是所需的数据，再将临时实例的数据同步到主实例上去4.4.4数据恢复

4.4.5性能优化

性能优化涉及从选型、监控、调参等多种维度对数据库进行性能优化，提高数据库性能。影响数据库性能的因素多种多样，如，SQL查询速度、网络、磁盘IO、硬件规格、数据库版本等。4.5

RDS架构分析

RDS在飞天云平台中的位置4.5

RDS架构分析

RDS架构4.5

RDS架构分析高可用系统4.6本章小节

阿里云RDS是一种稳定可靠、可弹性伸缩的在线数据库服务。基于阿里云分布式文件系统和SSD盘高性能存储，RDS支持MySQL、SQLServer、PostgreSQL和MariaDBTX引擎，并且提供了容灾、备份、恢复、监控、迁移等方面的全套解决方案，彻底解决数据库运维问题。云数据库RDS实例包括四个系列：基础版、高可用版、集群版和三节点企业版，用户按需进行选择4.7习题

1）RDS是什么服务？目前支持哪些具体的数据库产品？

2）OpenSearch是一种结构化数据搜索托管服务，为移动应用开发或网站提供一种高效、低成本的搜索解决方案。请简述RDS用于开放搜索的过程。

3）很多应用系统都面临多样化数据存储需求，包括结构化、非结构化数据、高热数据等，请简述如何利用阿里云上的服务对上述数据进行高效、低成本的存储。

4）请简述实现业务系统的读写数据分离场景中只读实例的作用。

5）请简述RDS是如何实现系统高可用性的。第5章阿里云对象存储服务OSS5.1

OSS概述

阿里云对象存储服务（ObjectStorageService，简称OSS），是海量、低成本、高可靠的云存储服务。OSS非常适合用来存储大量不同大小、格式的非结构化数据视频图像音频日志文本单个文件的大小从1Byte到48.8TB。对文件的数量没有限制EB级5.2

OSS应用场景

场景1：多媒体数据存储5.2

OSS应用场景

场景2：网页或者移动应用的静态和动态资源分离5.2

OSS应用场景

场景3：云端数据处理5.2

OSS应用场景

场景4：多存储类型5.2

OSS应用场景

场景5：跨区域容灾5.3

OSS基本概念存储类型（StorageClass）OSS提供标准、低频访问、归档三种存储类型，全面覆盖从热到冷的各种数据存储场景。标准存储类型提供高可靠、高可用、高性能的对象存储服务，能够支持频繁的数据访问；平均每文件每月访问大于1次,实时访问低频访问存储类型适合长期保存不经常访问的数据（平均单月访问频率不到1次，实时访问），存储单价低于标准类型；归档存储类型适合需要长期保存（建议半年以上）的归档数据，在三种存储类型中单价最低。需先解冻后才能读取，解冻时间1分钟价格：5.3

OSS基本概念对象/文件（Object）是OSS存储数据的基本单元。组成：ObjectMeta：键值对，表示了对象的一些属性，如最后修改时间、大小、自定义的信息等Data：数据本身Key：Object在存储空间内部的唯一标识存储空间（Bucket）用于存储对象（Object）的容器，所有的对象都必须隶属于某个存储空间。Bucket属性：地域、访问权限、存储类型等5.3

OSS基本概念BucketBucketBucketBucketObjectObjectObjectDirectory/KeyDataMetaObjectObjectDir2/ObjectUserService5.3

OSS基本概念Put方式，单个对象<5GB;Multipart方式，最大支持10000块Part10000*5GB=48.8TB5.3

OSS基本概念Region中文名称Region英文表示外网Endpoint传输加速EndpointECS访问的内网Endpoint华东1（杭州）oss-cn-hangzhou华东2（上海）oss-cn-shanghai地域（Region）：表示OSS的数据中心所在物理位置。访问域名（Endpoint）表示OSS对外服务的访问域名。OSS以HTTPRESTfulAPI的形式对外提供服务，当访问不同地域的时候，需要不同的域名。5.3

OSS基本概念OSS的资源的URL <Schema>://<Bucket>.<外网Endpoint>/<Object>

Schema：HTTP或者为HTTPS。外网Endpoint：Bucket所在数据中心供外网访问的Endpoint。示例：

https://abc./myfile/aaa.txtHTML<imgsrc="/mypng/aaa.png"/>5.4开启OSS使用之旅

5.4.1基于控制台操作OSS 5.4.2

OSS数据写入方式 5.4.3

OSS数据处理 5.4.4

OSS安全性5.4.5OSS访问接口 5.4.6

OSS快速应用开放架构5.4.1基于控制台操作OSS 操作步骤一：开通OSS服务5.4.1基于控制台操作OSS 操作步骤二：创建存储空间5.4.1基于控制台操作OSS 操作步骤三：上传文件5.4.1基于控制台操作OSS 操作步骤四：下载文件操作步骤五：分享文件5.4.2

OSS数据写入方式

如果使用SDK，以编程的方式上传文件至OSS，就涉及数据写入方式的选择。在数据写入的方式上，OSS支持流式的写入和文件的写入两种方式5.4.3

OSS数据处理

1）阿里云OSS原生处理服务阿里云OSS原生处理服务包括图片处理和视频截帧，其中图片处理包括图片的缩略、剪裁、参数调节等。OSS原生处理服务无需开通，默认集成在OSS中，创建完Bucket后即可使用。产生的数据处理费用直接在OSS上结算。2）智能媒体管理服务阿里云OSS与智能媒体管理（IMM）深度结合，支持文档预览、文档格式转换、人脸识别、图片分析、二维码识别等丰富的数据分析处理操作。5.4.4

OSS安全性

OSS本身也支持很多安全功能。比如，服务端加密、客户端加密、防盗链、IP黑白名单、细粒度权限管控、日志审计、WORM特性等5.4.5

OSS访问接口直接对OSS进行访问和资源管控阿里云的控制台命令行工具图形化工具应用开发RESTful，API鉴于直接使用API进行应用开发，难度相对较大,更多的用户会选择使用支持多种语言的SDK进行应用开发5.4.6

OSS快速应用开放架构

给出了一个业务系统的基本架构，也就是构成系统的基本组件。实际商用的系统可能会在这个基础上增加更多的组件，比如，CDN、内存数据库、NOSQL、数据仓库、数据可视化等5.5综合应用案例——使用ECS、SLB、RDS和OSS搭建论坛网站

在阿里云上，综合使用使用ECS、SLB、RDS和OSS搭建一个支持高并发、高可用的论坛网站，能够从外网访问该论坛网站；高可用和高并发的特性主要依赖SLB实现，网站的结构化数据使用RDS存储；网站的非结构化数据（图片、视频等）采用OSS存储。5.5综合应用案例——使用ECS、SLB、RDS和OSS搭建论坛网站

环境ECS实例2台PHPWind8.7经典版论坛系统(CentOS6.8|PHP5.4)镜像。CentOS6.864位、PHPWind8.7经典稳定版、PHP5.4、Apache2.2、MySQL5.6、vsftpd3.0.2、phpMyAdmin4.6.6FTP权限及mysql权限随机生成，更加安全，存放在default.pass文件里默认安装了phpmyadmin管理平台，数据库的管理地址为：http://公网ip/phpmyadmin/论坛首页地址：http://公网IPSLB实例（1台）RDS实例（1台）OSS，创建一个bucket用于论坛中图片、视频等附件的存储5.5综合应用案例——使用ECS、SLB、RDS和OSS搭建论坛网站步骤1：创建ECS实例（2台）、SLB实例（1台）、RDS实例（1台）、OSSbucket，并要求所有实例、bucket都在同一个地域步骤2：创建RDS数据库账号步骤3：配置ECS安全组步骤4：分别在2台ECS实例上执行相同的如下的步骤，安装phpwind论坛系统步骤5：在ECS上安装ossftp步骤6：配置SLB实例监听5.6本章小节

OSS是一种的云存储服务，具有海量存储和高可靠性的特征。OSS是用来存储非结构化数据的。比如：图像、音频、视频、日志、文本等。OSS具有与平台无关的RESTfulAPI接口，可以在任何应用、任何时间、任何地点存储和访问任意类型的数据。可以使用阿里云提供的API、SDK接口或者OSS迁移工具将海量数据移入或移出阿里云OSS。5.7习题

1）OSS是什么服务？简述OSS与RDS的关系。

2）OSS的存储规模有多大？对用户要存储的文件大小、文件数量是否有限制？

3）对于用户访问频繁程度不同的数据，OSS是如何支持的？

4）OSS是对象存储服务，O代表Object，即对象。这里的对象具体是什么含义？

5）请从数据模型、数据获取、访问性能三个方面对比OSS和文件系统的异同。第6章虚拟化技术原理6.1什么是虚拟化

虚拟化就是把物理资源转变为逻辑上可以管理的资源，以打破物理结构之间的壁垒在具体的虚拟化方式上，可以分为：计算虚拟化、存储虚拟化、网络虚拟化和桌面虚拟化6.2为什么要虚拟化

虚拟化可以提升主机的利用率按需为用户分配资源；破除了物理资源分配的限制虚拟化是构建云计算环境的底层关键技术之一6.3传统数据中心和云计算数据中心的区别

6.4计算虚拟化

6.4.1计算虚拟化的目标 6.4.2计算虚拟化的基本概念 6.4.3计算虚拟化实现面临的主要问题和解决方案 6.4.4计算虚拟化实现方式 6.4.5计算虚拟化的分类 6.4.6计算虚拟化架构实例——KVM 6.4.7常见虚拟化产品类别汇总6.4.1计算虚拟化的目标

台物理主机的组成包括：CPU、RAM、I/O(Disk，Network)、Monitor等基本组件，传统架构下，物理主机上运行着一个操作系统。计算虚拟化的目标是在这些基础物理设备上运行多个OS6.4.2计算虚拟化的基本概念

Ring0Intel的x86处理器是通过Ring级别来进行访问控制的，级别共分4层，RING0，RING1，RING2，RING3。Windows只使用其中的两个级别RING0和RING3。RING0层拥有最高的权限，RING3层拥有最低的权限。按照Intel原有的构想，应用程序工作在RING3层，只能访问RING3层的数据，操作系统工作在RING0层，可以访问所有层的数据6.4.2计算虚拟化的基本概念

Hypervisor(Host)又称虚拟机器监视器（英语：virtualmachinemonitor，缩写为VMM），是用来建立与执行虚拟机的软件。VMM能够创建多个可运行独立操作系统的虚拟化环境，每个GuestOS获得的关键硬件资源都由VMM进行分配、回收和控制。被Hypervisor用来运行一个或多个虚拟机的服务器称为主体机器（hostmachine），这些虚拟机则称为客体机器（guestmachine）。6.4.3计算虚拟化实现面临的主要问题和解决方案

问题：Kernel可以控制所有硬件,并可运行CPU的特权指令,即Kernel运行于CPU的Ring0上。但多个OS是无法同时直接运行于硬件层之上，他们之间肯定会互相影响，所以它们必须运行在Hypervisor层上，统一在这一层上执行特权指令才行。若GuestOS必须运行在CPU的Ring0上，Host运行在哪里？这里必须要解决Hypervisor和GuestOS，他们各自是什么样的权限，运行在哪个Ring上？6.4.3计算虚拟化实现面临的主要问题和解决方案

CPU虚拟化：由于多个VM共享CPU资源，需要对VM中的敏感指令进行截获并模拟执行。也就是，GuestOS1要关机这种敏感指令，需要由host捕捉，然后执行虚拟机的关机，而不是物理机的关机。Q1：多个VM如何使用CPU？Q2：GuestOS运行在Ringx？Q3：GuestOS如何执行指令？

内存虚拟化：由于多个VM共享同一物理内存，需要相互隔离；I/O虚拟化：由于多个VM共享一个物理设备，如磁盘、网卡，一般借用TDMA的思想，通过分时多路技术进行复用。6.4.4计算虚拟化实现方式

X86指令缺陷X86指令集中存在17条敏感的非特权指令，这17条指令在客操作系统上的执行或者会导致系统全局状态的破坏，如POPF指令，或者会导致GuestOS逻辑上的问题，如SMSW等读系统状态或控制寄存器的指令。6.4.4计算虚拟化实现方式

针对上述x86体系缺陷，不同虚拟化厂商提出了多种CPU虚拟化的实现方式：全虚拟化、半虚拟化、硬件辅助虚拟化6.4.5计算虚拟化的分类

根据HostOS和Hypervisor/VMM的关系进行分类，也就是根据Hypervisor/VMM的位置进行分类，可以分为Ⅰ型：裸金属虚拟化，又称为裸机虚拟化；Ⅱ型：宿主型虚拟化，又称为寄居虚拟化6.4.5计算虚拟化的分类

裸金属型虚拟化/裸机虚拟化6.4.5计算虚拟化的分类

宿主型虚拟化/寄居虚拟化6.4.6计算虚拟化架构实例——KVM KVM---基于内核的虚拟机（Kernel-basedVirtualMachine）KVM实际是嵌入到Linux操作系统的一个虚拟化模块，通过优化内核来使用虚拟技术，该内核模块使得Linux变成了一个Hypervisor，虚拟机使用Linux自身的调度器进行管理。6.4.7常见虚拟化产品类别汇总

6.5存储虚拟化

6.5.1传统存储技术回顾 6.5.2存储虚拟化的基本概念 6.5.3存储虚拟化的实现方法6.5.1传统存储技术回顾

RAID：磁盘阵列（RedundantArraysofIndependentDisks）NAS：网络附属存储（NetworkAttachedStorage,NAS）SAN：存储区域网络（StorageAreaNetwork，简称SAN）6.5.2存储虚拟化的基本概念什么是存储虚拟化？将存储资源集中到一个大容量的资源池并实行单点统一管理，无需中断应用即可改变存储系统和数据迁移。虚拟化存储环境下，无论后端物理存储是什么设备，服务器及其应用系统看到的都是其物理设备的逻辑映像。即使物理存储发生变化，这种逻辑映像也不会改变，系统管理员不必再关心后端存储，只需要专注于管理存储空间即可核心思想：把物理的存储设备集成、虚拟化为逻辑设备存储虚拟化模型6.5.2存储虚拟化的基本概念存储资源实际的物理存储设备；存储设备存储资源中的管理单元；数据存储虚拟化平台中可以管理的存储逻辑单元；通过创建数据存储，才能把存储资源给到虚拟机6.5.2存储虚拟化的基本概念DAS存储虚拟化例子基于主机的存储虚拟化适合场景：单个主机访问多个存储资源；实现：虚拟化软件（虚拟化层）运行在主机上；优点：稳定；虚拟化存储空间可以跨越多个异构的磁盘阵列；缺点：虚拟化软件占用主机资源；存在虚拟化软件与主机操作系统兼容性问题；主机的升级维护问题；性能依赖于主机性能；6.5.3存储虚拟化的实现方法

基于主机的存储虚拟化实例：windows的卷管理技术由windows的逻辑卷管理软件完成卷(也称逻辑卷)是Windows系统的一种磁盘管理方式，目的是把硬盘空间从物理硬盘的管理方式中跳出来，进行更方便的统一管理分配。这种实现方式使服务器的存储空间可以跨越多个异构的磁盘阵列6.5.3存储虚拟化的实现方法

基于存储设备的存储虚拟化实现：在存储设备的控制器上添加虚拟化功能（虚拟化层），软件运行于专门的嵌入式系统中，常见于中高端存储设备；适合场景：多个主机同时访问一台存储设备时；优点：虚拟化与主机无关，不占用主机资源，数据管理功能丰富缺点：一般只能实现对本设备内磁盘的虚拟化；不同厂商的数据管理功能不能互操作；成本较高；6.5.3存储虚拟化的实现方法

基于网络的存储虚拟化是通过在存储区域网(SAN)中添加虚拟化引擎实现的。虚拟化软件是运行在SAN网络的磁盘阵列上的；主要用于异构存储系统的整合和统一数据管理。优势：与主机无关，不占用主机资源;能够支持异构主机、异构存储设备能使不同存储设备的数据管理功能统一可以构建统一管理平台，可扩展性好。缺点：部分厂商数据管理功能弱，难以达到统一数据管理的目的部分厂商产品成熟度较低，仍然存在兼容性问题。6.5.3存储虚拟化的实现方法

三种技术的比较6.5.3存储虚拟化的实现方法

6.6存储虚拟化和云存储的关系

6.7网络虚拟化

6.7.1网络虚拟化的基本概念 6.7.2网络虚拟化的目标 6.7.3网络虚拟化的特点 6.7.4网卡虚拟化 6.7.5交换机虚拟化 6.7.6虚拟化网络架构 6.7.7链路虚拟化 6.7.8虚拟网络6.7.1网络虚拟化的基本概念

传统网络架构6.7.1网络虚拟化的基本概念

网络虚拟化就是将物理网络虚拟出多个相互隔离的虚拟网络，从而使得不同用户之间使用独立的网络资源；网络虚拟化的效果是提高了网络资源的利用率，实现了软件定义的、弹性的网络；例如，VLAN就是一种网络虚拟化技术，它通过VLANTag将传统的局域网划分出多个广播域6.7.2网络虚拟化的目标

节约物理网络硬件（网卡等），提升物理网络设备的利用率；为VM提供L2-L7层网络服务；网络虚拟化软件提供虚拟交换机（L2）和虚拟路由器(L3)；虚拟负载均衡、虚拟防火墙（L4-L7），允许用户可以自定义虚拟网络设备的连接，实现自定义L2-L7虚拟网络拓扑；将物理网络与虚拟机解耦合，实现了一种软件定义的网络；敏捷、灵活的分配网络资源，比如，敏捷实现为一台VM提供防火墙，实时升级网络带宽等6.7.3网络虚拟化的特点

与物理层解耦合网络服务抽象化网络按需自动化用户通过API方式，可以按需获得从网络虚拟化层得到虚拟网络和网络资源，如，为一台VM分配多少带宽，设置流量上限，限制可以和哪些主机进行通信；创建VPC；多用户网络隔离6.7.4网卡虚拟化

软件网卡虚拟化通过软件控制各个虚拟机共享同一个物理网卡6.7.4网卡虚拟化

硬件网卡虚拟化技术：单根I/O虚拟化（SingleRootI/OVirtualization，SR-IOV，IO直通技术）;通过硬件辅助让VM直接访问物理网卡；128——512个虚拟网卡；优势：提高了网卡硬件的使用效率，有效降低了IO开销；6.7.5交换机虚拟化

OVS(OpenvSwitch)，开放虚拟化软件交换机，是基于软件实现的虚拟以太网交换机，使用开源Apache2.0许可协议。OVS可以与众多的虚拟化平台整合（Xen、kvm、VirtualBox等）6.7.6虚拟化网络架构

虚拟交换机中包括2个核心组件：端口组和上行链路6.7.7链路虚拟化

虚链路聚合简称VPC：VirtualPortChannel，是一种二层虚拟化技术6.7.7链路虚拟化

隧道协议：TunnelProtocol，它的主要作用是能够使多个不同协议的网络实现互联6.7.8虚拟网络

虚拟网络，就是由虚拟链路构建的网络。虚拟网络的节点的连接不是使用物理线缆连接，而是使用特定的虚拟化链路连接。6.8本章小结

虚拟化就是把物理资源转变为逻辑上可以管理的资源，以打破物理结构之间的壁垒；虚拟化的好处就是，所有的资源都透明地运行在各种各样的物理平台上，资源的管理都将按逻辑方式进行，完全实现资源的自动化分配；在具体的虚拟化方式上，可以分为：计算虚拟化、存储虚拟化、网络虚拟化和桌面虚拟化。6.9习题

1）什么是虚拟化？简述虚拟化技术的基本分类。2）简述传统数据中心和云计算数据中心的区别。3）简述x86CPU特权级别。4）在计算虚拟化中，多个虚拟机是如何使用CPU的？5）什么是半虚拟化？6）什么是寄居虚拟化？7）什么是存储虚拟化？存储虚拟化能为用户带来哪些好处？8）请列举实现存储虚拟化的方法。9）请简述存储虚拟化和云存储的关系。10）为什么需要网络虚拟化技术？第1章云计算概述在互联网大行其道的今天，各种分布式系统已经司空见惯。凡是涉及到大规模用户、高并发访问的，无一不是分布式7.1分布式的基本思想

7.1分布式的基本思想分布式的基本思想：分拆并发缓存在线计算/离线计算（

同步/异步）全量/增量Push/PullCAP……分拆系统分拆存储分拆计算分拆7.1分布式的基本思想7.1分布式的基本思想缓存：遇到性能问题，首先想到的就是缓存Twitter的架构7.1分布式的基本思想在线计算/离线计算（

同步/异步）实际的业务需求中，并不是所有需要都需要完全实时的在线计算低延迟、实时性强；SPARK\STORM\FLINK离线计算延迟时间长，实时性差，吞吐量大；MAPREDUCE7.1分布式的基本思想全量/增量搜索引擎的全量索引＋增量索引，前者是为了吞吐，后者为了实时；OceanBase数据库，每次更新存在一个小表里面，定期merge7.1分布式的基本思想Push/Pull在所有分布式系统中都涉及一个基本问题：节点之间（或者2个子系统之间）的状态通知：一个节点状态变更了，要通知另外一个节点；有2种策略：Push&PullPush:节点A状态变了，push给节点BPull:也就是轮询。节点B周期性的去询问节点A的状态7.1分布式的基本思想CAP——布鲁尔的诅咒一致性（Consistency）：分布式系统中，在同一时刻，不同备份是否具有相同的值；可用性（Availability）：是否对数据更新具有高可用性，即，集群中某些节点宕机后，整体是否还能响应客户端请求；分区容忍性（Partitiontolerance）：不同节点间不能再时限内达成数据一致，意味着发生了分区。允许分区时丢失信息；7.2经典分布式系统简介——Hadoop 7.2.1

Hadoop的历史 7.2.2

Hadoop特性 7.2.3

Hadoop应用领域 7.2.4

Hadoop版本 7.2.5

Hadoop生态系统7.2.1

Hadoop的历史

7.2.2

Hadoop特性

Hadoop是一个能够对大量数据进行分布式处理的软件框架。7.2.3

Hadoop应用领域

7.2.4

Hadoop版本

7.2.5

Hadoop生态系统

7.3

Hadoop的安装部署实验

7.3.1

Hadoop的部署模式

7.3.2

Hadoop伪分布式环境搭建7.3.1

Hadoop的部署模式

Hadoop的部署模式分为3种：本地模式（localmode）伪分布模式完全分布模式7.3.2

Hadoop伪分布式环境搭建

系统环境运行virtualbox，创建虚拟机，类型：Ubuntu-64bit，1GB内存，10GB磁盘；设置虚拟机->存储->控制器IDE->添加虚拟光盘文件；ubuntu-16.04.6-desktop-amd64.iso；7.4

HDFS 7.4.1

HDFS介绍

7.4.2

HDFS的基本概念

7.4.3

HDFS存储原理7.4.1

HDFS介绍

HDFS主从结构7.4.1

HDFS介绍

HDFS的设计目标7.4.2

HDFS的基本概念

HDFS块7.4.2

HDFS的基本概念

NameNode7.4.2

HDFS的基本概念

SecondaryNameNode7.4.3

HDFS存储原理

冗余数据保存7.4.3

HDFS存储原理

数据存放策略HDFS采用机架感知策略存放数据7.4.3

HDFS存储原理

数据读取策略HDFS提供了一个API可以确定一个数据节点所属的机架ID，客户端也可以调用API获取自己所属的机架ID当客户端读取数据时，从名称节点获得数据块不同副本的存放位置列表，列表中包含了副本所在的数据节点，可以调用API来确定客户端和这些数据节点所属的机架ID，当发现某个数据块副本对应的机架ID和客户端对应的机架ID相同时，就优先选择该副本读取数据，如果没有发现，就随机选择一个副本读取数据7.4.3

HDFS存储原理

数据错误与恢复HDFS具有较高的容错性，可以兼容廉价的硬件，它把硬件出错看作一种常态，而不是异常，并设计了相应的机制检测数据错误和进行自动恢复，主要包括以下几种情形：名称节点出错数据节点出错数据出错7.4.3

HDFS存储原理

HDFS读数据的过程7.4.3

HDFS存储原理

HDFS写数据的过程7.5

MapReduce 7.5.1

MapReduce概述7.5.2MapReduce体系结构7.5.3

MapReduce工作流程

7.5.4

MapReduce程序设计实例

7.5.5

Eclipse开发环境搭建和程序调试7.5.1

MapReduce概述

分布式并行编程“摩尔定律”：CPU性能大约每隔18个月翻一番，从2005年开始摩尔定律逐渐失效，需要处理的数据量快速增加，人们开始借助于分布式并行编程来提高程序性能。分布式程序运行在大规模计算机集群上，可以并行执行大规模数据处理任务，从而获得海量的计算能力。Google最先提出了分布式并行编程模型MapReduce，HadoopMapReduce是它的开源实现，后者比前者使用门槛低很多。7.5.1

MapReduce概述

传统框架与MapReduce框架的比较7.5.1

MapReduce概述

MapReduce模型求和：1+25+7+13+34+9+3+5+6+19+7+8+327.5.1

MapReduce概述

Map和Reduce函数说明7.5.2MapReduce体系结构7.5.3

MapReduce工作流程

7.5.3

MapReduce工作流程

InputFormat及其子类7.5.3

MapReduce工作流程Split和数据块的关系7.5.3

MapReduce工作流程Shuffle过程7.5.4

MapReduce程序设计实例

实例1：单词计数（WordCount）7.5.4

MapReduce程序设计实例

实例2：好友推荐7.5.4

MapReduce程序设计实例

实例2：好友推荐数据统计结果7.5.4

MapReduce程序设计实例

实例2：好友推荐7.5.4

MapReduce程序设计实例

实例2：好友推荐7.5.4

MapReduce程序设计实例

实例2：好友推荐7.5.5

Eclipse开发环境搭建和程序调试

（1）安装Hadoophadoop-2.6.0-cdh5.4.5.tar.gz（2）安装Eclipseeclipse-java-juno-SR2-linux-gtk-x86_64.tar.gz（3）安装开发插件hadoop-eclipse-plugin-2.6.0.jar测试插件功能（MapReduceProspective/创建hdfs目录）（4）创建java项目,进行程序开发7.6

YARN 7.6.1从Hadoop1.0到2.0 7.6.2

YARN架构7.6.1从Hadoop1.0到2.0 Hadoop1.0的核心组件存在以下不足：抽象层次低，需人工编码表达能力有限开发者自己管理作业（Job）之间的依赖关系难以看到程序整体逻辑执行迭代操作效率低资源浪