云计算实战课件：第4章 存储服务

大数据应用人才培养系列教材云计算实战刘鹏

总主编刘鹏主编第四章存储服务4.1

可扩展云存储S3

4.2低成本归档存储Glacier

4.3弹性块存储EBS大数据应用人才培养系列教材4.4作业与练习4.1

可扩展云存储S3第四章存储服务AmazonS3是一种对象存储服务，专为从Internet上的任意位置存储和检索任意数量的数据而构建。S3提供行业领先的可扩展性、数据可用性、安全性和性能。S3可达到99.999999999%的持久性，并为全球各地的公司存储数百万个应用程序的数据。S3具有高度可扩展性，是以非常低的成本提供极其持久并且可无限扩展的数据存储基础设施。用户只需为实际用量以每GB为单位付费，同时需要为每个数据请求和数据传输流量上花费少量成本。S3以存储桶为单位存储数据，每位用户可以最多创建100个存储桶，每个存储桶都要定义一个全球唯一的存储桶名，与全球任何区域定义过的存储桶名都不相冲突。4.1

可扩展云存储S3

第四章存储服务4.1.1S3存储桶基本操作

存储桶是用户在S3中存储的所有内容的全球唯一容器，用户可在S3完成创建存储桶、添加对象、通过网络访问存储桶中的对象、复制对象、删除对象和删除存储桶等操作。默认情况下，对象的权限是私有的，用户可以设置访问控制策略以便将权限授予其他人。1.创建S3存储桶在AWS管理控制台的服务菜单中选择S3或直接打开S3控制台网址（https：///s3/），进入S3控制管理界面，如图4-1所示。4.1

可扩展云存储S3

第四章存储服务4.1.1S3存储桶基本操作4.1

可扩展云存储S3

第四章存储服务4.1.1S3存储桶基本操作1.创建S3存储桶在创建存储桶对话框中，需要为新创建的存储桶定义存储桶名称和区域。在存储桶名称文本框中键入cloudinaction-s3，该存储桶名能正确创建说明在全球区域中还没有其他用户使用过这个名字。在定义存储桶名称时，需要注意S3存储桶名称中必须是全球唯一的。由于存储桶名称在URL中可见，指向要放入存储桶中的对象，尽量选择反映存储桶中对象的存储桶名称。区域是存储桶所在区域，这里选择美国东部（弗吉尼亚背部），如图4-2所示。点击创建，完成创建存储桶过程。在S3管理控制台中，可以看到所创建名称为cloudinaction-s3的存储桶，存储桶和对象的访问权限默认是私有的，如图4-3所示。如果其他用户要通过网络访问存储桶，需要修改其访问权限为公有。4.1

可扩展云存储S3

第四章存储服务4.1.1S3存储桶基本操作1.创建S3存储桶4.1

可扩展云存储S3

第四章存储服务4.1.1S3存储桶基本操作1.创建S3存储桶4.1

可扩展云存储S3

第四章存储服务4.1.1S3存储桶基本操作2.添加对象

在完成创建存储桶之后，可以向存储桶添加对象。在S3存储桶中可以存储文档、图片、视频等多种类型的数据。对于存储桶中的数据，可以使用文件夹对相关对象进行分组，方法与使用目录在文件系统中对文件进行分组的方式相同。点击进入所创建名称为cloudinaction-s3的存储桶，此存储桶为空，在上传新对象之后可以开始使用。点击上传按钮，如图4-4所示。在上传对话框中，点击添加文件按钮或者将文件和文件夹拖放到对话框中。4.1

可扩展云存储S3

第四章存储服务4.1.1S3存储桶基本操作2.添加对象

在本地计算机中，选中将要上传的文件，如图4-6所示。在上传对话框中，出现将要上传的文件，点击上传按钮，即开始将文件上传至存储桶。图4-6选择上传的文件图4-7开始上传4.1

可扩展云存储S3

第四章存储服务4.1.1S3存储桶基本操作2.添加对象

文件上传至存储桶之后，在存储桶中即可看到所上传的图片及其相关属性，如图4-8所示。图4-8完成添加对象4.1

可扩展云存储S3

第四章存储服务4.1.1S3存储桶基本操作3.查看S3存储桶中对象

传到S3存储桶的对象有有相应的对象URL，但是默认情况下对象的访问权限是私有的，直接在浏览器上用对象URL访问文件，无法访问到文件。因此，需要先为对象做权限设置。选择阻止公共访问权限选项卡，点击编辑按钮，将阻止所有公共访问选项关闭，出现“已成功更新公共访问权限设置”字样，如图4-9所示。图4-9关闭“阻止所有公共访问”4.1

可扩展云存储S3

第四章存储服务4.1.1S3存储桶基本操作3.查看S3存储桶中对象

选择访问控制列表选项卡，在公有访问权限中，将Everyone组的读取对象设置为是，如图4-10所示。此时，将文件的对象URL（/cloudinaction-s3/Cloud+Computing.jpeg）输入浏览器，访问到该文件，如图4-11所示。图4-10设置公有访问权限4.1

可扩展云存储S3

第四章存储服务4.1.1S3存储桶基本操作3.查看S3存储桶中对象

选择访问控制列表选项卡，在公有访问权限中，将Everyone组的读取对象设置为是，如图4-10所示。此时，将文件的对象URL（/cloudinaction-s3/Cloud+Computing.jpeg）输入浏览器，访问到该文件，如图4-11所示。图4-11访问成功4.1

可扩展云存储S3

第四章存储服务4.1.1S3存储桶基本操作4.复制对象

在S3中，可以完成类似本地计算机中复制、剪切、粘贴文件等操作。在存储桶中创建一个用于测试的文件夹test。S3创建文件夹的实质是创建一个具有“/”后缀的对象，并且该对象在S3控制台中显示为文件夹，同时可以设置AES-256、AWS-KMS等加密协议，如图4-12所示。图4-12创建文件夹4.1

可扩展云存储S3

第四章存储服务4.1.1S3存储桶基本操作4.复制对象

我们将存储桶中的图片复制到test文件件中。选中存储桶中的图片文件，在操作下拉菜单中选择复制选项，如图4-13所示。图4-13复制文件4.1

可扩展云存储S3

第四章存储服务4.1.1S3存储桶基本操作4.复制对象

进入到test文件夹，在操作下拉菜单中选择粘贴选项，如图4-14所示。图4-14粘贴文件4.1

可扩展云存储S3

第四章存储服务4.1.1S3存储桶基本操作4.复制对象

在test文件夹中，可以看到所复制的文件，如图4-15所示。图4-15复制对象成功4.1

可扩展云存储S3

第四章存储服务4.1.1S3存储桶基本操作5.删除对象

在存储桶列表中，选择要从中删除对象的存储桶的名称，选中要删除的对象旁边的复选框，选择操作下拉菜单中的删除选项，如图4-16所示。在删除对象对话框中，验证是否已列出选择删除的对象的名称，然后选择删除按钮，即将所选对象删除。图4-16删除对象4.1

可扩展云存储S3

第四章存储服务4.1.1S3存储桶基本操作6.删除存储桶

在存储桶列表中，选择要删除的存储桶的名称旁边的存储桶图标，然后选择删除按钮，如图4-17所示。图4-17删除存储桶4.1

可扩展云存储S3

第四章存储服务4.1.1S3存储桶基本操作6.删除存储桶

在删除存储桶对话框中，键入存储桶名称以进行删除确认，然后选择确认，即可完成存储桶删除，如图4-18所示。图4-18确认删除存储桶4.1

可扩展云存储S3

第四章存储服务4.1.2静态网站托管

S3除了用于存储数据，还可以托管静态网站。S3上可以托管单独静态内容，如HTML、CSS、视频、图片等形式，还可以执行存储在S3上的客户端脚本，如JS。但不能在S3上托管服务器端脚本，如PHP、JSP、ASP.NET等。以下是在S3控制台中为静态HTML网站托管配置S3存储桶的过程。静态内容AmazonS34.1

可扩展云存储S3

第四章存储服务4.1.2静态网站托管1.设置静态网托管并上传网站代码

在S3创建新的名称为cloudinaction-s3web的存储桶，在存储桶列表中，选择该存储桶的名称，选择属性选项卡，开启静态网站托管选项，如图4-19所示。在为静态网站托管启用存储桶后，可通过Web浏览器访问S3存储桶中的静态网站终端节点内容。图4-19存储桶属性4.1

可扩展云存储S3

第四章存储服务4.1.2静态网站托管1.设置静态网托管并上传网站代码

在静态网站托管对话框中，选择使用此存储桶托管网站。其中索引索引文档时必选项，错误文档和重定向规则为可选项，如图4-20所示。在索引文档文本框中，键入索引文档的名称，该文档通常名为index.html。在为网站托管配置存储桶时，必须指定索引文档。在向根域或任何子文件夹发出请求后，S3会返回此索引文档。图4-20静态网站托管4.1

可扩展云存储S3

第四章存储服务4.1.2静态网站托管1.设置静态网托管并上传网站代码

将预先准备好的index.html文件上传至名称为cloudinaction-s3web的存储桶，如图4-21所示。图4-21上传index.html文件4.1

可扩展云存储S3

第四章存储服务4.1.2静态网站托管1.设置静态网托管并上传网站代码

此时，通过浏览器使用存储桶终端节点URL访问静态网站，返回403错误，如图4-22所示。分析其原因，因为存储桶的访问权限默认为私有，只有文件的拥有者可以访问S3的文件，需要进行存储桶策略配置。图4-22静态网站访问错误4.1

可扩展云存储S3

第四章存储服务4.1.2静态网站托管2.配置存储桶策略

当使用S3托管静态网站时，需要允许所有人都能查看并且下载存储桶的文件。存储桶策略用来在全局控制存储桶里对象的访问权限，以json形式声明允许或拒绝特定资源对资源的访问。存储桶策略可以直接用json编写，也可以利用策略生成器生成json代码。本书以策略生成器为例，设置存储桶策略。图4-23存储桶策略4.1

可扩展云存储S3

第四章存储服务4.1.2静态网站托管2.配置存储桶策略

策略生成器是AWS的重要工具，可以用来创建控制对AWS产品和资源的访问策略。首先，选择策略类型，策略是权限的容器，策略类型包括IAM策略、S3存储桶策略、SNS主题策略、VPC端点策略和SQS队列策略等，这里选择S3存储桶策略，如图4-24所示。图4-24选择策略类型4.1

可扩展云存储S3

第四章存储服务4.1.2静态网站托管2.配置存储桶策略

其次，添加声明，声明是单个权限的描述，包括允许或拒绝、AWS服务、操作及ARN。根据静态网站访问的需要，这里选择允许，AWS服务为AmazonS3，操作为GetObject，ARN为arn:aws:s3:::cloudinaction-s3web/*，如图4-25所示。最后，点击生成策略，得到存储桶策略json代码。图4-25添加声明4.1

可扩展云存储S3

第四章存储服务4.1.2静态网站托管2.配置存储桶策略

生成的存储桶策略如下，然后将其复制粘贴到图4-23的存储桶策略文本区域中，使静态网站可以从任何位置访问。{"Id":"Policy1558190534246","Version":"2012-10-17","Statement":[{"Sid":"Stmt1558190205992","Action":["s3:GetObject"],"Effect":"Allow","Resource":"arn:aws:s3:::cloudinaction-s3web/*","Principal":"*"}]}4.1

可扩展云存储S3

第四章存储服务4.1.2静态网站托管3.访问S3托管的静态网站

最终，对S3所托管的静态网站进行访问，打开浏览器访问存储桶终端节点URL：，静态网站可以正常打开，如图4-26所示。图4-26静态网站访问成功第四章存储服务4.2低成本归档存储Glacier

4.1

可扩展云存储S3

4.3弹性块存储EBS大数据应用人才培养系列教材4.4作业与练习4.2低成本归档存储Glacier

第四章存储服务Glacier是一项安全、持久且成本极低的云存储服务，适用于不常用的数据存档和长期备份。它能够提供与S3相当的持久性，但是用户能以每月每GB低至0.004USD的价格存储数据，显著降低了成本。为了保持成本低廉，同时满足各种数据检索需求，Glacier提供三种访问存档的选项，各自的检索时间从数分钟到数小时不等。用户可以通过Web浏览器访问Glacier存储服务，也可以利用支持Glacier的AWS开发工具包访问Glacier存储服务。AmazonGlacier4.2低成本归档存储Glacier

第四章存储服务4.2.1创建生命周期规则对象在AWS中从产生到删除称为对象的生命周期。为了确保用户对象在其整个以尽可能低的成本存储，需要为S3存储桶配置生命周期规则。根据实际应用需求，生命周期规则将S3中的存储对象按照指定时间点转移到成本更低的存储中保存（如Glacier）或在指定时间点删除。与S3相比，Glacier具有哪些特点。4.2低成本归档存储Glacier

第四章存储服务4.2.1创建生命周期规则在S3上创建新的名称为cloudinaction-glacier的存储桶，为存储桶添加生命周期规则，将对象归档到Glacier来管理对象的生命周期。选择管理选项卡，点击添加生命周期规则按钮，即可开始配置生命周期规则来管理对象并自动转换到分层存储，如图4-27所示。图4-27添加生命周期规则4.2低成本归档存储Glacier

第四章存储服务4.2.1创建生命周期规则在生命周期规则对话框中，设置规则名称为2glacier，添加用于限制前缀和标签范围的筛选条件，这里筛选条件为空，将生命周期应用到整个存储桶，如图4-28所示。图4-28生命周期规则名称与范围4.2低成本归档存储Glacier

第四章存储服务4.2.1创建生命周期规则在存储转换设置中，可以为当前或以前的对象版本或当前版本和先前版本定义转换。通过版本控制，可以在一个存储桶中保留对象的多个版本。这里选择当前版本作为转换目标。用户可以通过定义将对象转换为Standard-IA，OneZone-IA，Glacier和DeepArchive存储类的规则来配置生命周期规则。图4-29生命周期规则存储转换4.2低成本归档存储Glacier

第四章存储服务4.2.1创建生命周期规则经过上述配置，确认规则配置正确即可保存，如图4-30显示所创建生命周期规则及其详细属性。图4-30生命周期规则配置成功4.2低成本归档存储Glacier

第四章存储服务4.2.2测试Glacier生命周期按照生命周期规则的设置，上传至名称为cloudinaction-glacier存储桶中的对象1天后将被归档。在对象归档之后，并不会立即保存在Glacier中，从S3到Glacier的移动过程需要24小时左右。为了测试Glacier与生命周期规则，在cloudinaction-glacier存储桶中上传CloudComputing.jpeg文件。在对象归档之前，对象文件的存储类型为标准，如图4-31所示。图4-31对象的存储类型4.2低成本归档存储Glacier

第四章存储服务4.2.2测试Glacier生命周期在生命周期规则触发对象移动至Glacier，等待24小时左右，对象将存在与Glacier之中。用户对Glacier中的对象是无法直接访问的，必须在需要访问前将对象还原回S3中。选中需要还原的对象，在操作下拉菜单中选择启动还原选项。根据时间的长短，分为标准检索（3~5h）、批量检索（5~12h）和加急检索（1~5min）等3种检索方式，其中选择标准检索方式，还原过程将持续3至5小时。为了验证对象是否被还原，选择包含该文件的存储桶，然后选中文件名旁边的复选框以查看文件详细信息。还原对象的失效日期表示文件已还原，该日期是将删除对象还原副本的日期。第四章存储服务4.3弹性块存储EBS

4.1

可扩展云存储S3

4.2低成本归档存储Glacier大数据应用人才培养系列教材4.4作业与练习4.3弹性块存储EBS

第四章存储服务弹性块存储EBS（ElasticBlockStorage）是网络附加的块级别存储。EBS既可以作为类似于服务器挂载的磁盘使用并安装特定的文件系统，也可以独立使用。当挂载在EC2实例上时，EBS中存储的数据不会随着EC2实例的终止而丢失数据，可用作系统启动分区或非易失性存储。如果EC2实例不再需要该EBS卷，可以随时解挂EBS卷，存储在EBS卷中的数据同样不会丢失，并且仍然可以挂载到同一可用区的其他EC2实例上。AmazonEBS4.3弹性块存储EBS

第四章存储服务4.3.1创建EBS卷本节以EBS挂载到EC2实例上的应用为例，首先要创建EBS卷，在AWS中创建EBS卷非常简单。已经创建好的EC2实例如图4-32所示，在左侧导航中选择卷，可以看到当前EC2中已经挂载了一个名称为EBS1，大小为8GiB的卷，如图4-33所示。图4-32已创建好的EC2实例图4-33EC2中已有的卷4.3弹性块存储EBS

第四章存储服务4.3.1创建EBS卷点击图4-33中的创建卷按钮，进入到创建卷页面，卷类型设置为通用型SSD(gp2)，大小设置为2GiB，可用区设置为与EC2同一可用区（us-east-1d），如图4-34所示。此外，还可以设置卷的标签，点击创建卷按钮即完成创建。图4-34卷的参数设置4.3弹性块存储EBS

第四章存储服务4.3.1创建EBS卷此时，在卷的列表中产生了名称为EBS2的新卷，如图4-35所示。在卷的列表中，可以查看新卷的ID、大小、类型和IOPS等信息。当状态从创建切换到可用状态时，EBS卷将能够正常使用。图4-35EBS中的新卷4.3弹性块存储EBS

第四章存储服务4.3.2实例挂载EBS卷为了可以通过EC2使用EBS卷，需要把EBS卷挂载到EC2实例上。在EBS卷列表中，选择操作下拉菜单，选择连接卷，如图4-36所示。进入到连接卷页面。图4-36连接EBS卷4.3弹性块存储EBS

第四章存储服务4.3.2实例挂载EBS卷在连接卷页面中，可以看到卷的ID，选择该卷所要挂载到的EC2实例的ID，设置卷所在的目录（/dev/sdf），如图4-37所示。图4-37连接EBS卷参数设置4.3弹性块存储EBS

第四章存储服务4.3.2实例挂载EBS卷尽管EBS卷已经与EC2实例相连，但是EC2的操作系统并没有识别出该卷。使用PUTTY登录到EC2上，对Linux的卷进行配置管理。登录用户名为ec2-user，密码为ppk密钥。在命令行窗口中输入df-h命令，查看当前系统中的卷使用状况，并没有出现新创建的EBS卷。因此，需要在Linux系统中完成挂载操作。[ec2-user@ip-172-31-87-124~]$df-hFilesystemSizeUsedAvailUse%Mountedondevtmpfs475M0475M0%/devtmpfs492M0492M0%/dev/shmtmpfs492M392K492M1%/runtmpfs492M0492M0%/sys/fs/cgroup/dev/xvda18.0G1.2G6.9G15%/tmpfs99M099M0%/run/user/10004.3弹性块存储EBS

第四章存储服务4.3.2实例挂载EBS卷[ec2-user@ip-172-31-87-124~]$sudomkfs-text3/dev/sdfmke2fs1.42.9(28-Dec-2013)Filesystemlabel=OStype:LinuxBlocksize=4096(log=2)Fragmentsize=4096(log=2)Stride=0blocks,Stripewidth=0blocks131072inodes,524288blocks26214blocks(5.00%)reservedforthesuperuserFirstdatablock=0Maximumfilesystemblocks=53687091216blockgroups32768blockspergroup,32768fragmentspergroup8192inodespergroupSuperblockbackupsstoredonblocks:32768,98304,163840,229376,294912Allocatinggrouptables:doneWritinginodetables:doneCreatingjournal(16384blocks):doneWritingsuperblocksandfilesystemaccountinginformation:done4.3弹性块存储EBS

第四章存储服务4.3.2实例挂载EBS卷Linux系统挂载卷需要在系统中建立一个挂载点，也就是创建一个挂载目录。利用mkdir命令创建/mnt/ebs-test文件夹作为挂载点。利用mount命令将sdf卷挂载到/mnt/ebs-test挂载点。[ec2-user@ip-172-31-87-124~]$sudomkdir/mnt/ebs-test[ec2-user@ip-172-31-87-124~]$sudomount/dev/sdf/mnt/ebs-test4.3弹性块存储EBS

第四章存储服务4.3.2实例挂载EBS卷新建卷被手动挂载之后都必须把挂载信息写入/etc/fstab文件中，否则下次开机启动时仍然需要重新挂载。系统开机时会主动读取fstab文件中的内容，根据fstab文件里面的配置挂载卷。只需要将卷的挂载信息写入fstab文件中就不需要每次开机启动之后手动进行挂载了。4.3弹性块存储EBS

第四章存储服务4.3.2实例挂载EBS卷在Linux系统完成新建卷挂载之后，在命令行窗口中输入df-h命令，再次当前系统中的卷使用状况。在输出结果中可以看到/mnt/ebs-test挂载点上已经出现了容量为2.0G的新建卷。[ec2-user@ip-172-31-87-124~]$df-hFilesystemSizeUsedAvailUse%Mountedondevtmpfs475M0475M0%/devtmpfs492M0492M0%/dev/shmtmpfs492M392K492M1%/runtmpfs492M0492M0%/sys/fs/cgroup/dev/xvda18.0G1.2G6.9G15%/tmpfs99M099M0%/run/user/1000/dev/xvdf2.0G3.1M1.9G1%/mnt/ebs-test4.3弹性块存储EBS

第四章存储服务4.3.3创建及恢复EBS快照EBS卷可以像虚拟机一样创建快照，EBS快照用来为新建卷提供基准或者用于备份。EBS快照采用增量备份，只保存最近一次快照后更新的数据。因此，创建EBS快照所需的时间和存储空间都大大降低。用户可以在任意时间点创建EBS快照，快照被保存在AmazonS3上，具有很好的持久性。EBS快照中包含了将原EBS卷中数据恢复的所有信息，可以很容易地在新建卷上恢复原始数据。此外，EBS快照可以在不同AWS用户之间进行分享，在不同AWS区域之间进行复制，为资源共享提供便利。4.3弹性块