云架构设计实战 课件 单元 6 网络文件系统、对象存储服务

云计算技术

单元6网络文件系统、对象存储服务单元概述

本单元将介绍亚马逊云科技的两个存储服务的使用：网络文件系统服务AmazonEFSAmazonElasticFileSystem提供简单、可扩展、完全托管的弹性NFS（Liunx系统之间常用的文件共享方式）文件系统可以让亚马逊云科技上的云主机（实例）、甚至本地的主机进行挂载对象存储服务AmazonS3AmazonSimpleStorageService是一种对象存储服务（OBS，ObjectStorageService）具有高可扩展性、数据可用性、安全性和性能各种应用可以使用AmazonS3来存储数据，容量几乎不限学习目标知识点：什么是AmazonEFSAmazonEFS的特点什么是对象存储（OBS）存储桶、对象的概念对象存储的架构对象的版本控制概念存储桶的生命周期概念、存储的类型存储桶的控制列表(ACL)对象的控制列表(ACL)存储桶策略技能点：创建AmazonEFS在Linux上手动挂载AmazonEFS在Linux上自动挂载AmazonEFS创建存储桶、在存储桶创建文件夹和上传对象访问对象的前版本，使用对象的版本恢复删除的对象管理存储桶的生命周期使用对象的控制列表(ACL)控制对象的访问使用存储桶策略控制对象的访问利用S3托管静态网站

项目1使用关系型数据库服务项目描述本项目将在AmazonWebServices中创建一个文件系统，该文件系统有两个子目录，分别针对两个子目录创建接入点；把文件系统根目录及接入点挂载到Linux实例Linux系统之间的文件共享经常是使用NFS（NetworkFileSystem）服务AmazonWebServices提供了云上的NFS，称为AmazonElasticFileSystem任务1知识预备与方案设计项目1使用关系型数据库服务1.什么是AmazonEFS服务AmazonEFS提供弹性NFS文件系统，可与云服务和本地资源结合使用可不中断应用程序的情况下按需扩展至PB级提供对数千个EC2实例的大规模并行共享访问，能够以低延迟实现高水平的聚合吞吐量和IOPS2.AmazonEFS服务特点AmazonEFS服务使用简单、可扩展、完全托管AmazonEFS支持身份验证、授权和加密功能AmazonEFS支持两种形式的加密：传输中加密和静态加密AmazonEFS提供两种存储类别：Standard和InfrequentAccessAmazonEFS支持NFSv4.1和NFSv4.0协议项目1使用关系型数据库服务3.方案设计本项目在中国（北京）区域（cn-north-1）创建VPC，名称为MyVPCLinux实例位于Public-net-2子网，用于测试连接到EFS创建EFS文件系统，名为EFS-SZ，启用静态加密，性能模式为：一般用途在Linux实例上挂载该文件系统，并创建两个子目录dir-1、dir-2在Linux实例上实现开机自动挂载接入点任务2创建弹性文件系统项目1使用关系型数据库服务1.创建VPC参见学习单元3的步骤创建MyVPC注意：在该VPC务必要启用“DNS主机名”和“DNS解析”2.创建EC2参见学习单元2的步骤创建Linux实例，并且能从管理员计算机登录到该实例Linux实例的AMI为“AmazonLinux2AMI(HVM),SSDVolumeType”实例类型为t2.micro，连接在Public-net-2网络上自动分配公有IP，安全组允许TCP22流量（即SSH流量）通过项目1使用关系型数据库服务3.创建安全组参见单元3的步骤，在MyVPC上创建安全组SecGRPPermitNFS该安全组将允许/16网络（即MyVPC）主机访问EFSEFS使用的是NFS协议项目1使用关系型数据库服务4.创建文件系统（1）准备好VPC和安全组后，可以开始创建文件系统了。在AmazonWebServices控制台，单击“服务”→“存储和内容分发”→“EFS”→“文件系统”链接，单击“创建文件系统”按钮，在弹出窗口单击“自定义”按钮展开窗口设置：名称；启用自动备份生命周期管理；性能模式吞吐量模式；启用静态数据的加密单击“下一步”按钮项目1使用关系型数据库服务（2）在VPC列表选中之前创建好的“MyVPC”系统会自动每个可用区“cn-north-1a”、“cn-north-1b”添加挂载目标强烈建议在VPC的每个可用区都添加一个挂载点，避免客户端跨可用区挂载EFS可用区“cn-north-1a”的子网选择“Private-net-1”、“Private-net-2”安全组选择“SecGRPPermitNFS”。单击“下一步”按钮项目1使用关系型数据库服务（3）文件系统策略用来控制EFS客户端的访问权限，单击“下一步”按钮在下一窗口，确认以上设置的参数无误后，单击“创建”按钮，注意文件系统的ID，稍后需要用到“阻止根访问”：阻止根用户（root）访问EFS“强制执行只读访问”：只能读取EFS“对所有客户端强制执行传输中加密”：EFS客户和EFS之间加密传输可以手工在策略编辑器{JSON}窗口里创建策略：elasticfilesystem:ClientMount提供对文件系统的只读访问权限elasticfilesystem:ClientMount提供对文件系统的只读访问权限elasticfilesystem:ClientRootAccess提供对文件系统的根的访问权限elasticfilesystem:ClientWrite提供对文件系统的写入权限项目1使用关系型数据库服务（4）单击列表中的文件系统，可以看到文件系统的详细信息单击“连接”按钮，可以看到如何在Linux挂载文件系统的方法项目1使用关系型数据库服务任务3在Linux上挂载弹性文件系统1.在Linux上使用EFS挂载帮助程序挂载文件系统（1）远程登录到Linux实例（2）安装挂载帮助程序amazon-efs-utils软件包在Linux上执行以下命令：sudoyuminstall-yamazon-efs-utils（3）创建挂载点执行以下命令：sudomkdir/efs（4）挂载EFS执行以下命令，其中以“fs-7eda6fe3”是文件系统的IDsudomount-tefs-otlsfs-7eda6fe3://efs项目1使用关系型数据库服务（5）测试执行以下命令，往/efs目录写入文件，并创建两个子目录供后续步骤使用cd/efssudotouchtest.txtsudomkdirdir-1sudomkdirdir-2（6）卸载目录执行以下命令可以卸载cd/sudoumount/efs项目1使用关系型数据库服务2.使用接入点挂载文件系统（1）单击“接入点”→“创建接入点”，根目录路径为EFS上的/dir-1其他选项保持默认值，单击“创建接入点”按钮为创建好的接入点，注意接入点的ID以同样方式，创建accesspoint-2，根目录为/dir-2项目1使用关系型数据库服务（2）使用接入点挂载如下命令，其中“fsap-04d1be279f5fa1a0f”是接入点的ID

sudomount-tefs-otls,accesspoint=fsap-04d1be279f5fa1a0ffs-7eda6fe3:/efs（3）Linux开机自动挂载要实现自动挂载，需要在/etc/fstab配置文件加如以下行：fs-7eda6fe3/efsefs_netdev,noresvport,tls,accesspoint=fsap-04d1be279f5fa1a0f00重新启动系统测试项目2使用对象存储服务项目描述本项目将创建两个存储桶，分别用以存放不能公开访问的文件和托管企业的静态网站AmazonS3(AmazonSimpleStorageService)，是一种对象存储服务，提供行业领先的可扩展性、数据可用性、安全性和性能规模和行业的客户都可以使用AmazonS3来存储并保护各种用例（如数据湖、网站、移动应用程序、备份和还原、存档、企业应用程序、IoT设备和大数据分析）的数据，容量不限任务1知识预备与方案设计项目2使用对象存储服务1.对象存储对象存储服务是一个基于对象的海量存储服务，为客户提供海量、安全、高可靠、低成本的数据存储能力对象存储系统和单个桶（Bucket）都没有总数据容量和对象/文件数量的限制对象存储是一项面向Internet访问的服务，用户可以接到Internet的电脑，通过控制台或各种工具访问和管理存储在对象存储中的数据对象存储支持SDK和对象存储API接口，可使用户方便管理自己存储在对象存储上的数据，以及开发多种类型的上层业务应用项目2使用对象存储服务1.对象存储对象（Object）是AmazonS3中存储的基础实体。对象由对象数据（Data）和元数据（Metadata）组成。数据部分对AmazonS3是不透明的元数据是一组描述对象的名称--值对，其中包括一些默认元数据（如上次修改日期）和标准HTTP元数据（如Content-Type），用户还可以在存储对象时指定自定义元数据项目2使用对象存储服务2.对象存储架构与FAT32、NTFS之类的文件系统相比，对象存储将元数据（Metadata）独立了出来，元数据里写明了数据的所有属性，包括打散后的每个块所存储的位置。对象存储将元数据和数据进行了分开存储，这样只要读取到了元数据，就能找到所有的数据块，并可以同时对数据块进行读取，大大提高了数据处理的效率项目2使用对象存储服务2.对象存储架构MDS控制Client与OSD对象的交互，主要提供以下几个功能：（1）对象存储访问（2）文件和目录访问管理（3）ClientCache一致性OSD提供三个主要功能：（1）数据存储（2）优化的数据分布（3）每个对象元数据的管理项目2使用对象存储服务3.方案设计本项目在区域（cn-north-1）创建两个存储桶，szpt20210403和szptweb存储桶szpt20210403存放不能公开访问的文件，启用版本控制、服务器端加密创建生命周期规则，把180天以上的非当前版本的对象转储到“智能分层”配置存储桶访问控制列表(ACL)，阻止所有公开访问创建存储桶策略，授权新建用户zhang_ning可以从存储桶下载对象szptweb用以托管静态的网站，需公开访问对象存储的优点：（1）容量无限大。对象存储的容量是EB级以上（1EB=1048576TB）（2）数据安全可靠。数据持久性可以达到99.999999999%（一共11个9）（3）使用方便。对象存储是一个非常方便的存储方式任务2使用存储桶项目2使用对象存储服务1.创建存储桶（1）以管理员身份登录AmazonWebServices控制台，单击“服务”→“存储和内容分发”→“S3”→“存储桶”链接→“创建存储桶”按钮。输入存储桶的名称，须保证名称全球唯一；选择存储桶的区域，区域一旦选定不可更改项目2使用对象存储服务（2）保持“阻止所有公开访问”，则阻止对此存储桶及其对象的公开访问。版本控制是将某一对象的多个版本保留在同一存储桶中的一种方法，用户可以使用版本控制来保留、检索以及还原存储在AmazonS3存储桶中每个对象的每个版本。默认时存储桶的版本控制是禁用的，本例选择“启用”项目2使用对象存储服务（3）单击“添加标签”按钮，可以为存储桶添加标签来跟踪存储成本或其他标准。如果选择“启用”服务器端加密，并选择“加密密钥类型”，则存储桶中存储对象时将加密对象（4）单击“创建存储桶”按钮，完成创建。则在存储桶列表中可以看到新创建的存储桶项目2使用对象存储服务2.存储桶的基本使用（1）创建文件夹。单击新创建的存储桶szpt20210403链接，单击“创建文件夹”按钮。输入文件夹的名称；以及选择该文件夹是否启用“服务器端加密”，该选项仅应用于新文件夹对象，但不应用于其中包含的对象。单击“创建文件夹”按钮完成创建。完成后，可以单击该文件的链接进入文件夹项目2使用对象存储服务（2）上传对象。先切换到“photos”文件夹。再单击“对象”选项卡→“上传”按钮，单击“添加文件”按钮，可以把要上传的文件添加到列表中；单击“添加文件夹”按钮，则可以把整个文件夹的文件添加到列表中；单击“删除”按钮，可以把文件从上传的列表中删除项目2使用对象存储服务（3）单击“其他上传选项”旁的三角形按钮。可以指明对象上传后使用的存储类。（4）因为存储桶已经设置了服务器端加密，则上传的对象必须指定加密密钥项目2使用对象存储服务（5）设置访问控制列表(ACL)，向其他AmazonWebServices账户授予读/写权限（6）单击“添加标签”按钮，添加标签来跟踪对象的存储成本或其他标准；单击“添加元数据”按钮，可以添加对象的元数据项目2使用对象存储服务（7）单击“上传”→“关闭”，完成文件上传，根据文件大小和网速，等待时间不一（8）在对象列表中选中对象，在“操作”下拉列表中可以选择对象的操作，有复制、移动、下载、编辑等操作项目2使用对象存储服务3.对象的版本控制（1）参见前面的步骤，重新在szpt20210403存储桶的photos文件夹下，上传puppy.jpg文件，图片内容需要更新，但是文件名不能改变。当存储桶启用版本控制后，覆盖原对象时会出现新的版本（2）单击puppy.jpg对象，单击“版本”选项卡，可以看到对象的不同版本。单击对象的不同版本，则可以下载之前版本的对象或者编辑元数据项目2使用对象存储服务（3）删除对象、测试恢复对象。选中“puppy.jpg”对象，单击“删除”按钮。输入“删除”字样，单击“删除对象”按钮，删除对象；再单击“关闭”按钮；则对象被删除，但这并不是永久删除对象，可以恢复（4）永久删除对象。如果要永久删除对象，就需要删除对象的全部版本。选择对象的全部版本，如有类型为“删除标记”的版本，也需要选中。单击“删除按钮”，再次确认。永久删除的对象无法恢复项目2使用对象存储服务4.管理生命周期可以管理存储桶的生命周期，以经济高效地存储对象，S3生命周期配置是一组规则，用于定义AmazonS3对一组对象应用的操作。有两种类型的操作：转换操作：定义对象转换为另一个使用AmazonS3存储类的时间。例如，可以选择在对象创建30天后将其转换为S3标准–IA存储类，或在对象创建1年后将其存档到S3Glacier存储类II.过期操作：定义对象的过期时间。AmazonS3将自动删除过期的对象项目2使用对象存储服务（1）在存储桶列表中，单击szpt20210403存储桶→单击“管理”选项卡→“创建生命周期规则”。输入规则名称。可以选择规则作用的范围，根据对象的前缀或者对象的标签筛选对象。本例选择“此规则将应用于存储桶中的所有对象”选项。同时要勾选“我了解，此规则将应用于存储桶中的所有对象”选项，需要额外注意的是，该操作可能会产生费用项目2使用对象存储服务（2）可以设置各种生命周期规则操作。本例将在对象变为非当前对象（即被覆盖）后180天，对象的先前版本的存储类型转为“智能分层”。单击“保存”按钮（3）为新创建的生命周期规则，单击该规则，可以删除、编辑或者禁用项目2使用对象存储服务5.管理访问保证数据安全是用户的基本需求AmazonS3支持使用基于资源的策略和用户策略来管理对AmazonS3资源的访问基于资源的策略包括存储桶策略、存储桶访问控制列表(ACL)和对象ACL（1）存储桶访问控制列表(ACL)AmazonWebServices已经不建议使用存储桶ACL了，存储桶ACL的唯一建议的使用案例是授予AmazonS3日志传输组写入权限，以便将访问日志对象写入存储桶和存储桶ACL相关的还有一个“阻止所有公开访问”选项项目2使用对象存储服务在存储桶列表中，单击存储szpt20210403→“权限”选项卡→“阻止公有访问(存储桶设置)”选项区→“编辑”按钮，可以设置存储桶是否可以被公有访问。如果阻止所有公开的访问，则即使使用对象ACL或者存储桶策略授权公有访问项目2使用对象存储服务要编辑存储桶的ACL，则在存储桶列表中单击存储桶szpt20210403→“权限”选项卡，默认时存储桶拥有者有全部权限项目2使用对象存储服务（2）对象访问控制列表(ACL)存储桶和对象的权限是相互独立的，对象不继承其存储桶的权限。要编辑对象的ACL，首先在存储桶中的文件夹找到对象，再单击对象→“权限”选项卡→“编辑”按钮。对象的各ACL权限含义项目2使用对象存储服务（3）存储桶策略可以创建和配置存储桶策略，来授予用户对AmazonS3资源的权限存储桶策略使用基于JSON的访问策略语言，一个存储桶只能有一个策略以下以授予新建用户zhang_ning可以从存储桶szpt20210403下载对象为例（A）参见单元4，以管理员用户登录AmazonWebServices控制台，在IAM里创建一个新的用户zhang_ning项目2使用对象存储服务（B）使用用户策略授予zhang_ning浏览存储桶权限。参见单元4，为zhang_ning添加内联，名为S3_ListAllMyBuckets以zhang_ning用户，访问S3资源，可以浏览存储桶列表，但是仍然无法访问存储桶szpt20210403，更无法下载存储桶中的对象{"Version":"2012-10-17","Statement":[{"Sid":"VisualEditor0","Effect":"Allow","Action":"s3:ListAllMyBuckets","Resource":"*"}]}项目2使用对象存储服务（C）编辑存储桶策略，允许zhang_ning用户从存储桶szpt20210403下载对象在存储桶的“权限”选项卡中找到存储桶策略区域，单击“编辑”在策略编辑区输入策略并保存项目2使用对象存储服务（E）以zhang_ning用户，重新访问S3资源，可以访问存储桶szpt20210403，也下载存储桶中的对象（D）鉴于策略编写是