网络存储技术及应用 第2版 课件 项目六 认识网络存储新技术

项目6认识网络存储新技术Item6

-UnderstandingNewTechnologiesinNetworkStorage网络存储技术及应用NetworkStorageTec.&App.目录任务1认识云存储任务2认识面向对象存储任务3理解容灾系统任务4认识软件定义存储项目小结什么是云存储任务1

认识云存储Task1UnderstandCloudStorage1►概念

云存储是在云计算（CloudComputing）概念上延伸和发展出来的一种新兴的网络存储技术，是一个以数据存储和管理为核心的云计算系统。它是通过集群应用、网格技术、分布式文件系统等，将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能的服务系统。►实质

与传统的存储概念相比，云存储不再仅仅是硬件的集合，而是一个由网络设备、存储设备、服务器、应用软件、公用访问接口、接入网和客户端程序等多个实体组成的复杂系统。在这个系统中，应用软件与存储设备结合是核心，其实现了存储设备向存储服务的转变。什么是云存储任务1

认识云存储Task1UnderstandCloudStorage1►服务

云存储通过软件提供数据存储和业务访问服务，是一种将存储资源放到云上供人访问的技术方案。云存储提供的是存储服务，存储服务通过网络将本地数据存放在存储服务提供商（StorageServiceProvider，SSP）提供的在线存储空间中。►与云计算的关系

云由云存储、云主机、云计算三大服务模块组成，目前主流的基础设施即服务（IaaS）属于云存储和云主机范畴，而平台即服务（PaaS）和软件即服务（SaaS）都属于云计算范畴。云存储系统将网络中大量不同类型的存储设备通过应用软件集合起来协同工作，对外提供数据存储和业务访问功能，是云计算系统的延伸。什么是云存储任务1

认识云存储Task1UnderstandCloudStorage1►类别云存储可分为以下三类。►►公共云存储由云存储服务提供商规划、建设和管理，面向公众、企业提供存储设施服务。►►私有云存储一种独享的云存储服务，为某一企业或社会团体独有，存储保存了企业的所有数据和应用。私有云存储可由企业自行建立并管理，也可由专门的云服务公司根据企业的需要从公共云存储划出一部分出来用作私有云存储，并提供解决方案协助建立并管理。与私有云类似的一个概念是内部云存储的区别。►►混合云存储把公共云存储和私有云存储整合成更具功能性的解决方案，提供企业级的安全性、跨云平台的可管理性、负载/数据的可移植性以及互操作性。什么是云存储任务1

认识云存储Task1UnderstandCloudStorage1云存储的系统架构2将不同类型的存储设备互连起来，实现海量数据的统一管理，并且实现对存储设备的集中管理、状态监控及容量的动态扩展。云存储中的存储设备往往数量庞大且分布在不同地域，彼此之间通过广域网、互联网或FC光纤通道网络连接在一起。云存储最核心的部分，也是云存储中最难以实现的部分，该层通过集群、分布式文件系统和网格计算等技术，为上层提供不同服务间公共管理的统一视图，通过设计统一的用户管理、安全管理、副本管理及策略管理等公共数据管理功能，将底层存储及上层应用无缝衔接起来，实现多存储设备之间的协同工作，以更好的性能对外提供多种服务。云存储平台中可以灵活扩展的、直接面向用户的部分。根据用户需求，可以开发出不同的应用接口，提供数据存储、空间租赁、公共资源、多用户数据共享、数据备份等服务等。这一层中任何一个授权用户都可以通过标准的公用应用接口来登录云存储系统，享受云存储服务。云存储运营单位不同，云存储提供的访问类型和访问手段也不同。►►►►什么是云存储任务1

认识云存储Task1UnderstandCloudStorage1云存储的系统架构2云存储的关键技术3存储虚拟化技术数据缩减技术分布式存储技术数据备份技术内容分发网络技术存储加密技术数据容错技术►是云存储的核心技术。通过存储虚拟化方法，把不同厂商、不同型号、不同通信技术、不同类型的存储设备互联起来，将系统中各种异构的存储设备映射为一个统一的存储资源池。►能够对存储资源进行统一分配管理，又可以屏蔽存储实体间的物理位置及异构特性，实现了资源对用户的透明性，降低了构建、管理和维护资源的成本，提升了云存储系统的资源利用率。存储虚拟化技术不同设备与厂商之间略有区别，总体来说有三种技术。►►基于主机的存储虚拟化►►基于存储设备的虚拟化►►基于存储网络的虚拟化什么是云存储任务1

认识云存储Task1UnderstandCloudStorage1云存储的系统架构2云存储的关键技术3存储虚拟化技术数据缩减技术分布式存储技术数据备份技术内容分发网络技术存储加密技术数据容错技术►随着云存储的广泛应用，数据的多副本存放、存储空间超分配等现象越来越普遍。数据的重复副本的删除、冗余空间的压缩、增加网络中的有效数据量、降低运算资源的消耗等数据缩减技术逐渐被重视。主要的数据缩减技术有以下几种。►►自动精简配置该技术利用虚拟化方法减少物理存储空间的分配，最大限度提升存储空间利用率。什么是云存储任务1

认识云存储Task1UnderstandCloudStorage1云存储的系统架构2云存储的关键技术3存储虚拟化技术数据缩减技术分布式存储技术数据备份技术内容分发网络技术存储加密技术数据容错技术►►自动存储分层自动存储分层是把活动数据保留在快速、昂贵的存储上，把不活跃的数据迁移到廉价的低速存储上，以限制或降低存储花费总量的一种机制。自动存储分层技术的特点则是其分层的自动化和智能化。传统配置方式是一个整卷一起迁移。自动存储分层技术可以按照子卷级、文件级和字节级进行数据迁移。什么是云存储任务1

认识云存储Task1UnderstandCloudStorage1云存储的系统架构2云存储的关键技术3存储虚拟化技术数据缩减技术分布式存储技术数据备份技术内容分发网络技术存储加密技术数据容错技术►►重复数据删除

又称去重技术，是一种通过数据集中、删除重复的数据，只保留其中一份，从而消除冗余数据，优化存储容量的技术。按照消重的粒度可以分为文件级和数据块级，使用哈希算法计算数据指纹，具有相同指纹的数据块即可认为是相同的数据块，存储系统中仅需要保留一份。这样，一个物理文件在存储系统中就只对应一个逻辑表示。►►数据压缩通过压缩算法，减少了数据量，节省了信息存储数据的存储空间。该技术可以显著降低待处理和存储的数据量，是解决海量信息存储和传输的关键技术之一。目前主流的压缩技术有离线和在线两大类，离线属于传统的压缩技术，实时压缩技术异军突起。什么是云存储任务1

认识云存储Task1UnderstandCloudStorage1云存储的系统架构2云存储的关键技术3存储虚拟化技术数据缩减技术分布式存储技术数据备份技术内容分发网络技术存储加密技术数据容错技术►分布式存储技术通过网络使用服务商提供的各个存储设备上的存储空间，将这些分散的存储资源构成一个虚拟的存储设备，数据分散地存储在各个存储设备上。主要有分布式块存储、分布式文件系统存储、分布式对象存储和分布式表存储四类。►►分布式块存储块存储通过对存储空间中的一个或一段地址进行访问，实现直接读写磁盘空间。相对于其他数据读取方式，块存储的读取效率最高，一些大型数据库应用只能运行在块存储设备上。分布式块存储系统目前以标准的Intel/Linux硬件组件作为基本存储单元，组件之间通过千兆以太网采用任意点对点拓扑技术相互连接，共同工作，构成大型网格存储，网格内采用分布式算法管理存储资源。什么是云存储任务1

认识云存储Task1UnderstandCloudStorage1云存储的系统架构2云存储的关键技术3存储虚拟化技术数据缩减技术分布式存储技术数据备份技术内容分发网络技术存储加密技术数据容错技术►►分布式文件系统存储

分布式文件存储系统可提供通用的文件访问接口，如POSIX、NFS、CIFS、FTP等，实现文件与目录操作、文件访问、文件访问控制等功能。目前的分布式文件系统存储的实现有软硬件一体和软硬件分离两种方式。分布式文件系统存储主要通过NAS虚拟化，或者基于X86硬件集群和分布式文件系统集成在一起，以实现海量非结构化数据处理能力。►►分布式对象存储分布式对象存储是为海量数据通过键值查找数据文件的存储模式。通过引入对象元数据来描述对象特征，对象元数据具有丰富的语义；引入容器概念作为存储对象的集合。对象存储系统底层基于分布式对象存储系统来实现数据的存取，其存储方式对外部应用透明。什么是云存储任务1

认识云存储Task1UnderstandCloudStorage1云存储的系统架构2云存储的关键技术3存储虚拟化技术数据缩减技术分布式存储技术数据备份技术内容分发网络技术存储加密技术数据容错技术►►分布式表存储

分布式表结构存储是一种结构化数据存储，与传统数据库相比，它提供的表空间访问功能受限，但更强调系统的可扩展性。提供表存储的云存储系统的特征就是同时提供高并发的数据访问性能和可伸缩的存储和计算架构。提供表存储的云存储系统有两类接口访问方式。一类是标准的xDBC、SQL数据库接口；另一类是Map-reduce的数据仓库应用处理接口。前者目前以开源技术为主，尚未有成熟的商业软件，后者已有商业软件和成功的商业应用案例。

什么是云存储任务1

认识云存储Task1UnderstandCloudStorage1云存储的系统架构2云存储的关键技术3存储虚拟化技术数据缩减技术分布式存储技术数据备份技术内容分发网络技术存储加密技术数据容错技术►数据备份技术是将数据本身或其中的部分在某一时间的状态以特定的格式保存下来，以在原数据由于出现错误、被误删除、恶意加密等各种原因不可用时，能够快速、准确地将数据进行恢复的技术。数据备份是容灾的基础，是为防止突发事故而采取的一种数据保护措施，根本目的是数据资源重新利用和保护，核心的工作是数据恢复。►►数据副本布局通过集中式的存储目录来定位数据对象的存储位置。这种方式可以利用存储目录中存放的存储节点信息，将数据对象的多个副本放置在不同机架上，从而可大大提高系统的数据可靠性。例如：谷歌文件系统（GFS）、Hadoop分布式文件系统（HDFS）。另一种副本布局方法是基于哈希算法的副本布局方式。什么是云存储任务1

认识云存储Task1UnderstandCloudStorage1云存储的系统架构2云存储的关键技术3存储虚拟化技术数据缩减技术分布式存储技术数据备份技术内容分发网络技术存储加密技术数据容错技术►►备份策略

指确定需备份的内容、备份窗口（时间）、备份频率、备份方式（完全备份、增量备份、差分备份或按需备份四种方式中的一种或几种的组合）、备份工具（手动、自动）、备份目标和介质等内容。►►连续数据保护（CDP）是一种连续捕获和保存数据变化，并将变化后的数据独立于初始数据进行保存的方法，而且该方法可以实现过去任意一个时间点的数据恢复。CDP系统可能基于块、文件或应用，并且为数量无限的可变恢复点提供精细的可恢复对象。因此，CDP可以提供更快的数据检索、更强的数据保护和更高的业务连续性能力，而与传统的备份解决方案相比，CDP的总体成本和复杂性都要低。什么是云存储任务1

认识云存储Task1UnderstandCloudStorage1云存储的系统架构2云存储的关键技术3存储虚拟化技术数据缩减技术分布式存储技术数据备份技术内容分发网络技术存储加密技术数据容错技术►基本思想：尽量避开互联网上由于网络带宽小、网点分布不均、用户访问量大等影响数据传输速度和稳定性的弊端，使数据传输得更快、更稳定。途径：通过在网络各处放置节点服务器，在现有互联网的基础之上构成一层智能虚拟网络，实时根据网络流量、各节点的连接和负载情况、响应时间、到用户的距离等信息将用户的请求重新导向离用户最近的服务节点上。效果：使用该技术的目的是使用户可就近取得所需内容，解决互联网网络拥挤的状况，提高用户访问网站的速度。什么是云存储任务1

认识云存储Task1UnderstandCloudStorage1云存储的系统架构2云存储的关键技术3存储虚拟化技术数据缩减技术分布式存储技术数据备份技术内容分发网络技术存储加密技术数据容错技术►存储加密是指当数据从前端服务器输出，或在写进存储设备之前通过系统为数据加密，以保证存放在存储设备上的数据只有授权用户才能读取。常用的存储加密技术：全盘加密：全部存储数据都是以密文形式书写的；虚拟磁盘加密：存放数据之前建立加密的磁盘空间，并通过加密磁盘空间对数据进行加密；卷加密：所有用户和系统文件都被加密；文件/目录加密：对单个的文件或目录进行加密。什么是云存储任务1

认识云存储Task1UnderstandCloudStorage1云存储的系统架构2云存储的关键技术3存储虚拟化技术数据缩减技术分布式存储技术数据备份技术内容分发网络技术存储加密技术数据容错技术►数据容错技术是云存储研究领域的一项关键技术，良好的容错技术不但能够提高系统的可用性和可靠性，而且能够提高数据的访问效率。数据容错技术一般都是通过增加数据冗余来实现的，以保证即使在部分数据失效以后也能够通过访问冗余数据满足需求。常用的容错技术主要有两类：基于复制（Replication）的容错技术简单直观，易于实现和部署，但是需要为每个数据对象创建若干同样大小的副本存储空间，开销很大。基于纠删码（Erasure

Code）的容错技术把多个数据块的信息融合到较少的冗余信息中，因此能够有效地节省存储空间，但是对数据的读写操作要分别进行编码和解码操作，需要一些计算开销。什么是云存储任务1

认识云存储Task1UnderstandCloudStorage1云存储的系统架构2云存储的关键技术3►容易扩容相比传统的存储扩容，云存储架构采用的是并行扩容方式，当客户需要增加容量时，可按照需求采购服务器和存储设备，简单增加即可实现容量的扩展。►易于管理存储服务器的使用状况可以通过一个统一管理界面监控，使维护变得简单和易操作,大大减轻了管理人员的工作负担。►成本更低廉云存储系统对存储设备、服务器设备、硬盘等产品的一致性没有要求，不同介质、容量、厂牌、型号的硬盘，都可以一起工作，既可以实现原有硬件的利旧保护投入，又可以实现新技术、新设备的快速更新，合理搭配、优化选择、可持续发展。用户和企业可以“按需使用”，大大降低数据成本。云存储的技术优势4什么是云存储任务1

认识云存储Task1UnderstandCloudStorage1云存储的系统架构2云存储的关键技术3►数据更安全传统存储系统会因为系统升级或硬件损坏而导致服务停止。云存储可将文件和数据保存在不同的存储节点，避免了系统升级或硬件损坏带来的数据不可用。云存储系统知道文件存放的位置，在系统升级或硬件损坏时，云存储系统会自动将读写指令导向存放在另一台存储服务器上的文件，保持服务的继续，等可用的存储服务器上线后，文件会再迁移回来。云存储的技术优势4

云存储的存储效率高，实现了负载均衡、故障冗余功能，灵活、简易的存储管理降低了管理的复杂度，能够帮助用户实现业务应用的自动化和智能化，提高了工作效率，云端通过采用服务器集群、异地容灾和容错等技术保证了数据的完整性，切实保护了用户数据权益。什么是云存储任务1

认识云存储Task1UnderstandCloudStorage1云存储的系统架构2云存储的关键技术3►云存储不仅是存储，更是一种服务，支持用户在任何时间、任何地方，透过任何可连网的装置连接到云上，以方便地分享数据。目前提供云存储产品和服务的厂商很多，分别满足不同需求的用户需要。例如，面向移动终端的云存储工具有百度云、DBank、iCloud、SkyDrive、360云盘等；面向企业的云存储有华为云、阿里云、中国电信天翼云、AmazonCloud、微软Azure等。云存储的技术优势4

本任务主要围绕什么是云存储这个主题，先介绍了云存储的概念和内涵、云存储与云计算的关系、云存储的三种类别；然后按照层次体系介绍了云存储的系统架构和组成要素；最后介绍了云存储的七种关键技术。常见的云存储产品5任务小结6任务2认识面向对象存储Task2UnderstandObject-OrientedStorage什么是面向对象存储1►面向对象存储产生的背景►面向对象存储有桶（Bucket，又翻译为“容器”）和对象（Object）两种数据描述。其中，桶是一个需要用户创建的存储空间，桶里面存放各类对象，是一种非常扁平化的存储方式。从系统结构与块存储、文件存储的比较如图所示。任务2认识面向对象存储Task2UnderstandObject-OrientedStorage什么是面向对象存储1►面向对象存储产生的背景►面向对象存储有桶（Bucket，又翻译为“容器”）和对象（Object）两种数据描述。其中，桶是一个需要用户创建的存储空间，桶里面存放各类对象，是一种非常扁平化的存储方式。►桶和对象都有一个全局唯一的ID，用户/应用通过接入码（AccessKey）认证后，就可以通过Web服务协议访问桶/对象及相关的数据、元数据和对象属性，实现对象的读写和存储资源的访问。►采用对象数据组织，既有“块”接口的快速，又有“文件”接口的共享。突破了SAN的文件共享限制和NAS系统中常见的数据路径瓶颈。在安全性、跨平台数据共享、高性能和可扩展性特性中更胜一筹。任务2认识面向对象存储Task2UnderstandObject-OrientedStorage什么是面向对象存储1►由对象、对象存储客户端、对象存储服务器（又称数据存储设备）、元数据服务器四部分组成，通过高速网络或者独立布线进行连接，基于标准SCSI-3命令集进行数据通信。面向对象存储系统的组成和使用2组成要素对象的读写流程桶和对象的访问操作任务2认识面向对象存储Task2UnderstandObject-OrientedStorage什么是面向对象存储1►由对象、对象存储客户端、对象存储服务器（又称数据存储设备）、元数据服务器四部分组成，通过高速网络或者独立布线进行连接，基于标准SCSI-3命令集进行数据通信。►►对象和桶

对象是系统中数据存储的基本单位，由数据、数据属性集、数据操作等组成。具体的一个对象主要包括数据自身、一个全局唯一的OID（ObjectID）和不确定数量的元数据三部分，以及与数据相关的存取模式、数据分布、服务质量等数据属性设置，数据的读写、对象存储设备状态的查看、建立、删除、下线等操作。面向对象存储系统的组成和使用2组成要素对象的读写流程桶和对象的访问操作任务2认识面向对象存储Task2UnderstandObject-OrientedStorage什么是面向对象存储1►由对象、对象存储客户端、对象存储服务器（又称数据存储设备）、元数据服务器四部分组成，通过高速网络或者独立布线进行连接，基于标准SCSI-3命令集进行数据通信。►►对象和桶

对象是系统中数据存储的基本单位，由数据、数据属性集、数据操作等组成。具体的一个对象主要包括数据自身、一个全局唯一的OID（ObjectID）和不确定数量的元数据三部分，以及与数据相关的存取模式、数据分布、服务质量等数据属性设置，数据的读写、对象存储设备状态的查看、建立、删除、下线等操作。桶有一些属性用来控制桶地域（Region）、对象的访问控制、对象的生命周期等，这些属性是作用在该桶下所有的对象上的，因此用户可以灵活创建不同的桶来完成不同的管理功能。面向对象存储系统的组成和使用2组成要素对象的读写流程桶和对象的访问操作任务2认识面向对象存储Task2UnderstandObject-OrientedStorage什么是面向对象存储1►由对象、对象存储客户端、对象存储服务器（又称数据存储设备）、元数据服务器四部分组成，通过高速网络或者独立布线进行连接，基于标准SCSI-3命令集进行数据通信。►►对象和桶

对象是系统中数据存储的基本单位，由数据、数据属性集、数据操作等组成。具体的一个对象主要包括数据自身、一个全局唯一的OID（ObjectID）和不确定数量的元数据三部分，以及与数据相关的存取模式、数据分布、服务质量等数据属性设置，数据的读写、对象存储设备状态的查看、建立、删除、下线等操作。►►对象存储系统的客户端（Client）有效支持客户端访问OSD上的对象，现有的应用对数据的访问大部分都是通过POSIX文件系统接口实现的，对象存储系统提供给用户的也是标准的POSIX文件系统接口，允许应用程序像执行标准的文件系统操作一样进行操作。►►对象存储设备服务器（ObjectStorageServer，OSS）面向对象存储系统的组成和使用2组成要素对象的读写流程桶和对象的访问操作任务2认识面向对象存储Task2UnderstandObject-OrientedStorage什么是面向对象存储1►►对象存储设备服务器（OSS）负责存储对象数据的分布式服务器对象存储设备（OSD），主要负责存储文件的数据部分。当用户访问一指定对象时，将先访问元数据服务器，元数据服务器负责查找对象存储在哪些OSD上。OSD服务器数量越多，这种读写速度的提升就越大。通过此种方式，就实现了读写快的目的。OSD通常采用刀片式结构，是对象存储系统的核心，具有独立的存储介质、CPU、内存及网络系统等，负责管理本地的对象。OSD主要有数据存储、智能分布、对象元数据的管理三个功能。►►元数据服务器（MetadataServer，MDS）对象存储将元数据和数据进行了分开存储，元数据里写明了数据的所有属性，包括条带化后每个块所存储的位置。这样只要读取到了元数据，就能找到所有的数据块，并可以同时对数据块进行读取，大大提高了数据处理的效率。对象存储中用来存储元数据的服务器是控制服务器，控制客户端与对象存储设备中对象的交互，主要有对象存储访问文件和目录访问管理客户端Cache一致性三个功能。面向对象存储系统的组成和使用2组成要素对象的读写流程桶和对象的访问操作任务2认识面向对象存储Task2UnderstandObject-OrientedStorage什么是面向对象存储1►对于桶对象的访问，读和写是最主要的。相对写而言，读很单纯，也简单。因为对于一个对象存储系统，一个对象的副本往往很多，副本间的同步是写成功的关键。下面以主流的Ceph对象分布式存储系统为例进行说明。►►读流程（1）Clients应用发出读请求。（2）文件系统向元数据服务器发送请求，获取要读取数据的目标OSD（一般是PrimaryOSD）。（3）向每个OSD发送数据读取请求。（4）OSD得到请求以后，根据此对象要求的认证方式，对客户端进行认证，如果此客户端得到授权，则将对象的数据返回给客户端。（5）文件系统收到OSD返回的数据以后，读操作完成。面向对象存储系统的组成和使用2组成要素对象的读写流程桶和对象的访问操作任务2认识面向对象存储Task2UnderstandObject-OrientedStorage什么是面向对象存储1►►写流程（1）Clients应用发出写请求。（2）文件系统向元数据服务器发送请求，获取要写数据的多个目的OSD地址（包括1个主PrimaryOSD和可能多个副本ReplicaOSD）。（3）PrimaryOSD得到请求以后，根据此对象要求的认证方式，对客户端进行认证。认证通过后，PrimaryOSD则向所有的ReplicaOSD发起对象文件写（更新）操作。认证不通过则本次写拒绝。（4）在PrimaryOSD收到所有ReplicaOSD的写入日志（Journal）盘“I/OCompletion”的信息后，就会给Clients回复第一个消息。（5）启动日志盘中的对象数据向OSD的数据分区写入操作。（6）PrimaryOSD搜集所有OSD的写入情况，在收到所有成员OSD都完成了的消息之后，对象数据的写操作就完成了。（7）向Client发送该对象数据的“可读”信息。面向对象存储系统的组成和使用2组成要素对象的读写流程桶和对象的访问操作任务2认识面向对象存储Task2UnderstandObject-OrientedStorage什么是面向对象存储1►桶是用于存储对象的容器，需要先创建后使用。不同的存储服务商对用户创建桶的数量有限制，如同一阿里云账号在同一地域内创建的桶总数不能超过100个，腾讯云不超过200个等。桶具有各种配置属性，包括地域、访问权限、存储类型等。用户可以根据实际需求，创建不同类型的桶来存储不同的数据。以阿里云的对象存储系统和平台为案例介绍后续内容。►►对象的命名

对象存储系统把对象名作为键名，唯一标识存储的对象。对象的命名规则如下：（1）使用UTF-8编码。

（2）长度必须在1～1023字符。（3）不能以正斜线（/）或反斜线（\）开头。

（4）区分大小写。还要考虑：使用有意义的名称，使用唯一的名称，使用前缀来组织数据等。面向对象存储系统的组成和使用2组成要素对象的读写流程桶和对象的访问操作任务2认识面向对象存储Task2UnderstandObject-OrientedStorage什么是面向对象存储1►►对象的命名►►桶的命名

命名规则：（1）桶名称在对象存储服务（OSS）范围内必须全局唯一。（2）只能包括小写字母、数字和短划线（-）。（3）必须以小写字母或数字开头和结尾。（4）长度为3～63个字符。►►桶的地域属性

分为有地域属性和无地域属性。有地域属性的桶适用于对象存储系统的通用场景。具体在创建桶时需选择有地域属性，并指定桶所在的具体地域。无地域属性的桶适用于对地域属性不敏感且仅支持外网访问的业务场景。无地域属性的桶中的数据会被存储于大陆地区某个地域。桶名称固定为oss-rg-china-mainland，仅支持通过外网访问，外网入口固定为oss-rg-china-main。面向对象存储系统的组成和使用2组成要素对象的读写流程桶和对象的访问操作任务2认识面向对象存储Task2UnderstandObject-OrientedStorage什么是面向对象存储1►►对象的命名►►桶的命名

►►桶的地域属性

分为有地域属性和无地域属性。►►桶的操作

有创建、配置、列表、删除、获取地域信息等操作。阿里云提供了使用图形化管理工具OSSBrowse，支持桶级别的操作。OSSBrowse提供了对桶的权限管理、数据安全、数据管理、数据处理、日志管理、删除桶等操作，以及对文件的标签、读写权限、下载、删除、预览、移动或复制文件、分享文件、修改存储类型等操作。入口：/overview面向对象存储系统的组成和使用2组成要素对象的读写流程桶和对象的访问操作任务2认识面向对象存储Task2UnderstandObject-OrientedStorage什么是面向对象存储1►对象存储是图片、音频、视频等非结构化数据的理想的数据池。云厂商将相关技术和存储资源封装起来，通过丰富的、差异化的对象存储服务满足用户对存储性能、成本的不同诉求。面向对象存储系统的组成和使用2对象存储服务3任务2认识面向对象存储Task2UnderstandObject-OrientedStorage什么是面向对象存储1►对象存储是图片、音频、视频等非结构化数据的理想的数据池。云厂商将相关技术和存储资源封装起来，通过丰富的、差异化的对象存储服务满足用户对存储性能、成本的不同诉求。►服务类别：标准存储、低频访问存储、归档存储。►服务的使用方式（四种）：►►通过控制台

各OSS服务商都提供了Web服务页面，用户可以登录OSS控制台管理自己的OSS资源。

►►通过API或SDK

OSS提供表述性状态转移（RESTful）API和各种语言的SDK开发包，用户可以使用它们进行二次开发。►►通过厂商个性化的工具

如阿里云的OSSBrowser、命令行管理工具ossutil、FTP管理工具ossftp等各种类型的管理工具。►►通过云存储网关

用户可以通过配置云存储网关实现像使用本地文件夹和磁盘那样来使用OSS存储服务。面向对象存储系统的组成和使用2对象存储服务3任务2认识面向对象存储Task2UnderstandObject-OrientedStorage什么是面向对象存储1►开源对象存储服务开指基于开源技术，完全或部分开发源代码的、提供对象存储服务的存储系统。常见的开源对象存储服务主要有以下三个。►►Ceph一个广泛应用、高可用性、可扩展的分布式存储系统。它提供对象、块和文件三种类型的存储，支持RESTful和简单存储服务（SimpleStorageServiceS3）访问协议。►►OpenStackSwift是OpenStack的核心组成部分之一，为用户提供了对象存储服务。它支持RESTful协议，具有高可用性和可扩展等特点。►►Minio一个基于Go语言开发的分布式对象存储系统，支持S3协议，可以在本地环境和公有云环境中使用。Minio具有易用性高、可扩展、性能优良等优点。►非开源对象存储服务指商业或私有公司提供的对象存储服务，常见的非开源对象存储服务主要有以下六个。面向对象存储系统的组成和使用2对象存储服务3典型的对象存储服务系统4任务2认识面向对象存储Task2UnderstandObject-OrientedStorage什么是面向对象存储1►非开源对象存储服务指商业或私有公司提供的对象存储服务，常见的非开源对象存储服务主要有以下六个。►►阿里云OSS►►华为云OBS►►腾讯云COS►►微软Azure►►百度云BOS►►亚马逊S3除了上述主流的对象服务厂商，目前市场上还有一些小而特的服务商，如星辰天合、京东云、UCloud、七牛云、又拍云、景安快云等。面向对象存储系统的组成和使用2对象存储服务3典型的对象存储服务系统4任务2认识面向对象存储Task2UnderstandObject-OrientedStorage什么是面向对象存储1►本任务围绕认识面向对象存储，首先介绍了对象存储的概念，对象存储的组成要素；其次细致给出了对象的读写流程和访问操作的方法；再次描述了对象存储服务的三种类别和主流的四种使用方法；最后介绍了目前主流的对象存储服务系统。面向对象存储系统的组成和使用2对象存储服务3典型的对象存储服务系统4任务小结5任务3理解容灾系统Task3UnderstandDisasterRecoverySystems容灾和容灾系统1►数据和信息系统的容灾重要性►容灾（DisasterTolerance）是常用的保护策略，容灾系统是实现容灾的技术手段。►容灾简单理解就是“容忍灾难”，即抵抗灾难的能力和程度。容灾系统是建立至少两套以上功能相同的系统，相互之间可以进行健康状态检查与功能切换，即在生产系统以外，用户另外建立了一个或多个完全相同的冗余（备用）系统。在生产系统受到破坏时，冗余（备用）系统可以接管用户正常的业务，快速恢复数据、应用或业务，成为生产系统，以保持业务的不间断运行。一旦原有的生产系统修复或恢复完毕，就可以迅速完成生产系统和冗余（备份）系统的切换。任务3理解容灾系统Task3UnderstandDisasterRecoverySystems容灾和容灾系统1任务3理解容灾系统Task3UnderstandDisasterRecoverySystems容灾和容灾系统1►在容灾和容灾系统中，备份扮演着重要的角色，因为备份是容灾的基础，所以容灾系统又称灾备系统，容灾中心又称灾备中心。但是，备份和容灾还是有较大差别的。例如，备份一般是本地的数据或系统备份，采用备份软件技术实现；而容灾指的是不在同一物理位置的数据或应用系统备份，通过复制或镜像软件实现。经备份软件处理后的数据格式与源数据格式常常是不一致的，必须恢复后才可使用，而复制或镜像软件处理后的数据格式是不发生任何变化的，直接挂载给主机即可使用。除此之外，两者的区别还有很多，如备份距离、在离线方式、时效性等等。因此，备份系统和容灾系统是防范不同灾难的技术方案。任务3理解容灾系统Task3UnderstandDisasterRecoverySystems容灾和容灾系统1►尽管如此，在信息系统的容灾实践中，常常把容灾与备份结合起来，形成灾备（系统），实现本地备份与远程数据复制技术融合，达到对数据和系统的保护更加完善的目的。任务3理解容灾系统Task3UnderstandDisasterRecoverySystems容灾和容灾系统1►容灾是系统的高可用性（HA）技术的一个组成部分，系统的可用性越高，在面对系统发生灾难的情况下，能继续保持正常运行或服务的能力就越强。理论上可以根据用户对灾难的承受程度、灾难对业务的影响程度和数据保护程度等定性指标描述容灾方案，但在工程实践中主要有以下五个指标用来评价容灾系统。►►恢复点对象（RecoveryPointObject，RPO）►►恢复时间目标（RecoveryTimeObjective，RTO）►►容灾半径►►容灾系统的投入产出比（ReturnofInvestment，ROI）►►总体拥有成本（TotalCostofOwnership，TCO）容灾系统的衡量指标2任务3理解容灾系统Task3UnderstandDisasterRecoverySystems容灾和容灾系统1►容灾是保护信息系统的策略，根据容灾系统对信息系统的保护情况，SHARE组织于1992年3月发布了SHARE78灾备标准，其作为灾备行业标准一直沿用至今。该标准定义了八条分级原则，根据这些原则对容灾系统定义了七层业务恢复级别。从最简单的仅在本地进行磁带备份，到将备份的磁带存储在异地，再到建立应用系统实时切换的异地备份系统，恢复时间也可以分为从几天到小时级到分钟级、秒级或零数据丢失等。►我国目前执行的是《信息安全技术信息系统灾难恢复规范》（GB

/T20988-2007）。该标准确定了6个灾备能力等级要求。目前国内大部分事业单位、大中型国企都参考此标准开展容灾工作。容灾系统的衡量指标2容灾等级3任务3理解容灾系统Task3UnderstandDisasterRecoverySystems容灾和容灾系统1►按照容灾等级要求，建设和实施容灾系统，根据对业务应用系统的保护程度容灾可以分为：

数据级容灾、应用级容灾和业务级容灾三个层次的容灾。容灾系统的衡量指标2容灾等级3仅将生产中心的数据复制到容灾中心，做数据的远程备份，在灾难发生之后要确保原有的数据不会丢失或遭到破坏。在数据级容灾的基础上，进一步实现应用可用性，在容灾中心同样构建一套相同的应用系统，通过同步或异步复制技术，保证关键应用在允许的时间范围内恢复运行，尽可能减少灾难带来的损失，让用户基本感受不到灾难的发生。业务级容灾是生产中心与容灾中心对业务请求同时进行处理的容灾方式，是全业务的灾备，能够确保业务持续可用。这种方式业务恢复过程的自动化程度高，RTO可以做到30分钟以内。任务3理解容灾系统Task3UnderstandDisasterRecoverySystems容灾和容灾系统1►按照容灾等级要求，建设和实施容灾系统，根据对业务应用系统的保护程度容灾可以分为：

数据级容灾、应用级容灾和业务级容灾三个层次的容灾。容灾系统的衡量指标2容灾等级3类

别参

数恢

复

速

度业务恢复难度实

现

难

度运营维护成本项

目

投

资数据级容灾较慢，RTO>24h高较低较低较低应用级容灾较快，RTO<12h较低较高较高较高业务级容灾持续可用，RTO<0.5h低高高高任务3理解容灾系统Task3UnderstandDisasterRecoverySystems容灾和容灾系统1►不同灾难的影响范围是不同的，根据容灾半径大小，容灾中心的架构可分为本地容灾、同城双活、两地三中心。随着云技术和应用的迅猛发展，云容灾逐渐成为一种趋势。容灾系统的衡量指标2容灾等级3容灾系统架构4任务3理解容灾系统Task3UnderstandDisasterRecoverySystems容灾和容灾系统1►不同灾难的影响范围是不同的，根据容灾半径大小，容灾中心的架构可分为本地容灾、同城双活、两地三中心。随着云技术和应用的迅猛发展，云容灾逐渐成为一种趋势。►►本地容灾

常常是在本地机房建立容灾系统，日常情况下可同时分担业务及管理系统的运行，并可切换运行；灾难情况下可在基本不丢失数据的情况下进行灾备应急切换，保持业务连续运行。容灾系统的衡量指标2容灾等级3容灾系统架构4任务3理解容灾系统Task3UnderstandDisasterRecoverySystems容灾和容灾系统1►不同灾难的影响范围是不同的，根据容灾半径大小，容灾中心的架构可分为本地容灾、同城双活、两地三中心。随着云技术和应用的迅猛发展，云容灾逐渐成为一种趋势。►►本地容灾生产中心和灾备中心之间数据的备份流程图。容灾系统的衡量指标2容灾等级3容灾系统架构4任务3理解容灾系统Task3UnderstandDisasterRecoverySystems容灾和容灾系统1►不同灾难的影响范围是不同的，根据容灾半径大小，容灾中心的架构可分为本地容灾、同城双活、两地三中心。随着云技术和应用的迅猛发展，云容灾逐渐成为一种趋势。►►本地容灾生产中心和灾备中心之间数据的备份流程图。►►同城双活容灾

属于本地容灾，但根据运营模式可以分为主备和双活两种形式。►►两地三中心容灾

属于异地容灾，两地是本地和异地，三中心指生产中心、同城灾备中心、异地灾备中心。要求数据中心间的距离在三百千米以上，同时还必须做到“三不”，即不在同一地震带，不在同一电网，不在同一江河流域。容灾系统的衡量指标2容灾等级3容灾系统架构4任务3理解容灾系统Task3UnderstandDisasterRecoverySystems容灾和容灾系统1容灾系统的衡量指标2容灾等级3容灾系统架构4任务3理解容灾系统Task3UnderstandDisasterRecoverySystems容灾和容灾系统1►不同灾难的影响范围是不同的，根据容灾半径大小，容灾中心的架构可分为本地容灾、同城双活、两地三中心。随着云技术和应用的迅猛发展，云容灾逐渐成为一种趋势。►►本地容灾生产中心和灾备中心之间数据的备份流程图。►►同城双活容灾

属于本地容灾，但根据运营模式可以分为主备和双活两种形式。►►两地三中心容灾

属于异地容灾。►►云容灾是一种基于云平台的服务模式，是指将文件、数据卷、数据库、操作系统、虚拟机等容灾到云端，为企业提供业务容灾、数据备份、数据副本利用等多种数据应用场景的服务，即容灾即服务（DRasaService，DRaaS）。容灾系统的衡量指标2容灾等级3容灾系统架构4任务3理解容灾系统Task3UnderstandDisasterRecoverySystems容灾和容灾系统1►容灾演习是根据演习方案验证灾备系统是否有效的重要手段。容灾演习在不影响业务的情况下，模拟真实故障恢复场景，编制应急恢复预案，检验设计和建设灾备方案的适用性、有效性，帮助用户在故障真正发生时沉着应对，通过既定预案快速恢复，提高业务连续性。对于建有灾备中心的系统，都要根据要求每年进行容灾演习，演习内容覆盖所有与核心业务相关的平台、系统、设备等。容灾演习往往隐含较多的风险，稍有失误轻则演习失败，重则造成业务暂停或数据丢失事故。因此，编制一个完整、科学的容灾演习方案很重要。方案的主要内容如图所示，共有10个阶段。其中演习切换是把灾备中心切换为生产中心，回切则是相反。容灾系统的衡量指标2容灾等级3容灾系统架构4容灾演习5任务3理解