云计算之云存储

1、云存储，1560105张德方，云存储，存储技术，存储可靠性技术，备份快照技术，磁盘阵列存储可靠性技术，云存储，这是一个新概念，从云计算的概念延伸和发展而来，是一种新的网络存储技术，它是指网络中大量不同类型的存储设备通过集群应用，网络技术或分布式文件系统等。并共同向外界提供数据。存储有两层含义：数据暂时或永久驻留的物理介质。确保数据存储的完整性和安全性的方式或行为。根据存储技术的不同，网络存储设备主要分为三类：直连存储、网络连接存储和存储区域网络。存储技术，直接连接存储(DAS)的DAS开放系统。这种存储模式与我们常见的个人电脑存储体系结构相同。外部存储设备直接连接到服务器的内部总线。数据存储设

2、备是整个服务器结构的一部分。DAS存储模式主要适用于小型网络、地理位置分散的网络和特殊服务器。数据的输入/输出读写、存储和维护管理依赖于服务器主机操作系统。数据备份和恢复需要占用服务器主机资源(包括CPU、系统IO等)。)。数据流需要流回主机，然后再流回连接到服务器的磁带机(磁带库)。数据备份通常占用20-30%的服务器主机资源。因此，日常数据备份经常在深夜或业务系统不忙时进行，以免影响业务系统的正常运行。直连存储中存储的数据量越大，备份和恢复时间就越长，对服务器硬件的依赖性和影响也就越大。存储技术NAS(网络连接存储)是一种将分布式独立数据集成到一个大型集中管理的数据中心的技术，有助于访问不

3、同的主机和应用服务器。从字面上看，它只是一个连接到网络并具有数据存储功能的设备，因此也被称为“网络存储器”。它是一个特殊的数据存储服务器。它以数据为中心，将存储设备与服务器完全分开，并集中管理数据，从而释放带宽、提高性能、降低总拥有成本并保护投资。它的成本比使用服务器存储低得多，但它的效率比后者高得多。存储区域网络是一个集中管理的高速存储网络，由多供应商存储系统、存储管理软件、应用服务器和网络硬件组成。存储区域网络的概念是允许存储设备和处理器(服务器)之间的直接高速网络连接，通过这种连接，集中式存储仅受光纤线路长度的限制。存储区域网可以看作是存储总线概念的扩展，它使用局域网和广域网中的类似单元

4、来实现存储设备和服务器之间的互连。这些单元包括路由器、集线器、交换机和网关。存储区域网络可以在服务器之间共享，也可以是特定服务器的专有网络，可以是本地存储设备，也可以扩展到地理区域的其他地方。SAN接口可以是企业系统连接(ESCON)、小型计算机系统接口(SCSI)、串行存储结构(SSA)、高性能并行接口(HIPPI)、光纤通道(FC)或任何新的物理连接方法。存储模式，存储模式：对象存储块存储文件存储，存储模式，对象存储OBS(Object Based Storage)是一种以对象为基本单位的存储模式，如下图所示。对象存储基于文件系统，通过文件系统存储访问数据。对象存储系统由以下几个部分组成：

5、对象每个对象是数据和数据属性集的综合体。可以根据应用需求设置数据属性，包括数据分发和服务质量。对象维护它们自己的属性，简化了存储系统的管理任务并提高了灵活性。对象可以有不同的大小，并包含整个数据结构，如文件和数据库条目。基于对象的存储设备OSD(Object-based Storage Device)是一种智能设备，具有自己的存储介质、处理器、内存和网络系统，负责管理本地对象，是对象存储系统的核心。OSD的主要功能是数据存储和安全访问。OSD和块设备的区别不在于存储介质，而在于它们提供的访问接口。元数据服务器(Metadata server)为客户端提供元数据，元数据主要是文件的逻辑视图，包括

6、文件和目录之间的组织关系、每个文件对应的OSD等。同时，它为客户端提供缓存一致性保证和客户端认证服务。文件系统文件系统解释用户的文件操作，并在元数据服务器和OSD之间进行通信，以完成请求的操作。存储模式，块存储块存储是一种以块为基本单位的存储模式，如下图所示。块通常指底层磁盘上扇区的组合，一个文件可以对应一个或多个这样的块。块设备需要记录设备上每个存储数据块的位置，这增加了存储系统的管理任务。块存储设备(也称为原始设备)通过SCSI、SAS或光纤通道SAN连接到服务器。服务器通过SCSI、SAS或光纤通道SAN协议直接控制和访问数据。块传输模式下没有数据打包/解包过程，可以提供更高的传输性能。

7、大多数数据库使用块存储设备，如光纤通道磁盘存储系统。文件存储是以文件为基本单位的存储模式，如图所示。文件存储设备通过以太网与服务器相连。服务器通过NFS、CIFS、HTTP、FTP和其他协议访问数据。数据通过以太网传输，并且有一个打包/解包数据的过程。文件存储设备主要是网络连接存储设备，主要用于用户文件共享。文件存储主要用于以下场景：虚拟服务器的存储、文件服务、数据保护、内容目录的归档和高性能计算、存储方法、几种存储方法和典型产品的比较、存储可靠性技术中的磁盘阵列，在交付云计算项目时不可避免地要考虑存储磁盘使用什么样的磁盘阵列。例如，项目工程师可能建议您链接并克隆虚拟机系统磁盘组RAID 10

8、，并使用RAID5或RAID6完全复制虚拟机数据磁盘。RAID概念RAID是独立磁盘冗余阵列的缩写，独立磁盘冗余阵列。它是一种数据保护技术，以不同的方式将多个独立的硬盘(物理硬盘)组合成一个硬盘组(逻辑硬盘)，提供比单个硬盘更高的存储性能和数据冗余。RAID的优势提高传输速率RAID通过同时在多个磁盘上存储和读取数据，极大地提高了存储系统的数据吞吐量。在RAID中，许多磁盘驱动器可以同时传输数据，并且这些磁盘驱动器在逻辑上是一个磁盘驱动器，因此使用RAID可以达到单个磁盘驱动器速率的几倍、几十倍甚至数百倍。RAID是一种存储可靠性技术，提供容错能力。普通磁盘驱动器无法提供容错，但RAID可以提

9、供容错。RAID容错基于每个磁盘驱动器的硬件容错，因此它提供了更高的安全性。在许多RAID模式中，都有相对完整的相互验证/恢复措施，甚至是直接的相互镜像备份，这明显提高了RAID系统的容错性和系统的稳定性及冗余性。RAID分类RAID0理论上讲，由N个磁盘组成的RAID 0系统的读取性能是单个磁盘的N倍，磁盘空间的存储效率最高(100%)。由于总线带宽等各种因素，实际提升率将低于理论值。然而，与RAID和串行传输及存储可靠性技术相比，并行传输大量数据的性能将大大提高。RAID0有一个明显的缺点：它不提供数据冗余保护，一旦数据损坏，就无法恢复。RAID0至少需要2个硬盘才能实现。RAID 1也称

10、为镜像，将数据完整一致地写入工作磁盘和镜像磁盘。RAID1系统的磁盘空间利用率为50%，这对数据写入时间有影响，但对数据读取没有影响。RAID1提供了非常好的数据保护。一旦工作磁盘出现故障，系统会自动从镜像磁盘读取数据，这不会影响用户的工作。此外，RAID1支持“热替换”，即在没有电源故障的情况下替换故障磁盘，并且仅在替换后从镜像磁盘恢复数据。RAID1需要至少2个硬盘来实现。RAID，存储可靠性技术，RAID 5采用独立磁盘结构和分布式奇偶校验。数据验证信息平均分布在阵列的每个磁盘上。阵列的磁盘上既有数据也有数据验证信息，数据块和相应的验证信息将存储在不同的磁盘上。奇偶校验位，即P位，是通过

11、对同一频带中的数据进行异或运算而获得的。当一个数据磁盘损坏时，RAID5系统可以根据同一频段内的其他数据块和相应的校验信息来重建损坏的数据。RAID5需要至少3个硬盘来实现。RAID 6是一种存储可靠性技术，采用两种奇偶校验码磁盘结构。在RAID5的基础上，RAID6进一步加强了数据保护，这实际上是一个扩展的RAID5级别。RAID6具有良好的数据冗余性能。然而，由于增加了一个检查，写效率比RAID5差。此外，控制系统的设计更加复杂，并且第二块的检查区域中的有效存储空间减少。RAID6需要至少4个硬盘来实现。作为存储可靠性技术的RAID，RAID10是RAID0和RAID1的组合。RAID10

12、的结构非常简单。首先，创建两个独立的RAID1，然后将这两个独立的RAID1组合成一个RAID0。当将数据写入该逻辑RAID时，数据会按顺序写入两个RAID1。RAID10将RAID0作为执行阵列，将RAID1作为数据保护阵列。它具有与RAID1相同的容错能力，并且容错处理的系统开销与单镜像操作的系统开销基本相同。因为RAID0被用作执行级，所以它具有更高的输入/输出带宽。RAID10要求至少安装4个硬盘。存储可靠性技术，使用场景RAID0使用场景RAID 0不提供容错，但其读取性能非常高。因此，RAID0适用于读取性能高，但存储的数据不重要的情况。RAID1使用场景RAID1提供了非常好的数

13、据保护。一旦工作磁盘出现故障，系统会自动从镜像磁盘读取数据，并支持“热替换”。因此，RAID 1应该用在非常重视数据保护的地方。RAID5和RAID6 RAID 5的使用场景是一种存储解决方案，它考虑了存储性能、数据安全性和存储成本。RAID 5可以为系统提供数据安全性，但安全性低于RAID1，磁盘空间利用率高于RAID1。RAID6的两个独立的奇偶校验系统使用不同的算法，数据的可靠性高于RAID5。即使两个磁盘同时出现故障，也不会影响数据的使用。因此，当所需的数据保存级别不是很高时，我们只需要使用传统的RAID5。目前，对于那些需要高数据安全级别的企业，如数据中心和信息中心，有必要使用RAI

14、D6来保护数据。存储可靠性技术的RAID10使用场景RAID 10适用于数据库存储服务器和其他需要高性能和高容错能力但对容量要求不高的地方。在实际项目中，有必要综合考虑客户对数据存储的安全要求、价格要求等因素来选择合理的RAID形式。存储可靠性备份技术，备份是指将文件系统或数据库系统中的全部或部分数据集从硬盘或应用主机阵列复制到其他存储介质，以防止系统操作错误或系统故障造成的数据丢失，从而方便及时地恢复系统的有效数据和正常运行！备份方法的分类可以从不同的纬度进行划分：存储可靠性备份技术、存储可靠性备份技术和数据处理技术。在实施备份的过程中，可以通过多种方式对数据进行处理，从而提高备份速度、恢复

15、速度，增加数据安全性，提高存储介质的利用率。常见的数据处理技术如下：数据压缩技术重复数据删除技术(源端重复数据删除：计算要在客户端传输的数据的指纹，并通过与服务器比较指纹来发现和消除重复内容；目的地重复数据消除：客户端的数据直接传输到服务器，在服务器中检测并消除重复内容。这两种部署方法都可以提高存储空间的效率。主要区别在于源端重复数据消除消耗客户端计算资源，以换取网络传输效率的提高。)数据复制技术、数据加密技术、数据缓冲技术、存储可靠性备份技术，推出融合圈虚拟机备份方案融合圈解决方案使用华为HyperDP软件实现虚拟机备份和恢复。HyperDP可以与FusionCompute结合使用。当虚拟机

16、数据丢失或出现故障时，可以通过备份数据进行恢复。数据备份的目的地是本地虚拟磁盘或HyperDP外部共享存储设备，支持虚拟机的完全备份、差异增量备份和累积增量备份。存储可靠性技术备份，华为融合圈概述融合圈是一个具有华为自主知识产权的云操作系统，集成了虚拟化平台和云管理功能，使得云计算平台的建设和使用更加简单，特别满足企业和运营商的云计算需求。华为云操作系统是专为云设计和优化的，提供强大的虚拟化功能和资源池管理、丰富的云基础服务组件和工具、开放的应用编程接口等。充分支持传统和新的企业服务，大大提升了信息技术资产的价值，提高了信息技术运营和维护的效率，降低了运营和维护成本。融合虚拟化包括融合计算机虚拟化引擎和融合管理器云管理等组件，可以大大提高IT基础设施的利用率，提高运营和维护效率，降低客户的IT成本。存储可靠性备份技术，引入融合圈用户数据备份方案用户数据备份采用华为海洋存储HDP3500E G3(以下简称HDP3500E)存储设备作为网络备份NBU(NetBackup)服务器。NBU服务器通过备份软件定期备份虚拟机和物理服务器的文件或应用程序。系统管理员可以在NBU服务器上设置备份对象和备份策略。NBU自动备份有两种方案：本地备份的原理如图所示。存储可靠性技术的备份。在本地备份方案中，NBU服务器位于内部网中，并配置有固定的IP地址。NBU客户端代理软件安装在虚拟机中。虚拟机通过