大华云存储技术白皮书

大华云存储技术白皮书云计算产品线2014年7月^`目录目录 2第一章 概述 41. 背景 42. 设计思想 43. 系统架构 5第二章 关键技术 81. 负载自动均衡技术 82. 高速并发访问技术 83. 高可靠性保证技术 94. 高可用技术 9第三章 分布式文件系统设计 91. 数据存储功能 102. 海量存储能力 113. 统一命名空间管理 114. 节点间数据冗余 125. 数据恢复机制 136. 元数据管理的高可用性保障 147. 存储服务的高可用性保障 158. 动态负载均衡 159. 在线扩容 1510. 磁盘热插拔和漂移 1611. 高速并发访问 16第四章 客户端接口设计 171. 基础SDK 172. 流媒体SDK(可扩展) 18^`3. RESTFUL接口(可扩展) 184. POSIX接口(可扩展) 185. NFS/CIFS接口(可扩展) 19第五章 运维管理系统设计 201. 设备管理 202. 系统监控 203. 系统维护 214. 告警日志 225. 故障处理 23^`第一章概述背景随着平安城市建设的升级，智慧城市建设的兴起，视频监控高清化开始普及，谢谢阅读视频图像信息的深度应用成为行业的趋势，如何有效存储和高效使用海量监控数精品文档放心下载据成为了新的课题。传统大型监控系统主要采用以下两种模式来实现数据存储与感谢阅读使用：存储服务器+IPSAN；NVR为代表的嵌入式存储设备。这两种方式都存在扩精品文档放心下载展困难，可靠性低，数据无法充分共享等弱点。针对这些问题，有必要将IT云谢谢阅读存储技术引入到监控领域。云存储解决方案采用全新的设计理念，可从成本、容感谢阅读量、空间可扩展性、服务可用性、数据可靠性、接口通用性等多个维度提升监控感谢阅读存储的质量。由于这些明显的优势，云存储将成为未来平安城市、智慧城市系统精品文档放心下载的基石，有效的支持原始视频存储、卡口图片存储，视频图像信息库等数据集中谢谢阅读存储与共享业务，以及智能实战系统，警务政务综合系统，大型数据挖掘系统等精品文档放心下载数据分析业务，成为便捷、统一管理和高效应用的大数据基础平台。精品文档放心下载设计思想大华云存储解决方案采用业界领先的云存储架构思想，在系统架构和设计精品文档放心下载上，充分考虑大规模集群环境下软硬件发生故障的现实，采用先进的管理思想和精品文档放心下载软件系统，实现对大量普通存储服务器存储空间资源进行虚拟化整合，实现软硬谢谢阅读件故障高度容错，搭建高度稳定可靠的存储集群。系统将控制流与数据流分离，以及充分优化元数据节点控制系统，使得系统精品文档放心下载具备极高的性能和良好的线性扩展能力。系统整体为应用提供统一命名空间，使感谢阅读得系统具备极好的数据共享能力。系统将负载均衡到集群内的各节点上，充分利精品文档放心下载用集群各节点性能，以获得很好的性能聚合能力以及保证了系统的稳定。集群采精品文档放心下载用高度灵活自组网技术，提供简易部署和维护功能。系统在数据可靠方面，采用感谢阅读智能冗余重建技术，保证较高磁盘利用率的前提下，提供最佳冗余策略。另外，感谢阅读系统在节点软硬件故障容错方面，也进行充分考虑，具备屏蔽所有可屏蔽错误能感谢阅读^`力。系统架构在本次系统建设中，云存储系统属于基础平台支撑层，以用于数据集中存储谢谢阅读和共享，实现对数据的统一管理和高效应用。将数据逻辑集中物理分散，以提供感谢阅读多并发高吞吐带宽，最大程度降低系统访问瓶颈。云存储系统采用分布式的存储机制，将数据分散存储在多台独立的存储服务谢谢阅读器上。它采用包括元数据管理服务器（MetadataServer）、数据存储节点服务器谢谢阅读（DataNode）和客户端以及运维管理服务器的结构构成海量云存储系统。在每感谢阅读个服务器节点上运行云存储系统的相应软件服务程序模块。感谢阅读云存储系统从功能上划份为三大部分：分布式文件系统分布式文件系统实现文件数据存储、可靠性容错、可伸缩性保证、高可用保证、负载均衡和流量分担等功能。精品文档放心下载存储访问接口提供高性能专用的API接口，支持云业务应用层程序对云存储系统的高性能直接访问。精品文档放心下载运维管理平台运维管理平台提供设备管理、系统监控、告警管理、故障管理等功能。谢谢阅读系统架构框图如下图所示。^`其中，元数据服务器集群保存系统的元数据，负责对整个文件系统的管理，精品文档放心下载MetadataServer在逻辑上只有一个，但采用主备双机热备集群方式，保证系统的谢谢阅读不间断服务；智能存储服务器(DataNode)负责具体的数据存储工作，数据以文件精品文档放心下载的形式存储在DataNode上，DataNode的个数可以有多个，它的数目直接决定感谢阅读了云存储系统的规模；客户端对外提供数据存储和访问服务的接口，为云业务平精品文档放心下载台提供云存储系统的访问能力。整个方案的软件架构图如下：系统包含四个层次功能，来满足最终用户、系统管理员、运营人员的日常操作需求：谢谢阅读资源层：基于单个存储节点，管理本地的硬盘，文件和数据块。谢谢阅读^`硬盘热插拔：管理节点内的硬盘动态增加和删除，和存储管理层同步硬盘内的文件信息。精品文档放心下载硬盘漂移：当节点故障时，支持把节点上的硬盘取下来放到新的存储设备上，快速恢复数据。精品文档放心下载本地文件系统：对操作系统自带的本地文件系统进行调优，作为数据存储的基础。感谢阅读对象数据块管理：对象存储到节点后，会形成多个数据块。感谢阅读管理层：提供单个集群和多域的管理能力节点管理：管理多个存储节点，支持节点上下线，搜集节点信息。感谢阅读负载均衡：根据节点的CPU,网络，磁盘的负载情况，动态选择负载最轻的节点参与工作。精品文档放心下载高可用HA：对两台元数据进行数据同步，在一台发生故障时快速进行主备切换。精品文档放心下载对象管理：响应客户端的对象操作请求，为对象分配合适的存储节点，提供唯一ID。精品文档放心下载统一目录：提供文件对象的目录视图，支持文件路径和按范围查询。精品文档放心下载运维管理：提供运维Web服务，支持设备动态添加删除，文件手动恢复，系统升级等。谢谢阅读多域管理：通过索引对多个云存储系统统一管理，提供全域唯一文件路径。感谢阅读接入层：提供丰富的访问接口，适应各种应用基础SDK：通过SDK可以直接访问云存储系统，进行基本文件操作。精品文档放心下载流媒体SDK：基于基础SDK封装，支持流媒体写入并建立帧索引，按时间段定位和读取。谢谢阅读POSIX驱动：基于基础SDK封装，提供Windows/Linux驱动，将云存储模拟成本地硬盘。感谢阅读NFS/CIFS网关：通过服务器，提供网络文件系统服务。精品文档放心下载WebService：通过Web服务器，提供文件Web服务，并提供RESTful的接口形式。谢谢阅读应用&服务层：业务应用层部署由各用户根据自身需求，充分利用接口层提供的各种接口，开发而谢谢阅读成的监控系统，联网共享系统等。^`第二章关键技术负载自动均衡技术采用中心服务器模式来管理整个云存储文件系统，所有元数据均保存在元数据服务器上，文件则被按块划分存储在不同的数据节点上。感谢阅读元数据维护了统一的命名空间，同时掌握整个系统内数据节点的使用情况，当客户端向元数据服务器发送数据读写的请求时，元数据服务器根据数据节点的磁盘使用情况、网络负担等情况，选择负担最轻的节点服务器对外提供服务，自动调节集群的负载状态。精品文档放心下载数据节点内同时有提供磁盘级的负载均衡，根据磁盘的IO负载，空间容量等情况，自动选择负载最轻的磁盘存储新的数据文件。精品文档放心下载当有一个数据节点因为机器故障或者其他原因造成离线时，元数据服务器会将此机器自动屏蔽掉，不再将此数据节点提供给客户端使用，同时存储在此数据节点上的数据也会自动恢复到其他可用的节点服务器上，自动屏蔽数据单节点故障对系统的影响。精品文档放心下载另外对故障的数据节点上的数据快速恢复，只需将数据节点上的硬盘拔出，插入到其他数据节点，这样即减少集群对数据恢复的压力，又不对客户端读写产生影响。感谢阅读高速并发访问技术客户端在访问云存储时，首先访问元数据服务器，获取将要与之进行交互的感谢阅读数据节点信息，然后直接访问这些数据节点完成数据存取。感谢阅读客户端与元数据服务器之间只有控制流，而无数据流，这样就极大地降低了精品文档放心下载元数据服务器的负载，使之不成为系统性能的一个瓶颈。客户端与数据节点之间精品文档放心下载直接传输数据流，同时由于文件被分成多个节点进行分布式存储，客户端可以同感谢阅读时访问多个节点服务器，从而使得整个系统的I/O高度并行，系统整体性能得到感谢阅读提高。^`通常情况下，系统的整体吞吐率与节点服务器的数量呈正比。谢谢阅读高可靠性保证技术对于元数据，通过操作日志来提供容错功能。主服务器本地SSD盘组建高可感谢阅读RAID1，提供高可靠容错能力。当元数据服务器发生故障时，在磁盘数据保存完好的情况下，可以迅速恢复以上元数据。且操作日志在主备元数据服务器之间实时同步，实现更高程度的可靠性。谢谢阅读对于节点服务器，采用ErasureCode冗余方式实现容错，数据冗余分布存储在不同的数据节点上。任一数据节点的损坏，不会导致任何数据丢失，不会影响任何的数据访问和写入过程。之后，通过灵活数据恢复机制，进行数据重建过程。感谢阅读高可用技术系统中的所有服务节点均是通过网络连接在一起，由于采用了高可靠的容错机制，系统增减节点不必停止服务，可在线增减存储节点。精品文档放心下载元数据服务器采用主备双机热备技术，主机故障，备机自动接替其工作，对谢谢阅读外服务不停止；存储节点采用Erasurecode冗余备份机制，如采用4+1节点间精品文档放心下载冗余容错，任意损失一个节点，数据不丢失，服务不停止，客户端无感知。谢谢阅读第三章分布式文件系统设计分布式文件系统是整个大华云存储系统的核心，提供了数据存储业务的所有谢谢阅读功能。本文件系统借鉴众多现有分布式文件系统设计理念和思想，结合视频监控谢谢阅读业务特点，提供了众多功能，包括：文件数据存储与访问功能；利用分布式技术感谢阅读将众多存储设备集群化成一个存储资源池，实现海量数据存储能力；分布式文件精品文档放心下载系统管理整个存储资源池，构建成一个统一的命名空间；系统提供高可靠、高存谢谢阅读储空间利用率的数据冗余策略，保证数据的可靠性；提供灵活、非常适用于视频感谢阅读监控业务的数据恢复机制；利用高可靠主备技术，保证元数据管理服务的高可用感谢阅读性；利用节点间的失败检测与恢复机制，实现存储节点的高可用性；动态负载均感谢阅读衡技术保证整个系统负载均衡，规避数据热点和单存储设备性能瓶颈；通过在线谢谢阅读动态增加或删除节点功能，保证存储系统建设的灵活性，以及业务的持续性。精品文档放心下载^`分布式文件系统包括元数据管理、块数据管理服务。元数据是指文件的名称、属性、数据块位置信息等，元数据管理通过元数据服务程序完成。谢谢阅读因元数据访问频繁，故系统将元数据加载缓存至内存中管理，提高访问效率。由于元数据的重要性，元数据损坏或丢失则相当于文件数据丢失，因此实现了元数据服务器主备双机热备，保证高可用，确保７×２４小时不间断服务。精品文档放心下载块数据是指文件数据被按照一定大小（默认64MB）分割而成的多个数据块，分布存储到不同的存储节点服务器上，并通过编解码容错算法产生相应的冗余块。感谢阅读存储服务是运行在每个存储节点服务器上的存储服务程序，负责使用存储服务器上的磁盘空间存储文件数据块，并实现相应的编解码功能以及保证磁盘间的负载均衡等。精品文档放心下载相比较传统业界的云存储采用块数据简单备份冗余容错机制，存储节点间容错方式大大降低了硬件资源冗余度，提高了磁盘利用率。谢谢阅读文件系统采用非对称分布式存储架构，控制流与数据流分离，可通过增加存储节点实现系统的线性扩容。该系统架构实现了统一调度，负载均衡和流量自动分担功能，多个存储节点同时对外提供数据流服务，系统根据磁盘空间使用比例进行资源优化配置。感谢阅读分布式文件系统具有灵活冗余重建功能，确保单节点的损坏不会影响到数据的可读性。谢谢阅读数据存储功能数据存储功能是指分布式文件系统提供的，类似单机文件系统所具备的，谢谢阅读创建文件、写入数据、关闭文件、打开文件、读取数据、删除文件、文件内定谢谢阅读位、获取文件属性等功能。这些功能都是文件系统所必须具备的基本功能，但感谢阅读对于云存储系统而言，也会有一些新的特点。本系统提供的是类对象存储功能，精品文档放心下载提供两大类操作，Bucket操作和文件对象操作。Bucket是指在分布式文件系统内的一个存储文件的容器，系统中每一个文谢谢阅读件，都必须包含在一个Bucket中，Bucket不能嵌套，即Bucket内不允许再次谢谢阅读创建Bucket。Bucket通过全局唯一名称标识。扁平的系统结构，使得云存储提感谢阅读^`供海量存储、线性扩展能力成为可能。这样的扁平结构成为众多分布式文件系感谢阅读统的选择，用户可以创建Bucket，删除Bucket，按照范围罗列Bucket内的文件。谢谢阅读Bucket也可以理解为一个空间独立的目录，比如监控领域可以按照摄像头来设感谢阅读置Bucket，给每个摄像头指定相应的存储空间配额。精品文档放心下载文件对象对应的是用户文件，支持创建文件，设置文件元数据，获取文件感谢阅读元数据，追加写文件，读文件，文件内定位等这些方法，基本和POSIX提供的感谢阅读语义一致。海量存储能力分布式文件系统提供海量存储能力。系统通过良好设计，将数据存储和访问等数据业务流和系统管理、数据管理等相关的控制流分离。数据存储节点负责提供存储空间容量和数据流服务，使得存储空间的增长和数据流服务能力增长相匹配，为海量存储提供基本保障。而元数据管理服务器负责控制流管理和服务。由于控制流流量相对有限，元数据服务器所能提供的存储空间，仅受限于服务器的内存量。谢谢阅读传统存储服务器由于主机的性能、散热、最大支持盘位数、管理开销与复杂度等方面的限制，所能支持的存储能力都比较有限，而无法适应海量存储需求。而Scale-up的扩展方式显然无法突破其限制，且性价比较低。而本分布式文件系统通过集群技术，将众多廉价存储服务器组建成一个集群，实现了Scale-out方式的扩展，具备提供海量存储能力，成为一种性价比非常高的选择。感谢阅读本系统所能管理的存储空间仅受限于元数据服务器的内存。32G内存容量的元谢谢阅读数据服务器可提供10PB级别的高效数据存储服务。精品文档放心下载统一命名空间管理统一命名空间管理是分布式文件系统的一个重要功能，只有提供统一命名空间感谢阅读管理，才能将集群的众多信息、状态屏蔽在集群内，保证系统使用的简易性、可感谢阅读扩展性、高可共享能力。一个具备一定规模的存储集群，随时都可能发生磁盘、感谢阅读存储服务器硬件等方面的故障，统一命名空间管理功能实现了将整个集群统一视精品文档放心下载图功能，整体对外提供一个访问IP，简化了与业务系统的接口，保证了系统使精品文档放心下载^`用的简易性。同时，存储的扩展仅限存储内部，而不会影响到系统与业务系统的精品文档放心下载接口，也保证了存储空间内数据的高共享能力。系统通过分布式集群技术，将所有存储节点的存储空间统一管理，资源池化成谢谢阅读一个统一的存储空间池。同时，系统保证所有文件的文件名在统一命名空间内，精品文档放心下载实现文件访问的统一命名空间。具体的，是通过bucket名称全局唯一，以及bucket感谢阅读内文件名不重复实现了每个文件访问名称互不相同，实现了文件访问的统一管谢谢阅读理。同时，集群存储空间的统一管理，实现资源的统一化。再通过集群唯一访问感谢阅读IP，对外呈现为一个统一的整体。只需要获得存储集群的访问IP，以及文件所在bucket名称和文件名，即可通精品文档放心下载过系统客户端在其他主机上访问这个文件。这就实现了分布式文件系统内数据的谢谢阅读高可共享能力。节点间数据冗余传统存储服务器都提供服务器内部磁盘间，利用RAID技术，组建各种容错谢谢阅读等级的RAID组，来为数据可靠性提供保障。卡耐基梅隆大学研究将近100000感谢阅读块硬盘的工作状况得出一个研究报告：当今企业级硬盘（MTBF通常在1,000,000谢谢阅读–1,500,000）的年平均故障率为2-3%（有些极端环境甚至达到13%），远高于硬盘厂商宣称的0.88%。这意味着一个1000路高清的视频监控存储系统，需要感谢阅读1054块硬盘3T容量企业级硬盘（如果做5块盘的RAID5），2%的故障率导致每精品文档放心下载年我们都有21块硬盘损坏，每个月有1.75块硬盘损坏。若存储系统采用的是监谢谢阅读控盘，则结果将更糟糕。随着硬盘的容量越来越大，RAID的重构时间变得越来越长。一块3T的硬感谢阅读盘，在工作状态下，重构的时间有的时候甚至要达到2个星期之久。在重构的过精品文档放心下载程中，任一其他的数据的错误，都将导致整个数据丢失或者RAID崩溃。不幸的精品文档放心下载是，在RAID重构时，相同RAID内的硬盘的出错概率大大增加。显然，存储节感谢阅读点内RAID技术，对于一定规模的云存储系统而言，是无法提供数据可靠性保证谢谢阅读的，且由于重构时间以及重构时出错概率增加，甚至会导致可靠性降低。谢谢阅读在云存储领域，互联网企业广泛使用副本技术来提供数据可靠性，如HDFS谢谢阅读默认配置的副本因子为3。副本因子为3意味着存储利用率约为33.3%，这对于精品文档放心下载^`海量低价值密度的视频监控存储系统而言，其性价比相对较低。谢谢阅读当前，利用节点间ErasureCode技术提高数据可靠性日益受到众厂商的推崇。精品文档放心下载Facebook正在实现HDFS的EC版本，以追求更高的性价比。本系统推荐采用节点间数据冗余技术，保证数据高可靠性的同时，追求更高的存储利用率。感谢阅读图5.1节点间冗余技术示意图以节点间4+1冗余策略为例，客户端在MDS的调度下，将一定长度的文件谢谢阅读内容，切分成四个数据块，通过利用EC算法计算得到一份冗余数据，然后客户精品文档放心下载端将五份数据分发到MDS指定的五台存储节点上，就完成了一次数据写入动作。感谢阅读相对于副本技术所普遍采用的pipeline技术而言，数据中心内的网络流量降低非谢谢阅读常明显，从增加200%下降到仅增加25%，磁盘空间利用率也从33.3%上升到80%。感谢阅读这五台存储节点任意一台故障或节点内存储这份数据的磁盘故障，不会导致数据精品文档放心下载的丢失，从而实现了数据的高可靠性。数据恢复机制分布式系统通过数据冗余和数据恢复，屏蔽集群内磁盘故障、节点故障对系精品文档放心下载统整体的冲击，不会降低数据的高可靠性。数据恢复所带来的数据中心内网络流感谢阅读量上升，可能威胁到业务系统的实时业务。特别的，对于视频监控系统而言，实精品文档放心下载时录像业务本身就对网络形成一个持续、较高的压力。且节点离线可能仅仅是短精品文档放心下载^`时间非故障离线、磁盘故障也只是暂时性的。而视频监控系统所采用的存储设备谢谢阅读往往存储密度非常高，IO能力却不是非常强，导致数据恢复较慢。再结合视频精品文档放心下载监控系统周期覆盖的业务特征，本系统默认不采用自动恢复机制。谢谢阅读本系统采用手动和自动相结合的方式，为业务系统提供灵活的数据恢复机感谢阅读制。系统支持手动选择需要恢复的时间段，以快速恢复重要的文件。而对于一般谢谢阅读性文件，则可以通过数据冗余保证数据依然可访问。此种方式，特别适用于价值感谢阅读密度相对较低的视频监控系统中。同时，若数据恢复所带来的冲击是能接受的，也可以以自动方式，延迟进行感谢阅读数据恢复，从而屏蔽掉大部分暂时离线情况导致的没必要数据恢复。谢谢阅读由于数据存储的时候被分片存储在不同的存储节点上，如果一台存储节点损谢谢阅读坏的时候，所有的存储节点均会参与恢复，因此恢复的速度会很快。感谢阅读元数据管理的高可用性保障元数据服务器管理着分布式文件系统的所有元数据，其高可用性直接影响着感谢阅读系统的可用性。本系统采用高可用性HighAvailable技术，保证元数据服务器主感谢阅读备实时同步元数据，快速检测异常，以及迅速接管服务，保证了系统的高可用。感谢阅读主备元数据服务器之间，通过单独网络连接，进行实时的错误检测。单独网谢谢阅读络保证心跳不会受到数据中心其他网络通讯的干扰，保证链路的可靠性。心跳机感谢阅读制保证主备服务器之间错误的实时检测和发现，为主备快速切换提供保证。感谢阅读图5.2主备MDS高可用性保证一对MDS形成主备关系，对外表现为一个虚IP（VIP），即主备的切换对外精品文档放心下载部而言，是透明的。一个时刻，只有主MDS拥有VIP，对外提供服务。主MDS精品文档放心下载^`通过主备之间建立的链路，实时将元数据同步到备MDS，备MDS实时加载元数感谢阅读据，从而实现主备元数据的一致。备MDS一旦检测到主MDS异常，即刻接管精品文档放心下载VIP，对外提供服务，整个切换过程对业务系统而言是透明的。感谢阅读存储服务的高可用性保障单数据节点，其由于硬件、磁盘等原因，可用性是难以保证的。形成集群之后，谢谢阅读故障率得到了放大，从而表现为集群整体可靠性下降，存储服务可用性较低。但精品文档放心下载是利用集群管理技术，存储节点错误检测和调度机制，可以实现存储节点错误的谢谢阅读透明化，从而实现对客户端而言，提高存储服务的高可用性。精品文档放心下载即元数据服务器实时监测各数据节点情况，一旦发现节点异常，则将节点所负感谢阅读责的业务调度到其他节点上。再配合客户端反馈异常机制，以及将之后的业务流谢谢阅读进行重新定位等，实现集群对存储节点错误的屏蔽，大幅提高存储服务的高可用谢谢阅读性。动态负载均衡一个存储集群内部，众多存储节点组建形成的一个统一空间，从整体性能、避感谢阅读免单点故障、数据热点瓶颈等方面，都需要一个良好的动态负载均衡功能。动态谢谢阅读负载均衡指集群内部，自动根据各存储节点的IO负载、空间容量、CPU、内存谢谢阅读负载等因素，调度数据流向，实现IO读写的负载均衡。精品文档放心下载对于存储数据写入而言，动态负载均衡表现为任意时刻，数据节点的写入负载精品文档放心下载是动态均衡的。元数据服务器根据各节点的负载情况，自动调度，将新的数据写感谢阅读入调度到综合负载相对较低的节点，实现整体负载平衡。对于存储数据读出，则感谢阅读根据数据分布情况，以及数据分布的几台设备负载情况，选择从负载较轻的节点感谢阅读读取数据。在线扩容在线扩容是指不需要停止在线业务的情况下，动态增加或缩小云存储系统的容感谢阅读量，表现业务无感知的增加或删除存储节点。由于云存储系统为一个整体，结合感谢阅读^`集群管理、数据冗余与恢复等机制，实现了在线动态增加删除节点，对业务层仅表现为存储容量的增加和删除。谢谢阅读磁盘热插拔和漂移存储节点提供磁盘的热插拔功能，为系统维护带来极大的便利。磁盘的热插拔感谢阅读影响仅限于集群内部，实现业务无感知的插拔。同时，灵活的数据恢复机制，可谢谢阅读以保证热插拔不会引起没有必要的数据恢复带来的网络压力和系统磁盘IO压谢谢阅读力。同时，存储节点也提供了磁盘漂移能力，即可以将某节点内的磁盘，拔出插入精品文档放心下载到另外新的节点内，实现了在存储节点硬件故障时，快速恢复数据的途径。同时，感谢阅读也为一些较小集群规模时扩容，以最快速、最小代价实现负载均衡提供一种选择。谢谢阅读高速并发访问本系统采用文件切片，以及文件切片内再进行节点间冗余的数据分散方式，使谢谢阅读得客户端可以有效利用众多存储节点提供的聚合网络带宽，实现高速并发访问。感谢阅读客户端在访问云存储时，首先访问元数据服务器，获取将要与之进行交互的数据精品文档放心下载节点信息，然后直接访问这些数据节点完成数据存取。客户端与元数据服务器之间只有控制流，而无数据流，这样就极大地降低了元感谢阅读数据服务器的负载，使之不成为系统性能的一个瓶颈。客户端与数据节点之间直感谢阅读接传输数据流，同时由于文件被分散到多个节点进行分布式存储，客户端可以同精品文档放心下载时访问多个节点服务器，从而使得整个系统的I/O高度并行，系统整体性能得到谢谢阅读提高。通常情况下，系统的整体吞吐率与节点服务器的数量呈正比。精品文档放心下载^`第四章客户端接口设计云存储系统对外提供多种客户端接口，可以根据实际应用的需要编写应用程序，通过调用相应的接口直接访问云存储系统。感谢阅读1.基础SDK推荐使用SDK访问方式，可以获得最优的系统性能，文件读写时，直接谢谢阅读SDK做文件的切片和组合，不需要专门的服务器来支持。接口形式上，表现为类posix语义的接口，即提供创建bucket、删除bucket、设置bucket属性、获取bucket属性、创建文件、删除文件、设置文件私有属性、获取文件私有属性、打开文件、写文件、读文件、文件内定位、获取文件属性等接口。目前，本系统提供windows/linux上的C++版本接口。具体接口有：精品文档放心下载1、 创建bucket创建bucket是指在分布式文件系统内创建一个存储文件的容器。系统中每一个文件，都必须包含在一个bucket中。Bucket不能嵌套，即bucket内不允许再次创建bucket。Bucket通过全局唯一名称标识。感谢阅读2、 删除bucket删除bucket是指将一个空的bucket从分布式文件系统中删除。精品文档放心下载3、 罗列bucket内文件罗列bucket内文件实现了获取bucket内文件名列表的功能。且通过一些参数，以及良好的文件名规范定义，可以实现类目录的操作。谢谢阅读4、 设置bucket属性设置bucket属性功能为业务提供高效存储、查询一些私有属性的功能，为业务开发提供便利。其中属性必须是键值对，且属性总容量不能大于1kB。感谢阅读5、 获取bucket属性通过属性健，获取bucket属性值。6、 创建文件创建文件是指在特定的bucket内创建一个文件，用于存储数据之用。创建文件时，可以为文件选择特定的数据冗余方式，从而实现文件级别