cStor云存储系统C1000系列产品技术白皮书

cStor2012PagePAGE28ofNUMPAGES30云存储系统C1000系列产品技术白皮书南京云创存储科技有限公司2012年4月

提要本白皮书阐述了云创存储cStor云存储系统技术架构与原理本白皮书阐述了云创存储C1000系列产品的产品特性本白皮书阐述了云创存储C1000系列产品的应用模式本白皮书阐述了云创存储C1000系列产品的部署方案本白皮书阐述了云创存储C1000系列产品的技术规格版权所有2012云创存储，保留所有权利 2012年4月未经云创存储有限公司书面许可，本白皮书任何部分的内容不得被复制或抄袭用于任何目的。本白皮书并不暗示云创存储有限公司提供的任何产品或服务或其功能与本白皮书描述的内容完全一致。、云创存储是南京云创存储科技有限公司的注册商标。

目录1 概述 31.1 云存储的概念 31.2 cStor云存储系统简介 41.3 C1000系列产品特性 61.3.1 高可靠性 61.3.2 高性能 61.3.3 在线伸缩 71.3.4 通用易用 71.3.5 智能管理 72 产品技术架构与关键技术 82.1 技术架构 82.1.1 工作原理 102.1.2 管理机制 132.2 关键技术 132.2.1 负载自动均衡技术 132.2.2 高速并发访问技术 142.2.3 高可靠性保证技术 142.2.4 高可用技术 153 产品应用模式与部署方案 163.1 企业典型云存储应用模式 163.2 大规模虚拟机映像文件云存储应用模式 183.3 广电媒资系统云存储应用模式 193.4 城市视频监控云存储应用模式 213.5 公安图像侦查云存储应用模式 233.6 数据灾备中心云存储应用模式 254 产品技术规格 264.1 经济型配置 264.2 中等规模配置 274.3 高性能配置 28

概述云存储的概念云存储是在云计算(cloudcomputing)概念上延伸和发展出来的一个新的概念，是指通过集群应用、网格技术或分布式文件系统等功能，将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能的一个系统。当云计算系统运算和处理的核心是大量数据的存储和管理时，云计算系统中就需要配置大量的存储设备，那么云计算系统就转变成为一个云存储系统，所以云存储也可以认为是一个以数据存储和管理为核心的云计算系统。与传统的存储设备相比，云存储不仅仅是一个硬件，而是一个网络设备、存储设备、服务器、应用软件、公用访问接口、接入网、和客户端程序等多个部分组成的复杂系统。各部分以存储设备为核心，通过应用软件来对外提供数据存储和业务访问服务。云存储系统的结构由存储管理、存储服务、应用接口以及存储访问等四部分组成。各部分的功能具体描述为：1) 存储管理存储管理是云存储最重要的部分，它负责管理所有的存储服务节点，并且对外提供统一的命名空间，采用负载均衡技术将客户端的应用请求分配到各个具体的存储节点上。2) 存储服务存储服务是云存储最基本的部分，它主要负载对海量数据的存储，个存储节点均采用廉价的硬件，通过硬件冗余的方式来解决硬件不可靠的问题，各客户端与存储服务节点间直接进行数据交互而不经过管理节点。云存储系统的整体性能随着存储服务节点的增多程线性的增加。3) 应用接口应用接口是云存储最灵活多变的部分，具有很强的定制性。不同的云存储运营单位可以根据实际业务类型，开发不同的应用服务接口，提供不同的应用服务。4) 存储访问任何一个授权用户都可以通过相应的客户端来登录云存储系统，享受云存储服务。云存储运营单位不同，云存储提供的访问类型和访问手段也不同。cStor云存储系统简介cStor云存储系统是南京云创存储科技有限公司自主研发的高科技产品，是一种软件与硬件相结合的系统，其中专有技术和软件是高附加值部分。与目前国际上知名的云存储技术相比，具有超高性价比、高可靠、通用、免维护的优势，可以广泛应用于需要存储大量数据的应用场合（如安防、广电、电信、互联网、银行等领域）。特别地，cStor每个标准机架的最高容量可达1024TB以上，是国际最高水平的3倍，拥有成本和运营成本都仅为同类产品的几分之一。下图1-1为cStor云存储产品C1000系列存储机柜。图1-1cStorC1000系列产品存储机柜C1000系列产品特性C1000系列云存储产品是南京云创存储科技有限公司的第一代云存储产品，它具有如下特性：高可靠性系统中采用廉价的大容量存储服务节点，通过cStor系统软件实现统一管理和容错，提供高效、稳定服务。与使用专用服务器相比，可以将系统构建成本节省5-10倍以上，且规模越大，优势越明显。在降低系统的构建成本的同时，系统的可靠性不仅没有收到影响，相反，通过一系列的可靠性保障机制，使得cStor系统具有高可靠性的特性。在cStor云存储系统中，数据具有多个副本（默认情况下是2份，可以根据需要设置），任意节点出现故障，系统将会自动复制数据副本到新的节点上，不会丢失数据。这样，在节点发生故障的情况下，也可以实现数据的无间断服务。同时，元数据管理节点采用双机镜像模式容错，如果有一节点出现故障，另一节点自动接替。高性能cStor采用控制流与数据流分离的技术，数据的存储或读取实际上是与各个存储节点上并行读写；这样随着存储节点数目的增多，整个系统的吞吐量和IO性能将呈线性增长。同时，cStor采用负载均衡技术，自动均衡各服务器负载，使得各存储节点的性能调节到最高。在线伸缩cStor云存储系统扩容非常方便，支持不停止服务的情况下，动态加入新的存储节点，无需任何操作，即实现扩容；同时，无需人为干预，也可以摘下任意节点，系统自动缩小规模而不丢失数据，存储在此节点上的数据将会重新备份到其他节点上。通用易用cStor云存储系统提供标准POSIX接口，无论是哪种操作系统下的应用程序，都可以不经修改将云存储当成自己的海量磁盘来使用。同时，也提供专用的API接口，供开发人员调用。智能管理提供基于WEB的管理平台，所有的管理工作均由cStor管理模块自动完成，使用人员无需任何专业知识便可以轻松管理整个系统。通过管理平台，可以对cStor中的所有节点实行无间断监控，用户通过监控界面可以清楚地了解到每一个节点和磁盘的运行情况。

产品技术架构与关键技术C1000系列产品采用cStor分布式云存储文件系统对数据进行集中式海量存储和统一管理，其技术架构和关键技术在下面的章节中分别详细介绍。技术架构cStor云存储文件系统采用分布式的存储机制，将数据分散存储在多台独立的存储服务器上。它采用包括元数据管理服务器（MasterServer）和数据存储节点服务器（ChunkServer）以及客户端节点的结构构成一个虚拟的海量存储卷，如下图所示。图2-1cStor云存储系统架构其中，MasterServer保存系统的元数据，负责对整个文件系统的管理，MasterServer在逻辑上只有一个，但采用主备双机镜像的方式，保证系统的不间断服务；ChunkServer负责具体的数据存储工作，数据以文件的形式存储在ChunkServer上，ChunkServer的个数可以有多个，它的数目直接决定了cStor云存储系统的规模；客户端即为服务器对外提供数据存储和访问服务的窗口，通常情况下，客户端都部署在ChunkServer上，每一个块数据服务器，及时存储服务器也是客户端服务器。对每一个节点，cStor云存储系统提供的管理监控中心都可以对其进行管理，包括设备运行状态、磁盘运行状态、服务在线情况以及异常告警等功能；另外，网管监控中心还提供有如FTP账户添加等客户端管理和配置工具。这种分布式系统最大的好处是有利于存储系统的扩展和实现，在小规模的数据扩展时，只需要添加具体的ChunkServer即可，而不需要添加整套设备。下图2-2为cStor云存储系统部署示意图。图2-2cStor云存储系统部署示意图cStor云存储系统所有的节点均通过网络的方式连接起来，其中存储节点采用廉价的计算机节点，运用自适应副本管理技术进行容错。所有存储节点同时担任对外服务功能，客户端分别挂载到不同存储节点访问云存储系统。通过增加或者减少存储节点的方式，即可以对存储系统进行在线伸缩，由于采用了自适应副本管理技术进行容错，系统在线伸缩的过程中，不影响系统对外提供服务。下面简单的介绍下cStor系统的工作原理和管理机制。工作原理对于cStor云存储的用户来说，通过cStor客户端可以将海量云存储系统映射成一个本地海量磁盘（Windows客户端）或者映射到一个目录（Linux客户端），对于此磁盘或者目录的读写操作，即可实现云存储系统数据的读写。同时，由于cStor文件系统支持POSIX接口规范，对于目前一般的应用不需要做二次开发即可使用。下面详细的介绍一下cStor云存储系统的实际读写过程。下图2-3是cStor客户端向系统中写数据的流程图。图2-3cStor客户端写数据流程其详细过程是：cStor客户端向元数据服务器发起数据写请求；元数据服务器根据其管理的存储节点的工作和使用情况，根据负载均衡的原理，在相关存储节点上创建一些新的数据块；相关存储节点服务器创建成功，将结果返回给元数据服务器；元数据服务器一方面备份和同步此元数据信息，另一方面将相关存储节点信息返回给客户端；客户端根据得到的存储节点信息，向对应存储节点发出数据写请求，并向存储节点发送数据；存储节点接收数据并存储到相应块，同时也向其他存储节点发起备份；当本地写以及备份均成功后，存储节点将成功信息返回给客户端；客户端收到成功信号后，即完成数据的存储。下图为cStor客户端读数据流程图如下所示：图2-4cStor客户端读数据流程总的来说，cStor云存储系统的控制流和数据流是分离的，一方面降低了元数据服务的负担，使得其处理能力更强，另一方面将数据读写的负担分担到各存储节点，使得系统的整体性能得到了提高，与节点数目成正相关。管理机制cStor云存储系统采用的是一种基于网络的管理工具，称之为cStor网管监控中心，主要用来对cStor云存储系统进行远程监控和管理，其具体功能包括：提供存储机架的虚拟化管理；可以监测到每个节点服务器的运行状态（包括主备元数据服务器和存储节点服务器的内存、CPU、系统盘的利用情况等）；磁盘的运行状态和使用情况监控；cStor服务的启动和关闭；所有服务器的重启、关闭；卷管理服务器的设置和账户管理；FTP账户的批量添加和删除等。关键技术负载自动均衡技术cStor采用中心服务器模式来管理整个云存储文件系统，所有元数据均保存在MasterServer上，文件则划分为多个chunk存储在不同的ChunkServer上。MasterServer维护了一个统一的命名空间，同时掌握整个系统内ChunkServer的使用情况，当客户端向元数据服务器发送数据读写的请求时，元数据服务器根据ChunkServer的磁盘使用情况、网络负担等情况，选择负担最轻的ChunkServer对外提供服务，自动均衡负载负担。另外，当某有一个ChunkServer因为机器故障或者其他原因造成离线时，MasterServer会将此机器自动屏蔽掉，不再将此ChunkServer提供给客户端使用，同时存储在此ChunkServer上的数据也会自动的备份到其他可用的ChunkServer上，自动屏蔽ChunkServer故障对系统的影响。高速并发访问技术客户端在访问cStor时，首先访问MasterServer节点，获取将要与之进行交互的ChunkServer信息，然后直接访问这些ChunkServer完成数据存取。cStor的这种设计方法实现了控制流和数据流的分离。Client与MasterServer之间只有控制流，而无数据流，这样就极大地降低了MasterServer的负载，使之不成为系统性能的一个瓶颈。Client与ChunkServer之间直接传输数据流，同时由于文件被分成多个chunk进行分布式存储，Client可以同时访问多个ChunkServer，从而使得整个系统的I/O高度并行，系统整体性能得到提高。通常情况下，系统的整体吞吐率与ChunkServer的数量呈正比。高可靠性保证技术对于元数据，cStor通过操作日志来提供容错功能，当MasterServer发生故障时，在磁盘数据保存完好的情况下，可以迅速恢复以上元数据。为了防止MasterServer彻底死机的情况，cStor还提供了MasterServer远程的实时备份，这样在当前的MasterServer出现故障无法工作的时候，另外一台备MasterServer可以迅速接替其工作。对于ChunkServer，cStor采用副本的方式实现容错。每一个chunk有多个存储副本（默认为两个），分布存储在不同的ChunkServer上。副本的分布策略考虑了多种因素，如网络的拓扑、机架的分布、磁盘的利用率等。对于每一个ChunkServer，必须将所有的副本全部写入成功，才视为成功写入。在其后的过程中，如果相关的副本出现丢失或不可恢复等状况，MasterServer会自动将该副本复制到其他ChunkServer，从而确保副本保持一定的个数。在有多个ChunkServer的情况下，任意损失一个节点，数据都不会丢失，而且随着ChunkServer数目的增多，整个系统的可靠性越大。高可用技术系统中的所有服务节点均是通过网络连接在一起，由于采用了高可靠的容错机制，系统增减节点不必停止服务，可在线增减存储节点，存储节点和元数据节点间通过注册管理机制自适应管理，实现自动伸缩。元数据服务器采用主备双机热备技术，主机故障，备机自动接替其工作，对外服务不停止；存储节点采用冗余备份机制，多个存储节点情况下，任意损失一个节点，数据不丢失，服务不停止。

产品应用模式与部署方案cStor云存储系统主要是为海量数据的集中存储和处理提供解决方案。针对不同的应用场景，它主要有如下集中应用模式，下面分而叙之。企业典型云存储应用模式随着社会信息化程度的不断提高，越来越多的企业对海量数据存储和处理的需求越来越迫切。海量数据爆炸式增长，传统存储模式面临着扩容不方便、系统吞吐量不足、无法支持多用户高并发快速访问等问题。如下为传统存储模式的示意图：图3-1传统存储模式传统存储都是通过中心服务器来将数据转存到磁盘阵列或磁盘柜等存储介质中，这样的模式很容易成为系统的瓶颈。cStor基于分布式的云存储架构，能够完美的解决传统存储模式所遇到扩容不方便、系统吞吐量不足、无法支持多用户高并发快速访问等问题。基于cStor云存储具体解决方案如下：图3-2cStor云存储集中存储模式采用cStor云存储的典型云存储模式具有如下特点：动态伸缩系统增减节点不必停止服务，可在线增减存储节点，存储节点和元数据节点间通过注册管理机制自适应管理，实现自动伸缩，并且系统可提供7*24小时不间断的存储服务。很好的解决了传统存储模式扩容不方便的问题。优异性能采用控制流和数据流分离的技术，每个存储节点都对外提供数据访问服务，系统的总体性能与存储节点的规模成正比，整个系统的吞吐量随着节点的规模增加呈线性增长，系统的规模越大云存储系统的优势越明显。多用户高并发快速访问系统自动均衡负载，根据节点的空间使用比例将负载自动均衡到不同的存储服务器上，同时将不同的用户端的流量自动分担到不同的存储节点上，从而支持多用户高并发快速访问。大规模虚拟机映像文件云存储应用模式目前，虚拟化技术在企业中的运用是越来越多，特别是桌面云等云计算技术的应用，那么存储这些虚拟机镜像也越来越成为一个摆在企业面前的问题：在传统的存储模式下，系统通过单节点存储服务器对外提供虚拟机映像文件的访问，当访问的节点达到一定数量的时候，受访问的服务器便无法提供如此高的吞吐率，因此传统模式不能满足大规模的虚拟机映像文件的存储需求。为了解决传统存储模式的缺陷，我公司提出了基于cStor云存储的解决方案，如下图所示：图3-3大规模虚拟机映像文件存储由于cStor采用控制流和数据流分离的技术，用户访问时通过元数据管理服务器获取文件存储的信息，然后直接与各个存储节点交互进行文件的存取访问，避免了元数据服务器超负载的现象，同时系统的整体吞吐率随着存储节点的增多呈线性增长，解决了传统方式的超大数量用户访问的瓶颈。广电媒资系统云存储应用模式随着视频技术的高速发展，以及高清、新媒体等业务的全面展开，媒资管理系统对可靠性、存储容量、访问宽带等要求不断提高，除了业务与设备高度耦合造成的设备共享困难外，广电媒体IT系统的管理复杂度也越来越高。针对目前的业务需求和存储策略，我们提出了如下的云存储解决方案：图3-4广电媒资系统cStor存储应用模式采用cStor云存储模式的系统，具有如下特点：高度可靠针对小文件采用多个数据块副本的方式实现冗余可靠，数据在不同的存储节点上具有多个块副本，任意节点发生故障，系统将自动复制数据块副本到新的存储节点上，数据不丢失，实现数据完整可靠；针对大文件采用超安存（S3）编解码算法的方式实现高度可靠，任意同时损坏多个存储节点，数据可通过超安存算法解码自动恢复。该特性可适用于对数据安全级别极高的场合，同时相对于副本冗余的可靠性实现方式大大提高了磁盘空间利用率，不到40%的磁盘冗余即可实现任意同时损坏三个存储节点而不丢失数据。元数据管理节点采用双机镜像热备份的高可用方式容错，其中一台服务器故障，可无缝自动切换到另一台服务器，服务不间断。整个系统无单点故障，硬件故障自动屏蔽。超大规模可支撑的容量接近无限，理论容量为1024x1024x1024PB（1G个PB容量）。多用户高并发快速访问传统方式不能满足同时上传和下载的高速并发访问的要求，cStor云存储系统能够自动均衡负载，根据节点的空间使用比例将负载自动均衡到不同的存储服务器上，同时将不同的用户端的流量自动分担到不同的存储节点上，从而支持多用户高并发快速访问。智能管理一键式安装，智能化自适应管理，简单方便的监控界面，无需学习即可使用。城市视频监控云存储应用模式随着城市视频监控布设的越来越全面，如果采用1080P的高清视频监控，使用能获得最高压缩比的H.264图像压缩技术处理收集的高清视频，则压缩输出码率最高可达到6Mbps，也就是每台摄像机每天将大约产生50GB左右的数据量，那如果是一个城市一年的视频数据的话是相当惊人的。因此传统处理方式已无法实现如此海量数据的存储与高效处理。针对这一现象，我们提出了如下的云存储解决方案：图3-5云视频监控系统框架 本系统具有如下特点：高效处理本方案针对城市视频监控实际应用特点，结合云计算、云存储优势，利用云创存储自身云计算与云存储产品，创新地开发设计了城市云视频监控系统平台，结合云创cStor海量云存储系统、cProc高效云处理平台、cVideo云视频监控管理系统、cTrans高速云传输系统四大系统产品，充分发挥云存储与云计算针对海量数据处理时的优势，达到海量视频监控信息高效率存储与管理的目的。超大规模可支撑的容量接近无限，理论容量为1024x1024x1024PB（1G个PB容量），有足够的存储空间来存储城市视频。动态伸缩系统可以在不停止服务的情况下，动态加入新的存储节点，支持超大规模集群，满足海量数据集中存储的大容量的要求。公安图像侦查云存储应用模式近年来，视频监控在安防领域得到了大规模应用，海量的摄像头完成了部署。视频监控信息在维护社会稳定，协助安全防卫过程中发挥了重要的作用，与此同时，海量视频数据的集中存储与共享、高度可靠以及多用户高速并发访问成为公安图像侦察应用领域的基本要求。 cStor云存储系统提供了海量数据的集中存储与共享，以及高度可靠的多用户高速并发访问解决方案，下图为公安图像侦查的云存储应用模式示意图：图3-6基于cStor云存储的公安图像侦查系统 在本侦查系统中，图像视频数据通过专门的数据上传组进行上传，同时在多个侦查组可以进行数据的侦测（示意图中的数据下载区），通过这种模式可以大大的节省团队的协作时间，提高整体的执行效率。 由于采用了分布式的云存储架构，各个侦查组在进行数据的读写时，是直接与个存储节点进行数据的交互，不存储单节点性能瓶颈，而且随着存储节点数目的增多，系统的整体IO性能呈线性的增加。数据灾备中心云存储应用模式对于政府、银行、交通等行业，数据尤其重要，如果企业数据丢失，不仅会影响到业务的开展，更严重还会是企业丢失客户的信任以及企业赖以生存的市场。因此成功的容灾和备灾将是一个企业战略规划的核心部分。为了应对灾难对用户带来的威胁，我公司提供了数据灾备中心云存储系统的解决方案，如下示意图所示：图3-7数据灾备中心云存储应用模式各地有本地数据存储中心，重要数据则在本地系统空闲（如晚上）时通过网络上传至数据灾备中心进行集中式备份。同时数据灾备中心的存储服务器也可以部署云处理平台，在没有数据备份的空闲时间段也可以对外提供云计算服务。这种基于云存储的数据灾备中心，通过云存储的分布式架构，将数据分块存储在不同的存储节点上，提高了数据的可靠性，同时cStor中提供的超安存（S3）技术，不仅提高了磁盘的利用率，还通过其加密技术增强的数据存储的安全性。通过这种专业的统一灾备中心的容灾，企业只需要根据需求购买相应容量的存储，不仅大大减少了各个企业建立数据中心的成本，同时大大的降低了数据丢失的风险。产品技术规格cStor产品根据不同应用对象的应用需求以及对系统配置的要求分成三种技术规格，详细说明如下。经济型配置主要是采用千兆网络环境，应用于一般的数据备份和归档的环境即可。技术指标技术要求操作系统Linux64位操作系统，多核处理器管理节点≥2个,≥4核4线程元数据缓存采用内存缓存，内存≥16GB存储节点≥1*双核存储缓存≥4GB网络配置采用千兆网络，最大读速度达到80MBps，写速度达到100M