银行灾备方案

1、TM百创存储ujujujxStorcn云存储项目大数据平台解决方案地址:南京市白下区光华路1号孵化大楼一楼电话：4008855360官方网站：邮编:210014传真:( 025) 83700385-8014官方微博：/njcstor TOC o 1-5 h z HYPERLINK l bookmark5 o Current Document 概述 3 HYPERLINK l bookmark7 o Current Document 建设背景 3 HYPERLINK l bookmark9 o Current Document 设计范围 3 HYPERLINK l bookmark11 o Cu

2、rrent Document 总体设计原则 3 HYPERLINK l bookmark23 o Current Document 云存储系统平台设计 5 HYPERLINK l bookmark25 o Current Document 项目需求 6 HYPERLINK l bookmark39 o Current Document 设计思想 7 HYPERLINK l bookmark41 o Current Document 云存储系统方案 8 HYPERLINK l bookmark43 o Current Document 系统优势和特点 8 HYPERLINK l bookmark

3、59 o Current Document 系统架构 11 HYPERLINK l bookmark61 o Current Document 系统基本组成 11 HYPERLINK l bookmark63 o Current Document 系统功能描述 12 HYPERLINK l bookmark71 o Current Document 系统安全性设计 19 HYPERLINK l bookmark73 o Current Document 安全保障体系框架 19 HYPERLINK l bookmark75 o Current Document 云计算平台的多级信任保护 21 H

4、YPERLINK l bookmark77 o Current Document 基于多级信任保护的访问控制 25 HYPERLINK l bookmark81 o Current Document 云平台安全审计 28 HYPERLINK l bookmark85 o Current Document 工作机制 31 HYPERLINK l bookmark87 o Current Document 数据写入机制 31 HYPERLINK l bookmark89 o Current Document 数据读出机制 32 HYPERLINK l bookmark91 o Current Do

5、cument 关键技术 32 HYPERLINK l bookmark93 o Current Document 负载自动均衡技术 32 HYPERLINK l bookmark95 o Current Document 高速并发访问技术 33 HYPERLINK l bookmark97 o Current Document 高可靠性保证技术 33 HYPERLINK l bookmark99 o Current Document 高可用技术 34 HYPERLINK l bookmark101 o Current Document 低功耗存储技术 34 HYPERLINK l bookma

6、rk103 o Current Document 分布式、分级、动态存储技术34 HYPERLINK l bookmark105 o Current Document 接口描述 36 HYPERLINK l bookmark107 o Current Document POSIX 通用文件系统接口访问 36 HYPERLINK l bookmark109 o Current Document 应用程序 API 接口调用 37 HYPERLINK l bookmark111 o Current Document 本地容错与诊断技术37 HYPERLINK l bookmark113 o Curr

7、ent Document cStor高可靠性 37 HYPERLINK l bookmark121 o Current Document cStor数据完整性 37 HYPERLINK l bookmark123 o Current Document cStor快照技术 38 HYPERLINK l bookmark125 o Current Document 异地容灾与恢复技术38 HYPERLINK l bookmark127 o Current Document cStor数据备份与恢复系统功能 38 HYPERLINK l bookmark141 o Current Document

8、cStor异地文件恢复 39 HYPERLINK l bookmark143 o Current Document cStor数据迁移归档 391 概述建设背景随着银行数据集中处理的实施，银行业务运作、经营管理将越来越依赖于计算机网络系统的可靠运行。 银行所提供金融服务的连续性以及业务数据的完整性、 正确性、 有效性，会直接关系到银行的生产、经营与决策活动。一旦因自然灾害、设备故障或人为因素等原因引起计算机网络系统停顿导致信息数据丢失和业务处理中断， 将会给银行造成巨大的经济损失和声誉损害，受到致命的打击。生产运行系统的灾难备份系统就显得格外重要。 我们认为， 一旦实施银行数据集中，灾难备份系

9、统应该与生产运行应用系统同步投入使用， 保证银行数据集中处理系统的运行安全。设计范围本技术解决方案针对海量数据集中存储与共享， 提供从系统软硬件技术架构、 原理、硬件选型、网络接入以及软件与应用之间的接口等方面的全面设计阐述。总体设计原则针对本次工程的实际情况,充分考虑系统建设的建设发展需求，以实现系统统一管理、高效应用、平滑扩展为目标，以“先进、安全、成熟、开放、经济”为总体设计原则。先进性原则在系统总体方案设计时采用业界先进的方案和技术，以确保一定时间内不落后。选择实用性强产品， 模块化结构设计， 既可满足当前的需要又可实现今后系统发展平滑扩展。安全性原则数据是业务系统核心应用的最终保障，

10、不但要保证整套系统能够7X24 运行，而且存储系统必须有高可用性， 以保证应用系统对数据的随时存取。 同时配置安全的备份系统， 对应用数据进行更加安全的数据保护， 降低人为操作失误或病毒袭击给系统造成的数据丢失。在进行系统设计时，充分考虑数据高可靠存储，采用高度可靠的软硬件容错设计，进行有效的安全访问控制， 实现故障屏蔽、 自动冗余重建等智能化安全可靠措施， 提供统一的系统管理和监控平台，进行有效的故障定位、预警。成熟性原则为确保整个系统能够稳定工作，软件平台将使用先进、完善、易于管理和稳定可靠的云存储资源管理系统，对于与应用的集成接口，提供统一的通用稳定访问接口。开放性原则系统建设具有开放性

11、的标准体系，提供符合posiX示准的通用文件系统访问接口，开放的应用 API 编程接口，提供人性化的应用和管理界面，以满足用户需求。遵循规范的通用接口标准，使全系统中的硬件、通信、软件、操作平台之间的互联共享。充分考虑系统的升级和维护问题， 维护采用在线式的， 即在系统不停止工作的情况下， 可以更换单元备件。系统的维护和升级操作由系统管理员即可完成。经济性原则现有业务系统存储数据量较大，且数据的增长速度较快。因此在建设系统存储架构时， 应从长远的角度考虑， 建设一个长期的存储架构， 除了可以应对存储硬件设备的升级速度外， 还必须考虑到对前期存储设备的投资保护， 在保证不断提供功能和性能提高的同

12、时， 存储架构在较长的时间内能够保持相对稳定。 结合先进的云平台技术架构优势，根据本次项目建设的实际容量需求设计， 同时充分考虑应用发展需求， 实现系统可弹性在线平滑升级。 通过软件实现在较廉价普通服务器上实现高度容错， 同时能够在较低冗余度的情况下实现高度可靠容错，大大节约和降低系统建设的硬件成本。1.4 1 项目建设目标建立灾难备份中心的目的是：以最合理的代价保护应用数据的完整性与安全性，在灾难发生后尽快恢复运行， 减少业务停顿时间， 尽可能不中断或不影响业务的正常进行， 使灾难造成的损失降到最小。 即不管两个系统相离多远， 当一个数据中心出现问题时， 另一个数据中心就应能迅速接替运行，

13、既要保证业务数据的完整性， 又要保证关键 业务的连续性。随着商业银行的业务发展及竞争的日益加剧， 国外商业银行又提出了业务连续 性的要求。这种要求的产生背景是：商业银行承诺向客户提供“ 3A” 服务 （即任何时间 Anytime ， 任何地点 Anywhere，任何方式Anyways）。由于家庭银行、企业银行、网络银行、电话银行、 ATM/POS等电 子银行的出现， 客户不受银行终端用户的上下班时间及位置的限制， 享受银行提供的金 融服务。2 ）随着银行金融服务和金融市场的拓展，商业银行比较注重银行间相互联网。这样，当客户外出时，无需携带大量现金，也无需在当地银行、外币找换店及酒店兑换外币，可

14、直接在当地自助设备上提取当地货币，还可办理各种存取款、转帐、申请结单 或支票等业务，既节省时间，又极大方便了客户。要求银行服务具有连续性。3）在开放的金融市场环境下，为适应市场需求，发达国家的商业银行从注重规模效益转为重视深度效益。 注重客户关系及客户价值是变革的关键， 而深度效益的内涵是对详细客户信息和市场信息的组织和分析，利用数据仓库（DATA WAREHOUSE）数据采掘（DATA MINING）技术从业务数据中提取可供辅助决策用的信息。数据仓库是将银行 各自分散的原始数据（如主机中的帐务数据）汇集和整理成为单一的管理信息数据库、客户信息数据库， 面向专题和时间组织数据， 并对数据进行集

15、成。 使用数据采掘技术从数据仓库中提取隐藏的预测性信息，为银行提供完整、及时、准确的商业决策信息，为银行经营决策人员提供辅助决策支持。 它要求原始数据具有实时性、 连续可用性， 并具 有较好的完整性与长时间延续性。保持业务的连续性要求灾难恢复系统实现更高的目标： 除了以最合理的代价保护应用数据的完整性与安全性， 在灾难发生后尽快恢复运行， 减少或尽可能消除业务停顿时间外，还应做到：1 ）保证业务的连续性与延续性，即保证业务数据的连续性，为银行的决策支持系统提供连续完整的基本数据；2 ）缩小或取消应用系统用于批处理和数据备份（如磁带备份）的时间，保证关键业务服务24小时不中断，使应用系统的服务时

16、间达到7X24,满足银行互联及客户的需求；2 云存储系统平台设计项目需求灾难类型需求常见的银行灾难主要包括以下几个方面：（ 1）自然灾害：造成计算机灾难的自然灾害有：火灾、水灾、雷击、台风、地震、鼠害等。根据有关资料，XXXX*区发生毁坏性地震的可能性不大，并且，现有生产运行中心所在地-XXXX 大厦，在修建时作了抗7 级以下地震的设计。 XXXX地区附近无大江大河，不会出现洪涝。因此对我们生产运行系统来讲，自然灾害主要是指水灾、火灾、雷击和鼠害。（ 2）计算机系统故障：引起计算机系统故障的因素有下述几点：a.主机系统故障：主要指：数据库系统故障、系统软件故障、硬盘损坏、网卡故障、电源故障、应

17、用系统缺陷、其它故障b.主机房故障：主要指：主机房电源故障、主机房通讯故障、主机房水灾、主机房火灾、主机房鼠害c.整幢楼房故障:主要指：整幢楼房电源故障、整幢楼房火灾或水灾、整幢楼房其它灾害(4)人为因素：由于应用系统缺陷、误操作、人为蓄意破坏、外来暴力事件等都将直接影响系统的安全运行。 。吞吐量需求为满足多用户或应用整体吞吐带宽需要，确保数据访问流畅，系统需提供多用户或应用并发访问高吞吐带宽设计， 系统能够有效利用网络带宽， 性能可通过规模增加实现平滑增长。扩展性需求未来根据业务应用的变化和发展，需要快速实施系统资源的升级，可以在业务服务不间断的状态下平滑扩展， 不会导致架构发生根本性变化，

18、 为不断产生和变化的业务需求提供持续的支持，支持业务系统的快速整合和部署对核心系统基础架构的特别要求。低成本需求要求系统能够以低硬件成本、低维护成本实现高可靠高性能应用要求，充分提高资源利用率，简化管理，并能灵活、可持续扩展。可维护性需求要求系统具有自适应管理能力，安装、维护、升级简易方便，提供统一易用的 WEB 配置管理监控平台，实现智能化管理。接口需求要求能够提供通用的文件系统接口，方便用户及应用系统访问，减少与应用集成或开发工作量，实现系统快速部署与集成。设计思想采用业界成熟先进的云平台架构思想， 采用软件实现对大量普通商用服务器存储空间资源进行虚拟化整合， 实现软硬件故障高度容错， 将

19、系统控制流与数据流分离， 同时使得数据在逻辑上集中、 物理上分散， 每台服务器同时对外提供服务， 以达到多并发高吞吐量的性能要求， 采用自注册机制、 故障自动屏蔽、 自动冗余重建技术实现系统自我维护和平滑扩展，系统服务7X24小时不间断。系统采用先进的编解码容错技术，可根 据数据可靠性要求设置适当的冗余编解码策略进行系统部署，可以以极小的磁盘和硬件冗余度，实现高度的可靠性数据容错。云存储系统方案采用业界已经成熟的cStor云存储资源管理系统，在多台普通商用服务器上构建高 性能高可靠云存储系统，作为本次系统云数据中心存储平台，其应用部署示意图如下图 所示。应用服务层网络交换机=存储节点/服务节点

20、1 存储节点/服务节点2存储节点/服务节点3教 据 存 储 层存储节点/服务节点ncStor云存储资源管理系统部署示意图系统优势和特点cStor云存储系统是一套软件与硬件相结合的系统，其中专有技术和软件是高附加值 部分，可以广泛应用于需要存储大量数据的应用场合（如安防、广电、电信、互联网、银行等领域） 。该系统相比传统存储系统有如下技术优势：高度可靠存储系统采用云架构，数据被分块存储在不同的存储节点上，数据采用先进的 1:1容错机制进行容错， 可在任意损坏一个存储服务器节点的情况下实现数据完整可靠， 系 统对外存储访问服务不间断。云存储的管理节点采用了主备双机镜像热备的高可用机制， 在主管理节

21、点出现故障时， 备管理节点自动接替主管理节点的工作， 成为新的主管理节点， 待故障节点修复并重启服务后，它则成为新的备管理节点，保障系统的7X24小时不间断服务。优异性能cStor采用控制流与数据流分离的技术，数据的存储或读取实际上是与各个存储节点上并行读写，这样随着存储节点数目的增多，整个系统的吞吐量和 IO 性能将呈线性增 长。同时，cStor采用负载均衡技术，自动均衡各服务器负载，使得各存储节点的性能调节到最高，实现资源优化配置。无限容量系统容量仅受限于卷管理服务器内存，可支撑的容量接近无限，经推算，理论容量为 1024 X 1024X 1024 PB （1的 PB 容量）。在线伸缩cS

22、tor云存储资源管理系统扩容非常方便，支持不停止服务的情况下，动态加入新的存储节点，无需任何操作，即实现扩容；同时，无需人为干预，也可以摘下任意节点，系统自动缩小规模而不丢失数据，存储在此节点上的数据将会重新备份到其他节点上。通用易用cStor云存储系统提供符合POSIX标准的通用文件系统接口，无论是哪种操作系统下的应用程序， 都可以不经修改将云存储当成自己的海量磁盘来使用。 同时， 也提供专用的API接口，供开发人员调用。智能管理提供基于WEB的管理控制平台，所有的管理工作均由cStor管理模块自动完成，使用人员无需任何专业知识便可以轻松管理整个系统。通过管理平台，可以对cStor 中的所有

23、节点实行实时监控， 用户通过监控界面可以清楚地了解到每一个节点和磁盘的运行情况； 同时也可以实现对文件级别的系统监控， 支持损坏文件的查找和修复功能。 系统提供用户安全认证及对不同用户进行配额设置与权限管理功能， 满足应用的日常维护和安全管理需求。3系统架构在本次系统建设中，云存储系统属于基础平台支撑层，以用于数据集中存储和共享， 实现对数据的统一管理和高效应用。 将数据逻辑集中物理分散，以提供多并发高吞吐带 宽，最大程度降低系统访问瓶颈。下面具体说明cStor云存储资源管理系统的基本组成和主要功能。系统基本组成cStor云存储资源管理系统采用分布式的存储机制，将数据分散存储在多台独立的存 储

24、服务器上。它采用包括卷管理服务器、元数据管理服务器( Master Server)、数据存 储节点服务器(Chunk Server)和挂接访问客户端以及管理监控中心服务器的结构构成 虚拟统一的海量存储空间。在每个服务器节点上运行cStor云存储资源管理系统的相应的软件服务程序模块。系统架构框图如下图所示。国户修fl者白尸罐1喜户股*卷管理服务H客户郎落卜邛，雷声端HeM需件用心主卷管理阻务器Kft中办9壬元的胃呷得生1备元的需肾建中匕1部提茅感阳总亲尿产用期臂点科自B王元的强青瘠珏先2*7E时第蓄厚罂融附福驻点1;一 独据节点工;L出HSVAfJ肌王元时)S寿鼎吉3睛无时国青理节点3 ：笥期节

25、点1 |：_M据节点2；效取中舄3|；携军圾MfflFKWAcStor 云存储资源管理系统架构其中，Master Server保存系统的元数据，负责对整个文件系统的管理，Master Server在逻辑上只有一个， 但采用主备双机镜像的方式， 保证系统的不间断服务； Chunk Server负责具体的数据存储工作，数据以文件的形式存储在Chunk Server上，Chunk Server的个数可以有多个，它的数目直接决定了 cStor 云存储系统的规模；挂接访问客户端即为服务器对外提供数据存储和访问服务的窗口，通常情况下，客户端可以部署在 ChunkServer上，每一个块数据服务器，既可以作

26、为存储服务器同时也可以作为客户端服务器。由一对元数据服务器及其管理的存储服务器节点所提供的存储空间称为一个卷空间，不同的卷空间由卷管理服务器虚拟化统一管理，对外可提供统一的海量存储空间。管理监控中心提供统一易用的 WEB配置管理监控平台，提供设备监控、空间监控、文件监控、服务监控、用户认证管理、配额管理、故障告警及预警等功能，实现智能化管理。这种分布式系统最大的好处是有利于存储系统的扩展和实现， 在小规模的数据扩展时，只需要添加具体的Chunk Server即可，而不需要添加整套设备。在实现大规模扩展时也可方便地添加整个卷设备。系统功能描述cStor云存储资源管理系统从功能上划份为三大部分：c

27、Stor 分布式文件系统分布式文件系统实现文件数据存储、 可靠性容错、 可伸缩性保证、 高可用保证、负载均衡和流量分担等功能。存储访问接口cStor提供符合POSIX规范的文件系统访问接口 ,通过cStor访问挂接程序可将云存储空间挂接为本地目录或磁盘。同时可提供专用的 API 接口，支持业务应用层程序对云存储系统的直接访问。管理监控中心管理监控中心提供帐户管理、设备管理、系统监控、卷管理、告警管理、故障管理等功能。卜面逐一详细介绍各部分系统功能cStor分布式文件系统cStor分布式文件系统包括卷管理、元数据管理、块数据管理服务。参考上面系统架 构框图左侧部分。元数据是指文件的名称、属性、数

28、据块位置信息等，元数据管理通过元数据服务程序完成。因元数据访问频繁，故系统将元数据加载缓存至内存中管理，提高访问效率。由于元数据的重要性， 元数据损坏或丢失则相当于文件数据丢失， 因此实现了元数据服务器主备双机高可用，确保7 X 2 4小时不间断服务。通过元数据远程多机冗余备份功能，实现在多台其它机器上备份元数据，当元数据服务器损坏，可以通过备份的元数据重新恢复服务，切保数据可以完整找回。块数据是指文件数据被按照一定大小（默认 64MB）分割而成的多个数据块，分布 存储到不同的存储节点服务器上，并通过编解码容错算法产生相应的冗余块。块数据服务是运行在每个存储节点服务器上的块数据管理程序， 负责

29、使用存储服务器上的磁盘空间存储文件数据块，并实现相应的编解码功能。相比较传统业界的云存储采用块数据简单备份冗余容错机制， 编解码容错方式大大降低了硬件资源冗余度，提高了磁盘利用率。由一对主备元数据服务器及其所管理的块数据服务器管理节点设备及其所提供的存储空间称为一个卷。卷管理服务器负责将多个卷虚拟化整合，对外提供统一的整体访问云存储空间。文件系统采用中心服务器模式分布式存储架构，控制流与数据流分离，通过增加存储节点系统采用自动注册机制，实现系统高可伸缩性，增加或减少存储节点规模，不影响系统正常提供存储访问服务。该系统架构实现了统一调度，负载均衡和流量自动分担功能，多个存储节点同时对外提供数据流

30、服务， 系统根据磁盘空间使用比例进行资源优化配置。 同时在多个不同的存储节点之间实现根据空间比例进行优化配置， 数据优先存储的空间利用比例相对较低的磁盘或存储服务器上。cStor分布式文件系统具有自动冗余重建功能，确保损坏的数据块能够被解码或编码 后存储到在线的正常的存储服务器节点上。存储访问接口cStor分布式文件系统提供符合POSIX规范的文件系统访问接口。支持Linux、Windows、MaxOS X等操作系统平台。可将云存储系统提供的存储空间挂接为本地目录 或本地盘符来使用。用户操作云存储空间和操作本地文件相同。另外 cStor 提供专用的高速存取访问 API 接口，供性能要求很高的高

31、端应用程序对接使用。管理监控中心管理监控中心为系统管理员配置和维护 cStor 云存储资源管理系统的有效工具，充分体现了系统的可维护性。管理监控中心提供帐户管理、设备管理、系统监控、卷管理、告警管理、故障管理等功能。以下为部分系统管理界面。设备管理系统监控Hi)_*M 4WA- ” 1SIS4 9.旧r Lutr M*i4w Um %告警信息lljSli*RRV“刑，亶曲H叁rIMIIIMtllj- rt*rjnM他.di 卡祜，i*网hoi |iiis t n4HMCVWI1HEik nt r *asrm* Hri cnuqpitiiqr i it44，占*rE9Ltt n. F ;#nl

32、1 1EAE3-df4 ifi- fc OrahW LIil Bti aMrWBtt- * n* isR-BmE 心! * E4*RM n IB- Wi- .IB M r HIPHfWEI.eMMK* . i+*acrvsMfc)arr-ffr!： fip nr bmt.n-=IirtBH MB r 1DKX3-ET-W ! Ui tvEftn砧*.p. 元数据服务器(1)客户端向元数据服务器请求读出文件数据，元数据服务器返回数据块位置列表；(2)客户端进行数据块读出；(3)客户端进行数据块校验；(4)对未能读出的数据块或无效块通过同编码组内其它数据块进行解码，获得完整 正解的文件数据。6关键

33、技术负载自动均衡技术采用中心服务器模式来管理整个云存储文件系统，所有元数据均保存在主管理服务器上，文件则划分为多个节点存储在不同的节点服务器上。主卷管理服务器维护了一个统一的命名空间，同时掌握整个系统内节点服务器的使用情况，当客户端向元数据服务器发送数据读写的请求时，元数据服务器根据节点服务器的磁盘使用情况、网络负担等情况，选择负担最轻的节点服务器对外提供服务，自动均衡负载负担。另外，当某有一个节点服务器因为机器故障或者其他原因造成离线时，主卷管理服务器会将此机器自动屏蔽掉， 不再将此节点服务器提供给客户端使用， 同时存储在此节点服务器上的数据也会自动的编码冗余到其他可用的节点服务器上， 自动

34、屏蔽节点服务器故障对系统的影响。高速并发访问技术客户端在访问云存储时，首先访问主卷管理服务器节点，获取将要与之进行交互的节点服务器信息，然后直接访问这些节点服务器完成数据存取。客户端与主卷管理服务器之间只有控制流，而无数据流，这样就极大地降低了主卷管理服务器的负载， 使之不成为系统性能的一个瓶颈。 客户端与节点服务器之间直接传输数据流， 同时由于文件被分成多个节点进行分布式存储， 客户端可以同时访问多个节点服务器，从而使得整个系统的 I/O 高度并行，系统整体性能得到提高。通常情况下，系统的整体吞吐率与节点服务器的数量呈正比。高可靠性保证技术对于元数据，通过操作日志来提供容错功能，当主管理服务

35、器发生故障时，在磁盘数据保存完好的情况下， 可以迅速恢复以上元数据。 为了防止主管理服务器彻底死机的情况， 还提供了主管理服务器远程的实时备份， 这样在当前的主管理服务器出现故障无法工作的时候，另外一台备管理服务器可以迅速接替其工作。对于节点服务器，采用编解码的方式实现容错，分布存储在不同的节点服务器上。数据块的分布策略考虑了多种因素，如网络的拓扑、机架的分布、磁盘的利用率等。在其后的过程中， 如果相关的数据块出现丢失或不可恢复等状况， 主管理服务器会自动将该数据块编解码冗余到其他节点服务器， 从而确保数据块的一定的冗余容错， 进行自动冗余容错重建。在有多个节点服务器的情况下，任意损失一个节点

36、，数据都不会丢失，而且随着节点服务器数目的增多，整个系统的可靠性越大。高可用技术系统中的所有服务节点均是通过网络连接在一起，由于采用了高可靠的容错机制，系统增减节点不必停止服务， 可在线增减存储节点， 存储节点和元数据节点间通过注册管理机制自适应管理，实现自动伸缩。元数据服务器采用主备双机热备技术，主机故障，备机自动接替其工作，对外服务不停止； 存储节点采用编解码冗余备份机制， 如采用 4:2 编码容错， 任意损失两个节点，数据不丢失，服务不停止。低功耗存储技术服务器的功耗取决于各个配件的总体功耗， 而主要耗电大户则是处理器、 芯片组和存储器了。 低功耗存储技术主要是改进这些配件能够进而实现节

37、能， 这样服务器乃至数据中心整体功耗则会得到更好的控制。随着嵌入式技术的飞速发展， 嵌入式的性能有了很大的提高， 嵌入式的性能与计算机的差距不断缩小， 特别是在专用计算机领域。 由于嵌入式系统是应用在特定的环境下，针对特殊的用途来设计的系统。 所以不同于通用的计算机系统。 同样是计算机系统， 嵌入式系统是针对具体应用设计的 “专用系统” 。 它的硬件和软件都必须高效地设计。 “量体裁衣” ， 去除冗余， 力争在较少的资源上实现更高的性能。 与通用的计算机系统相比，它具有功耗低，体积小、集成度高、成本低等优点。可以被应用在近线存储、离线存储的存储节点的设计上， 有效的减少成本和使用的功耗， 同时

38、相应的散热系统也可以简化。分布式、分级、动态存储技术云存储系统，就是将数据分散存储在多台独立的设备上。传统的网络存储系统采用集中的存储服务器存放所有数据， 存储服务器成为系统性能的瓶颈， 也是可靠性和安全性的焦点， 不能满足大规模存储应用的需要。 分布式网络存储系统采用可扩展的系统结构， 利用多台存储服务器分担存储负荷， 利用位置服务器定位存储信息， 它不但提高了系统的可靠性、可用性和存取效率，还易于扩展。云存储系统将普通商用的PC机或工 作站通过高速网络互联在一起组成机群， 能够根据系统的需要随时增加新的硬件， 提高系统的可伸缩性和可用性， 从而能够在价格低廉的中低端平台上获取高端或者超级计

39、算机系统才具备的高可伸缩性、高可用性和高性能。分级存储是根据数据的重要性、访问频率、保留时间、容量、性能等指标，将数据采取不同的存储方式分别存储在不同性能的存储设备上，通过分级存储管理实现数据客体在存储设备之间的自动迁移。 数据分级存储的工作原理是基于数据访问的局部性。 通过将不经常访问的数据自动移到存储层次中较低的层次，释放出较高成本的存储空间给更频繁访问的数据， 可以获得更好的性价比。 这样， 一方面可大大减少非重要性数据在一级本地磁盘所占用的空间，还可加快整个系统的存储性能。传统的数据存储一般分为在线（On-line*储和离线（Off-line）存储两级存储方式。而在 分级存储系统中，一

40、般分为在线 （On-line）存储、近线（Near-line）存储和离线（Off-line） 存储三级存储方式。1 ）在线存储是指将数据存放在高速的高性能的云存储系统存储设备上，适合存储那些需要经常和快速访问的程序和文件， 其存取速度快， 性能好， 存储价格相对昂贵。在线存储，是工作级的存储，其最大特征是存储设备和所存储的数据时刻保持“在线”状态，可以随时读取和修改，以满足前端应用服务器或数据库对数据访问的速度要求。2 ）近线存储是指将数据存放在低速的磁盘系统上，一般是一些存取速度和价格介于高速磁盘与磁带之间的低端磁盘设备。 近线存储外延相对比较广泛， 主要定位于客户在线存储和离线存储之间的应

41、用。 就是指将那些并不是经常用到 （例如一些长期保存的不常用的文件归档） ，或者说访问量并不大的数据存放在性能较低的存储设备上。但对这些设备的要求是寻址迅速、传输率高。因此， 近线存储对性能要求相对来说并不高，但又要求相对较好的访问性能。同时多数情况下由于不常用的数据要占总数据量的较大比重， 这也就要求近线存储设备在需要容量上相对较大。 近线存储设备主要有采用低功耗架构的云存储系统。3 ）离线存储，指将数据备份到磁带或磁带库上。大多数情况下主要用于对在线存储或近线存储的数据进行备份，以防范可能发生的数据灾难，因此又称备份级存储。离线存储通常采用磁带作为存储介质，其访问速度低，但价格低廉的海量存

42、储。本次云存储系统方案，就采用了分级技术，把存储信息根据信息的重要性、访问频率等对信息进行了分级存储，将文件的元数据等访问频繁的重要信息时刻保持在线存储， 开机后保存在内存中， 可以随时读取和修改， 以满足前端应用服务器或数据库对数据访问的速度要求。 将其它备份数据、冗余容错的数据等访问量小的数据等采用廉价的SATAM盘存储。对于访问量小的数据采用离线存储，一旦需要访问这些数据可以使用相应的唤醒策略来实现将离线转为在线， 如通过网络唤醒机制等。 对于与时间紧密相关的数据（如新闻、电视等内容信息）的存储，这些数据随着时间的推移，它们的使用频率越来越少， 我们可以根据时间来对这些信息进行分级动态存

43、储， 如将前几个月的历史数据存放到离线存储设备上， 它们的元数据信息也不需要存储在元数据服务器的内存中， 直接存放在元数据服务器的硬盘中， 如果需要访问时可以将其调入内存中。 对于这些存储这些过时信息的存储节点可以让其一直处于待机状态， 一旦要使用可以通过网络唤醒让其工作起来。接口描述作为云平台基础架构层的cStor云存储系统，主要支持两种访问方式：POSIX通用 文件系统接口访问；通过专用 API访问。具体描述如下。POSIX 通用文件系统接口访问cStor客户端挂接程序支持Linux/Unix/Windows/MacOS等操作系统，并且支持POSIX 接口规范， 通过客户端将云存储系统挂载

44、成本地目录或磁盘后， 用户可以如同操作本地 目录或磁盘一样使用云存储空间。同时，对于基于本地文件系统的应用程序，可以不加修改，直接应用在云存储系统上。通常情况下，可以通过在客户端的基础上部署FTR NFS等服务器的方式，对外提 供基于FTP和NFS的数据存储访问应用程序 API 接口调用cStor云存储系统对外提供应用程序API访问接口，可以根据实际应用的需要编写应用程序，通过调用相应的接口直接访问cStor云存储系统。本地容错与诊断技术cStor高可靠性快速恢复不管如何终止服务，元数据服务器和存储服务器都会在几秒钟内恢复状态和运行。实际上， 我们不对正常终止和不正常终止进行区分， 服务器进程

45、都会被切断而终止。 客户机和其他的服务器会经历一个小小的中断， 然后它们的特定请求超时， 重新连接重启的服务器，重新请求。数据块恢复每个数据块都会被备份到放到的不同存储服务器上。对不同的目录和文件，用户可以设置不同的备份级别。 在存储服务器掉线或是数据被破坏时， 元数据服务器会按照需要来复制数据块。元数据备份元数据服务器采用双机热备技术，在主元数据服务器发生异常中断时，能够在秒级内切换到备元数据服务器，而不会中断业务。另外还可以采用冷备份机制，单独将元数据备份到另外第 3 台机器中，从而确保万无一失。cStor数据完整性每个存储服务器都利用校验和来检验存储数据的完整性。在读数据时，存储服务器首

46、先检查与被读内容相关部分的校验和，因此，服务器不会传播错误的数据。 如果所检查的内容和校验和不符， 服务器就会给数据请求者返回一个错误的信息， 并把这个情况报告给元数据服务器。 客户机就会读其他的服务器来获取数据， 而元数据服务器则会从其他的拷贝来复制数据， 等到一个新的拷贝完成时， 元数据服务器就会通知报告错误的服务器删除出错的数据块。写数据时的校验和计算优化了， 因为这时主要的写操作。 我们只是更新增加部分的校验和。在空闲时间， 服务器会检查不活跃数据块的校验和， 这样可以检查出不经常读的数据的错误。一旦错误被检查出来，服务器会拷贝一个正确的数据块来代替错误的。cStor快照技术快照操作几

47、乎在瞬间构造一个文件和目录树的副本， 同时将正在进行的其他修改操作对它的影响减至最小。异地容灾与恢复技术随着企业规模的扩展， 用户原有意识中的数据备份已经无法满足关键业务对系统的可用性、 实时性、 安全性的需要。 更重要的是备份的数据往往会因为各种因素而遭到毁坏，如地震、火灾、丢失等。所以需要异地容灾备份技术，从而进一步提高数据抵抗各种可能安全因素的容灾能力。cStor数据备份与恢复系统功能自动备份用户可根据工作需要进行备份策略的设置， 根据用户设定的策略自动备份需要备份的文件，备份过程无须人工干预。持续备份可以连续实时捕获所需备份文件的数据变化， 并自动保存变化的数据和时间戳（即表示数据变化

48、的时间节点），在此基础上可以实现过去任意时间点的数据恢复。完全备份将备份集所包含的全部文件备份到“黑方”服务器。增量备份首次的完全备份结束后，针对用户设定的备份集，自动进行增量备份，在捕获到文件修改事件消息后，实时备份新修改的文件。差异备份即差量备份，针对具体的文件而言，为了减少存储空间的占用，采用差异备份，每次文件修改操作被捕获后，仅备份相对于初始完全备份后所变化的文件数据内容。定时备份设定好定时备份的时间点后，到了设定的时间点，程序自动备份目标文件。cStor异地文件恢复用户可以使用恢复功能将文件从异地cStor 备份系统下载到本地硬盘，也可以进行批量恢复，尤其是可以按照设定时间（年、月、日、时、分、秒）恢复所需文件。cStor数据迁移归档数据中心分级按省级数据中心、区域级数据中心和国家级数据中心三级进行数据存储和管理。省级数据中心：为省内各终端用户提供数据存储服务，提供省级数据使用平台；区域级数据中