银行灾备方案说明

..云存储项目大数据平台解决方案目录1概述31.1建设背景31.2设计范围31.3总体设计原则32云存储系统平台设计52.1项目需求52.2设计思想52.3云存储系统方案62.4系统优势和特点73系统架构93.1系统基本组成93.2系统功能描述104系统安全性设计174.1安全保障体系框架174.2云计算平台的多级信任保护194.3基于多级信任保护的访问控制234.4云平台安全审计265工作机制295.1数据写入机制295.2数据读出机制306关键技术306.1负载自动均衡技术306.2高速并发访问技术316.3高可靠性保证技术316.4高可用技术326.5低功耗存储技术326.6分布式、分级、动态存储技术327接口描述347.1POSIX通用文件系统接口访问347.2应用程序API接口调用358本地容错与诊断技术358.1cStor高可靠性358.2cStor数据完整性358.3cStor快照技术369异地容灾与恢复技术369.1cStor数据备份与恢复系统功能369.2cStor异地文件恢复379.3cStor数据迁移归档37概述建设背景随着银行数据集中处理的实施,银行业务运作、经营管理将越来越依赖于计算机网络系统的可靠运行。银行所提供金融服务的连续性以及业务数据的完整性、正确性、有效性,会直接关系到银行的生产、经营与决策活动。一旦因自然灾害、设备故障或人为因素等原因引起计算机网络系统停顿导致信息数据丢失和业务处理中断,将会给银行造成巨大的经济损失和声誉损害,受到致命的打击。生产运行系统的灾难备份系统就显得格外重要。我们认为,一旦实施银行数据集中,灾难备份系统应该与生产运行应用系统同步投入使用,保证银行数据集中处理系统的运行安全。设计范围本技术解决方案针对海量数据集中存储与共享,提供从系统软硬件技术架构、原理、硬件选型、网络接入以及软件与应用之间的接口等方面的全面设计阐述。总体设计原则针对本次工程的实际情况,充分考虑系统建设的建设发展需求,以实现系统统一管理、高效应用、平滑扩展为目标,以"先进、安全、成熟、开放、经济"为总体设计原则。先进性原则在系统总体方案设计时采用业界先进的方案和技术,以确保一定时间内不落后。选择实用性强产品,模块化结构设计,既可满足当前的需要又可实现今后系统发展平滑扩展。安全性原则数据是业务系统核心应用的最终保障,不但要保证整套系统能够7X24运行,而且存储系统必须有高可用性,以保证应用系统对数据的随时存取。同时配置安全的备份系统,对应用数据进行更加安全的数据保护,降低人为操作失误或病毒袭击给系统造成的数据丢失。在进行系统设计时,充分考虑数据高可靠存储,采用高度可靠的软硬件容错设计,进行有效的安全访问控制,实现故障屏蔽、自动冗余重建等智能化安全可靠措施,提供统一的系统管理和监控平台,进行有效的故障定位、预警。成熟性原则为确保整个系统能够稳定工作,软件平台将使用先进、完善、易于管理和稳定可靠的云存储资源管理系统,对于与应用的集成接口,提供统一的通用稳定访问接口。开放性原则系统建设具有开放性的标准体系,提供符合POSIX标准的通用文件系统访问接口,开放的应用API编程接口,提供人性化的应用和管理界面,以满足用户需求。遵循规范的通用接口标准,使全系统中的硬件、通信、软件、操作平台之间的互联共享。充分考虑系统的升级和维护问题,维护采用在线式的,即在系统不停止工作的情况下,可以更换单元备件。系统的维护和升级操作由系统管理员即可完成。经济性原则现有业务系统存储数据量较大,且数据的增长速度较快。因此在建设系统存储架构时,应从长远的角度考虑,建设一个长期的存储架构,除了可以应对存储硬件设备的升级速度外,还必须考虑到对前期存储设备的投资保护,在保证不断提供功能和性能提高的同时,存储架构在较长的时间内能够保持相对稳定。结合先进的云平台技术架构优势,根据本次项目建设的实际容量需求设计,同时充分考虑应用发展需求,实现系统可弹性在线平滑升级。通过软件实现在较廉价普通服务器上实现高度容错,同时能够在较低冗余度的情况下实现高度可靠容错,大大节约和降低系统建设的硬件成本。1项目建设目标建立灾难备份中心的目的是：以最合理的代价保护应用数据的完整性与安全性,在灾难发生后尽快恢复运行,减少业务停顿时间,尽可能不中断或不影响业务的正常进行,使灾难造成的损失降到最小。即不管两个系统相离多远,当一个数据中心出现问题时,另一个数据中心就应能迅速接替运行,既要保证业务数据的完整性,又要保证关键业务的连续性。随着商业银行的业务发展及竞争的日益加剧,国外商业银行又提出了业务连续性的要求。这种要求的产生背景是：〔1商业银行承诺向客户提供"3A"服务〔即任何时间Anytime,任何地点Anywhere,任何方式Anyways。由于家庭银行、企业银行、网络银行、电话银行、ATM/POS等电子银行的出现,客户不受银行终端用户的上下班时间及位置的限制,享受银行提供的金融服务。〔2随着银行金融服务和金融市场的拓展,商业银行比较注重银行间相互联网。这样,当客户外出时,无需携带大量现金,也无需在当地银行、外币找换店及酒店兑换外币,可直接在当地自助设备上提取当地货币,还可办理各种存取款、转帐、申请结单或支票等业务,既节省时间,又极大方便了客户。要求银行服务具有连续性。〔３在开放的金融市场环境下,为适应市场需求,发达国家的商业银行从注重规模效益转为重视深度效益。注重客户关系及客户价值是变革的关键,而深度效益的内涵是对详细客户信息和市场信息的组织和分析,利用数据仓库<DATAWAREHOUSE>、数据采掘<DATAMINING>技术从业务数据中提取可供辅助决策用的信息。数据仓库是将银行各自分散的原始数据〔如主机中的帐务数据汇集和整理成为单一的管理信息数据库、客户信息数据库,面向专题和时间组织数据,并对数据进行集成。使用数据采掘技术从数据仓库中提取隐藏的预测性信息,为银行提供完整、及时、准确的商业决策信息,为银行经营决策人员提供辅助决策支持。它要求原始数据具有实时性、连续可用性,并具有较好的完整性与长时间延续性。保持业务的连续性要求灾难恢复系统实现更高的目标：除了以最合理的代价保护应用数据的完整性与安全性,在灾难发生后尽快恢复运行,减少或尽可能消除业务停顿时间外,还应做到：〔1保证业务的连续性与延续性,即保证业务数据的连续性,为银行的决策支持系统提供连续完整的基本数据；〔2缩小或取消应用系统用于批处理和数据备份〔如磁带备份的时间,保证关键业务服务24小时不中断,使应用系统的服务时间达到7X24,满足银行互联及客户的需求；云存储系统平台设计项目需求灾难类型需求常见的银行灾难主要包括以下几个方面：〔1自然灾害：造成计算机灾难的自然灾害有：火灾、水灾、雷击、台风、地震、鼠害等。根据有关资料,XXXX地区发生毁坏性地震的可能性不大,并且,现有生产运行中心所在地--XXXX大厦,在修建时作了抗7级以下地震的设计。XXXX地区附近无大江大河,不会出现洪涝。因此对我们生产运行系统来讲,自然灾害主要是指水灾、火灾、雷击和鼠害。〔2计算机系统故障：引起计算机系统故障的因素有下述几点：a.主机系统故障：主要指：数据库系统故障、系统软件故障、硬盘损坏、网卡故障、电源故障、应用系统缺陷、其它故障b.主机房故障：主要指：主机房电源故障、主机房通讯故障、主机房水灾、主机房火灾、主机房鼠害c.整幢楼房故障：主要指：整幢楼房电源故障、整幢楼房火灾或水灾、整幢楼房其它灾害〔４人为因素：由于应用系统缺陷、误操作、人为蓄意破坏、外来暴力事件等都将直接影响系统的安全运行。。吞吐量需求为满足多用户或应用整体吞吐带宽需要,确保数据访问流畅,系统需提供多用户或应用并发访问高吞吐带宽设计,系统能够有效利用网络带宽,性能可通过规模增加实现平滑增长。扩展性需求未来根据业务应用的变化和发展,需要快速实施系统资源的升级,可以在业务服务不间断的状态下平滑扩展,不会导致架构发生根本性变化,为不断产生和变化的业务需求提供持续的支持,支持业务系统的快速整合和部署对核心系统基础架构的特别要求。低成本需求要求系统能够以低硬件成本、低维护成本实现高可靠高性能应用要求,充分提高资源利用率,简化管理,并能灵活、可持续扩展。可维护性需求要求系统具有自适应管理能力,安装、维护、升级简易方便,提供统一易用的WEB配置管理监控平台,实现智能化管理。接口需求要求能够提供通用的文件系统接口,方便用户及应用系统访问,减少与应用集成或开发工作量,实现系统快速部署与集成。设计思想采用业界成熟先进的云平台架构思想,采用软件实现对大量普通商用服务器存储空间资源进行虚拟化整合,实现软硬件故障高度容错,将系统控制流与数据流分离,同时使得数据在逻辑上集中、物理上分散,每台服务器同时对外提供服务,以达到多并发高吞吐量的性能要求,采用自注册机制、故障自动屏蔽、自动冗余重建技术实现系统自我维护和平滑扩展,系统服务7×24小时不间断。系统采用先进的编解码容错技术,可根据数据可靠性要求设置适当的冗余编解码策略进行系统部署,可以以极小的磁盘和硬件冗余度,实现高度的可靠性数据容错。云存储系统方案采用业界已经成熟的cStor云存储资源管理系统,在多台普通商用服务器上构建高性能高可靠云存储系统,作为本次系统云数据中心存储平台,其应用部署示意图如下图所示。cStor云存储资源管理系统部署示意图系统优势和特点cStor云存储系统是一套软件与硬件相结合的系统,其中专有技术和软件是高附加值部分,可以广泛应用于需要存储大量数据的应用场合〔如安防、广电、电信、互联网、银行等领域。该系统相比传统存储系统有如下技术优势：高度可靠存储系统采用云架构,数据被分块存储在不同的存储节点上,数据采用先进的1:1容错机制进行容错,可在任意损坏一个存储服务器节点的情况下实现数据完整可靠,系统对外存储访问服务不间断。云存储的管理节点采用了主备双机镜像热备的高可用机制,在主管理节点出现故障时,备管理节点自动接替主管理节点的工作,成为新的主管理节点,待故障节点修复并重启服务后,它则成为新的备管理节点,保障系统的7×24小时不间断服务。优异性能cStor采用控制流与数据流分离的技术,数据的存储或读取实际上是与各个存储节点上并行读写,这样随着存储节点数目的增多,整个系统的吞吐量和IO性能将呈线性增长。同时,cStor采用负载均衡技术,自动均衡各服务器负载,使得各存储节点的性能调节到最高,实现资源优化配置。无限容量系统容量仅受限于卷管理服务器内存,可支撑的容量接近无限,经推算,理论容量为1024×1024×1024PB<1G个PB容量>。在线伸缩cStor云存储资源管理系统扩容非常方便,支持不停止服务的情况下,动态加入新的存储节点,无需任何操作,即实现扩容；同时,无需人为干预,也可以摘下任意节点,系统自动缩小规模而不丢失数据,存储在此节点上的数据将会重新备份到其他节点上。通用易用cStor云存储系统提供符合POSIX标准的通用文件系统接口,无论是哪种操作系统下的应用程序,都可以不经修改将云存储当成自己的海量磁盘来使用。同时,也提供专用的API接口,供开发人员调用。智能管理提供基于WEB的管理控制平台,所有的管理工作均由cStor管理模块自动完成,使用人员无需任何专业知识便可以轻松管理整个系统。通过管理平台,可以对cStor中的所有节点实行实时监控,用户通过监控界面可以清楚地了解到每一个节点和磁盘的运行情况；同时也可以实现对文件级别的系统监控,支持损坏文件的查找和修复功能。系统提供用户安全认证及对不同用户进行配额设置与权限管理功能,满足应用的日常维护和安全管理需求。系统架构在本次系统建设中,云存储系统属于基础平台支撑层,以用于数据集中存储和共享,实现对数据的统一管理和高效应用。将数据逻辑集中物理分散,以提供多并发高吞吐带宽,最大程度降低系统访问瓶颈。下面具体说明cStor云存储资源管理系统的基本组成和主要功能。系统基本组成cStor云存储资源管理系统采用分布式的存储机制,将数据分散存储在多台独立的存储服务器上。它采用包括卷管理服务器、元数据管理服务器〔MasterServer、数据存储节点服务器〔ChunkServer和挂接访问客户端以及管理监控中心服务器的结构构成虚拟统一的海量存储空间。在每个服务器节点上运行cStor云存储资源管理系统的相应的软件服务程序模块。系统架构框图如下图所示。cStor云存储资源管理系统架构其中,MasterServer保存系统的元数据,负责对整个文件系统的管理,MasterServer在逻辑上只有一个,但采用主备双机镜像的方式,保证系统的不间断服务；ChunkServer负责具体的数据存储工作,数据以文件的形式存储在ChunkServer上,ChunkServer的个数可以有多个,它的数目直接决定了cStor云存储系统的规模；挂接访问客户端即为服务器对外提供数据存储和访问服务的窗口,通常情况下,客户端可以部署在ChunkServer上,每一个块数据服务器,既可以作为存储服务器同时也可以作为客户端服务器。由一对元数据服务器及其管理的存储服务器节点所提供的存储空间称为一个卷空间,不同的卷空间由卷管理服务器虚拟化统一管理,对外可提供统一的海量存储空间。管理监控中心提供统一易用的WEB配置管理监控平台,提供设备监控、空间监控、文件监控、服务监控、用户认证管理、配额管理、故障告警及预警等功能,实现智能化管理。这种分布式系统最大的好处是有利于存储系统的扩展和实现,在小规模的数据扩展时,只需要添加具体的ChunkServer即可,而不需要添加整套设备。在实现大规模扩展时也可方便地添加整个卷设备。系统功能描述cStor云存储资源管理系统从功能上划份为三大部分：cStor分布式文件系统分布式文件系统实现文件数据存储、可靠性容错、可伸缩性保证、高可用保证、负载均衡和流量分担等功能。存储访问接口cStor提供符合POSIX规范的文件系统访问接口,通过cStor访问挂接程序可将云存储空间挂接为本地目录或磁盘。同时可提供专用的API接口,支持业务应用层程序对云存储系统的直接访问。管理监控中心管理监控中心提供帐户管理、设备管理、系统监控、卷管理、告警管理、故障管理等功能。 下面逐一详细介绍各部分系统功能。cStor分布式文件系统cStor分布式文件系统包括卷管理、元数据管理、块数据管理服务。参考上面系统架构框图左侧部分。元数据是指文件的名称、属性、数据块位置信息等,元数据管理通过元数据服务程序完成。因元数据访问频繁,故系统将元数据加载缓存至内存中管理,提高访问效率。由于元数据的重要性,元数据损坏或丢失则相当于文件数据丢失,因此实现了元数据服务器主备双机高可用,确保７×２４小时不间断服务。通过元数据远程多机冗余备份功能,实现在多台其它机器上备份元数据,当元数据服务器损坏,可以通过备份的元数据重新恢复服务,切保数据可以完整找回。块数据是指文件数据被按照一定大小〔默认64MB分割而成的多个数据块,分布存储到不同的存储节点服务器上,并通过编解码容错算法产生相应的冗余块。块数据服务是运行在每个存储节点服务器上的块数据管理程序,负责使用存储服务器上的磁盘空间存储文件数据块,并实现相应的编解码功能。相比较传统业界的云存储采用块数据简单备份冗余容错机制,编解码容错方式大大降低了硬件资源冗余度,提高了磁盘利用率。由一对主备元数据服务器及其所管理的块数据服务器管理节点设备及其所提供的存储空间称为一个卷。卷管理服务器负责将多个卷虚拟化整合,对外提供统一的整体访问云存储空间。文件系统采用中心服务器模式分布式存储架构,控制流与数据流分离,通过增加存储节点系统采用自动注册机制,实现系统高可伸缩性,增加或减少存储节点规模,不影响系统正常提供存储访问服务。该系统架构实现了统一调度,负载均衡和流量自动分担功能,多个存储节点同时对外提供数据流服务,系统根据磁盘空间使用比例进行资源优化配置。同时在多个不同的存储节点之间实现根据空间比例进行优化配置,数据优先存储的空间利用比例相对较低的磁盘或存储服务器上。cStor分布式文件系统具有自动冗余重建功能,确保损坏的数据块能够被解码或编码后存储到在线的正常的存储服务器节点上。存储访问接口cStor分布式文件系统提供符合POSIX规范的文件系统访问接口。支持Linux、Windows、MaxOSX等操作系统平台。可将云存储系统提供的存储空间挂接为本地目录或本地盘符来使用。用户操作云存储空间和操作本地文件相同。另外cStor提供专用的高速存取访问API接口,供性能要求很高的高端应用程序对接使用。管理监控中心管理监控中心为系统管理员配置和维护cStor云存储资源管理系统的有效工具,充分体现了系统的可维护性。管理监控中心提供帐户管理、设备管理、系统监控、卷管理、告警管理、故障管理等功能。以下为部分系统管理界面。设备管理系统监控告警信息告警配置告警日志故障处理卷管理帐户管理添加帐户系统安全性设计安全保障体系框架NSA提出的信息安全保障技术框架〔IATF,如下图所示。IATF依据"深度防护战略"理论,要求从整体、过程的角度看待信息安全问题,强调人、技术、操作这三个核心原则,关注四个层次的安全保障：保护网络和基础设施、保护边界、保护计算环境、支撑基础设施。图表基于深度防护战略的IATF模型IATF模型从深度防护战略出发,强调人、技术和操作三个要素：人：人是信息的主体,是信息系统的拥有者、管理者和使用者,是信息保障体系的核心,是第一位的要素,同时也是最脆弱的。正是基于这样的认识,安全组织和安全管理在安全保障体系中是第一位的,要建设信息安全保障体系,首先必须建立安全组织和安全管理,包括组织管理、技术管理和操作管理等多个方面。技术：技术是实现信息安全保障的重要手段,信息安全保障体系所应具备的各项安全服务就是通过技术机制来实现的。当然IATF所指的技术是防护、检测、响应、恢复并重的、动态的技术体系。操作：也可称之"运行",它体现了安全保障体系的主动防御,如果说技术的构成是被动的,那操作和流程就是将各方面技术紧密结合在一起的主动过程,运行保障至少包括安全评估、入侵检测、安全审计、安全监控、响应恢复等内容。信息安全保障体系的实现就是通过建立安全组织、安全管理和防护技术体系,协调组织、技术、运作三者之间的关系,明确技术实施和安全操作中技术人员的安全职责,从网络和基础设施、区域边界、计算环境、支撑基础设施等多层次保护,从而达到对安全风险的及时发现和有效控制,提高安全问题发生时的反应速度和恢复能力,增强网络与信息的整体安全保障能力。对于云计算安全参考模型,云安全联盟CSA〔CloudSecurityAlliance提出了基于3种基本云服务的层次性及其依赖关系的安全参考模型,并实现了从云服务模型到安全控制模型的映射。该模型显示PaaS位于IaaS之上,SaaS位于PaaS之上。该模型的重要特点是供应商所在的等级越低,云服务用户所要承担的安全能力和管理职责就越多。根据资源或服务的管理权、所有权和资源物理位置的不同,CSA也给出了不同的云部署模型的可能实现方式及其不同部署模式下共享云服务的消费者之间的信任关系,如下图所示。图表云部署模型的实现此图显示,对于私有云和社区云,有多种实现方式,可以和公共云一样,由第三方拥有和管理并提供场外服务〔off-premises,所不同的是共享云服务的消费者群体之间具有信任关系,局限于组织内部和可信任的群体之间。对于每一种云部署实现方式,都可以提供3种基本的云服务。云部署实现的不同方式和基本云服务的组合构成不同的云服务消费模式。结合云服务安全参考模型,可以确定不同的云服务消费模式下供应商和用户的安全控制范围和责任,用户评估和比较不同云服务消费模式的风险及现有安全控制与要求的安全控制之间的差距,做出合理的决策。云计算平台的多级信任保护云计算可信平台实现系统平台〔计算环境认证、应用系统完整性认证、分布式资源信任认证和用户身份认证4个层次。多层信任保护的具体结构如下图所示。图表多级信任保护在上图中,平台认证是基础,为其他3种认证提供一个可靠的计算环境。平台认证、应用认证、资源认证和用户认证都通过统一的证书机制来实现。〔1云平台信任保护由于TPM〔trustplatformmodule规范能够支持现有的公钥基础设施,并且TPM内部的认证密钥和64位物理唯一序列号都能很好地实现自身和平台的绑定。因此可信平台之间的信任关系可以借助基于可信第三方的证书机制来保障。即每一个节点将能够代表自身特征的关键信息以可靠地方式提交到可信第三方〔如CA中心,可信第三方在核实这些数据的真实性和完整性后对其签名,并为其颁发一个平台证书。此后,该平台在和其他平台通信时可以出示该证书,以表明自己的合法身份。平台在向可信第三方提交平台信息和验证其他平台证书合法性时,都需要借助TPM的硬件支持。在下图所示的实例中,云平台A和B都从证书颁发中心获得自己的平台证书。当B请求与A建立连接并向A出示自己的证书后,A借助TPM验证B出示的证书的有效性。图表基于可信第三方的平台认证为了确保云端用户访问云平台的可信性,并确保远程节点具有期望的完全保障条件,基于可信计算平台的多级信任保护方法构造包含下表中各种主要因素的平台证书。数据名称数据类型数据说明Cert_NumChar证书编号Cert_TypeShort证书类型Cert_DistributeTimeByte[20]颁发时间Cert_LimitTimeByte[20]有效期限TPM_IDByte[8]TPM序列号Hardware_CodeByte[20]平台硬件标识Software_CodeByte[20]平台软件标识SecureComponent_CodeByte[20]安全组织组件标识………CA_SignatureByte[128]CA签名信息图表主要因素平台证书在图中,TPM和端系统唯一绑定；硬件标识码代表了端系统中各种硬件设备的完整性信息,包括CPU序列号、主板型号、硬盘序列号、内存容量等；软件标识码代表了端系统中包含操作系统版本、补丁、主要服务等软件完整性信息；安全组件标识码是各种安全组件的完整性度量结果,包括防火墙类型、安全补丁、防病毒软件名称等。为了获取这些数据的完整性度量结果,采用Hash函数对系统中的硬件标识信息、软件版本信息或安全组件描述信息进行计算,得出一个代表该系统相关信息完整性的度量值。此处,选择SHA-1算法作为完整性度量函数。签名信息是可信第三方对证书内容的数字签名,签名信息的存在确保了证书的合法性和不可篡改性。〔2应用信任保护有了云平台认证,用户就能断言远程协作者在确定的节点和环境中进行工作。但在网络计算等复杂应用中,一个节点可能承载了多个应用系统、担负着多个计算任务。所以,需要确保单个应用系统不同部分间〔如客户端和服务器端的可信。Seshadri等人研究了代码的远程完整性验证方法。该方法从数据完整性的角度解决了授权执行的远程应用的可信性。借鉴他的思想,采用认证应用系统中进程完整性的办法对应用系统进行信任保护。即端系统控制各个应用的进程,只有通过完整性认证并授权执行的进程才能被启动。为此,系统为每个重要的分布式应用定义若干个进行完整性证书,证书的主要内容如下表所示。数据名称数据类型数据说明………………Process_IDByte[20]进程IDProcess_IntegrityByte[20]完整性度量值………………TPM_SignByte[20]TPM签名信息在图中,进程完整性度量值是采用单向散列函数对进程代码进行计算后得出的值。进程完整性证书中。进程完整性认证可以确保远程协作进程的可信性,一定程度上降低病毒和木马进行插入攻击的风险。〔3资源信任保护多级信任保护方法仍然采用证书机制实现对资源的信任保护,即端系统基于TPM给平台中共享的网络资源颁发完整性证书并签名。其他对等的端系统需要访问该资源时,可以验证该证书的合法性并从证书中获悉资源的完整性度量数据。由于采用单向散列函数计算出的资源完整性度量值能够代表该资源的可信性,因此远程用户可以据此决定是否访问该网络资源。考虑单纯采用单向散列函数计算资源的完整性消耗的时间过长,实际实现时根据资源可信要求的不同采取了一些灵活的措施。如一些可信要求不高的资源文件,只针对资源文件的基本属性或按样条规则抽出部分数据进行完整性度量；资源完整性证书的主要数据成员如下表所示。数据名称数据类型数据说明………………Process_IDByte[20]资源标识IDProcess_IntegrityByte[20]资源完整性信息………………TPM_SignByte[20]TPM签名信息〔4用户信任保护用户信任保护的需求在现有分布式应用中已经普遍存在,但现有基于身份认证的用户信任保护方法仅仅针对用户实体进行认证,无法将用户实体和计算环境以及用户的物理存在性联系起来。基于可信平台的多级信任保护方法在系统平台认证和应用认证的基础上进一步进行用户身份认证,从而能够将系统中的用户锁定到具体的计算平台和具体的应用系统。多级信任保护方法中的用户身份证书的主要数据成员如下表所示。数据名称数据类型数据说明………………User_IDByte[16]用户IDApplication_IDByte[16]应用IDPlatform_IDByte[16]平台ID………………App_SignByte[16]应用签名TPM_SignByte[16]TPM签名在上表中,用户ID是系统中用户的惟一标识,可以使用用户编号〔用户名称或者用户拥有的智能卡〔SKEY的序列号；所属应用ID是用户所属应用的惟一标识,可以使用应用的完整性度量值来代替〔单进程应用可以使用进程的完整性数据代替,多进程应用可以将各个进程完整性度量数据拼接后,计算出新的整个应用的完整性度量数据；平台ID是创建该用户的端系统标识,可以使用和平台绑定的TPM的惟一序列号。基于多级信任保护的访问控制用户管理与权限控制子系统的接口关系如下图所示,各模块间接口关系如下：身份服务模块在用户提交进入系统的申请后向身份管理系统模块提交用户信息和身份申请；身份管理系统模块在确认用户信息后将身份管理指令和身份信息反馈至身份服务模块；认证服务模块对用户身份进行验证,确认用户合法性；访问控制模块接收用户的授权请求后,向授权管理系统模块提交用户授权和相关信息；授权管理系统模块根据用户信息〔如用户所对应角色、所在安全域等为用户分配相应的权限或回收相应权限将结果反馈给访问控制模块；访问控制模块得到用户的权限信息后根据信息的内容和用户请求执行需要的具体操作。数据隔离、数据校验〔防篡改、数据加密和数据保护模块提供对存储数据的安全保护。图表云存储安全子系统接口关系图在云平台中,用户有不同的访问权限,针对不同权限的用户可以设定不同等级的操作。同时存储在底层资源池中的资源也同样划分为不同的安全等级,不同等级的资源,访问途径是不相同的。本项目提出了基于可信平台的多级信任保护方法,其主要目标是能够认证访问云平台的应用〔进程、资源和用户的可信性,从而能够非常方便地服务于多级访问控制技术,为其提供良好的基础。简单地,可以将系统中的资源按可信性需求程度分为高、中和低3个等级。资源的可信要求越高,对访问该资源的用户的可信性也要求越高。具体流程如下图所示：图表基于多级信任保护的多级访问控制流程为了更好的保护虚拟资源池的数据安全,首先要建立一个可信的资源访问控制,可以利用网闸和访问控制器建立一套监控机制,对访问资源池的请求进行监督,只允许外部连接通过专用的协议进行访问,而对其它非可信的访问一律拒绝,以防止恶意的非法入侵和攻击,包括漏洞攻击、DDoS攻击和带宽攻击等,建立一个数据安全交换平台,如下图所示。图表数据安全交换平台具体实现方式包括：会话终止：请求端通过网闸与资源池建立连接时,网闸的对外网络接口会通过模拟应用的服务器端,终止网络之间的会话连接,这样可确保在不可信和可信网络之间没有一条激活的会话连接；协议安全检查：对来自连接的数据包进行基于内部RFC的协议分析,也可以对某些协议进行动态分析,检查是否有攻击成分；数据抽取和内部封装：在协议检查同时,将协议分析后的数据包中的数据提取出来,然后将数据和安全协议一起通过特定的格式压缩、数据封装转化成网闸另一端能接受的格式；基于安全策略的决策审查：安全策略决策是运行在访问控制器上,由系统管理员定义。它分析外部来的数据,主要是源地址、目的地址以及协议等信息,并且和规则库进行匹配,看是否允许通过或丢弃；编码与解码：对静态的数据块进行编码,编码是相对复杂而且基于随机关键字的。一旦编码,则打乱了数据或命令的原有格式,使数据中可能携带的可执行恶意代码失效,阻止恶意程序执行。一旦数据经过了内容检测且确认是安全的,它就被解码,准备发送到内部网络；会话生成内部服务器模拟应用的客户端,将经检测过的数据发送到内部网络,和内部网络上真正的应用服务器建立一个新的连接,接着生成符合RFC协议的新通信包。同时,通过外部集成入侵检测系统IDS,对网络通信进行安全审计,及时发现和追踪各类非法连接行为；通过外部集成的负载均衡设备,为访问用户提供虚拟IP地址,保证物理机器对用户不可见,避免非法用户对真实物理机的直接访问,避免对物理机的可能操作动作。云平台安全审计云平台安全审计任务由分布于网络各处的功能单元协作完成,这些单元还能在更高层次结构上进一步扩展,从而能够适应网络规模的扩大。云安全审计体系结构如下图所示。图表云存储安全审计体系结构它由三部分组成：主机代理模块：在受监视系统中作为后台进程运行的审计信息收集模块。主要目的是收集主机上与安全相关的事件信息,并将数据传送给中央管理者。局域网监视器代理模块：主要分析局域网通讯流量,根据需要将结果报告给中央管理者。中央管理者模块：接收包括来自局域网监视器和主机代理的数据和报告,控制整个系统的通信信息,对接收到的数据进行分析。在云安全审计体系结构中,代理截获审计收集系统生成的审计记录,应用过滤器去掉与安全无关的记录,然后将这些记录转化成一种标准格式以实现互操作。然后,代理中的分析模块分析记录,并与该用户的历史映像相比较,当检测出异常时,向中央管理者报警。局域网监视器代理审计主机与主机之间的连接以及使用的服务和通讯量的大小,以查找出显著的事件,如网络负载的突然改变、安全相关服务的使用等。对于安全审计系统来说,数据源可以分为三类：基于主机、基于目标、基于网络,下面分别对每类来源进行论述。〔1基于主机的数据源基于主机〔包括虚拟机的数据有以下四类：操作系统日志、系统日志、应用日志和基于目标的信息。〔2基于目标的数据源评估出系统中关键的或是有特殊价值的对象,针对每一个对象制定信息收集和监视机制,该对象即为审计的目标；对于审计目标的每一次状态转变,与系统的安全策略进行比较,所出现的任何异常都进行记录或响应。最常见的基于目标的审计技术是完整性校验,其审计对象多为文件。采用消息摘要算法,计算需要保护的系统对象〔如关键文件的校验值,并存储在安全区域。周期性地对目标进行检查,可以发现目标是否被改变,从而提供一定级别的保护。〔3基于网络的数据源网络数据源的基本原理是：当网络数据流在网段中传播时,采用特殊的数据提取技术,收取网络中传输的数据,作为安全审计系统的数据源。在计算机网络系统中,局域网普遍采用的是基于广播机制的IEEE802.3协议,即以太网〔Ethernet协议。该协议保证传输的数据包能被同一冲突域内的所有主机接收,基于网络的安全审计正是利用了以太网的这一特性。安全审计方法描述：为系统描述方便,用T表示安全服务器,与外部网络隔离,它的通信安全性可由各种方法实现,如抵赖的令牌、VPN安全信道、SSL安全信道等,如内部网络中的安全服务器、安全的电子证据收集设备或安全的中央服务器等；用U表示不安全的系统,容易受到攻击却记录着日志的计算机系统,它在物理位置上并不安全,也就是说它是接入网络的,也没有有效的防御措施来确保不被攻击者控制,如个人PC、防火墙、入侵检测系统或其它应用系统等；用V表示某些授权用户使用的计算机,安全性介于U和T之间,它能被信任查看某些日志记录,但不能修改记录,也就是说并不支持所有的操作,如内部工作站等。本系统创建新的安全日志文件时,由U随机产生初始认证密钥,并由安全信道发送到T保存。U产生原始日志信息,通过多种加密的标准工具对原始日志的每条记录进行保护后写入安全审计日志文件中,并定期将安全审计日志文件备份到T中保存。安全审计时,T发送认证码给V,指定V查看或审计U和T中的日志文件的部分日志记录,也可由T直接对U中的日志文件进行安全审计,出现可疑信息时与T中的备份日志数据进行比较,发现确实不一致的则可初步判断U可能遭受攻击。安全日志审计系统结构如下图所示。图表安全日志审计系统结构图U开始创建日志文件时与安全的认证系统T共享一个密钥,用这个密钥创建日志文件。对于分布式安全审计系统的具体实现来说,应用Agent技术是一个较好的解决方案,该技术已经在一些实际的安全审计系统中得到了应用。Agent最早起源于人工智能,现广泛地应用于人工智能、网络管理、软件工程等领域。我们将Agent〔代理定义为"一个自治的实体,它能够感知环境,并且对外界的信息做出判断和推理,来控制自己的决策和行动,以便完成一定的任务"。基于Agent的安全审计系统是将Agent分布于系统的关键点上,包括提供各项服务的服务器、重要的工作站、内部网关和防火墙上,完成大部分安全审计和响应任务。由于代理本身具有自治性,可以针对特定的应用环境编程和配置,使得代理占用系统资源最小；在将代理放入具体复杂环境前可以对它进行独立测试；同时通过Agent间的有限交互〔包括数据和控制信息,可以获得更复杂的信息,有利于解决网络中的协作入侵活动。安全审计中Agent通过探查所在的系统的日志文件,捕获网络数据包或其他的信息源获取数据。此外,将审计任务分配到多台计算机上有利于减少监控计算机的负荷,而且能提高系统的处理速度和效率,提高系统的实时性；最后,Agent可以自动升级,而且对系统的其他部分保持透明。工作机制数据写入机制数据写入过程参考下图：客户端向元数据服务器请求写入文件数据,元数据服务器返回写入服务器列表；客户端进行文件切块写入有块数据服务器；客户端每写入一定量的块数据后,通知元数据服务器,由元数据服务器启动一个编码任务,进行编码；而客户端继续写数据,真到写完成为止；元数据服务器调度一个或多个块数据服务器进行编码任务；被调度的块数据服务器,获取需要的原始信息块组进行编码,产生冗余数据块；数据读出机制数据读出过程参考下图：客户端向元数据服务器请求读出文件数据,元数据服务器返回数据块位置列表；客户端进行数据块读出；客户端进行数据块校验；对未能读出的数据块或无效块通过同编码组内其它数据块进行解码,获得完整正解的文件数据。关键技术负载自动均衡技术采用中心服务器模式来管理整个云存储文件系统,所有元数据均保存在主管理服务器上,文件则划分为多个节点存储在不同的节点服务器上。主卷管理服务器维护了一个统一的命名空间,同时掌握整个系统内节点服务器的使用情况,当客户端向元数据服务器发送数据读写的请求时,元数据服务器根据节点服务器的磁盘使用情况、网络负担等情况,选择负担最轻的节点服务器对外提供服务,自动均衡负载负担。另外,当某有一个节点服务器因为机器故障或者其他原因造成离线时,主卷管理服务器会将此机器自动屏蔽掉,不再将此节点服务器提供给客户端使用,同时存储在此节点服务器上的数据也会自动的编码冗余到其他可用的节点服务器上,自动屏蔽节点服务器故障对系统的影响。高速并发访问技术客户端在访问云存储时,首先访问主卷管理服务器节点,获取将要与之进行交互的节点服务器信息,然后直接访问这些节点服务器完成数据存取。客户端与主卷管理服务器之间只有控制流,而无数据流,这样就极大地降低了主卷管理服务器的负载,使之不成为系统性能的一个瓶颈。客户端与节点服务器之间直接传输数据流,同时由于文件被分成多个节点进行分布式存储,客户端可以同时访问多个节点服务器,从而使得整个系统的I/O高度并行,系统整体性能得到提高。通常情况下,系统的整体吞吐率与节点服务器的数量呈正比。高可靠性保证技术对于元数据,通过操作日志来提供容错功能,当主管理服务器发生故障时,在磁盘数据保存完好的情况下,可以迅速恢复以上元数据。为了防止主管理服务器彻底死机的情况,还提供了主管理服务器远程的实时备份,这样在当前的主管理服务器出现故障无法工作的时候,另外一台备管理服务器可以迅速接替其工作。对于节点服务器,采用编解码的方式实现容错,分布存储在不同的节点服务器上。数据块的分布策略考虑了多种因素,如网络的拓扑、机架的分布、磁盘的利用率等。在其后的过程中,如果相关的数据块出现丢失或不可恢复等状况,主管理服务器会自动将该数据块编解码冗余到其他节点服务器,从而确保数据块的一定的冗余容错,进行自动冗余容错重建。在有多个节点服务器的情况下,任意损失一个节点,数据都不会丢失,而且随着节点服务器数目的增多,整个系统的可靠性越大。高可用技术系统中的所有服务节点均是通过网络连接在一起,由于采用了高可靠的容错机制,系统增减节点不必停止服务,可在线增减存储节点,存储节点和元数据节点间通过注册管理机制自适应管理,实现自动伸缩。元数据服务器采用主备双机热备技术,主机故障,备机自动接替其工作,对外服务不停止；存储节点采用编解码冗余备份机制,如采用4:2编码容错,任意损失两个节点,数据不丢失,服务不停止。低功耗存储技术服务器的功耗取决于各个配件的总体功耗,而主要耗电大户则是处理器、芯片组和存储器了。低功耗存储技术主要是改进这些配件能够进而实现节能,这样服务器乃至数据中心整体功耗则会得到更好的控制。随着嵌入式技术的飞速发展,嵌入式的性能有了很大的提高,嵌入式的性能与计算机的差距不断缩小,特别是在专用计算机领域。由于嵌入式系统是应用在特定的环境下,针对特殊的用途来设计的系统。所以不同于通用的计算机系统。同样是计算机系统,嵌入式系统是针对具体应用设计的"专用系统"。它的硬件和软件都必须高效地设计。"量体裁衣",去除冗余,力争在较少的资源上实现更高的性能。与通用的计算机系统相比,它具有功耗低,体积小、集成度高、成本低等优点。可以被应用在近线存储、离线存储的存储节点的设计上,有效的减少成本和使用的功耗,同时相应的散热系统也可以简化。分布式、分级、动态存储技术云存储系统,就是将数据分散存储在多台独立的设备上。传统的网络存储系统采用集中的存储服务器存放所有数据,存储服务器成为系统性能的瓶颈,也是可靠性和安全性的焦点,不能满足大规模存储应用的需要。分布式网络存储系统采用可扩展的系统结构,利用多台存储服务器分担存储负荷,利用位置服务器定位存储信息,它不但提高了系统的可靠性、可用性和存取效率,还易于扩展。云存储系统将普通商用的PC机或工作站通过高速网络互联在一起组成机群,能够根据系统的需要随时增加新的硬件,提高系统的可伸缩性和可用性,从而能够在价格低廉的中低端平台上获取高端或者超级计算机系统才具备的高可伸缩性、高可用性和高性能。分级存储是根据数据的重要性、访问频率、保留时间、容量、性能等指标,将数据采取不同的存储方式分别存储在不同性能的存储设备上,通过分级存储管理实现数据客体在存储设备之间的自动迁移。数据分级存储的工作原理是基于数据访问的局部性。通过将不经常访问的数据自动移到存储层次中较低的层次,释放出较高成本的存储空间给更频繁访问的数据,可以获得更好的性价比。这样,一方面可大大减少非重要性数据在一级本地磁盘所占用的空间,还可加快整个系统的存储性能。传统的数据存储一般分为在线<On-line>存储和离线<Off-line>存储两级存储方式。而在分级存储系统中,一般分为在线<On-line>存储、近线〔Near-line存储和离线<Off-line>存储三级存储方式。〔1在线存储是指将数据存放在高速的高性能的云存储系统存储设备上,适合存储那些需要经常和快速访问的程序和文件,其存取速度快,性能好,存储价格相对昂贵。在线存储,是工作级的存储,其最大特征是存储设备和所存储的数据时刻保持"在线"状态,可以随时读取和修改,以满足前端应用服务器或数据库对数据访问的速度要求。〔2近线存储是指将数据存放在低速的磁盘系统上,一般是一些存取速度和价格介于高速磁盘与磁带之间的低端磁盘设备。近线存储外延相对比较广泛,主要定位于客户在线存储和离线存储之间的应用。就是指将那些并不是经常用到〔例如一些长期保存的不常用的文件归档,或者说访问量并不大的数据存放在性能较低的存储设备上。但对这些设备的要求是寻址迅速、传输率高。因此,近线存储对性能要求相对来说并不高,但又要求相对较好的访问性能。同时多数情况下由于不常用的数据要占总数据量的较大比重,这也就要求近线存储设备在需要容量上相对较大。近线存储设备主要有采用低功耗架构的云存储系统。〔3离线存储,指将数据备份到磁带或磁带库上。大多数情况下主要用于对在线存储或近线存储的数据进行备份,以防范可能发生的数据灾难,因此又称备份级存储。离线存储通常采用磁带作为存储介质,其访问速度低,但价格低廉的海量存储。本次云存储系统方案,就采用了分级技术,把存储信息根据信息的重要性、访问频率等对信息进行了分级存储,将文件的元数据等访问频繁的重要信息时刻保持在线存储,开机后保存在内存中,可以随时读取和修改,以满足前端应用服务器或数据库对数据访问的速度要求。将其它备份数据、冗余容错的数据等访问量小的数据等采用廉价的SATA硬盘存储。对于访问量小的数据采用离线存储,一旦需要访问这些数据可以使用相应的唤醒策略来实现将离线转为在线,如通过网络唤醒机制等。对于与时间紧密相关的数据〔如新闻、电视等内容信息的存储,这些数据随着时间的推移,它们的使用频率越来越少,我们可以根据时间来对这些信息进行分级动态存储,如将前几个月的历史数据存放到离线存储设备上,它们的元数据信息也不需要存储在元数据服务器的内存中,直接存放在元数据服务器的硬盘中,如果需要访问时可以将其调入内存中。对于这些存储这些过时信息的存储节点可以让其一直处于待机状态,一旦要使用可以通过网络唤醒让其工作起来。接口描述作为云平台基础架构层的cStor云存储系统,主要支持两种访问方式：①POSIX通用文件系统接口访问；②通过专用API访问。具体描述如下。POSIX通用文件系统接口访问cStor客户端挂接程序支持Linux/Unix/Windows/MacOS等操作系统,并且支持POSIX接口规范,通过客户端将云存储系统挂载成本地目录或磁盘后,用户可以如同操作本地目录或磁盘一样使用云存储空间。同时,对于基于本地文件系统的应用程序,可以不加修改,直接应用在云存储系统上。通常情况下,可以通过在客户端的基础上部署FTP、NFS等服务器的方式,对外提供基于FTP和NFS的数据存储访问。应用程序API接口调用cStor云存储系统对外提供应用程序API访问接口,可以根据实际应用的需要编写应用程序,通过调用相应的接口直接访问cStor云存储系统。本地容错与诊断技术8.1cStor高可靠性快速恢复不管如何终止服务,元数据服务器和存储服务器都会在几秒钟内恢复状态和运行。实际上,我们不对正常终止和不正常终止进行区分,服务器进程都会被切断而终止。客户机和其他的服务器会经历一个小小的中断,然后它们的特定请求超时,重新连接重启的服务器,重新请求。数据块恢复每个数据块都会被备份到放到的不同存储服务器上。对不同的目录和文件,用户可以设置不同的备份级别。在存储服务器掉线或是数据被破坏时,元数据服务器会按照需要来复制数据块。元数据备份元数据服务器采用双机热备技术,在主元数据服务器发生异常中断时,能够在秒级内切换到备元数据服务器,而不会中断业务。 另外还可以采用冷备份机制,单独将元数据备份到另外第3台机器中,从而确保万无一失。8.2cStor数据完整性 每个存储服务器都利用校验和来检验存储数据的完整性。在读数据时,存储服务器首先检查与被读内容相关部分的校验和,因此,服务器不会传播错误的数据。如果所检查的内容和校验和不符,服务器就会给数据请求者返回一个错误的信息,并把这个情况报告给元数据服务器。客户机就会读其他的服务器来获取数据,而元数据服务器则会从其他的拷贝来复制数据,等到一个新的拷贝完成时,元数据服务器就会通知报告错误的服务器删除出错的数据块。写数据时的校验和计算优化了,因为这时主要的写操作。我们只是更新增加部分的校验和。在空闲时间,服务器会检查不活跃数据块的校验和,这样可以检查出不经常读的数据的错误。一旦错误被检查出来,服务器会拷贝一个正确的数据块来代替错