平安城市建设技术解决方案

平安城市建设技术解决方案1概述 31.1建设背景 3 3 32云存储系统平台设计 42.1项目需求 42.2设计思想 52.3云存储系统方案 62.4系统优势和特点 63系统架构 93.1系统基本组成 93.2系统功能描述 174.1数据写入机制 4.2数据读出机制 5关键技术 5.1负载自动均衡技术 5.2高速并发访问技术 5.3高可靠性保证技术 5.4高可用技术 6接口描述 6.1POSIX通用文件系统接口访问 6.2应用程序API接口调用 7本地容错与诊断技术 7.1cStor高可靠性 21 217.3cStor快照技术 228异地容灾与恢复技术 228.2cStor异地文件恢复 9部署方案 数据是业务系统核心应用的最终保障，不但要保证整套系统能够7X24运行，而且在进行系统设计时，充分考虑数据高可靠存储，采用高度可靠的软硬件容错设计，维护和平滑扩展，系统服务7×24小时不间断。系统采cStor云存储系统是一套软件与硬件相结合的系统，其中专有技术和软件是高附加银行等领域);该系统相比传统存储系统有如下技术优势：存储系统采用云架构，数据被分块存储在不同的存储节点上，数据采用先进的1:1重启服务后，它则成为新的备管理节点，保障系统的7×24小时不间断服务。cStor采用控制流与数据流分离的技术，数据的存储或读取实际上是与各个存储节r个数可以有多个，它的数目直接决定了cStor云存储系服务器对外提供数据存储和访问服务的窗口，通常情况下，客户端可以部署在Chunk由一对元数据服务器及其管理的存储服务器节点所提供的存储空间称为一个卷空1.9系统功能描述cStor提供符合POSIX规范的文件系统访问接口，通过cStor访问挂接程序可将云存储空间挂接为本地目录或磁盘。同时可提供专用的API接口，支持业务应主备双机高可用，切保7×24小时不间断服务。块数据是指文件数据被按照一定大小(默认64MB)分割而成的多个数据块，分布由一对主备元数据服务器及其所管理的块数据服务器管理节点设备及其所提供的卷管理服服务器负责将多个卷虚拟化整合，对外提供统一的整体访问云存储空间。指指指指山admin山时时庄庄庄庄庄止止止程山出以山456[(2)客户端进行文件切块写入有块数据服务(3)客户端每写入一定量的块数据后，通知元数据服务器，由元数据服务器启动一(2)客户端进行数据块读出；(3)客户端进行数据块校验；(4)对未能读出的数据块或无效块通过同编码组内其它数据块进行解码，获得完整对于节点服务器，采用编解码的方式实现容错。分布存储在不同的节点服务器上。系统中的所有服务节点均是通过网络连接在一起，由于不停止；存储节点采用编解码冗余备份机制，如采用4:2编码容错，,任意损失文件系统接口访问；②通过专用API访问。具体描述如下。通常情况下，可以通过在客户端的基础上部署FTP、NFS等服务器的方式，对外提供基于FTP和NFS的数据存储访问。1.17应用程序API接口调用cStor云存储系统对外提供应用程序API访问接口，可以根据实际应用的需要编写应用程序，通过调用相应的接口直接访问cStor云存储系统。不管如何终止服务，元数据服务器和存储服务器都会在几秒钟内恢复状态和运行。实际上，我们不对正常终止和不正常终止进行区分，服务器进程都会被切断而终止。客户机和其他的服务器会经历一个小小的中断，然后它们的特定请求超时，重新连接重启的服务器，重新请求。每个数据块都会被备份到放到的不同存储服务器上。对不同的目录和文件，用户可以设置不同的备份级别。在存储服务器掉线或是数据被破坏时，元数据服务器会按照需要来复制数据块。元数据服务器采用双机热备技术，在主元数据服务器发生异常中断时，能够在秒级内切换到备元数据服务器，而不会中断业务。另外还可以采用冷备份机制，单独将元数据备份到另外第3台机器中，从而确保万每个存储服务器都利用校验和来检验存储数据的完整性。在读数据时，存储服务器首先检查与被读内容相关部分的校验和，因此，服务器不会传播错误的数据。如果所检查的内容和校验和不符，服务器就会给数据请求者返回一个错误的信息，并把这个情况报告给元数据服务器。客户机就会读其他的服务器来获取数据，而元数据服务器则会