金融领域-存储方案设计

1、金融领域存储方案设计殷 擎俞彦琪近年来计算机网络信息系统在社会生产和生活中发挥着越来越大的作用。基于计算机技术的网络信息系统在很大程度上改变了社会对信息的处理能力，因而得到了广泛的应用。对于金融企业来说，信息的高度共享、数据的平安可靠是系统建立中优先考虑的问题，基于此，建立高性能的数据存储网络意义重大。领域介绍和数据存储需求分析领域介绍“十八大提出将金融改革列为未来十年开展的重中之重，中国主要金融企业也都制定了“十二五开展规划，将依靠构建智慧型的数据分析体系MIS充分挖掘业务规律，以支持业务创新与效劳创新。从未来开展看，中国金融行业在“十二五时期将重点实现开展方式转型：一，中国金融行业将建立全

2、面的风险管理体制，向严监管转型；二，从粗放式管理向精细化管理转型，信息化重点也将从业务信息化向管理信息化转变；三，从“利润为中心和“保单为中心向“客户为中心转型。由此，未来几年中国金融行业的IT投资规模将会持续增长。数据存储需求分析金融大数据需要可扩展性开放架构做支撑。大数据量必然要求金融企业IT根底设施更易于数据的整合与集中、扩展与伸缩，以及管理与维护，同时还必须具备良好的可靠性、可控性、平安性 。大数据在加强风险管控、精细化管理、业务创新等业务转型中将起到重要作用。首先，大数据能够加强风险的可审性和管理力度，支持业务的精细化管理。当前中国银行业利率市场化改革已经起步，利率市场化必然会对银行

3、业提出精细化管理的新要求。其次，大数据支持效劳创新，能够更好地实现“以客户为中心理念，通过对客户消费行为模式进展分析比方事件关联性分析，提高客户转化率，开发出不同的产品以满足不同客户的市场需求，实现差异化竞争。在高频金融交易、小额信贷、精准营销等领域加速推进。目前大数据应用已经在金融业逐步推开，并取得了良好的效果，形成了一些较为典型的业务类型，如高频金融交易、小额信贷、精准营销等。 高频金融交易的主要特点是实时性要求高和数据规模大。最后，大数据在金融机构的精准营销方面也有着巨大的价值。基于以上需求，金融行业对于大数据的存储和应用有着很大的需求。灾备需求银行业已经根本完成了省级业务和数据的大集中

4、，具备了比较强的容灾能力，但各地分行存储藏份系统还需要进一步加强。一旦全国这个数据中心发生灾难事件，那么全国范围内的分支机构和开户企业、个人都将失去自己的存款记录、贷款记录，不能开展业务，这样的影响不是在一个市、一个省，而是在全国的范围，后果难以想象。国外一些兴旺国家，如：美国，在银行业的存储网络建立上起步早，早在上个世纪70年代就有灾难备份的概念和效劳。在信息技术兴旺的欧美国家均对银行在保证数据完整性及业务连续性的责任上作出了明确的规定，在新加坡、中国香港金融管理局也对灾难备份提出了要求，由此可见银行业数据的平安存储对于银行的生存至关重要。由于使用ATM机取款和刷卡消费越来越普及，这就要求银

5、行必须保证24X7的不连续运行，以满足超大量用户的实时访问，一旦宕机或者系统发生故障，不仅严重影响银行业务的运营，更将严重影响客户满意度。所以建议租用网络存储空间，保证您24X7的在线效劳。目前，银行缺乏足够的网络维护人员。因此，高效的网络存储建立十分必要。构建网络式存储，防止了巨大的额外支出，大大提高了存储系统的利用率。具体需求应用数据的全自动备份：减少系统管理员的工作量；增加备份效率、压缩备份时间；使数据备份工作形成制度化、科学化；消除备份过程因操作不当导致的严重损失；声称远程保存的为灾难恢复目的的介质。对介质的有效管理：增加软件对介质存储的限制，防止读写操作错误；保存介质内容的电子记录；

6、对数据形成分门别类的介质存储，使数据管理更加细致、科学；自动校验介质，确保介质上的数据平安无误。实现数据的集中管理：按备份效劳器形成数据中心，对各种应用系统及其他信息数据形成集中的备份，减少每个应用业务人员的工作负担，免除客户端备份的投资；形成数据管理策略，保证数据的平安性。实现数据的自动恢复：业务人员可容易地自动恢复文件的误删除；维护人员可以自动恢复损坏的整个文件系统。建立历史数据归档：保存大量历史数据到电子介质，为商业竞争和企业开展保存第一手分析和历史资料；有标准地归档，去除系统中被占用的空间以保证主机处于运行状态。实现数据的分级存储管理HSM。7、防毒平安备份管理。数据特点分析和数据访问

7、特点数据特点分析及时性有效性准确性可靠性连续性可扩性开放性多功能性5、平安性保密性数据访问特点快速增长的金融行业不光面临着市场变化快，产品更新快、营销策略变化快、业务运作变化快等挑战，还面临这信息平安存储和及时访问、信息的集中化存储信息存储整合、信息和数据的有效备份、及时的恢复、信息和数据的归档等技术应用层面的难题。相比其他行业，他们要在一个集中的点上，管理全国乃至全球极大的交易数据需要瞬间数据访问、高平安性和异地存储等功能，金融机构对于灾后恢复时间的容忍度是所有行业中最小的。存储系统设计磁盘选择选用DELL MD3600f磁盘阵列其规格为英寸 - 7,200 RPM近线SAS硬盘，容量规格为

8、2 TB接口类型因为采用近线SAS硬盘，所以其接口为串行SCSI接口。盘块个数由于该领域某单位或企业当前实际数据量为2TB，预计该系统的数据每年增长量是30%按未来5年的需求设计，所以五年后数据量增加到2*(1+ 。考虑到此工程我们考虑使用RAID10存储，所以应增加磁盘数量，所以数据量增到7.5*2=15TB所以此处在只考虑存储数据，而不考虑业务连续性设计方案的情况下，应购置MD3600f的数量为8个选择RAID级别3.2.1 RAID10和RAID5比较RAID10和RAID5比照，这里拿同样多驱动器的磁盘来做比照(4个一样的磁盘)，RAID5可以选择3D+1P的RAID方案，RAID10

9、那么可以选择2D+2D的RAID方案。从读写性能比较，读方面两者差异不大，但在写性能方面，RAID5的写代价为4，而RAID10写代价只有2，写性能角度RAID10要好于RAID5.从平安性角度考虑， RAID10的平安性高于RAID5。比方当盘1损坏时，对于RAID10，只有当盘1对应的镜象盘损坏，才导致RAID失效。但是对于RAID5，剩下的3块盘中，任何一块盘故障，都将导致RAID失效， 在恢复的时候，RAID10恢复的速度也快于RAID5。 要求较高的空间利用率，对平安性要求不是特别高、大文件存储的系统采用RAID 5比较好。相反，平安性要求很高，不计本钱，小数据量频繁写入的系统采用R

10、AID 10的方式比较好。此处RAID10更加贴近于金融数据的存储，因为金融效劳类领域小数据量频繁写入，而且其数据对平安性的要求更高。综上：选择RAID10网络存储架构选择3.3.1 SAN介绍SANStorage Area Network 存储局域网络采用光纤通道Fibre Channel技术通过光纤通道交换机连接存储阵列和效劳器主机，建立专用于数据存储的区域网络。在iSCSI出现以后，用以IP技术搭建的存储区域网络应运而生。以光纤搭建的存储网络是FC SAN，以iSCSI技术搭建的存储网络叫IP SAN。IP SAN基于十分成熟的以太网技术，使用标准的TCP/IP协议，数据在以太网上进展传

11、输。新建立的SAN不但可以连接光纤通道设备，而且可以连接SCSI设备，这样保护了用户以前的投资。数据的可靠性和平安性在实际应用中十分重要。在SAN中可以采用双环的方式，建立存储设备和计算机之间的多条通路，提高了数据的可用性；建立虚拟专用网络可以提高数据的可靠性和平安性；同时在SAN中也可以通过建立双机容错、多机集群，实现RAID校验等方式进一步保证数据的平安性和作业的连续性。3.3.2 FC-SAN的优缺点采用光纤通道Fibre Channel技术，通过光纤通道交换机连接存储阵列和效劳器主机，建立专用于数据存储的局域网络。专用存储网络协议，传输速率高且稳定性好，高扩展性，配置灵活。热插拔性、高

12、速带宽、远程连接、连接设备数量大。4.本钱高，不能提供跨平台文件共享。3.3.3 IP-SAN与FC-SAN的比较1数据传输性能方面的比较在实际的比照测试中说明在同样的1Gbps的光纤链路FC与1Gbps的千兆以太网IP中进展数据传输时，FC的实际利用率在70%80%左右，最高可达90%；而在千兆以太网中，其实际利用率平均在20%左右，最高也只能到达30%左右。在以太网中并不能提供针对存储大数据量以及I/O应用中所需要的好的性能。这也是在存储局域网设计之初没有考虑IP存储的原因，虽然TCP/IP传输协议的出现较FCP传输协议出现得早。2存储设备的构造比较一般来说IP-SAN存储设备的磁盘控制器

13、不是采用FC-SAN存储设备中的硬件RAID芯片+中央处理器的构造，而是每个磁盘柜中分为多个磁盘组，而每个磁盘组有一个微处理芯片控制所有的磁盘RAID操作采用软件计算，效率较低和RAID组的管理操作。这样一来，每一次磁盘I/O操作都将经过IP-SAN存储内置的一个类似交换机的设备从前端众多的主机端口中读取或写入数据，而这些操作都是基于IP交换协议，其协议本身就要求每一个微处理芯片工作时需要大容量的缓存来支持数据包队列的排队操作，具有海量存储的时候，不可能所有的数据均载入到系统缓存中这个时候就需要大量的磁盘I/O操作来查找数据，而IP-SAN存储所采用的SATA磁盘在这一块性能非常弱，而且还涉及

14、到一个在IP网络上流动的ISCSI数据向ATA格式数据转化的效率损失问题。也就是说IP-SAN存储存在一个缓存Cache到磁盘的数据I/O和数据处理瓶颈。而采用FC磁盘的FC-SAN存储设备就不存在这样的问题。通过2条甚至4条冗余的后端光纤磁盘通道，可以获得一个非常高的磁盘读写带宽，而且FCP的磁盘读写协议不存在一个数据格式转换的问题，因为他们内部采用的都是SCSI协议传输，防止了效率的损失。而且FC-SAN存储设备由于光纤交换和数据传输的高效性，并不需要很大的缓存就能够获得一个好的数据命中率和读写性能，一般2Gb或者4Gb即可满足要求。另外由于具备专门的硬件RAID校验控制芯片，所以磁盘RA

15、ID性能将比软件RAID性能好很多，并且可靠性更好。3.从存储能够相应的并发操作能力来看从应用上来说，相对于IP-SAN，FC-SAN可以承接更多的并发访问用户数。当并发访问Storage的用户数不多的情况时，FC-SAN比照IP-SAN二者性能相差无几。但一旦当外接用户数呈大规模增长趋势时，FC-SAN就显示出其在稳定、平安以及高性能传输率等方面的优势，不会像IP-SAN由于自身传输带宽的瓶颈而导致整个系统的被拖垮。面对大规模并发访问，无论是从外接用户数规模来说还是从传输性能和稳定性来说，FC-SAN都有着IP-SAN不可比较的优势。综上：选择FCSAN，由于金融效劳业数据并发性强，且数据价

16、值量大，采用IPSAN无法满足对于速度、并发性、平安性的要求，相比之下，FCSAN使得数据传输过程受外界影响小，对大规模数据请求也可以快速响应，满足金融效劳领域要求，所以选择FCSAN.存储架构设计图示业务连续性保障设计，给出备份及恢复方案方案选择选择“两地三中心的方案策略。首先消除单点故障根据国家要求以及银行业灾备标准选择RPO/RTO此工程设计采取本地备份与远程备份相结合的策略同城灾备场景中采用FC SAN实现数据同步复制，可以到达PRO=0，RTO较小，因为采取光纤通道，数据传输速度快，可以尽快恢复数据。异地灾备场景中采用FCIP技术，此技术是的可以封装本地FC SAN的协议包，从而可在

17、IP上传输，远程那么有一FCIP网关，将包转换成FC协议包，此处选择PRO=0.5 hours，RTO=2 hours。所以可以满足两地三中心的要求。本地备份基于FC SAN的网络容灾架构图对应的备份和恢复方案从上图中可以看到，备份恢复管理效劳器处于主SAN的应用效劳器与容灾SAN的应用效劳器之间。其功能主要有以下两点。数据备份：当主SAN所属的磁盘数据改变时，主应用效劳器给备份恢复管理效劳器发出备份命令，然后备份恢复管理效劳器给主SAN发送备份指令，同时给容灾应用效劳器发出接收指令。主SAN收到备份指令后，通过FC备份通道把改变了的数据传输到容灾SAN中，然后再存储在容灾SAN所述的磁盘上。

18、备份恢复管理效劳器的参加，使得在备份数据时主应用效劳器不再从事备份工作，而只是提供备份数据信息。整个备份工作带来的负载从主应用效劳器上剥离，备份恢复管理效劳器完成了整个的备份数据传输过程。从而防止了备份数据流对正常LAN应用的影响，解决了在进展备份工作时业务网络数据拥塞的问题。其备份的流程如下列图所示。数据恢复：当主SAN所属的磁盘中的数据遭到破坏时，主应用效劳器给备份恢复管理效劳器发出恢复命令。然后备份恢复管理效劳器再把恢复命令传递给容灾应用效劳器，接着容灾应用效劳器发送确认信息给备份恢复管理效劳器。备份恢复管理效劳器收到确认信息后，向容灾SAN发恢复指令，然后容灾SAN通过FC恢复通道把备份数据传送给主SAN，如此就完成了数据的恢复。其恢复流程如下列图所示。远程备份架构图对应的备份和恢复方案采用异步备份，即定时同步更新两地的数据。由于此前我们确定的RPO=0.5 hours，所以每隔半个小时定时更新远程数据。恢复方案，本地FC SAN发出恢复请求，通过IP网络传递给远程FC SAN，远程备份响应请求，发出数据传输信号，本地接收信号后，准备接收数据。远程将数据打包通过IP传输给本地存储阵列。采用FCIP的好处综合了光纤与IP的好处，保存了光纤网低延迟、高可靠性的优点，又利用的IP