数字图书馆云分布式存储架构模式与策略研究

1、    数字图书馆云分布式存储架构模式与策略研究    摘要：文章首先分析了云存储系统架构模式、可靠性、有效性、完整性及存储系统的可扩展性，并提出了一种基于云计算环境下数字图书馆安全、有效的云存储架构，该存储架构具有良好的可扩展性、容错性和较高存储性能。参考文献5。关键词：数字图书馆，云存储，结构模式，存储策略中图法分类号 g252文献标识码a文章编号1003-7845（2012）02-0070-031 引言云图书馆在运营和读者云阅读服务活动中对存储系统提出了较高需求，要求云图书馆拥有科学、高效的云数据中心管理与数据存储方案，能够有效地支撑云图书馆数据存

2、储、查询、读取与传输服务。因此，制定安全、高效、智能、自动的图书馆云存储系统管理与存储策略，是确保云图书馆准确、快速地为读者提供云阅读查询与存储服务的关键1。2 云环境下数字图书馆云存储系统管理与存储策略特点2.1 云存储系统具有较强的可扩展性云图书馆具有数据存储量大、存储总量增速快、动态可扩展性要求高的特点，存储系统必须根据云图书馆存储业务需求，提供pb级容量的、高性能、低存储成本的存储服务，并支持存储系统容量快速扩容。在具备较强可扩展性的同时，云图书馆应能够较好地平衡存储服务器之间的负载，可以在图书馆不同云备份数据中心之间动态迁移与数据备份，依据就近、高效、快速、最优化原则存储数据。2.2

3、 系统具有较高可用性、可靠性与低廉的建设、管理、存储成本云存储系统采用了分布式存储方式，当个别存储服务器发生故障时，控制节点能够自动将工作负载从故障服务器迁移至正常的存储节点，并对所存储的数据自动备份，提高云存储的可靠性与可用性。此外，云图书馆可根据云阅读服务需求弹性租赁存储服务，采用集中存储、统一管理方法来灵活管理存储资源，并根据云阅读服务需求即时、弹性地扩展存储资源池，云存储数据库无需前期基础设施资源建设与运营、维护成本投入，有较高的投资收益率。2.3 可提高云图书馆读者个性化阅读存储服务支撑能力图书馆读者个性化云阅读服务要求存储系统具备海量存储能力，最大可支持64个存储节点并行i/o读写

4、，在不影响上层云应用业务的前提下，支持云存储系统在线迁移、复制、扩容。当突发海量数据存储任务时，可通过分布式存储系统与存储集群系统合理分担存储负载，提高突发海量数据存储能力。此外，利用云服务提供商云存储服务的磁盘备份、压缩、加密、重复数据删除、服务器虚拟化、存储虚拟化、优化数据保护等服务，可提高云存储的安全、效率、可靠性与可控性，确保数据备份的同步和准确。2.4 具有较高的安全性与存储效率云图书馆所存储的数据主要有云图书馆管理数据、读者云阅读服务业务数据、用户个人信息数据、相关云增值服务数据、传统数据图书馆云迁移数据，不同的数据具有相应的云存储安全标准与性能需求。针对不同类型数据的存储要求，云

5、图书馆应制定相应的存储、备份、容灾策略，确保数据不丢失、不损坏和易于还原。其次，应加强对云存储基础设施的可管理性，实现对云存储系统效率及存储过程的自动、智能化监控，能自动修正存储错误或者报警，确保存储的安全性与存储效率。第三，当数据需要云迁移、云备份及还原时，能以网络传输、存储设备复制等多种方式，确保数据迁移、备份与还原过程的安全、高效、经济、便捷2。2.5 支持虚拟化存储技术云图书馆存储虚拟化，就是为云图书馆存储区域主机逻辑创建、划分、管理物理存储资源的过程。云图书馆用户和其它云租户共享同一个云空间，用户无法在物理空间上真正做到完全隔离。因此，云图书馆用户数据安全性及独立性受到一定影响。通过

6、存储虚拟化技术，将云图书馆多个存储介质（如硬盘、raid）集合在一个存储资源池中整合、管理，并按照云业务类别和用户服务需求按需分配，实现不同云租户间的数据逻辑隔离。此外，存储区域网络可根据云图书馆数据中心存储需求，以增加异构存储服务器数量的方法实现分布式存储，用户通过统一模式访问虚拟化用户接口而实现存储能力的扩展。3 数字图书馆云存储方案设计3.1 图书馆云存储系统的架构模型图书馆云存储系统是一个由云网络传输设备、云存储服务器、存储控制器、云存储应用软件、公用访问接口、接入网络与客户端阅读应用程序组成的复杂系统。通过监测器与控制器协调工作，共同为读者提供安全、高效、经济、快捷的云存储服务。云存

7、储系统的架构模型分为存储层、基础管理层、应用接口层、访问层4个部分，如图1所示：（1）云图书馆存储层。存储层是云存储系统的基础，存储设备可以是fc光纤通道存储设备，nas和iscsi等ip存储设备，也可以是scsi或sas等das存储设备。为了提高云数字图书馆数据存储与读取效率，云图书馆通过租用处于世界不同地域的云数据中心存储服务，利用广域网、互联网或者fc光纤专用通道网络，建立在地域上平均分布的云数据中心与备份云中心。存储设备管理系统负责存储设备逻辑虚拟化集中管理、多链路冗余管理、状态监控和容量的动态扩展，以及硬件设备的状态监控和故障维护等。（2）云图书馆基础管理层。基础管理层是云存储的核心

8、部分，也是云存储系统结构最复杂、最难以实现的部分。基础管理层采用了集群管理技术、分布式文件存储系统和网格计算等技术，在实现系统可扩展性、多个存储设备与存储区域网络之间协同工作的同时，使云存储系统中多个存储设备虚拟成一个系统，共同对外提供更可靠、快速、安全的数据访问。同时，采用各种数据备份和容灾技术，保证云存储自身的安全、稳定以及不丢失存储数据3。（3）云图书馆应用接口层。云存储应用接口层是利用存储资源进行应用开发的核心部分。云图书馆根据实际业务类型及用户服务需求开发云应用服务接口，为读者提供云阅读应用平台服务。诸如视频监控应用平台、iptv和视频点播应用平台、网络硬盘存储平台，远程数据备份应用

9、平台等。此外，云存储服务提供商通过应用接口层，为云数字图书馆提供统一的协议和编程接口，满足基于网络的云图书馆跨平台协议二次应用程序开发。（4）云图书馆访问层。基于存储层、基础管理层和应用接口层提供的服务，云图书馆及数字用户在访问层不再需要了解底层的硬件设施类型和数据存放的物理位置，只需获得云服务提供商的授权，通过调用标准api就可以申请所需的云存储空间，利用所开发的应用程序在云存储空间上为云读者提供各种云阅读应用服务。通过用户访问层，数字用户可以在任何地方使用联网的终端设备，按照标准的公用应用接口来登录云存储平台，经过身份认证后享受云存储服务。3.2 图书馆云存储系统的方案设计（1）云存储集群

10、方案的智能化设计。智能化数据存储管理与云集群存储是提高云图书馆数据存储效率与自动化水平，降低云存储系统运营、管理成本的关键。在云存储集群存储方案的制定中，应采用效率最优化算法控制存储集群，保证分布式文件存储系统高效、弹性工作。可根据云阅读服务需求，在不间断云服务的前提下弹性分配云存储资源，为云图书馆提供pb级存储容量。同时，应提高云存储与查询的效率，实现对单个文件的并发存储与对存储设备、热点文件的自动负载均衡。此外，还须提高云图书馆业务管理数据与核心业务数据的冗余、备份和自动纠错与报警能力，依据数据的重要性设置不同的安全等级与用户访问策略，并通过基于web的管理界面保障云图书馆管理员远程监视、

11、控制与调整。（2）确保云网络强大的数据迁移与传输能力。云图书馆在建设初期，庞大的用户管理与业务数据由传统数字图书馆云迁移而来。同时，为了提高云数据中心云阅读数据传输与服务质量，确保云系统数据存储具有较高的安全可靠性、冗余性与可扩展性，可在世界不同地域建设图书馆备份云数据中心。云数据中心通过有效的网络传输拓扑结构、网络安全传输设备和数据传输策略来保障数据传输安全与效率。在云数据中心与备份云数据中心间还应建设大容量高速光纤专用传输网络，确保云数据中心与备份云中心间数据更新、存储与备份具有较高速率和较低误码率。此外，应加强读者云网络传输需求、数据中心网络负载与承载能力、网络威胁与故障、网络传输与利用

12、效率的监控和报警，并对云图书馆网络传输设施和状态定期进行监控、维护、软硬件更新和升级，确保云网络具有较高的安全性能。（3）制定有效的云存储管理策略。随着云图书馆基础设施建设规模的不断扩大，云数据存储、检索与查询、备份、灾难恢复等工作流程变得更加复杂，要求云存储系统具有较高的工作效率与较低运营成本。因此，降低云存储系统基础设施建设复杂度，提高云存储管理策略可控性与易管理性，是确保较高云存储效率的关键。在云图书馆存储系统建设、运营过程中，应正确、合理估计云系统存储容量与网络传输带宽需求的增长速度，通过签署云数据存储冗余扩展需求合同的方式，保证云服务提供商根据云图书馆存储需求，在不停止云服务前提下适

13、时扩展存储资源池与网络传输带宽。其次，在云图书馆自购服务器、网络设备与网络建设活动中，应与云服务商数据传输与存储速度相匹配，并根据云系统扩展需求保持30%冗余。第三，云图书馆应尽可能将全部云应用迁移到云存储设备，提高云应用的可管理性。（4）提高云存储系统架构的合理性。非结构化数据信息通常存储在文件系统中，而不是存储在数据库中，云图书馆所存储的数据中，非结构化数据占据较大比例。经研究发现，云图书馆中的非结构化数据以60%的年增长率在增加。此外，云图书馆数据库中未被使用（或者不经常访问）的数据数量庞大并在不断的增加，造成了云存储资源利用率的下降。因此，要求云数据库存储系统具有安全性、高效性、扩展性、低复杂度、高融合性与经济性的云存储系统架构4。4 结束语在云图书馆存储系统建设中，只有坚持云存储系统架构的安全、高效、开放、可扩展的设计思想，将云存储技术与图书馆云存储服务紧密结合，以读者满意度和云存储系统运行效率为检验标准，才能保证云图书馆存储系统具有较高安全性、可用性、可靠性与易管理性，更好地为读者提供个性化云阅读服务5。参考文献：1 张建勋，古志民，郑超.云计算研究进展综述j.计算机应用研究，2010（2）：429-433.2 吴雷，张渝平，张淑芬.云计算在图书馆中的应用j.高校图书馆工作，2011（3）：43-45.3 陈臣，马晓亭.“云”数字图书馆