数字图书馆资源组织与存储研究

1、数字图书馆资源组织与存储研究董晓莉 王迎霞（国家图书馆 北京 100081）摘要： OAIS（Open Archival Information System）参考模型是目前国际数字资源长期保存遵循的框架和标准，是数字图书馆数字资源组织与存储系统建设的理论基础，目前国内图书馆界尚未出现基于OAIS参考模型的成熟资源组织与存储系统。本文在对数字图书馆数字资源组织与存储模型进行初步分析的基础上，对国家图书馆的资源组织与存储系统功能进行了阐述，为今后的深入研究和实践运用能起到抛砖引玉的作用。关键词：长期保存 数字图书馆 数字信息资源分类号: G250.76Research on resources

2、organization and storage in the Digital libraryDong Xiaoli(National library of China, Beijing 100081, China)Wang Yingxia(National library of China, Beijing 100081, China)Abstract OAIS（Open Archival Information System） reference model is the international framework and standards for the long-term pre

3、servation of digital resources. It is theoretical basis for building the organization and storage system of digital resources in the digital library.Now,there is not any mature system for the digital resources organization and storage. This paper introduces the concepts of OAIS and analysis the mode

4、l of resources organization and storage and system funciton in the National Digital Library. At last, the author discusses the influence of the resources organization and storage in digital library.Keywords Long-Term Preservation Digital library Digital Resouces 1概述在数字资源急速增长的今天，我国图书馆界表现出积极的应对姿态。随着信息

5、化进程和对数字资源有顺化管理要求的提高，对数字资源的合理组织与存储的问题日益突出，原有的分散独立的存储管理模式已经无法满足目前图书馆特别是国家图书馆对数字资源管理的需要，对资源的综合调控问题由此浮出水面，并日益成为图书馆对资源合理存储和管理的重点。建立一个具备可持续性的数字资源组织与存储系统是目前数字图书馆建设需要解决的重大课题。以往人类提倡更多的是自然生态的可持续发展，以满足人类不断增长的物质需求；然而随着社会信息化进程的不断加快，人类对信息的需求日益高涨，满足人类的信息需求同样是人类追求的目标。如何保证人们可以方便、可靠地持续使用有效信息资源，就成为了数字图书馆人关注的重要课题之一。近年来

6、，随着图书馆信息化进程的日益加快，大量数字资源已完成扫描、格式转换和初步的加工处理并部分实现了网络化利用，然而在实现对数字资源的持续利用和保存等方面却显得不尽人意。图书馆作为文献信息的收藏基地，拥有丰富的数字馆藏资源，资源类型和保存格式复杂多样，面对如此海量的对象数字资源以及与之对应的相关元数据和支撑运行系统等各类需要保护的资源，如何建立具有可持续性的数字资源存储与管理系统以实现对数字资源的持续利用和保护是目前图书馆特别是数字图书馆的百年大计。图书馆的数字资源组织与存储系统将主要涉及对数字信息资源的管理利用和数字信息资源的长期保存两方面的内容，1其目标是保障被保存对象在数字保存的全生命周期中的

7、任何时候都能够保持完整性、真实性、可理解性；保障原有数字信息资源能够在较短时间内得以快速恢复和部署，并且在原有的内容形式和服务范围内提供服务；保障被保存的数字信息资源能够在系统中方便、快捷、可靠的进行迁移，同时支持存储媒体的管理和翻新。 2、相关说明2.1 OAIS介绍2OAIS（Open Archival Information System）参考模型是美国National Aeronautics and Space Administration (简称 NASA)和Consultative Committee for Space Data System(简称CCSDS)联合制定的一项标准。

8、OAIS参考模型已于2002年1月正式成为 ISO14721标准，制定该标准的主要目的是为数字资源的存取和长期保存规定了一个概念性的框架模型。该标准对应实现的功能、术语、概念等问题都做了较为详尽的阐述。OAIS是一个集流通、存储、交互为一体的集成系统模型，该模型是由人、机构成的一个有机整体，它承担着从信息提供者那里摄取系统可以接受的有用资源，并将其进行合理地组织、存储、管理和利用，保证系统内长期保存的信息可为特定用户和群体提供长期服务。OAIS具备以下职责：l 信息资源预摄取，即对资源进行分类、抽象；l 确定资源的服务对象，保证资源对其潜在服务对象可识别；l 遵从开放协议；l 保证资源的安全性

9、和可用性；l 保证信息资源的完整性；l 保证信息资源的可持续性。2.2 OAIS模型与数字图书馆资源组织与存储系统功能比较数字资源的组织与存储系统可以参考OAIS模型进行建设，它不但拥有传统图书馆的资源收集、资源保管、资源利用、资源保护等各方面的功能外，还包括对外提供各种综合性信息服务的功能。该系统应当是综合性的，多层次的集成系统，主要体现在信息的高度集成、对资源的统一调度和管理、信息资源共享、以及对信息资源的永久保存和再利用等几个方面，这些方面与OAIS体系中的信息摄取( Ingest)、信息归档保存(Archival Storage) 、数据管理(Data Management) 、信息发

10、布(Access) 、保存计划( Preservation Planning) 和系统管理(Administration) 六大模块相吻合，如下表所示：OAIS数字图书馆资源组织与存储系统信息摄取( Ingest)从文献数字化加工、数字资源加工、电子资源缴送、网络资源采集等各方面获取数字资源,并将其整合形成综合信息资源。信息归档保存(Archival Storage)对海量数字资源进行分类并完成合理归档与存储。数据管理(Data Management)将数字资源的对象数据及与其对应的各类元数据进行整合、打包、管理、传递、发布等功能。资源访问 (Access)在一定的保护措施下，通过对资源的合理

11、揭示，为用户提供多种访问方式,满足用户需求。系统管理(Administration)资源组织与存储系统管理。永久保存计划( PreservationPlanning)通过迁移、复制等技术手段完成对数字资源的永久保存。表1 数字图书馆数字资源组织与存储系统与OAIS模型比较表3 数字图书馆资源组织与存储系统概述资源组织与存储系统是数字图书馆建设的核心，其任务是将文献数字化加工、数字资源加工、电子资源缴送、网络资源采集等产生的各种数字资源进行收集，建立完备的电子帐，实现数字资源的有序化管理；同时要根据资源的状况和应用需求，把它们分配到在线、近线和离线的三层存储体系中去，以保障被保存对象在数字保存全

12、生命周期中的任何时候都能够保持完整性、真实性、可理解性；保障原有数字信息资源能够在较短时间内得以快速恢复和部署，并且在原有的内容形式和服务范围内提供服务；保障被保存的数字信息资源能够在系统中方便、快捷、可靠的进行迁移，同时支持存储媒体的管理和翻新。该系统应包括个基本要素，即数字信息资源（即数字信息资源长期保存的目标主体）、数字信息资源的存档过程和系统的体系结构。本文主要介绍系统的体系结构部分。3.1系统环境模型图1数字资源组织与存储系统环境模型图1是一个简单的环境模型，描述了管理图书馆数字资源组织与存储系统的外部环境。数字图书馆数字资源组织与存储系统的外部环境包括三个要素：资源提供者、管理者和

13、服务对象。（1） 资源提供者是指根据图书馆的资源存储计划，由外部的资源供应商或图书馆的数据提交人员按资源的不同分类并根据提交规则通过Web或专用提交接口完成元数据的录入、对象数据提交以及部分相关描述数据的编辑录入，并且依据存取权限实现对保存对象数据的传递。（2） 管理者指各图书馆制定或遵从的相关标准规范，指导政策，日常组织管理流程等。（3） 服务对象指个人、机构或系统，他们通过外部接口完成对数字信息资源的定查找、订购等交互，从而发现、检查和利用图书馆的数字信息资源。3.2系统功能模型数字图书馆的数字资源组织与存储系统主要包括资源摄取、资源管理、资源归档存储、长期保存、系统管理、资源发布几个方面

14、的功能，如图2所示。整个系统从逻辑上可以划分为物理存储层，管理调度层和应用服务层。物理存储层主要负责对不同类型不同版本对象数据、各类元数据及其关联关系的存储和管理；管理调度层主要负责对象数据与元数据的组织与管理，同时根据用户需求完成对底层资源的抽取、复制、打包等工作；应用服务层主要负责提供各种访问工具或与各种应用软件的接口，通过这些工具和接口完成对外发布的工作，以满足各类用户的需求。图2 国家图书馆数字资源组织与存储系统功能模型对于国家图书馆来说，其数字资源组织与存储系统可以采用多层服务架构实现，主要涉及对对象数字资源、元数据资源的存储和管理以及与之相关的各类服务。该系统应当不但能够支持多种数

15、据类型，即包括文本、图像、音频、视频等资源类型，其中每一种类型的资源又可能含有多种不同格式和版本，同时能容纳未来新出现的数据类型；可以将混合的、分布的数据整合成复合对象，并根据不同资源发布系统的需要完成同一对象内容的多重分发。国家图书馆数字资源组织与存储系统的核心服务层主要包括仓储服务、索引服务、资源整合服务，能够将相关资源和服务动态地组合以实现对不同媒体类型数据的访问。仓储服务提供存储、发布可信数字对象的机制；索引服务提供查询数字对象的机制；资源整合服务提供将不同数字对象和服务有机组合以满足发布系统需求的机制。该系统通过国家图书馆唯一标识符系统完成对数字对象的注册和解析工作。国家图书馆数字资

16、源组织与存储系统的界面服务层主要包括摄取服务和发布服务。资源摄取服务提供从资源拥有者那里获得或接收要保存的数字资源的服务，发布服务则提供外部接口，以满足国家图书馆各发布服务系统的资源需求。3.3系统结构模型在系统设计中，可以考虑将整个系统分成几个相对独立的功能模块，每一个模块具有相对准确的功能，并且与系统内部的其它功能模块和外部系统有平滑的接口。基于模块化的设计思想可以满足系统灵活扩充的要求，为今后系统的功能扩充打下良好的基础。由于数字图书馆的资源组织与存储系统需要应对技术进步和数据更新给系统带来的挑战，因此在整个系统建设中可以采用“面向服务的体系结构”（Service Oriented Ar

17、chitecture，SOA）的架构模型进行设计，以便为用户提供灵活、易扩充的数据输入，存储和访问服务。在整个设计中，可以从数字资源流入手，结合数字图书馆信息生命周期原理和OAIS标准规范，以“服务”为单元进行设计。通过对OAIS标准规范的研究，我们不难发现，SIP （Submission Information Package）包通过摄取模块拆包后，将完成对相关描述性信息的提取和补充，并将描述性信息存入资源管理模块，将对象资源信息存入存档管理模块，同时资源管理模块所存储的描述信息和存档管理模块存储的AIP (Archival Information Package)包将为资源发布模块提供支持

18、，如图3所示。图3系统结构示意图4、国家图书馆资源组织与存储系统功能概述 中国国家图书馆所建设的资源组织与存储系统将参考OAIS (Open Archival Information System ISO 14721)标准，建立一个可信的长期保存仓储系统，该系统主要完成数字资源的摄取、资源归档存储、资源永久保存、资源管理和资源发布等方面的功能。4.1数字资源的摄取功能资源摄取服务的主要任务包括从外部的资源供应商或图书馆的数据提交人员处按资源的不同分类根据提交规则接收合格资源并完成元数据和对象数据存储和AIP包的生成和存储等工作。在数据提交过程中，根据规则完成对提交数据的审核工作（包括数据完整性

19、、是否重复、是否符合规则等方面），并生成检测报告。在数据提交成功后，系统依据预先定制的规则和策略对提交数据进行重新组合打包、相关信息提取和描述信息的补充等工作并生成报告。此外还要配合资源管理和资源归档存储功能，完成与对象数据相关的描述元数据、结构元数据、管理元数据和保存元数据的抽取和入库工作，以及根据应用需求和归档调度策略完成对象数据的归档存储工作。整个数据提交功能将实现数字对象与媒体无关的底层抽象形式，即需要体现所有对象数据不依赖于存储媒介。42资源归档存储功能接收提交审核合格后的信息包，根据预先设定的存储使用策略完成对对象数据的在线、近线和离线的层次化存储并完成与对象数据关联的元数据的更新

20、和存储，最终生成报告。对最后归档的数据，除根据规则完成对象数据、元数据的审核外，还应对各类对象数据和各类元数据表单以及该数据所涉及的所有描述性数据和指针进行一一检验核对，审核成功后方可对其进行归档保存。对属于永久保存的资源，应当确保其最高的安全级别，同时通过数据抽取、链接等技术对外提供所需的服务。此外，该功能还需配合系统管理提供对对象数据的迁移功能，以保证数据根据资源类型、使用频率、存储策略等方面的规则，在存储系统中完成在线、近线和离线的迁移。43资源管理功能该功能主要完成对元数据、资源使用策略、相关权限、数据格式、数据唯一性、数据标引信息等的管理，提供数据库的连接管理能力，并完成对不同类型元

21、数据的数据库表单进行处理和配置工作。根据预先制订的策略完成对不同类型资源的建库、装库、建立索引、查重等工作，同时产生相关报告。此外，该功能还需配合资源发布完成数据挖掘的工作。44资源长期保存功能该功能主要完成资源的备份、归档、异地灾难备份、数据资源的迁移等功能，同时完成对系统和相关环境的监测，定制永久保存规则和数据移植策略等工作。为完成对数据流的维护，确保数字资源的持久访问，应提供对保存对象的例行检查，及时发现问题，并及时对数据流进行备份和迁移。此外，在完成对数据移植等操作后，需对新生成的数据进行重新提交审核，以便归档保存。4.5资源发布功能该功能主要完成资源的揭示。通过对资源的合理揭示以支持

22、对资源的查找、订购等各种访问方式满足用户需求。在资源发布前，要对资源的访问权限、版权等信息进行确认，并检查知识库数据、已解决版权问题的对象数据等各类信息。4.6系统管理功能该功能需要对整个系统制定系统使用的标准和策略，如元数据格式、描述信息格式、各类对象信息的格式、数据归档标准、数据迁移策略、存储管理策略、用户/角色权限、版权管理策略等各个方面。此外，还提供对元数据、对象数据以及相关描述信息的访问控制和对整个系统性能、数据生命周期等各方面的管理和控制，并根据各种规则完成对对象数据的文件名、存放位置、文件标引、历史信息、上下文关系、唯一标识等信息的管理。根据资源发布中提交的用户访问需求对文件进行

23、检索定位，找到相应的文件，经权限审核合格后对对象数据和其相关元数据、描述信息进行抽取和重新组合封装，并提供资源发布。5、国内外研究现状分析很多发达国家在二十世纪九十年代初就对数字资源组织与存储进行了大量的研究，到目前为止已经有很多国家成立了相应的机构，专门研究数字资源的组织与存储保护等问题。目前国际上致力于数字信息长期保存研究的项目有：美国国家航空和宇宙航行局（National Aeronautics and Space Administration）的空间数据系统咨询委员会（CCSDS: Consultative Committee for Space Data Systems）推出的开放档

24、案信息系统参考模型（the Reference Model for an Open Archival Information System，简称OAIS）。该参考模型针对数字信息的长期保存的档案系统提供一个概念性的框架。目前，OAIS参考模型已成为数字档案系统普遍遵从的标准规范。此外，还有美国NARA（National Archives and Records Administration）成立的致力于解决政府数字信息长久保存的电子文件档案馆计划（Electronic Records Archives，简称ERA）；由英国JISC（Joint Information System Committee）资助的CEDARS（CURL Exemplars in Digital ARc