媒资档案管理系统技术方案

1、媒资档案管理系统技术方案北京亚细亚智业科技有限公司2010年10月媒资档案管理系统技术方案 目 录第1章方案综述11.1系统建设的必要性11.2建设内容和目标21.3业务需求分析3第2章系统总体设计52.1系统设计原则52.2系统结构设计62.3数据处理流程82.3.1数据导入流程82.3.2数据输出（发布）流程102.4本方案的优势112.4.1体系结构灵活112.4.2强大的视音频处理112.4.3能够管理各类数据资源112.4.4海量数据多级存储122.4.5成熟稳定的基础软件平台122.4.6软件强大的跨平台运行能力12第3章系统功能描述133.1资料整理上载133.2视频转码分析14

2、3.3资料编目标引153.3.1编目标引建模153.3.2视频关键帧抽取173.3.3附件资料上传183.4海量数据存储193.4.1海量数据多级存储体系193.4.2数据多级存储的实现213.5多媒体资料查询浏览253.5.1视音频资料检索253.5.2关键字检索263.5.3条件组合检索263.5.4全文检索263.6资料下载293.7资料安全控制293.8数据统计分析303.8.1设备使用情况统计303.8.2数据利用情况统计313.8.3人员工作量统计31第4章非视音频数据的管理32第5章系统的扩展性3338北京亚细亚智业科技有限公司第1章 方案综述经过多年的发展和努力，许多企业已经积

3、累了大量高水平、高质量、具有保存价值的历史资料，其中，包括音像资料、图片资料、文档资料、资料等等。随着时间的延续，这些资料的保存价值和重要性也随着突显出来。首先，这些历史资料需要更安全可靠的介质保存；其次这些宝贵资料更需要合理有效的管理和调用，使它们完整有序、便于检索、并能够提供方便、快捷、全面的资料服务，充分发挥其实用价值。当前，信息技术的广泛应用，使各类资料的数字化保存管理已经成为趋势。数字技术在资料的生成、编辑、发布播出等业务中普遍采用，有效的提高了资料保存和发布的质量，低成本、安全高效的海量存储技术也为大量历史资料的长期数字化保存与管理奠定了基础。信息化在知识经济时代的深入，信息工作对

4、资料的检索和再利用提出更高的要求，编导在制作音像节目时，要查阅库存中同类或相似的信息以便参考和再利用；逐渐增多的行业内部交流更需要资料共享；随着远程宽带网络的飞速发展，用户所拥有的丰富资源还能通过网上资料交流而产生巨大的经济效益和社会效益。面对当前企业的需求，构建一个适当的媒资档案管理系统可以合理地解决这些问题。在保障数据安全的前提下，技术方案采用了灵活多样的低成本设计思路，使其既适用于当前各类资料存储管理的需要，也适用于今后企业科学发展的要求。1.1 系统建设的必要性1、历史资料管理的现状：数量大、价值高、格式多样 企业拥有大量数字多媒体资源，而且每年还再不断增加。资料越来越多，种类日趋齐全

5、，其有形价值和无形资产均不能以金钱去衡量。 2、现有的管理和保存环境条件有限许多企业由于历史原因，现有的管理和保存环境条件不是很理想，原有的资料查找和检索相对困难，有些珍贵资料保存也出现危机。3、资料管理现代化的条件已具备，主要体现在：存储与管理技术的进步，资料再利用的需求，系统建设成本的降低等。而且数字化的文件资料能够长时间保存，质量不会有任何降低，所以，数字资料的存储与管理已经是发展的必然。4、海量存储技术的发展，为数字资料的再次利用打下了良好的保存基础。 综上所述，企事业机构建立一个资料丰富，保存条件好，编目完备的现代化媒资档案管理系统是具备条件且完全是必要的！1.2 建设内容和目标1结

6、合现有主流媒体使用的多媒体资源管理系统和多媒体资源现状，保证系统开发所用技术的先进性，为企业建立一个资料丰富、保存质量高、使用快捷的现代化数字媒体资料管理系统的目标。2系统具备海量存储功能（软件系统支持）。根据现有媒体资源的容量，可以为企业建立媒资档案管理中心，即搭建中心服务器及海量存储设备，实现集中式管理和资源共享，核心服务器以及相关系统设备采用高端服务器集群，并实现核心设备间光纤高速连接。实现对于分散的文档进行集中的、进行长期无损的数字化存储，防止数据资料的散失。3系统具备强大的多媒体处理能力。为了保证多媒体素材今后不同的调用方式，要实现常用格式的输入输出以及格式转换，如一份视频资料能够生

7、成两个码率的文件，高质量的用来长期存储，较低质量的实现网络中的在线搜索、浏览、发布及在线点播。4系统具备高速的数据输入输出能力。媒资档案管理系统要借助现有网络环境进行数据交换及存储，日常数据输入输出的量十分大，系统必须提供相应的数据接口或解决方案来适应这种大容量、集中式的数据交换。如处理多个终端同时向中心系统上传或下载数据的能力。5系统的可扩展性。随着企业不断发展，多媒体资料不断丰富、容量不断增加，系统必须提供一个简便可靠的扩展功能来满足正常上述需要。此外，随着使用需求的不断变化，系统设计时必须灵活，系统管理者维护修改必须简便。如预留更多自定义的系统功能供系统管理者选择。6对于各种类型的多媒体

8、资料，统一格式，详细分类，通过一个系统平台规范化管理。分配不同层面使用者不同的操作权限，保证原始资源安全可靠的长期存储以及分级管理。如经过编辑的资源要与原始资源分别存储，并有一定关联方式，能够方便的被使用者搜索到。对于历史数据的方便、准确快速的检索、实现在线浏览、提取编辑等。7为了快速完成资料整理和上载准备工作，根据资料容量和投资规模可以搭建视频采集、视频编辑和处理、媒体资料上传等功能的媒体工作站：8拟定一套使用规程和管理制度，规定进入媒资档案库文件的内容、格式等标准。在完成资料存储格式的统一后，进行节目资料的编目、标引等整理工作，做到操作简捷、直观，符合规范。1.3 业务需求分析许多企业的历

9、史资料规模大、种类多，既有视音频、也有文档、图片等等，通过对多个案例的实际分析，我们认为，企业的媒资档案管理系统要能够满足如下方面的业务需求：l 视音频或平明媒体数据是系统管理的重点内容视音频资料和平明媒体资料具有时间长、格式多样、存储容量大、管理复杂的特点，在整个存储系统中，其数据量所占的比重也最大。所以，科学、合理、高效的管理和存储企业大量的视音频资料，是本方案需要解决的重点。本方案采用主流、先进的数据处理技术，将模拟形式的视音频资料或纸质的平面资料进行数字化转换和制作，并进行有效管理和存储，使大量资料能够通过系统存得好、找得着、调得出。l 海量数据存储管理建成的系统存储量要满足存储几十T

10、B、甚至上百TB的数据资料的能力，并随着资料的不断增加实现系统的无缝升级，存储的介质类型要以符合数字化技术潮流和保存时间长的介质为主，重点要考虑到数据长期存储的安全、高效。l 足够的数据输入输出能力用户在需要各类数据时，系统应能及时输出所需的内容或提供信号。对音像资料来讲，应该实现包括MPEG-2-I、MPEG-2-IBP、DVSD、DV25、DV50、MPEG-1、MPEG4、AVI等常用格式的输入输出，而且能够实现对WMV等格式的支持，实现网络中的发布与点播。l 便捷的分布式数据上、下载系统除了要为企业建立媒资档案中心外，还可以通过网络覆盖企业的分支机构或企业的用户处，使这部分用户也能够及

11、时上传和下载。因此，系统的软件功能要能够通过网络，便捷的连通各部门，并将需要管理的数据及时传输到存储中心，同时，对保存在中心档案库中的数据资料，操作人员通过软件界面，也要能够进行便捷的检索和浏览、输出，最大限度的方便实际工作应用。l 快速简捷的编目、标引对资料管理系统要求操作简捷直观符合规范，提供符合标准的编目标引方法，提供良好的编目升级方式。对不同类型的数据需要提供灵活的编目、标引建模体系，满足不同类型数据管理的要求。l 易懂有效的资料检索、浏览对于系统中保存的不同类型的数据资料，软件要提供方便、高效的数据检索、浏览能力，能够通过数据建模的任何条件与字段，对资料进行检索、查找。而且，针对不同

12、类型的数据资料，应该能够按照其编目和描述方式灵活的定义和调整检索条件，使用户可以在业务发生变化或增加新的描述字段时，方便地调整检索方案。l 可靠的系统安全性能够提供使用者权限的科学分配，提供良好的数据安全机制，可以保障数据的通读性，实现数据的长期稳定的保存。对不同级别的操作人员，能够灵活的控制其使用权限，能够对编目、查询等不同站点实现不同权限的分配，并且对登录系统的人员操作进行全面的日志记录。第2章 系统总体设计2.1 系统设计原则系统设计原则是在满足用户数据资料的采集、编辑、编目标引、存储管理下载输出等业务处理要求的情况下，充分考虑系统的可用性、稳定性、可靠性，同时兼顾系统的先进性、兼容性、

13、可扩展性。1、 系统的功能性、适用性系统应根据企业数据采集、编辑、存储管理、下载输出等业务处理要求进行开发，实现与企业实际业务工作的高度结合，切实提高工作效率。2、 系统的开放性、可扩展性采用成熟、标准的技术和产品，以便于将来与外系统的联接和数据共享；采用模块化设计方法，便于扩展，以适应未来发展需要。3、 系统的先进性系统应采用先进的视音频编辑技术、计算机技术、网络通信技术、存储技术、内容管理技术等等。4、 系统的安全性采用各种有效的安全措施（如数据容错备份、网络隔离技术等），确保网络的安全性。5、 系统的稳定性主要表现在两个方面，一是采用成熟的技术和高质量的设备；二是对网络的关键设备要考虑容

14、错及备份措施。6、 系统的可管理性系统应具有很强的管理能力，以提高节目的制作速度和设备使用调度能力。7、 充分考虑厂商的技术支持本方案全面基于我公司自行研发的Mars Media数据管理软件平台构建，由于管理软件全部为我公司自行研发，所以，拥有对企业集团的最佳支持能力，从实施维护到开发升级，都可以全面满足用户的要求，做到最佳的支持与维护。8、 经济性本方案所有技术选型应该坚持性能价格比最优的原则，同时兼顾维护服务能力和将来的扩展能力，保护用户现有的投资。综上，媒资档案系统的设计目标是：满足用户需求、考虑长远利益、充分保护企业的现有投资。2.2 系统结构设计企业的媒资档案管理系统就是要利用计算机

15、将大量数据资料整理、编目标引、海量存储、以便方便的检索和再利用。对资料的编目体系要按照一个灵活、规范的方式将各类资料分门别类的存放，对其中的所有的信息，不论是文字的，还是声音的、图像的，都加以标引，让使用者从任何角度出发，都能够准确、迅速地找到所需要的数字资料。对不同的资料源也可以采用不同的编目方式，以提高编目效率，同时系统支持多种数据格式的归档存储与管理。根据上述的业务需求分析，本方案将基于我公司成熟的Mars Media多媒体数据管理软件平台来构建整个系统。Mars Media为我公司自行研发的多媒体数据管理平台，经过多个项目的长期实践检验，运行稳定、可靠。从逻辑上讲，Mars Media

16、涵盖了数据内容管理与存储管理两个层面，数据存储为内容管理提供底层的存储支撑服务，内容管理层提供对数据资料的各类业务处理，而且，软件最大限度的基于B/S结构，日常业务操作，包括数据编目标引、检索、浏览、系统管理等工作，全部基于Web界面，操作简单易用。由于软件系统全面基于网络，具备跨网段、跨路由的数据管理能力，所以完全满足企业对总部及分支机构广域范围的数据传送与管理。通过软件的内容管理层，查询、浏览等应用层用户能够对整个档案库进行输入、输出等访问，以进行节目资料的再次处理与利用。因此，基于Mars Media软件平台，并与相关硬件设备的密切配合，可以为企业能源建设一个科学、稳定、灵活、高效的媒资

17、档案管理系统。本方案设计的企业媒资档案管理系统物理结构图如下所示：上图中，系统管理服务器和海量存储设备全部架设在公司的中心档案管理室，包括系统元数据服务器，是系统业务处理的核心，运行元数据管理模块，完成对象建模、编目标引、检索查询、流媒体浏览等核心管理功能，软件基于IE界面，任何通过网络登录到本服务器的终端通过授权，都可以进行各类业务操作。数据存储服务器运行海量数据存储软件模块，连接海量存储设备，将入库整理好的历史数据进行长期保存。根据具体的存储策略，可以将指定的数据完成从磁盘阵列、磁带库、以及磁带架之间的多级归档、恢复，调用。数据存储服务器同时运行数据交换软件，需要上载入库的资料无论是中心还

18、是远端，只要放入指定的目录，交换软件可以通过网络自动监测目标数据的变化，将新增数据及时抓取到中心存储设备，进行数据的编目和入库保存工作。通过数据交换软件，要上载的数据只需存入各自的指定目录即可，都可以自动将数据上传到中心存储设备。为了支持多种数据上传手段，技术方案还提供上传客户端软件，各部门用户也可以通过数据上传客户端，将需要入库的资料传送到存储中心。节目转码服务器运行视音频格式转换软件，完成自动将上载入库的高质量Mpeg-2节目向浏览用Mpeg-4 wmv节目的转换。以及其他数字格式如：avi、DVD、Mpeg-1等资料向标准存储格式的转换。系统重建模块运行于重建服务器中，负责对系统中主数据

19、库、服务器操作系统的自动备份。通过完全、增量、差分等专业的备份方式将数据备份到数据流磁带中。在服务器系统一旦出现问题的情况下，能够快速对系统进行恢复。海量存储设备采用磁盘阵列与磁带库相结合的多级存储方式，按照要求，各配备容量为15TB，并通过SAN存储网络与各服务器连接，是服务器可以统一访问中心的海量存储资源。相关部门配备相应的视音频上下载工作站，运行采集软件，完成模拟视音频资料向标准Mpeg-2存储格式的采集，上载。2.3 数据处理流程方案采用的Mars Media多媒体数据管理平台，由元数据管理模块（MetaServer）、视音频转码模块（FlipServer）、数据交换模块（ExServ

20、er）、系统重建模块（RebuildServer）、数据多级存储模块（StorageServer）等组成，配合视音频上下载设备来完成视音频数据的业务处理与存储。而各类型的文档、图片等电子数据则直接可以导入系统，进入档案库的管理体系中。各类多媒体数据导入系统以及从系统中输出、发布的流程如下：2.3.1 数据导入流程数据导入指的是由数据交换软件模块（ExServer）主动对需要上载到系统中的数据进行检测，并将需要管理的数据进行存储、编目、归档等处理的过程。导入过程中，系统认为需要导入的资料是完整的内容资料，不再有任何对数据的再加工或再处理。具体业务流程图如下：数据导入流程图上图流程描述的是全部的处

21、理流程。当交换服务器（ExServer）检测到用户存储的文件有新的时，就会提示是否需要迁移到本内容管理系统中，如不需要则只在数据库中作记录；如需要迁移，则利用交换服务器按类进行资料迁移，在迁移的同时还可进行资料的备份、发布等功能。除此之外，交换服务器还提供在线素材的ftp服务，不能通过交换服务器与本内容系统进行直接交换的客户端，可以通过ftp服务，进行素材的迁移。然后把迁移的相关内容在数据库中作记录。迁移到存储系统中的视频资料，有些本身格式不适合浏览或码流过大影响浏览效果，如需要浏览时则可利用转码服务器（FlipServer），生成预览素材、帧图片以及对素材做其他格式的转换工作。如素材还需要进

22、行编目则可利用元数据服务器（MetaServer）提供的编目功能进行。经过上述三个步骤后的素材，就是用户编辑好的可以进行发布或其他用途的素材。在此，可以进行利用存储服务器（StorServe）对编辑好的素材进行保存，方便用户以后使用。在以上过程中用户可以根据需求，对不同的内容资料选择不同的处理流程。如：非视音频素材是不需要转码过程的。2.3.2 数据输出（发布）流程数据从系统向外部输出、发布的业务流程图如下所示：数据输出流程图如上图，在用户下载或发布素材时需要进行数据输出（发布）流程。主要是指在通过元数据管理软件（MetaServer）提供的检索页面检索到素材后，将内容资料传送到其他系统的过程

23、。具体步骤是首先用户在元数据处理模块根据需要检索定位到所需的素材；然后从存储模块把素材迁移到当前在线状态（即编辑或使用状态）；接着看输出（发布）的需求，是否需要对素材进行转码，若需要转码则调用转码模块对素材转码，使之满足用户需求；最后，利用数据交换模块把整理好的素材迁移到客户端或是其他系统中。整个数据输出（发布）流程可以根据素材类型的不同，用户可以根据模板或手工来配置不同的流程，使之使用更加自动、方便。2.4 本方案的优势2.4.1 体系结构灵活本方案构建的企业媒资档案管理系统中，用户可以灵活的导入、增加各种数据类型，如：视音频、图片、文档（PDF或Word等格式）以及未来可能产生的全新数据资

24、产类型，以适应和支撑不断产生的新媒体、新业务的需求。视频的存储格式采用高质量的、国际标准的MPEG-2 IBP 4:2:2格式，可以向其他各种常用视频格式的转换。用户可以灵活定义和修改原有的数据对象的标引描述，满足不同时期对内容数据的不同描述需求，使数据内容在描述上可以与时俱进。不同类型的数据内容可以使用不同的分类法描述，而且分类法可以允许用户自定义。针对不同类型的数据内容，可以按照其描述方式定义和调整检索条件，使用户可以在业务发生变化或增加新的描述字段时，灵活调整检索方案。2.4.2 强大的视音频处理可以对视音频文件自动进行后台MPEG-4流媒体转换生成，关键帧分析、抽帧等处理，减少人为干预

25、的工作量。视频格式转换应该支持DVD、VCD、DV、AVI、WMV等常用格式与标准MPEG-2存储格式之间的转换。编目时要求实现对视音频的逐帧编辑编目时可以手动添加和删除关键帧，并可以对关键帧进行描述。关键帧的属性可以自定义。数据内容可以添加不同的附属文件，如：宣传海报、相关照片、相关文档等，附件的描述属性要求可以自定义。2.4.3 能够管理各类数据资源本方案采用Mars Media软件平台，该平台完全是基于对象型设计的通用数据管理平台，除专门为视音频数据设计的处理功能外，还具备管理各类不同数据类型的能力，如：word、excel、pdf、dwg、mp3等等。通过数据的交换导入，各类不同类型数

26、据都可以进入系统的管理范围，而且不同类型数据的建模和管理，都可以按照各自的数据特色，分别设计其建模体系，检索方式等，以适应各种不同数据类型的管理需要。2.4.4 海量数据多级存储本方案设计的媒资档案管理系统基于成熟的Mars Media管理平台，支持海量数据的多级存储体系，所谓多级存储，是指在线磁盘阵列、近线磁带库、离线磁带架相结合的数据多级存储体系，软件系统可以按需要将所需特定数据（如：不常用的历史资料）自动归档到磁带库中一份，以实现海量存储设备的最佳性价比，同时确保磁盘阵列中数据的安全，而且存储容量能够无限扩容。2.4.5 成熟稳定的基础软件平台本方案采用的Mars Media 软件平台是

27、一个通过多年实际项目检验的成熟平台，集成各类通用数据对象的管理能力，并且完全融合我公司媒体领域多年的视音频管理经验，具备强大的视音频处理功能，运行稳定、可靠。而且具备多个案例的成功实施、运行经验。所以，通过Mars Media，企业完全能够为企业建立一个科学、稳定、高效的媒资档案管理系统。2.4.6 软件强大的跨平台运行能力Mars Media软件的主体模块全部基于标准的Java架构开发，可以适应任意的操作系统和主机环境，除Windows外，还可以方便的移植到Linux 、Unix等各种不同的操作系统环境中。第3章 系统功能描述由上述的系统结构设计，本方案设计的企业媒资档案管理系统基于我公司成

28、熟的Mars Media软件平台实现，其功能能够分为数据内容管理与数据存储管理两个层面。具体来讲，系统能够具备如下方面的功能：资料整理上载、资料编目标引、数据海量存储、资料查询输出、资料安全控制、业务统计分析、系统维护、网络配置、应用定制开发等功能。具体说明如下：3.1 资料整理上载对于现有模拟形式的音像节目来讲，需要利用数字上载工作站将节目进行数字化处理、上载。按照音像资料处理的标准，上载工作站需要采集、生成高质量的Mpeg-2格式、810Mbps的数据文件，用来进行节目资料的长期保存和二次利用。对高码率视频，本方案的压缩格式采用国际标准的Mpeg-2 IBP 4:2:2 格式，通过各类标准

29、的硬件或软件都可以进行MPEG-2解码，都能对档案库中存储的节目资料进行回放。根据项目的实际情况，需要配备上载工作站，并通过网络与中心媒资档案室连接在一起。各部门编码生成的Mpeg-2文件首先缓存到工作站本地的存储目录中，中心软件系统的数据交换模块会实时监测各上载工作站的缓存目录，将新压缩生成的高质量数字节目自动抓取到存储中心的磁盘阵列，完成数据由采集编码前端向存储中心的上载。采集生成的高码率MPEG-2节目主要用于节目资料的长期保存、下载输出、以及再次利用等。为保障MPEG-2节目的高质量采集，系统采用专业的上载编码器配合上载软件模块来实现。可以根据具体需要对节目选择不同的码率和GOP组合，

30、充分满足各类需求。高码率MPEG-2动态图像可以实现视音频信号的高保真，满足长期存储和向各类不同应用的视频格式转换要求，以及库存节目进行二次利用、制作的需要。在设计上载整理系统时，主要注重以下几个功能： A、采用先进的分布式组件技术，确保系统组件灵活性和开放性。从而建立了一个易于操作的标准和开放系统平台；只需升级软件和图像卡就可实现系统的扩展和升级。 B、采集码率可由用户灵活定义。高码流素材按照存储机制将暂时放到上载工作站的存储体里，通过交换服务器将其传送到存储中心，进入多级存储的管理范围。配合系统提供先进的纯软件转码中心，实现多种不同格式间的互转，生成检索和浏览所使用的低码流Mpeg-4节目

31、等。Mpeg-4节目将直接保存到存储中心的在线磁盘阵列上，以备实时检索和点播。具体采集步骤如下：1建立素材模版在采集数据之前，需要做好准备工作，使用人员可以根据素材类型的不同，编制出不同类型素材的采集模版，供各种素材录入或上传时使用。2采集数据在数据采集过程中，主要是首先由数据交换模块检测用户系统固定的目录内是否有新的文件，如有新的文件且需要上传保存时，则由交换服务器进行数据迁移。如若需要其他效果的视频素材，则可通过转码模块进行转码。如还需编目，则可利用元数据处理模块进行编目。等需要进行的所有操作都完成后即可把素材数据进行保存完成采集过程。对于其他文档、数据来讲，主要通过统一的资料处理，通过数

32、据交换软件，将其从不同来源收集到存储中心，以备作详细编目和统一存储。3.2 视频转码分析上传到存储中心的视音频资料，根据需要可以将采集好的标准Mpeg-2文件转码成浏览码率的Mpeg-4 wmv等格式，通过浏览码率资料进行节目的编目、在线浏览等，完成对视音频资料的全面管理。视频转码模块，还能够方便的实现标准存储格式与各类不同用途的视频格式进行相互转换，以满足库存音像资料的各种不同类型应用，如：在线网络浏览、视频二次编缉、DVD刻录、录像带输出，甚至播出等等。 3.3 资料编目标引3.3.1 编目标引建模通过软件系统的元数据管理中心，用户可以灵活、方便的对上载到系统中的各类数据资源进行编目和标引

33、，而且对各类数据资料都能够适用，不管其是视音频、文档、或是其他数据，都能够灵活制定对应的编目体系，对不同类型数据进行描述建模，来适应不同类型数据对象的管理要求。由于视频或音频文件是一种不能由一个具体数值来描述的非结构化数据，如何把这些非结构化的数据转换成可以用数据库来记录的结构化数据，是这个模块所要完成的主要功能。此模块主要具有音像资料类别判定、标引录入、审阅等功能，视频内容的描述是通过元数据来完成的，通过输入属性值来完成由非结构到结构化的转换。由于不同的数字资料分类的方法不同，应用时所要检索和查询的属性也会不同。例如：新闻类的资料比较重视时间性、比较短小，而影视类的资料比较重视题材和故事内容

34、，系统将对不同类型的音像资料定义不同的元数据集，来描述它们。任何音像资料在做标引之前都必须判断其所属类型，选定后系统将自动调用其相应的元数据，生成标引界面供标引工作人员录入。最后，通过审阅的功能，检查标引信息的正确性和完整性，审查通过的标引将进入数据库进行保存。系统对不同数据对象的描述建模体系中应用了先进的XML数据交换技术，从而使各类元数据以及对象模型的定义与增添变得十分灵活。在没有应用XML的系统中元数据一旦被定义就很难再做修改，随着业务的发展，某一天可能因业务或应用需要增加一种对视频描述的新属性，在原先的系统中就需要开发人员重新修改数据库表结构、重新编写代码，这样就会带来很多复杂的开发工

35、作。由于系统利用了XML技术，工作人员应用系统提供的对象建模功能，可以随时增加任何一项新的属性即新的元数据，如果对系统中定义的元数据不满意或希望增加新条目，可以完全由操作人员自己完成修改工作，当标引端调用这一类型的元数据时，系统将生成新的标引窗口，并且在索引端会提供新的索引条目，从而使元数据的维护成为可能，降低了系统对开发商的依赖程度。编目系统是否完善直接关系到编导在查询资料时的准确性和方便性，为了提高该系统的使用效率，系统的编目体系着重设计如下功能：A. 各类数据资料的编目体系和属性均可在系统初始化建模时自定义，很好的满足了企业的不同要求，并增强了系统的扩展性。包括分类类型的定义，各类型属性

36、的加删，以及各种属性的显示方式，次序，是否多值，是否学习等各种个性设置。B. 设置多种分类方法：系统完全支持颁布的编目标准。而且可以根据企业的情况，定制新的分类方法和编目属性，具有很强的针对性和扩展性，分类方法的自由添加为以后新的分类方式的出现提供了方便。还可以使一种资源可以归属到多种分类类型中，方便了用户的使用和查找。系统可以方便的导入音像资料建模的国家标准，或者自定义的建模标准。国家标准的节目描述模版如下：C. 数据档案详细编目：在各类数据的建模体系基础上，为不同的数据资源添加详细编目信息，使不同的资料资料能进行分类标引，并提供分类辅助标引手段，提供分类标引的维护功能，可以利用主题词,关键

37、字等对资料标引，在主题词确立的完成后引入安全权限机制，保证用户标引信息的安全性。同时也提供主题词的维护功能 软件对已经上载到中心档案库中的视音频资料进行编目、标引的界面示意图如下：3.3.2 视频关键帧抽取关键帧检索是视音频资料在网络上进行检索、发布必不可少的功能，有了关键帧抽取功能，节目检索如同文字检索一样，用户访问时，可以检索到关于视频的标题、描述，以及影片中的各个关键画面，并且可以从某个关键帧开始，浏览、观看一个节目的不同部分。节目转码完成后，软件根据要求，自动完成相应关键帧的自动抽取，包括定时抽取、根据视频内容的自动转场抽取等，当视频画面的内容的变化量大于用户预先设定值时，自动提取画面

38、首帧，加入视频编目描述信息系统内的元数据库，提高系统的编目工作效率，这些视频元数据实时进入元数据服务器的数据库，在管理系统中就如同管理其他图像文件一样进行视频管理和发布，当然，因为视频包括更多的附加索引信息，所以可以在系统中定义更多的其它元数据。软件界面如下：3.3.3 附件资料上传对于每个视音频或者其它数字文件，除了对主文件进行编目描述外，还可以上传与其相关的各类附件资料，如：音视频的文本稿件、宣传图片、附属其它信息等。通过附件资料的关联和上传，在检索到需要的数据后，还可以浏览、查看相关的附件信息。软件界面如下：3.4 海量数据存储3.4.1 海量数据多级存储体系根据企业的业务需求，系统需要

39、存储的数据量非常大，一期要求达到30TB的数据存储容量。如此海量的数据存储规模，必然需要科学、稳定的海量存储管理软件的支持。本方案采用的Mars Media软件平台，具备强大的数据多级存储模块，支持强大、灵活的海量数据多级存储体系。所谓多级存储，是指在线磁盘阵列、近线磁带库、离线磁带架相结合的数据多级存储体系，可以安装业务需要将不同类别的数据合理的分配到不同的存储设备中，来达到存储资源的最佳利用与性价比最优，并且充分满足了长期存储情况下的数据安全需要。根据系统的业务需求，技术方案对多级存储系统采用了基于SAN存储网络的设计，配备磁盘阵列、磁带库两级存储设备，通过光纤交换机与存储服务器构成SAN

40、存储网络。SAN网络基于先进的2Gbps光纤标准，数据传输快速，高效。在这种多级存储体系中，磁盘阵列用来保存常用的、适用频率高的数据资料，可以被使用者快速调用，数据流磁带库由于其存储量大、安全可靠的特性，用来长时间保存不经常使用的历史资料，经常使用的重要资料，也可以归档到带库，作为安全可靠的数据后备，以备在线盘阵一旦故障的情况下，还能够确保数据的安全使用。A、 在线存储在线存储采用磁盘阵列来实现，采集整理的各类数据，如MPEG2和MPEG4节目，先存储在本地视频编码器硬盘上，由数据交换服务器统一调度上载到SAN磁盘阵列，进入海量存储系统的管理范围。B、 近线存储近线系统用来保存更大规模的数据资

41、料，系统重点考虑到了近线系统的与在线系统的数据交换性能，数据的存储可靠性，系统运行成本，以及系统的扩展性（容量与性能）。近线存储设备采用自动化的数据流磁带库设备，在存储管理软件模块的指挥下，自动完成数据的多级迁移和调用。存储管理软件模块具备强大的海量数据多级存储能力，除了在线磁盘阵列存储外，还可以控制磁带库等近线存储设备，实现海量数据长时间的多级存储与调度。C、 离线存储随着时间的推移，系统数据量会不断增大，考虑到更长时间历史数据的保存，存储管理软件支持数据流磁带出库的离线保存方式，离线存储在数据量超出近线带库保存容量的时候来使用。离线存储用来保存更大规模的数据资料。在线存储和近线存储的数据都

42、是系统自动实现，可以实现实时数据交换和存储容量之间的自动平衡，对实际业务中的数据，其访问量随着时间的推移而急速衰减。对访问量较小的数据完全可以将其从带库中取出，进行离线存储，为新数据、访问量大的数据腾出宝贵的存储空间。离线的数据流磁带只要上架保存就可，用条形码作为标识，按类、时间等方式管理存放。D、 存储网络存储网络既能够支持传统的以太网方式，由能够支持SAN结构，使大容量数据采用FC传输。考虑到系统的大数据量以及高效吞吐的要求，方案采用SAN结构的存储网络，将磁盘阵列、磁带库和相关服务器统一连接到SAN网络中，完成数据的高速访问和调度。3.4.2 数据多级存储的实现u 存储任务管理总体的存储

43、任务管理调度由“存储控制”软件模块完成，“存储管理”接受业务层数据迁移调度的指令，并把完成数据在不同存储设备间搬移的工作分配给“数据迁移”模块。根据数据迁移量的情况，系统中可以配备多个“数据迁移”模块，分别由不同的主机完成数据迁移的任务，彼此互相协同的并行工作，这样，中心存储区的数据搬移、调度等处理工作能够并发进行，从而保证存储系统高效、稳定的运行。其主要功能包括：接受应用层管理与检索指令、任务调度、下达数据搬移指令、反馈提示信息、系统设置及管理等等。u 数据归档与恢复“数据迁移”模块接受存储迁移的调度命令，主要完成把 数据从原始存储位置迁移到目标位置的工作，安装有“数据迁移模块”的数据搬移工

44、作站通过光纤通道分别连接磁盘阵列、磁带库。“数据迁移模块”负责整个归档/恢复过程的执行，完成磁盘阵列、磁带库之间的数据归档与恢复。u 磁带库机械手控制“机械手控制”软件模块负责操作控制磁带库的机械手，它配合相应的归档/恢复命令，来操作机械手抓取磁带并放入相应的驱动器，从而与数据迁移器配合来完成具体的归档/恢复任务。由于本模块通过底层的硬件控制，直接驱动带库机械手，所以系统中同一时刻只能有一个存在。u 离线磁带管理“存储服务器”还有一个附加功能，就是对离线的出库磁带进行管理。本功能允许当 数据量达到一定程度，超出在线和近线存储容量的时候，不经常使用的磁带可以自动或按照事先制订的策略从磁带库中吐出

45、来，管理员可以人工将其保存到离线的带架上，但是这盘磁带的离线保存位置以及其数据对象信息已经被软件系统所记录，即软件同样可以方便的管理离线的数据。例如，如果应用层的 信息管理、检索界面请求恢复一个位于已经被取出的磁带上的 信息时，相应的磁带状态将变成“请求”，并要求操作员把这盘磁带重新装入带库，以备系统进行数据恢复和调用。本模块允许将那些不常用的数据磁带放到带架上，以空出近线磁带库的存储空间，来保存其它更为常用的数据。但是，它的重要特征就是软件还在管理已经被移出磁带库的离线数据磁带。在软件中，用户可以方便的查询、浏览离线带架上的各种磁带状态与数据信息。u 存储系统管理“存储控制”模块同时完成软件

46、底层各种相关参数及用户组设置，主要包括如下方面：迁移设置、磁带库设置、对象路径监视、对象的设计组成、策略条件监视、数据分类设置、存储位置设置、以及冗余纠错设置等等。u 存储系统维护负责系统的整体维护，显示各种维护信息，主要包括：可以随时方便的获得整个系统的相关介质运行状态、磁带驱动器的使用状态、所有数据流磁带的使用状态、以及所有归档对象的存储状态等等。管理员可以根据相关信息来进行系统各方面的维护。u 磁带冗余纠错数据流磁带经过一段时间后可能会出现问题，从而导致所保存的数据损坏，为解决这个问题，Mars Media的“存储服务器”软件提供数据流磁带的冗余纠错功能。 “冗余模块”采用了专利技术的可

47、移动存储介质冗余数据保护方法，其原理示意图如下：校验磁带的生成数据磁带的恢复由上图，冗余校验机制允许将带库中的n盘磁带（n值可以根据实际需要自由设定）进行按位异或计算，即先将两盘磁带进行按位异或，得出的结果再与下一盘磁带进行按位异或计算，以次类推，将n盘磁带全部进行按位异或计算后生成的冗余数据作为备份容错，写入单独的容错磁带。这样，当这n盘磁带中有任何一盘磁带损坏的话，软件可以根据冗余数据和其它的n-1盘磁带同样通过按位异或算法，将损坏的磁带恢复。并且如果这n盘磁带中有不止一盘磁带存在部分损坏，甚至每盘磁带都有不同程度的损坏，只要每盘磁带损坏的位置不互相重叠的话，仍然可以通过冗余数据对每盘磁带

48、损坏部分进行恢复。本方案建议采用Raid冗余纠错方式。数据多级存储管理软件模块的操作界面示意如下：A、特定数据按照具体存储策略由磁盘阵列向磁带库的归档保存：B、数据流磁带库设备管理：C：带库中数据流磁带介质的管理3.5 多媒体资料查询浏览通过软件系统，对档案库中各类数据资料进行查询浏览，是对数据建模与编目结果的调用。系统的数据检索完全基于标准的Web界面，用户通过网络能够连接到中心元数据服务器的任何电脑，都能够在授权的情况下，方便的查询自己需要的任何信息。软件支持多种复合式条件的数据检索方式，用户按照自己相应的操作权限，可以按照各种主题词、关键字等要素对资料库中的数据进行检索查询，并返回结果，

49、大大提高了检索效率和检索结果的精确度。在对资料进行了多媒体采集和编目的基础上，查询终端不仅可以使用Web界面方便的查询文档、图片类信息，还可以通过网络浏览到低码流的音像资料。 终端用户对数据资料检索查询的具体功能如下： 3.5.1 视音频资料检索系统支持Web 方式的节目检索查询， 内部的用户通过Web 端浏览检索视音频资料需要相应的企业门户软件的支持。Web 检索门户系统支持用户通过以下多种方式进行视音频资料的查询、浏览。3.5.2 关键字检索通过关键字进行的查询功能主要提供模糊查询和精确查询功能。模糊查询又称为智能查询。当用户输入一个关键词时，搜索引擎不但反馈包括了关键词的资料信息，同时也

50、发来与关键词意义相近的内容。比如，当查找“查询”一词时，模糊查询会反馈来包涵了“查询”、“查找”、“查一查”、“寻找”、“搜索”等内容的资料；反馈资料的排列，一般是完全符合关键词的在最前边，其次是相近的。    模糊查询没有特殊的使用方法，只要在文字框中输入关键词即可。 而在对英文资料的查询中，还可以使用通配符星号（*）和问号（?），使关键词更为模糊。模糊查询往往会反馈来大量不需要的信息，如果想精确地只查某一个关键词，则可以使用精确查询功能。精确查询是在文字框中输入关键词，例如:“中华人民共和国”。3.5.3 条件组合检索这一功能允许用户输入多个关键词，而且，各关

51、键词之间的关系可以是“和”、“或”、“非”（and、or、not）的逻辑关系，再通过各种匹配算法，反馈检索结果。3.5.4 全文检索通过输入内容中所包含的文字，通过全文检索将反馈所有具有这些文字描述的多媒体资料信息。当然，多媒体资料的全文检索功能需要第三方全文检索引擎的支持，考虑到商业化的全文检索引擎比较昂贵，使用也比较复杂，本方案可以集成一个开源而且免费的全文检索引擎，来达到数据高效的全文检索。通过以上多种方式的检索功能，系统将把符合条件的反馈资料按照树形的方式显示在界面中，用户可以单击所需资料的标题进入。用户可以根据权限的大小查看资料的文字信息、图片信息、MPEG-4文件，以及下载高质量的

52、MPEG-2文件。在内容检索、浏览功能模块中，还具备资料的映射功能，通过标记报道中出现的人物、地点和事件，使内容更有价值。通过映射，资料将与其他相关的资料链接。查看一段资料的同时，可以浏览出与本资料相关的其他资料内容，大大提高了资料信息的利用率。通过各类检索条件可以方便的查询到需要的各类资料信息，软件界面如下：点击任何查找到的多媒体资料，都可以浏览、查看其所有属性、描述信息，并能够在线播放Mpeg-4格式的wmv流媒体视频。软件界面如下图所示：除了能够浏览查询到的节目资料的基本元数据以外，还可以查看与本资料相关联的附件信息，如：与本资料附属的图片、文稿、背景介绍等关联信息。3.6 资料下载编者

53、通过检索后得到所需的资料内容，在浏览其属性，及观看其低码率视频，确认检索数据即为所要资料后，可以对其进行下载，输出。通过上、下载工作站或者任何与中心元数据服务器相连的终端电脑登录软件系统，在得到授权后，都可以对检索到的高质量节目数据进行下载，高质量存储格式采用标准的Mpeg-2 IBP格式，所以任何支持标准硬件或软件Mpeg-2解码的终端都可以对高质量节目进行回放。同时，通过下载工作站的视频输出，还能够向录像机等设备输出模拟信号，以便将节目转录到录像带等介质。或者通过软件转码，转换成标准的DVD数据，刻录到DVD光盘。这样，从资料库中输出的数据介质可以是磁带、DVD光盘、VCD光盘、视音频数据

54、文件和打印的资料等，形式多种多样，满足各类不同的应用需要。对于需要再编辑的节目，还可以按照要求利用系统的转码模块把存储中心IBP帧的MPEG2格式节目转换成用户所需要的非线编I帧格式或专用格式的文件，与非线编系统对接，实现节目的二次制作利用。对于非视音频数据，不涉及多样的格式转换，可以直接从存储中心将数据下载到检索客户端，利用对应的编辑软件，如：word 、excel 、acrobat reader、autocad等，对下载的数据进行查看，编辑。编辑完成过的数据，还可以重新录入回数据档案库系统中。3.7 资料安全控制作为企业的集中式多媒体数据管理系统，系统安全尤为重要。安全性可以从两方面来考虑

55、：用户操作安全与数据安全。技术方案充分考虑到了系统的操作权限与数据安全管理。从用户操作使用的权限控制来讲：系统可以限制用户的数据上载、访问权限和针对不同级别的存储资料做出不同的浏览权限的设定，最大限度的保护资料资源的安全。具体如下： A.系统管理的权限：整个系统是一个软硬件结合的系统，它要涉及不同的管理比如网络管理，数据库管理，这些人员在对自己职责行使权限时应该是经过系统授权，所有的操作是在整个系统的安全控制范围之内。 B.登录系统操作的权限：为了保证系统在安全有效的条件下进行运行，避免人为的干扰或破坏，在系统中实现了严格的权限管理，任何人员都只能根据事先规划好的人员职能及权限分配计划来使用媒资档案系统，不能越权操作，从而有效保证素材使用的安全、有序、有效；保证节目制作按规范有序的进行。同时对每个操作使用人员以及网络管理人员的每一次操作，系统都有详细的日志记录，系统管理员可以进行人员、部门、栏目的增加删除；建立人员的登录口令；用机使用计划的制定；人员权限的设置；系统日志的管理等等。人员信息可以储存在每个使用人员的身份认证卡上。系统为每位操作人员都设有用户帐号，用户帐号对每个操作使用人员都上唯一的。用户在使用媒资档案系统以前，都有一个登录过程。只有用户名和密码得到验证通过后才可以使用系统各项功能。C.对数据访问的权限：对于编目和标引等环节的操作人员因为工作的需