媒体资产管理

HYPERLINKTOC\o\f\h\z第6章媒体资产管理系统26.1概述26.1.1媒体资产管理系统的定义26.1.2媒体资产管理系统的开展历程36.1.3媒体资产管理的根本任务36.1.4系统的层次结构与工作流程46.2媒体数据的保存与处理76.2.1多媒体数据压缩技术76.2.2海量数据存储技术106.2.3存储网络技术146.2.4分级存储与数据迁移176.3元数据与媒体数据交换186.3.1元数据的定义186.3.2元数据的系统模型206.3.3XML语言简介226.3.4MXF素材交换格式276.4编目及其标准316.4.1编目的概念、目的和作用316.4.2层次化编目与流程控制316.4.3音像资料编目标准简介326.5信息检索技术356.5.1基于数据库的检索技术356.5.2基于视频内容的检索技术366.5.3视音频资料的浏览376.6视频发布与版权管理376.6.1流媒体技术现状376.6.2流媒体技术的未来开展396.6.3数字版权管理406.6.4媒资系统与电子商务436.7媒体资产管理系统的应用方案456.7.1IBM内容管理技术456.7.2中国电影资料馆媒体资产管理系统466.7.3中国播送电视音像资料馆496.7.4中小型电视台媒体资产管理解决方案52第6章媒体资产管理系统6.1概述媒体资产管理系统的定义播送电台、电视台、通讯社、报社、网站等传媒企业，每天都要播放或发布大量的音频、视频、图片、文字等媒体信息。传媒企业在内容制作时，一方面需要引用最新采集制作的媒体信息，另一方面，也必须参考本单位以前的，或别的传媒企业提供的有关资料。这些供编辑制作使用的资料就具有再利用的价值，也就具有资产的属性，我们称之为“媒体资产〞。媒体资产不仅具有重复使用的价值，而且还可以进行交换，具有商业价值。所以这些媒体信息是传媒企业的重要资产，媒体资产管理系统就是针对这种媒体资产的管理系统。在媒体信息数字化以前的模拟时代，传媒企业通常采用仓库式的管理模式，将纸张、胶片、录像带贴上索引标签，用卡片或建立简单的关系型数据库进行检索。当媒体信息成为数字化信息以后，媒体资产已不再是以实物形式存在于库房中，而是以非实物的信息方式存储于计算机系统的存储媒体中。这种变化是革命性的，它意味着对媒体资产的管理不仅仅是关于资产的品名、数量、存放地点简单的查询，还可以通过计算机的存储、传送、分析和处理媒体信息的能力对媒体资产进行保存、搬运、加工、检索、销售等活动。因此，对媒体资产的管理是一种比较特殊的比较复杂的管理形式，它的通常定义如下：媒体资产管理〔MediaAssetManagement可简写成MAM〕是一个端到端的对各种类型的媒体资产〔模拟的录音带、录像带、出版物、照片、图表等，数字化的文本、图片、网页、动画、音频、视音频等〕进行其寿命期内全面管理的总体解决方案。它完全满足媒体资产拥有者收集、保存、查找、编辑、发布各种媒体信息的功能要求，为媒体资产的使用者提供了在线内容的访问方法，实现了平安、完整地保存媒体资产和高效、低本钱地利用媒体资产。这里所说的端到端的解决方案是指从用户终端录入媒体资产，通过网络的信息处理后，再按用户要求传送到用户终端的整体解决方案。媒体资产管理的概念并非只针对电视行业，甚至也不是只针对传媒企业。很多大型行业，如图书馆、学校、旅游等行业都需要媒体资产管理系统来管理本行业的媒体资产。但对于不同类型的媒体资产，在应用层面上将有不同的解决方案。而电视行业对媒体资产的管理的要求，无论是在规模、质量、传输能力、还是在价值上，都是别的行业所不能比较的。本章主要讨论电视台及相关企业〔或称为电视内容提供商〕的媒体资产。其他类型的媒体资产管理可以参考借鉴。从技术层面上来看，媒体资产管理系统〔可简称为媒资系统〕是以计算机网络为平台，以非结构化数据库管理技术为根底，综合了网络技术、视音频编解码技术、海量数据存储技术、编目与标引技术、全文检索技术、图像识别与检索技术、网络流媒体发布技术等计算机技术，以到达收集、保存、查找、编辑、发布各种媒体信息的目的。如果将电视台比作一个生产节目信息的工厂，电视台现有的数字系统：如卫星收录系统、演播室、非线性编辑系统、播出效劳器等构成一条数字化的节目生产线，而媒资系统那么是为该生产线提供效劳的产品库、管理机构、原料采购部门和产品销售部门。媒资系统为电视节目生产线提供节目素材的保存、查找、发布、交换等管理功能，实现媒体资产整个生命期的数字化管理，使媒体信息成为媒体资产。媒体资产管理系统的开展历程媒体资产管理的概念源自数字图书馆的研究。数字图书馆的概念产生于90年代初，美国IBM公司是最早倡导及投入数字图书馆实践的商业机构，其早期著名的梵帝岗数字图书馆工程具有深远的影响。从1995年开始，IBM公司将其数据库DB2技术与有关创立数字图书馆的技术结合起来，开发出了一个完整的数字图书馆软件系统，或者说是一个数字图书馆的解决方案。由于当时数字图书馆实践尚没有建立一个公认的统一结构与标准，IBM首先为数字图书馆系统的内容管理构造了一个框架模型，称为三角形体系结构，即由索引效劳器+对象效劳器+客户端组成的内容管理模型。IBM成功地以三角形体系结构为根底，开发了基于DB2的ContentManager〔CM〕的内容管理核心平台。在之后的十年中，IBM利用这个CM软件系统，将媒体资产的概念推广到其他行业，如银行、保险、报纸、网络、播送、电视等，为各行业的媒体资产管理提供了解决方案。IBM媒体资产管理解决方案以内容管理器ContentManager为根底层，建立多级存储管理层，可以使媒体公司在多种媒体应用程序和系统之间实现数字化资产的存储、获取、管理和发布。上海市文化播送电视集团旗下的科研机构上海市播送科学研究所自1999年底开始，成功运用IBM公司的媒体资产管理解决方案，建成了具有10万小时的电视节目容量的当时国内最大的数字化存贮制作系统。这也是我国播送电视行业最早建设媒体资产管理系统的记录。作为IBM的全球战略伙伴和独立软件开发商，北京捷成世纪科技在2001年为中国电影资料馆设计成功地开发了媒体资产管理系统。它完全构建在IBMContentManager内容管理系统之上。这是我国企业首次引进国外媒体资产管理技术的成功案例。2003年7月中旬，捷成世纪为辽宁电视台数字频道成功搭建了“数字电视节目平台媒体资产管理系统〞，并于2003年BIRTV展会上展出，这是国内电视行业第一套进入实用阶段的数字电视节目平台。由中央电视台、中科大洋公司等多家单位联合开发的中国播送电视音像资料馆工程，作为迄今为止最完整的媒体资产管理系统，涵盖了对视音频数据从产生、处理、存储、检索到发布的完整生命周期的管理。整个工程于2003年9月完成安装调试，2004年底通过验收及专家鉴定，并于2005年2月获得了广电总局高新技术研究与开发类“科技创新一等奖〞。这是我国国内电视台和企业根据我国电视行业的实际情况联合开发的首个具有自主知识产权的大型媒体资产管理系统。随着IT技术的深入开展以及以数字电视、IPTV等为代表的新媒体在我国的全面推行，播送电视行业的音像资料再利用的价值越来越受到重视，媒体资产管理已成为电视行业数字化的一个重要环节，也是电视行业进入交互时代的必由之路。媒体资产管理技术的全面开展将大大提升电视行业的节目生产自动化的水平及媒体资产的再利用的能力，其带来的影响力将是非常巨大的和持久的。6.1.3媒体资产管理的根本任务媒体资产管理系统的目标是实现媒体资产再利用。它有三项根本任务：第一是媒体数据产生，第二是媒体数据管理，第三是媒体数据发布。图6.1描述了这三个根本任务及其相互关系。下面是有关这三大任务的描述。编目标引编目标引检索查询内容管理存储管理媒体数据输入媒体数据输出媒体数据产生媒体数据产生媒体数据管理媒体数据发布图6.1媒体资产管理根本任务示意图图6.1媒体资产管理根本任务示意图1．媒体数据的产生媒体数据的产生是媒体资产的来源。媒体资产的来源基于以下几个方面：1〕电视台自己采编的、有再利用价值的节目；2〕通过卫星采录的有使用价值的素材；3〕通过购置、交换等手段获取的音像资料。在技术上将媒体数据来源分成三类：一是模拟信号来源〔如复合与分量〕；二是编辑用数字信号流〔如SDI、MPEG-2等〕；第三是数字电视信号流〔如TS流、IP流等〕。这三种视频信号分别经过专门的采集模块进行采集。媒体数据还包括另外一种类型的数据，这就是元数据。元数据是描述媒体资产数据的数据，在录入媒体数据的同时或录入以后依据编目标准对媒体数据进行描述，如作者、版权信息、题目、所属栏目、内容描述、关键词等。元数据是实现媒体资产检索的重要信息。2．媒体数据的管理媒体数据产生以后需要将其存放起来，并进行有效的管理，这是存储管理。一个电视台有多个频道，每个频道每天都有新的节目需要保存，再加上通过交换、购置等方式获得的媒体信息，媒体资产数据的数据量非常巨大，需要非常大的存储空间。如何经济有效地进行海量数据的存储并能及时地将媒体资产输入输出是媒体数据管理需要解决的问题。另外，为了支持元数据的查询，需要有元数据的管理；为了支持媒体数据从录入、审查、编辑到发布等一系列活动，需要有工作流程管理；当然还有版权管理，用户管理等等，这些方面组成了媒体数据管理的最核心的模块，被称为媒体数据的内容管理。3.媒体数据的发布媒体数据的发布就是实现媒体数据的再利用，是媒体资产管理的最终目标，也是媒体资产的价值表达。到图书馆借阅图书，首先是检索，再办理借阅的手续，最后是图书的提取。与此相同，媒体数据的检索也需要经历这三个过程。首先是检索，媒体数据的检索有两种，一种是基于元数据的查找；另一种是基于内容的图像检索。元数据的检索依据是编目标准，对已经标引好的媒体资产进行查找。图像检索那么需要对一定范围内的视频画面和音频数据进行分析识别，从中查找符合条件的图像画面。其次是版权或交易管理，确认提取有效后通过下载子系统将所需要的媒体数据输出，从而完成媒体资产的再利用。6.1.4系统的层次结构与工作流程 根据定义，媒体资产管理系统是端到端的总体解决方案，因此，媒资系统必须为用户提供一个完整的解决方案，给用户提供一个完整的工作平台。为了完成前面提到的媒体数据生产、管理和发布三项根本任务，媒资系统各模块在逻辑上可分成四个层次，应用层、内容管理层、数据处理层和环境支撑层。如果将整个系统比作一台电脑的话，其应用层就好比是应用软件，是面向用户的使用需求；内容管理层那么相当于数据库，为应用层提供后台的数据效劳；数据处理层相当于中间件，提供数据处理功能；而环境支撑层那么好比是电脑的硬件和数据传输局部，是整个系统的运行平台。这四个层次分别包含的模块如图6.2所示。元数据管理元数据管理采集标引审核应用层检索发布内容管理层工作流管理用户管理版权管理网络系统存储系统支撑环境层转码中心数据处理层打包中心迁移中心图6.2媒体资产管理系统的四个层次图6.2媒体资产管理系统的四个层次支撑环境层该层次模块为系统提供支撑环境，也是系统的运行平台。它包括以下几个模块：网络系统：由于整个系统是由多个效劳器和多个客户端所组成，因此系统的运行是依靠网络的。这个网络系统一方面支持上载〔采集〕和下载〔发布〕等任务，另一方面还要支持编目标引、检索、编辑等工作，因此，它必须有足够的带宽和效劳器。存储系统：媒体数据的数据量非常大，需要设计一个存储系统能方便且经济地保存并能及时访问媒体数据。仿照计算机系统的内存、硬盘、软盘的数据存储方式，媒资系统的存储方式有在线、近线和离线三种方式。数据处理层该层次模块为整个系统提供数据处理功能的。它包括以下几个模块：〔1〕转码中心：媒体数据有音频、视频、图像、动画等各种不同类型。同类型的媒体数据的格式也是相当多的，我们希望素材上载转成存储要求的媒体文件格式；在输出时，更要根据转成发布所需要的格式。〔2〕打包中心：视音频媒体数据在数据库中可以是单一的多媒体格式，也可以是按故事板方式组织的多视频流，如MXF格式。下载或发布输出时常常需要打包成单一的视音频格式文件，打包中心将根据用户需求将故事板打包输出。所以又称为故事板打包中心。〔3〕迁移中心：由于媒体数据存储的存储方式有多种，如在线、近线和离线方式，分别对应媒体数据的不同的使用需求。媒体数据需要在不同存储介质之间进行数据迁移。这个迁移是按照事先设计好的策略自动进行的。内容管理层该层次模块是基于支撑环境之上管理媒体资产内容，为应用层提供效劳的。它包括以下几个模块：元数据管理：元数据可以用于存储数据库的字段，也可以用于媒体数据交换。元数据交换时双方必须遵循某个元数据的标准，即编目标准，这样可使得接受媒体数据的一方可以很好地解读和利用。版权管理：媒体资产是有价值的，这个价值表达在版权上。版权管理可以是基于元数据的，另一方面也可使用基于内容的版权保护技术，如媒体数据加密、数字水印等技术。用于对媒体资产的版权保护。工作流管理：内容管理不仅仅是静态的数据存储管理，还需要对媒体内容的采集、标引、审查、检索、发布等工作流程进行动态管理。所以，工作流的管理也是内容管理的重要一环。用户管理：这是一般管理系统必须具备的功能之一，不同的用户有不同的访问权限。这个管理策略是根据媒资系统的使用者的要求而定的。应用层该层次模块是面向系统用户，提供各种有关的应用。它包括以下几个模块：采集：负责媒体数据的上载录入。这个采集模块要根据系统要求考虑录象机上载、卫星收录、直播节目录制、网络文件传送等多种方式。标引：按照编目标准对上载素材进行编目标引。编目标引是对媒体数据的分类管理，编目标引的过程就是元数据著录的过程，为基于元数据的媒体数据检索提供方便。审核是媒体数据采集确认的必经程序，也是工作流管理中的关键环节。审核的过程与用户的具体工作程序有关，有一级审核制和两级审核制。经审核确认后媒体信息就具有了资产的属性。检索：检索是为了将所需要的媒体数据查找出来。检索分为两种方式，一是基于元数据的检索，另一种是基于媒体内容的检索。基于媒体内容的检索即根据所要检索媒体内容的特征到库存媒体数据中去查找。发布：负责媒体数据的下载输出。媒体数据发布的方式有多种，例如：文件拷贝、录像机录制、流媒体输出、光盘刻录等等。发布的过程就是实现资产价值过程。由于媒资系统是一个面向电视台或传媒企业的媒体资产的实际解决方案，它将根据电视台或传媒企业有关媒体资产内容的数据量和经济能力来设计该管理系统的规模和具体结构。媒资管理系统的工作流程分为两局部，一是存储归档局部；二是检索发布局部。图6.3所示的工作流程是存储归档。在电视台中，在素材上载时往往与编辑播出网连接在一起。节目制作后可进行编目标引，及时进行存档，以备将来检索发布之用。图6.4所示的工作流程是检索发布。节目检索有三种类型：基于元数据的检索、基于文本的全文检索和基于音视频内容的检索。检索到所需素材后再到数据库中提取，然后是节目下载输出。视音频素材视音频素材视音频文件上载编目标引审核版权保护标引效劳器媒体数据库图6.3工作流程1：存储归档图6.3工作流程1：存储归档元数据检索元数据检索版权保护检索标引效劳器媒体数据库全文检索内容检索下载图6.4工作流程2：检索发布图6.4工作流程2：检索发布上面只是简单的工作流程的描述，具体的工作流程应在对整个媒资管理系统的技术有深入的了解以后再设计工作流程的细节。有关技术将在下面的论述中给出。6.2媒体数据的保存与处理媒资系统属于企业内部网络，其整个支撑环境是建立在局域网的条件下，采用效劳器/客户机〔C/S〕的网络效劳机制，这与一般的网络系统没什么不同。但媒资系统对存储容量、数据平安和网络带宽的要求却是一般网络系统所不能比较的。由于媒资系统所管理的对象—媒体信息有两个特点：一是数据量非常巨大；二是实时性要求高。对于数据量大的特点，一方面要采用媒体数据压缩技术，在保证视频质量的前提下减少数据冗余；另一方面利用海量数据存储技术，将需要存储的数据可靠地保存好。对于实时性要求高的特点，需要选择高带宽的支持海量存储的网络系统。这其中根本涉及支撑媒资系统的三个重要技术：海量数据存储技术、存储网络技术和媒体数据压缩技术。这三项技术是互相依赖、互相支持的，其目的就是要更有效地存储和浏览媒体信息，为媒资系统提供一个完整高效的工作平台。6.2.1多媒体数据压缩技术电视行业需要的是高质量、兼容性好的压缩算法。尤其欢送那些可在硬件的支持下可实时编解码、并能在行业内进行交换的编码格式。目前广泛应用于电视领域内的压缩格式主要有三种：MotionJPEG〔M-JPEG〕，MPEG-2和DV，它们均基于离散余弦变换，并对变换系数做量化处理后进行游程编码。这三种码流的传输码率比较如表6.1：这三种压缩方式分别介绍如下：1．M-JPEG在数字压缩编码在电视行业刚刚开始被采用的时候，当时无论非编还是视频效劳器，M-JPEG几乎是唯一的高质量压缩方式。所以，早期的视频压缩格式根本都采用M-JPEG压缩。表6.1三种压缩方式的图像质量及码率比较图像质量M-JPEG〔Mbps〕DV〔Mbps〕MPEG-2〔Mbps〕相当于录像机级别家用级61.5VHS专业级122~5S-Video/Hi-8播送级4:2:0/4:1:120~30258~15BetacamSP/MII播送级4:2:230-505018~50BetacamDVWM-JPEG是基于帧内、帧独立的压缩方式，所以相对于后来出现的MPEG-2IBP长GOP压缩方式，它算法相对简单、也更容易实现视频素材的帧精度数据剪辑和变速播放。正因为这样的特点，M-JPEG曾经被广泛运用于节目制作的效劳器和电视台广告节目的播出效劳器。时至今日，还有不少电视台由于编辑和视频设备的原因还在使用这种格式。M-JPEG这种压缩方式并不是一个完全统一的压缩标准，不同厂家的编解码器和文件格式并没有统一的规定格式。也就是说，M-JPEG在媒体数据交换方面有很大的局限性，并给转码带来了很大的困难。因此，随着IT技术的开展和DV和MPEG-2技术趋于成熟，M-JPEG退出历史舞台也就成为必然。2．MPEG-2播送电视领域目前普遍采用的压缩格式是4:2:2量化的MPEG-2，即4:2:2P@ML，它在保证了足够的色度信息的情况下做最有效的数据压缩。MPEG-2采用可变的压缩率，最高可达50Mbps。由于其采用帧间压缩方式，利用压缩帧之间的冗余信息大大减少数据量，使得在保持同样的视频质量的前提下，MPEG-2所需的码率只有M-JPEG的1/3，甚至更少。一般认为MPEG-2IBP的长GOP压缩方式〔通常15帧组成一个GOP〕的8～12Mbps已经到达播送级质量，可见其帧间压缩效率是非常高的；这对于具有大量播出节目的电视台来说是非常重要的特点，也使得真正的多频道视频效劳器播出方式成为可能。除压缩效率的优点外，MPEG-2有一个不同厂家均认可的国际标准，使得不同的压缩系统能产生相同格式的数据文件。当然因为存储方式的不同，数据在存储过程中也需要适当的转换，所以，近几年非编和视频效劳器领域采用最多的都是MPEG-2压缩方式，是目前的主流格式。帧间压缩也有带来麻烦的地方。由于采用长GOP，不是每个帧的数据都能非常快速、完全地进行图像恢复，所以在编辑和搜索过程会比较困难。目前的一些非编系统也采用MPEG-2压缩方式，但为满足快速帧精度编辑的需要，往往都是纯I帧压缩。因此，即使是同为MPEG-2格式的素材，也存在着播出格式和编辑格式的转换问题。MPEG-2标准的第3局部详细地描述音频局部的压缩，并在MPEG-1的根底之上，增加了AC-3编码方式。对音频局部信号采用3种压缩模式，称为Layer1、2和3。随着层次的增加，复杂度相应增加，Layer具有向下兼容性，即Layer3的解码器可以对Layer2或Layer1编码的码流进行解码。Layer2与MUSICAM〔MaskingPatternAdaptedUniversalSubbandIntegratedCodingandMul－tiplexing〕压缩方法相同。对于频率在20KHz以下的音乐信号，以48KHz〔或44.1KHz〕采用16-bit或18-bit量化，采用上述的方法可以将双声道立体声的一个声道压缩成96或128Kbps。Layer1是Layer2的简化形式，它将单声道压缩到192或256Kbps。Layer3即我们通常说的MP3，采用了MUSICAM和ASPEC〔AdaptiveSpectualPerceptualEntropyCoding〕两种算法的结合，压缩后的比特率为每声道64Kbps。3．DVDV格式是一种国际通用的数字视频标准，是由全球主要录像机生产商组成的“高清晰数字录像机〞协会于1993年联合制定的。在家用市场上，DV数字摄像机实际上是以Mini-DV格式出现的，并得到许多厂家的广泛支持。DV数字摄像机视频图像编码采用了DV格式：4:2:0的采样格式，8-bit量化和DCT帧内压缩方式，压缩比为5:1，视频码率为25Mbps，信噪比可达54dB。DV格式的音频格式由两种，一种是48KHz采样，16-bit量化的高保真立体声〔质量同DAT〕，另一种是32kHz采样，12-bit量化的立体声〔质量高于FM播送〕，用户可以在2声道16-bit48KHz和4声道12-bit32KHz中进行选择，动态范围超过85dB。由于DV采用的是帧内压缩方式，无帧间压缩，与M-JPEG类似。但由于DV格式是被大多数有关公司支持的国际通用标准，可以使用廉价又通用的IEEE1394接口或SDTI接口传输到效劳器或非编系统。并且支持原始编辑〔NativeEdit〕，防止在制作过程中的信号质量损失。同时，SDTI还提供对DV数据的4倍速传输，在保证信号质量的同时，节省了大量的传输时间。由于采用DV技术的新一代数字摄像机和数字录像机〔如松下公司的DVCPRO和索尼公司的DVCAM等〕的出现，为电视台记者提供了更加小巧、经济的节目拍摄、制作设备。尽管DV不能到达高质量的播送级信号质量，但它的经济、小巧、快捷的拍摄与编辑方式受到电视台要求快速报道的节目〔如新闻类节目〕制作者的欢送。另一种电视台专用的DV格式叫DV50。采用4:2:2量化，压缩比为3.3:1，码率恒定为50Mbps。其视频质量可接近BetacamDVW的水平，用于画面质量比较高的编辑设备。随着编解码技术的不断开展，视音频压缩编码技术也在不断改良和完善。近年来，备受业界关注的编码技术是MPEG-4的第2局部以及H.264。MPEG-4于2000年经国际标准组织ITU和ISO审核后，成为国际视频压缩标准之一。MPEG-4压缩采用了MPEG-4的视频压缩方式，配上MPEG-1的音频压缩方式〔MP3〕，生成了图像质量接近DVD，声音质量接近CD，却有着更高的压缩比。与MPEG-2相比，MPEG-4除了具有惊人的数据压缩比，经过MPEG-4的压缩的文件尺寸可以到达MPEG-2的1/3，而仍然保有极佳的音质和画质。可以用最少的数据获得最正确的图像质量，因此满足了低码率应用的需求。JVT〔JointVideoTeam，视频联合工作组〕于2001年12月成立，它由ITU-T和ISO两个国际标准化组织的有关视频编码的专家联合组成。JVT的工作目标是制定一个新的视频编码标准，以实现视频的高压缩比、高图像质量、良好的网络适应性等目标。目前JVT新的视频压缩编码标准称为H.264标准，称为AVC〔AdvancedVideoCoding〕标准，是MPEG-4的第10局部。H.264不仅比H.263和MPEG-4节约了50％的码率，而且对网络传输具有更好的支持能力。ITU和ISO合作开展的H.264〔MPEG-4Part10〕由于其优异的特性有可能被未来国际数字电视行业接受成为统一的标准，也最有可能成为未来宽带交互式新媒体的标准。在媒资系统中，会有多种编辑和播出的编码格式存于系统之中，提供各种编码格式的转换是该系统根本的功能之一。转码中心就是负责实现这个功能。转码中心有素材剪切和格式转换两大功能。素材剪切功能采用纯文件级别的数据提取技术对视音频文件的长度或入出点进行调整。由于没有视音频的压缩和解压过程，对素材的视音频质量没有任何影响，而且速度极高，它的剪切速度取决硬盘的读写速度。视频格式转换一般的做法是将源素材解压缩到无压缩状态后，再按新格式进行压缩。由于不需要显示，或者抽帧显示，有时其转码速度会高于实时的速度〔25帧/秒〕，被称为超实时。6.2.2海量数据存储技术媒体资产管理系统中数据主要有两种：其一为媒体数据，一般是数据量较为庞大的视音频文件或其他媒体数据文件，为非结构化数据；另一种为编目索引数据〔元数据〕，这局部数据由系统的编目工作人员建立，用于对媒体数据进行索引和文字说明，为结构化数据。以DV25Mbps码流为例，一小时视音频素材的数据量大约为11GB。如果按MPEG-2播送级最低8Mbps的码流纪录，也有3.5GB之多。如果按平均每天自办节目2小时计算，一年的媒体数据量将有2.5TB，数据量非常巨大。作为媒资系统，需要将历年的媒体数据妥善地保存下来。所以，媒体资产管理系统将面对以TB〔1TB=1024GB〕计算的海量媒体数据。目前市场上应用最为广泛的大容量、高速存储设备主要包括：磁盘阵列、数据流磁带库、光盘库等。1.磁盘阵列磁盘阵列技术诞生于1987年，名称是“RedundantArrayofIndependentDisk〞，简称为“RAID〞。其目的是为了组合小型的廉价磁盘来代替大的昂贵磁盘，以降低大批量数据存储的费用。同时也希望通过冗余信息的方式，使得单一磁盘失效时不会导致数据的丧失，因此开发出不同级别的RAID数据保护技术，并在此根底上逐渐致力于提升数据访问速度。RAID的主要功能为：·支持自动检测故障硬盘。·支持重建硬盘坏轨的资料。·支持不须停机的硬盘备援〔HotSpare〕。·支持不须停机的硬盘替换〔HotSwap〕。·支持扩充硬盘容量等。RAID数据保护级别主要有0、1、3、5，分别简要介绍如表6.2：表6.2各种RAID级别原理及优缺点比较RAID级别技术原理优点缺点适用领域RAID-0没有容错设计的条带磁盘阵列极高的磁盘写入速度设计使用配置简单没有数据容错能力一般不需容错的存储RAID-1镜像备份100%数据容错能力设计使用配置简单带宽利用率只有50%高可靠性低响应的行业，如财务、金融系统RAID-3并行传输与集中式校验较高的读取与写入速度带宽利用率可达80%以上控制器较为复杂高吞吐量〔读和写〕并需平安保障，如视频编辑等RAID-5独立的数据磁盘与分布式校验块极高的读取速度带宽利用率可达80%以上控制器较为复杂写入速度较慢高访问量〔主要为读〕并需平安保障，如文件和数据库效劳器等磁盘阵列是以磁盘为根本存储单位。其中，磁盘的接口技术决定了磁盘的访问方式和带宽〔对外数据传输速度〕。目前的磁盘接口类型有ATA、SATA、SCSI、SAS、FC等几种。让我们先了解前面四种接口：〔1〕ATA磁盘：即IDE接口磁盘，设计该接口的目的就是为了将1984年制造的AT计算机中的总线直接与结合在一起的驱动器和控制器相连。ATA中的“AT〞就来源于首次使用ISA总线的AT计算机。ATA从最早的ATA-1开始，已经经历了从ATA-1、ATA-2、ATA-3、UltraATA、UltraATA-3〔33MB/s〕、UltraATA-4〔66MB/s〕、UltraATA-5〔100MB/s〕、UltraATA-6〔133MB/s〕的开展历程。〔2〕SATA磁盘：即SerialATA，采用的是串行数据传输方式，每一个时钟周期只传输一位数据。ATA磁盘一直都采用并行传输模式，线路间的信号会互相干扰，在高速数据传输过程中，影响系统的稳定性。由于串行传输方式不会遇到信号串扰问题，所以要提高传输速度只需要提高工作频率即可。SATA采用的是点对点的传输方式，使得用户在使用SATA磁盘时不再需要设置硬盘的主从盘，而直接每个硬盘对应一个数据通道直接连接系统。SATA1.0的标准规定，硬盘的接口传输速率为150MB/s，SATA可扩展到2X和4X的规格，相应的传输速率那么分别提升至了300MB/s和600MB/s。SATA硬盘还可以实现热插拔功能，不过目前为止还没有操作系统支持这项功能，人们还要等到微软的下一代操作系统WindowsVista正式面世后才能享受到这项功能带来的便利。〔3〕SCSI磁盘：受制于ATA接口的局限，ATA磁盘的转速的提高已趋于极限——通常7,200转/分，最高达10,000转/分。但目前的SCSI硬盘的最高转速已到达了15,000转/分，平均寻道时间在5ms左右。SCSI总线支持数据的快速传输。不同的SCSI设备通常有8位或16位的SCSI传输总线。SCSI适配器通常使用主机的DMA〔直接内存存取〕通道把数据传送到内存。这意味着不需要主机CPU的帮助，SCSI适配器就可以把数据传送到内存，从而大大降低了外设对CPU的占有率。SCSI最早是1979年由美国的Shugart公司〔希捷公司前身〕制订的，在1986年获得了ANSI〔美国标准协会〕的成认，也就是SCSI-1。当时的传输速度为5MB/s。之后，一直到1995年，先后推出了SCSI-2和SCSI-3，数据传输率提高至40MB/s。1997年SCSI商业协会〔SCSITradeAssociation，简称STA〕推出了Ultra2SCSI〔Fast-40〕标准版本，采用了LVD〔LowVoltageDifferential，低电平微分〕传输模式，使传输速度大为提高，到达80MB/s，并增加了设备的灵活性，支持同时挂接15个装置。Ultra3SCSI〔Ultra160SCSI〕和Ultra320SCSI，是目前最新型的SCSI接口标准。Ultra320SCSI是在Ultra160SCSI的根底上开展起来的，Ultra160SCSI的优势得以继续发扬。Ultra320SCSI传输速率可以到达320MB/s。有关SCSI技术的开展和有关参数由表6.3列出：表6.3SCSI技术的开展和有关参数SCSI类型推出年代传输速度〔MB/s〕线缆长度〔m〕可联接设备数〔个〕SCSI-11986年568SCSI-21990年2038SCSI-3/UltraSCSI1995年401.515Ultra2SCSI1997年801215Ultra3SCSI/Ultra160SCSI1998年1601215Ultra320SCSI2001年32012152003年3月，SCSI商业协会决议停止Ultra640SCSI的开展，全力推动SAS成为Ultra320的后继规格，同时ANSI中负责SCSI规格的T10审议委员会也将Ultra640从既定时程表中予以移除。这意味着，ParallelSCSI的开展正式走向了终点，而预定中Ultra640以及Ultra1280自然无缘问世了。〔4〕SAS磁盘：SAS〔SerialAttachedSCSI〕即串行SCSI技术，它综合了现有并行SCSI和串行连接技术〔光纤通道、SSA、IEEE1394及InfiniBand等〕的优势，以串行通讯为协议根底架构，采用SCSI-3扩展指令集，是多层次的存储设备连接协议栈。按照业界预测，SAS磁盘将很快取代目前的SCSI磁盘而成为主流磁盘类型。由于SAS是点到点的结构，因此除了提高性能之外，每个设备连接到指定的数据通路上提高了带宽。SAS的电缆结构节省了空间，从而提高了使用SAS硬盘效劳器的散热、通风能力。此外SAS结构有非常好的扩展能力，最多可以连接16384个磁盘设备。现在已经有厂商推出标准3.5英寸的SAS硬盘，转速也到达15000rpm。SAS硬盘与相同转速的SCSI硬盘相比有相同或者更好的性能。串行接口减少了线缆的尺寸，允许更快的传输速度。在2003年惠普和希捷推出了第一代SAS硬盘，传输数据可以到达3Gbps〔约380MB/s〕。预计第二代和第三代的SAS将提供6-12Gbps的数据带宽，并支持磁盘阵列。现在开发SAS磁盘的企业主要是SCSI商业协会成员，包括希捷〔Seagate〕、迈拓〔Maxtor〕、LSILogic和Adaptec等。以上四种类型磁盘均可以组成磁盘阵列，我们先比较一下ATA磁盘阵列和SCSI磁盘阵列的特点。ATA接口简单，反响快速，用于PC单机的小型的磁盘阵列其效果可能比SCSI为佳；但较大型的磁盘阵列就非SCSI接口莫属，因为阵列中的各个磁盘一起作存取的动作，能充分发挥SCSI的传输速率快及多工的特点。因此，在单任务时ATA比SCSI快，而多任务时SCSI较快。另外，SCSI磁盘阵列可以实现热插拔，而ATA磁盘阵列一般不支持。关于SATA和SAS的磁盘阵列的比较只是数据传输方式并行改成了串行，上述特点没有改变。需要着重介绍的是FC磁盘阵列。FC磁盘阵列是点到点的通道结构，是为需要高带宽和高可靠性的高端用户设计的，是专业用户的首选。FC磁盘阵列从体系结构上可分成三大类：JBOD磁盘阵列、双控制器磁盘阵列和多控制器磁盘阵列。严格意义上讲，JBOD还不能称之为“阵列〞。JBOD是JustBundleofDisk的缩写，意即只是一串磁盘的组合。这样的磁盘阵列被戏称为“傻盘阵列〞，因为JBOD内部既没有控制器，也没有缓存，磁盘之间也没有提高性能和平安性的任何手段。每个磁盘都独立地接收来自主机的数据访问。如果需要实现RAID级别的保护，主机不但要负担磁盘读写等操作，还要进行RAID算法的处理，对主机资源的占用率较大，严重影响系统整体性能。因此，在采用光纤磁盘阵列时，一般都采用带智能磁盘控制器的磁盘阵列。磁盘控制器是介于主机和磁盘之间的控制单元，配置有专门为I/O进行过优化的处理器以及一定数量的cache。控制器上的CPU和cache共同实现对来自主机系统I/O请求的操作和对磁盘阵列的RAID管理。相对于JBOD磁盘阵列，控制器磁盘阵列释放了大量主机资源，来自主机的I/O请求由控制器接受并处理，阵列上的cache那么作为I/O缓冲池，能够大大提高了磁盘阵列的读写响应速度，显著改善磁盘阵列的性能。又由于光纤磁盘天生拥有双端口，所以，一般的光纤阵列都采用双控制器，从而充分发挥光纤磁盘的高可用特性。两个控制器不管配置成active-active还是active-standby，都能为用户提供高可用特性，而且大都支持热插拔功能，能够实现简单的无单点故障，为用户提供的全天24小时不间断效劳。在配置了CPU和cache的磁盘阵列中，其局部高端产品还可以运行基于磁盘阵列的存储软件。因此，它可以提供比较全面的基于磁盘阵列的解决方案。在当前存储市场上，这一类的磁盘阵列种类繁多，数量巨大，同时也在质量和性能上也存在着巨大的差距，价格跨度也很大。其代表产品有IBMDS系列、HPEVA系列、EMCCLARiiON系列、HDSThunder系列等等。第三类是多控制器磁盘阵列：双控制器磁盘阵列由于控制器只能配置两个，不能在同一磁盘阵列内配置更多控制器，在一定程度上局限了其数据处理能力。多控制器磁盘阵列便应运而生，其体系结构一般分为三层：〔1〕通道控制器：管理主机和cache之间I/O及运行基于存储的软件解决方案。〔2〕全局缓存控制器：巨大的非易失性cache，它是系统性能超群的根底之一。〔3〕磁盘控制器：管理cache和物理磁盘组之间I/O及运行基于存储的软件解决方案。在实际应用时，每层的控制器至少成对配置，提供全冗余特性，实现无单点故障。也可以配置多对，在性能上进行成倍扩展。比方EMC的DMX-3最多可以配置8个前端控制器〔ChannelDirector〕、8个缓存控制器〔MemoryDirector〕、8个后端控制器〔DiskDirector〕，整个系统中处理器数量最多可达130颗。多级控制器分工协作，系统整体性能因而可以获得最正确扩展性。更重要的是，在多控制器体系结构根底上，提供了许多独特存储软件解决方案。该档次产品是大型关键业务数据中心的首选。2.数据流磁带机和磁带库存储数据的磁带和存储录音、录象的磁带类似，是顺序存取，而不是像磁盘那样，是随机存取。所以不管是存还是取，顺序存取方式都需要花费比随机存取较多的时间来对需要操作的数据的地址进行定位；但是，磁带机的存储容量很高，一般比软、硬磁盘都要大，目前单机的存储容量从40GB到300GB。如果不考虑定位时间，它对数据备份的速度〔称为持续传输率〕可到达12MB/s到30MB/s。磁带机分为台式磁带机和网络磁带机，分别用于单机和网络环境之中。磁带机〔TapeDrive〕一般为单驱动器产品，通常由磁带驱动器和磁带构成，是一种经济、可靠、容量大、速度快的备份设备。这种产品采用高纠错能力编码技术和写后即读通道技术，可以大大提高数据备份的可靠性。根据装带方式的不同，一般分为手动装带磁带机和自动装带磁带机，即自动加载磁带机。自动加载磁带机实际上是将磁带和磁带机有机结合组成的。自动加载磁带机是一个位于单机中的磁带驱动器和自动磁带更换装置，它可以从装有多盘磁带的磁带匣中拾取磁带并放入驱动器中，或执行相反的过程。它可以备份100GB-200GB或者更多的数据。自动加载磁带机能够支持例行备份过程，自动为每日的备份工作装载新的磁带。作为一种备份设备，磁带机技术也在不断开展。磁带库〔TapeLibrary〕是像自动加载磁带机一样的基于磁带的备份系统，它能够提供同样的根本自动备份和数据恢复功能，但同时具有更先进的技术特点。它的存储容量可到达数百PB〔1PB=1024TB〕，可以实现连续备份、自动搜索磁带，也可以在驱动管理软件控制下实现智能恢复、实时监控和统计，整个数据存储藏份过程完全摆脱了人工干预。磁带库不仅数据存储量大得多，而且在备份效率和人工占用方面拥有无可比较的优势。在网络系统中，磁带库通过SAN〔StorageAreaNetwork-存储局域网络〕系统可形成网络存储系统，为企业存储提供有力保障，很容易完成远程数据访问、数据存储藏份，或通过磁带镜像技术实现多磁带库备份，无疑是象媒资管理系统这样的大型网络应用的良好存储设备。广义的磁带库产品将自动加载磁带机也包括在内。3.光盘塔、光盘库和光盘网络镜像效劳器目前最好的多媒体海量信息存储载体或重要文献资料备份媒体，非光盘莫属。因为光盘〔LaserDisc〕不仅存储容量巨大，而且本钱低、制作简单、体积小，更重要的是其信息可以保存100年至300年。因此，光盘普遍用于重要文献资料、视听材料等媒体信息存储，供用户进行数据备份。然而，一张光盘的存储容量毕竟有限，对于海量信息存储的网络系统来讲是远远不够的。要想获得海量信息的网络存取，就必须将保存有大量不同信息的几十张甚至几百张光盘组合起来使用。CD-ROM光盘塔〔CD-ROMTower〕由几台或十几台CD-ROM驱动器并联构成，可通过软件来控制某台光驱的读写操作。光盘塔可以同时支持几十个到几百个用户访问信息。CD-ROM光盘库〔CD-ROMJukebox〕是一种可存放几十张或几百张光盘并带有机械臂和一个光盘驱动器的光盘柜。光盘库也叫自动换盘机，它利用机械手从机柜中选出一张光盘送到驱动器进行读写。它的库容量极大，机柜中可放几十片甚至上百片光盘片，这种有巨大联机容量的设备非常适用于图书馆一类的信息检索中心，尤其是数字化图书馆系统、卡拉OK自动点播系统、多媒体音像资料馆系统等。光盘库的特点是：安装简单、使用方便，并支持几乎所有的常见网络操作系统及各种常用通讯协议。由于光盘库普遍使用的是标准EIDE光驱〔或标准5片式换片机〕，所以维护更换与管理非常容易，同时还降低了本钱和价格。又因光盘库普遍内置有高性能处理器、高速缓存器、快速闪存、动态存取内存、网络控制器等智能部件，使得其信息处理能力更强。光盘网络镜像效劳器〔NetworkCD-ROMServer〕是继第一代的光盘库和第二代的光盘塔之后，最新开发出的一种可在网络上实现光盘信息共享的网络存储设备。光盘网络镜像效劳器不仅具有大型光盘库的超大存储容量，而且还具有与硬盘相同的访问速度，其单位存储本钱〔分摊到每张光盘上的设备本钱〕大大低于光盘库和光盘塔，因此光盘网络镜像效劳器已开始取代光盘库和光盘塔，逐渐成为光盘网络共享设备中的主流产品。在网络海量数据存储系统中，磁盘阵列、磁带库、光盘库等存储设备因其信息存储特点的不同，应用环境也有较大区别。磁盘阵列主要用于网络系统中的实时性要求比较高的海量数据的即时存取；磁带库更多的是用于网络系统中不常用的海量数据的存取；光盘库那么主要用于网络系统中的海量数据的备份。6.2.3存储网络技术支持存储的网络系统常用的有三种结构：DAS〔DirectAttachedStorage〕、NAS〔NetworkAttachedStorage〕、SAN〔StorageAreaNetwork〕。下面分别介绍：1．DAS直接附加存储是传统的存储技术，由效劳器内置磁盘，或效劳器直接连接外置扩展的磁盘阵列机来实现。效劳器与磁盘或磁盘阵列的通信采用IDE或SCSI协议。DAS可以为小型系统提供快速的磁盘访问。缺点是，管理本钱高，距离有限制。这些限制促进了市场对网络存储的需要。2．NASNAS网络附加存储设备，直接挂接在网上，实际上就是一台专用数据效劳器，不承当应用效劳，通过网口与应用效劳器联接，支持通用的数据传输协议TCP/IP，可实现海量、异构数据的网络共享，以及异构效劳器间共享数据。NAS基于文件进行存储和访问，由于采用较成熟的IP网络技术，易学易用，维护和管理简单易行，每个存储点易控制，结构灵活，节省费用。缺点是：数据访问速度慢，不太容易扩展。网络存储的应用常常需要可以分散地增加存储容量，为满足要求，管理员必须增加更多的设备。3.SANSAN被称为存储器网，是以存储器为中心的网络。SAN由专用数据传输通道构成，将应用效劳器连接到存储设备并传输存储数据，但不增加企业的LAN网的负担。SAN的通信传输采用数据传输协议中的光纤通道〔FiberChannel〕协议，所以也被称作FC网络。SAN基于数据块进行存储和访问，比NAS的文件级操作效率要高很多，并保证相对较高的数据吞吐量。目前，有1Gbps和2Gbps两种传输规格。应用效劳器与SAN存储设备之间的光纤通信是通过主机总线适配器(HBA)来连接的。通常，效劳器同时使用以太网卡和光纤通道HBA分别完成与LAN和SAN的连接。SAN采用三层网络结构，中心为存储设备互连，第二层为效劳器，作为用户端与存储网络之间的桥梁，最外层为用户。采用这种结构可以确保存储系统开放性、灵活性和可扩展性。尽管SAN使用光纤通道协议，但是它实际上可以支持多种串行物理传输媒介，包括同轴铜缆、双绞线和光纤。光纤通道协议标准定义了三种拓扑结构：点对点结构〔Point-to-Point〕、交换结构〔FabricSwitch〕和仲裁环路结构〔FiberChannel-ArbitratedLoop，简写成FC-AL〕三种结构的特点分别介绍如下：〔1〕点对点结构：这是最简单的拓扑结构允许两节点之间直接通讯。在这里一般是一个存储设备和一台效劳器。这种拓扑结构与SCSI直接连接极为相似只是速度更快连接距离更长已。点对点连接与其他SAN拓扑结构一样可以从光学连接的距离优势上获得收益。当然，点对点连接也存在限制，虽然可以在效劳器与存储设备间提供快速而强大的连接手段，用户却难以在点对点配置环境下追加任何设备，只能分别建立连接。这就需要为多台存储设备增加多块主机接口卡。〔2〕交换结构：这是一个SAN的术语，用以描述连接效劳器和存储设备之间广为使用的光纤通道交换机的拓扑结构。交换机可以级联并与环路网络连接构成具有高度混合网络系统，我们称之为Fabric。幸运的是，这一复杂的解决方案可以在软件的控制之下获得Fabric内的所有SAN管理功能的先进特性。〔3〕仲裁环路结构：这是一种环路拓扑结构。这里每一节点均将数据传输至下一节点。与IBM令牌环网络结构相似，SAN集线器决定数据传输请求以最正确利用带宽。在ArbitratedLoop配置环境下，每一节点的发送器将数据传输到下一节点的接收器，设备必须根据仲裁访问环路。开始设备作为环路的控制节点。当任意节点获得许可后，可以发起一个包含目标通讯进程并传输数据，初始节点对目标节点建立一个点对点连接。在一个环路上同时只能建立一个连接。当数据传输完成后，初始节点关闭进程并释放对环路的控制，允许其他节点接受环路授权，目前FC-AL的带宽为100MB/s。在FC磁盘阵列中一般采用双仲裁环结构，所以带宽可达200MB/s。SAN的性能可靠，可扩展，易管理；但由于采用光纤通信价格较高，其应用仅限于高端用户。近年来，随着IP技术的开展和普及，一种基于IP网络/以太网的高性能但价格低廉的新方法InternetSCSI〔iSCSI或IPSCSI〕应运而生。iSCSI是由IBM、Cisco、NetApp共同发起，经互联网工程任务组〔IETF〕2003年认可的技术标准。与使用NAS的解决方案相比，iSCSI最大的优势在于高性能，由于协议设计的高效性，基于iSCSI协议使用普通千兆网卡，可以到达110MB/s的实测带宽，几乎是理论极限的90%，这样高的效率在NAS环境中是很难实现的。iSCSI技术是一个供硬件设备使用的可以在IP协议的上层运行的SCSI指令集，这种指令集合可以实现在IP网络上运行SCSI协议，使其能够在诸如高速千兆以太网上进行路由选择。iSCSI技术是一种新的存储网络技术，该技术是将现有SCSI接口与以太网络技术结合，使效劳器可与使用IP网络的储存装置互相交换资料。此技术不但价格较目前使用的业界技术标准SAN来的低廉，而且系统管理人员也可以用相同的设备来管理所有的网络，并不需要以另外的设备来进行网络的管理。iSCSI技术可以看作是NAS技术的一个技术升级，它的推出使NAS的性能得到了大幅度的提高。就目前而言，iSCSI技术还不是很成熟，但随着网络存储技术的开展，它将同NAS技术进行全面的整合，进而成为一个独立的、与SAN系统并驾齐驱的开展领域。对于图像质量和实时性要求都非常高的媒资系统来说，SAN的高效稳定的传输带宽是它所需要的。由于SAN是通道结构，采用点到点协议，所以它有一个最大的缺点，就是结点之间无法通信。因此，媒资系统大都采用双网结构来解决节点间通信问题。所谓双网是指传统以太网和SAN网络〔也称为FC光纤网络〕相互结合的网络。以太网的功能是传输各种操作指令〔数据元指令〕给效劳器，同时效劳器的最高仲裁者MDC〔MetaDataController元数据控制器〕效劳器反响给各个客户机信息。在指令通过效劳器许可的状态下，对进行数据本身的读写，此时就要通过高带宽的光纤网络来实现。可以看出由于采用的这种先进的网络技术，整个网络的带宽是一个非常高的，特别适用于高码流的视音频素材的实时浏览和编辑制作。图6.5是双网结构的示意图，其中RAID表示磁盘阵列；NLE表示播送级非线性编辑器；MDC就是元数据效劳器；Server为以太网的数据库效劳器；WS表示以太网上的工作站。SAN的带宽可达2Gb〔实际使用率为70%〕，而LAN的带宽到桌面为100Mb〔实际使用率为40%〕。因此，一般的用法是用SAN来传送播送级视音频素材的高码流，并用NLE来显示和编辑播送级素材，而LAN那么用来建立素材数据库，Server通过MDC对RAID的内容进行访问和管理。但播送级素材是不能在带宽比较低的LAN上进行观看的。SANLANRAIDSANLANRAIDFC交换机MDCNLENLE以太网交换机WSWSServer图6.5存储网的双网结构图6.5存储网的双网结构对于媒资系统来说，仅在SAN的节点上浏览和编辑视音频素材是不够的。媒资系统需要在LAN每个节点上对媒体信息进行浏览。为了实现这一点，有关公司在双网结构的根底上实现了双码流浏览与编辑的技术，即视频素材的双路采集。脱机级素材脱机级素材播送级素材素材上载自动联编播出或下载SAN素材效劳器LAN素材效劳器传送EDL表浏览浏览浏览编辑编辑图6.6双路采集流程图图6.6双路采集流程图图6.6显示了利用双网结构进行双路采集的工作流程。在素材上载时按两种压缩格式同时上载，一个是播送级〔码流在20Mbps以上〕，另一个是脱机级〔码流在1.5Mbps左右〕。播送级素材由SAN素材效劳器管理，而脱级机素材那么由LAN素材效劳器管理。脱机级素材压缩率很高〔低码流〕，所以，可以在LAN的工作站上进行浏览和编辑。编辑以后LAN效劳器将记录编辑故事板的EDL表送到SAN素材效劳器，进行自动联编，用播送级素材替换脱机级素材，最后进行输出。这个过程与非线性网络中的双路采集方式是相同的。对于那些单码流的播送级素材，可以在转码中心进行脱机级素材生成后再传送至LAN效劳器供浏览和编辑。双网结构和双路采集本来是为了解决网络带宽缺乏的权宜之计，但从后来的开展说明，双网结构不仅有利于后期制作，也有利于媒体资产管理系统等综合媒体业务的管理，是未来电视台理想的媒体管理平台。6.2.4分级存储与数据迁移如前所述，存储设备有FC磁盘阵列、SCSI磁盘阵列、磁带机、磁带库、光盘塔、光盘库等等，其特点各有不同。大容量的存储介质有磁盘、磁带和光盘，也各有不同特点，如下表6.4所示。表6.4存储介质的特点存储介质磁盘磁带光盘容量40G-146G40G-500G630M-9.1G存储/读取速度100MB/s-2GB/s6-30MB/s2.5-10MB/s平安性很高高一般拥有本钱高一般低保存环境要求较高高一般保存时间3-8年30年近百年兼容性兼容所有标准接口不同格式不兼容不同格式不兼容主流格式SCSIFCDLTLTOAITCD-ROMDVD-ROM应用场合高速大容量存储快速的海量存储资源共享备注支持热插拔，不影响系统运行压缩后，容量和读取速度都提高一倍刻录盘保存期限有限如何根据用户数据的不同价值合理利用好各种存储资源是一个不小的挑战，于是就有了分级存储技术。分级存储管理〔HierarchicalStorageManagement，HSM〕就是要将用户拥有的所有存储资源统一管理，提高每种存储设备的利用率，做到在满足用户需求的前提下节约整体的存储本钱。分级存储管理起源于1978年，首先使用于IBM的大型机系统。近10年来，HSM被广泛应用于开放系统的Unix和Windows平台。其中最关键的技术就是近线存储和数据迁移技术。分级存储管理将存储设备分为在线、近线和离线三种。在线设备是指那些能实现高带宽数据传输的设备，如磁盘阵列；近线设备就是带宽相对窄，但数据容量大的设备，如磁带库、光盘库。离线设备主要用于数据备份，以防范可能发生的数据灾难。可使用大容量的存储介质，如数据流磁带和光盘。这三种设备的本钱与性能是成反比的。〔见图6.7〕图6.7分级存储管理性能与本钱磁盘阵列图6.7分级存储管理性能与本钱磁盘阵列磁带库/光盘库数据流磁带/光盘在线近线离线本钱性能从上面的分析可以看出，分级存储管理更多从降低本钱、不影响数据应用效果的角度解决数据的存储问题。事实上，降低本钱、提高效率已成为有关构建存储系统的厂商追逐技术进步的一个目标。近线存储就是这种进步的产物。6.3元数据与媒体数据交换 基于元数据的管理技术是内容管理的重要组成局部。本节中我们将详细介绍元数据的概念、使用方法，以及从元数据的概念出发来了解XML语言。6.3.1元数据的定义媒体信息包括媒体数据〔Data〕和元数据〔Metadata〕，元数据是关于数据的数据，可包括记录信息，如：拍摄日期与时间、记者姓名、单位、地点、拍摄原因〔选题〕等。每个媒体资产都包含有大量的信息资源：播送级的视音频素材网络浏览用的视音频素材版权拥有者信息日期、地点、记者、摄像、视频编辑等EDL(EditDecisionList)新闻脚本和纲要通过审批信息数字权限管理信息这些信息必须有统一的数据表示，如果各自表示的都不一样，系统将无法识别。举一个关于日期表示的例子，比方关于日期有以下四种表示方法：〔1〕2005年08月1日 是某个时间的中文表示〔2〕Aug.1,2005 是这个时间数据的英文表示〔3〕01082005是数据库中用来描述时间的数据〔4〕20050801 是另一种数据库的标准数据格式其中数据〔1〕和〔2〕是显示出来便于阅读的，而〔3〕和〔4〕是记录在数据库中让系统来识别的。〔3〕和〔4〕被称为元数据。也就是说，在数据库中存放的数据格式与显示的格式可能是不同的。但在同一系统中，尽管数据〔如日期〕的显示方式有多种形式，但元数据的表示方法是唯一的。上述的元数据〔3〕和〔4〕在一个系统中只能确定一种，即遵守一种标准。而对元数据进行标准的行为叫“编目〞。关于元数据的定义是：关于数据的数据〔DataaboutData〕，是一套描述和支持互用性的标准。它建立在完整的数据统计和对目前业务的详细分析根底上，通过编目管理建立。媒体信息定义模式如图6.8所示：数据数据编目元数据标准图6.8图6.8媒体数据到元数据 标准组织建议建立相应的内容包〔ContentPackages〕，内容工程、内容工程单元、元数据的类型和属性要封装在Wrapper中。下面是一个元数据的例子：元数据结构实例:[Wrapper][contentpackage]description.title=“DaysofourLives〞descriptionsubtitle=“Episode24〞description.owner=“XYZ-TV〞[contentitem]description.title=“firstprogramsegment〞temporal.duration=00:00:10:05[contentitemelement]video.format=“5254:2:2〞video.location=“server1\days24_1.vid〞[endcontentitemelement][contentitemelement]audio.format=“48kHzAES/EBU〞audio.location=“server2\days24_1.aud〞[endcontentitemelement][endcontentitem][contentitem]description.title=“secondprogramsegment〞temporal.duration=00:00:15:20[contentitemelement]video.format=“5254:2:2〞video.location=“server1\days24_2.vid〞[endcontentitemelement][contentitemelement]audio.format=“48kHzAES/EBU〞audio.location=“server2\days24_2.aud〞[endcontentitemelement][endcontentitem][endcontentpackage][endWrapper]这段元数据描述了一个标题为“DaysofourLives〞副标题为“Episode24〞的一段节目，该节目由两个视音频素材片段组成，并给出了视音频素材的格式和文件路径。元数据的标准不仅对系统内部的数据交换有意义，外部输出同样需要这样的互用性。媒体企业之间的数据交换时应该遵守行业公认元数据标准。我国广电总局制定的《播送电视音像资料编目标准》第1局部电视资料编目标准已经在2005年初正式发布，是国内媒资管理系统数据交换的元数据标准。6.3.2元数据的系统模型 为了进一步理解元数据与媒体数据、控制与活动之间的关系，我们将元数据与电视台其他数据与活动的关系用图示法表示出来。图6.9图6.9元数据系统模型图6.9是SMPTE/EBU在定制元数据标准时提出的概念模型，用来展示元数据在电视行业中与媒体信息、流程和控制机制之间的关系。活动〔Activities〕这个主轴主要描述从数据采集到传送、存档过程中的电视栏目制作和发布的主要活动。在整个电视栏目的制作、存储到发布的过程中，一共7种活动被定义到这个模型的活动轴里：〔1〕前期制作〔Preproduction〕前期制作的过程包括原素材的需求、版权的使用确定和制作时间表的订立。前期制作通常需要一套信息处理计算机系统。前期制作的程序步骤需要与以后的活动进行动态连接。在这个活动过程中，需要从归档资料库里取出素材，最起码是低码率的浏览格式。把需要的媒体资产加上标注，方便在以后的活动中把媒体资产的高质量格式取出。〔2〕素材的获取和制作〔AcquisitionandProduction〕素材获得和制作的活动对控制系统有很多不同的要求。在现场制作中，没有延迟的手动信号切换是必须的。在制作过程中将会用上多种不同的设备，通常需要人手控制的实时操作，配合不同程度的自动化协助。因为有些信号收录是不能重复发生的，所以控制系统的绝对可靠性是非常重要的。控制系统也能用于采集过程中的多路信号收录和相关的元数据的产生。〔3〕后期制作〔Post-Production〕后期制作的活动牵涉复杂的信号操作，需要同时对多个设备进行控制。制作顺序的修改，重复是经常发生的。屡次信号处理〔如视频特技处理〕会引至信号质量损失。所以控制系统要求能控制制作设备把某些程序步骤作一次信号处理。〔4〕信号分配〔Distribution〕信号分配需要绝对的控制可靠性。信号分配过程中对切换矩阵和局部或广域网络进行控制。〔5〕存储〔Storage〕存储活动亦要求高度的可控制性。存储控制需要界面连接媒体资产管理系统的数据库和分阶存储管理系统，通常通过中间件〔Middleware〕实现。可控制的存储设备包括视频效劳器、数据磁带库和传统的数字录像带库。〔6〕节目发布和传输〔Transmission&Emission〕节目发布和传输控制系统主要是管理在信号发布时，视频元素、音频元素、数据元素和元数据的合成。需要控制的传输系统包括复用器、有条件接收加密系统等。因为把复杂的数据元素和元数据参加到制作和传输系统，可能在信号传输的时候需要利用新的技术诸如统计复用。因为传输系统的环境需要相对较少的人手操作，所以传输系统必须包含自动监察和冗余备份系统。〔7〕归档〔Archiving〕归档控制系统必须能保证已归档的素材的完整性。归档系统需要高效的资产检索功能以便提供高效率的资产取回。要保证快速的检索，通常数据元素和元数据会和视频元素和音频元素分开存放到不同的数据库里。数据平面〔Planes〕这个主轴描述电视制作过程中所遇到的数据。SMPTE/EBU工作小组定义4种基类，即视频元素、音频元素、数据元素和元数据。所有栏目的内容都能归类到其中一个基类。〔1〕视频元素这个类别包括无压缩和压缩的视频信号。视频的传输系统可以是一个统一的网络，所以视频元素可能跟其他元素复用在一起传送而没有单独的物理传输通道。无论如何，在概念模型中我们设定一个视频元素传输的逻辑通道可以帮助我们描述一个可能的视频元素传输路线和设定的传输的最大带宽。视频传输流很明显就是视频元素。另一方面，视频文件因为可以只是低清晰度的图像用作浏览之用，所以SMPTE/EBU工作小组把视频文件定义为数据元素。视频元素只包含视频码流。〔2〕音频元素这个类别包括无压缩和压缩的音频。正如视频元素一样，音频元素可以没有它自己的特定传输通道，譬如把音频元素嵌入到数字视频元素里传输。另外，音频元素只包含音频数据码流而音频文件被定义为数据元素。〔3〕数据元素 数据元素是指不属于视频和音频元素的信息，但它本身带有固有的单独存在价值。 数据元素的例子有插入文字、HTML、栏目指南、文稿、WAV音频文件、静帧、视频缩图文件等。〔4〕元数据 元数据是指元素以外的信息，它没有单独存在的固有价值，但是它是和元素相关的〔元数据是具有涵义的，但是脱离了和相关的元数据的关系时，它是没有意义的〕。元数据包括URL、URI、时间码、MPEG-2PCR、文件名称、栏目标签、版权信息、版本控制、数字水印、条件接收密钥等。元数据在整个系统里移动，于一个或多个元素作复用或嵌入。它会被存放到一个的地方作为日后的参考。通信层〔Layers〕这个主轴主要描述4个主要的作业层。这4个层的定义跟ISO/OSI的7层通信模型里的4个层非常相似。这里不再赘述。在这个模型的最下面就是控制和监测平面。它的范围涵盖整个模型。因为在一个完整的电视播送运作里，监控是非常重要的。 标准组织建议建立相应的内容包〔ContentPackages〕，内容工程、内容工程单元、元数据的类型和属性要封装在〔Wrapper〕中。下面的例子是内容包的一种可能排列形式。6.3.3XML语言简介在XML出现之前，我们一般都是通过HTML语言来显示描述数据。但是HTML，CSS，DHTML都是着重于对内容表现的处理，而缺少对内容本身的管理。这样就出现了XML标记语言。通过为结构化数据添加XML，为开发人员提供了构造下一代丰富、灵活的应用程序的技术。使用XML，他们可以为桌面提供结构化数据，并且用XML对象模型计算数据。现在的开发人员可以在浏览器或者其他应用程序中，通过脚本显示基于XML的数据。XML按照它字面的意思来说，就是扩展的文本标记语言〔ExtendedMarkupLanguage〕的意思。也就是说它首先是一种文本标记语言，但是它不同于HTML，它是一个可扩展的文本标记语言。XML与HTML的一个重大区别就是XML文档必须是格式良好〔well-formed〕的，它必须满足一些规那么，比方标记不能交错嵌套等。在XML中用户可以自由的定义标记名以及与标记相关的元素及元素层次，这是XML的主要特征。但是，如果定义的都是只有自己才能理解的标记，就无法与其他人进行交换数据。为了在企业团体之间进行XML格式的数据的交换，XML数据的结构、元素的名称、元素的数据类型以及元素的亲子关系都需要仔细考虑，一定要设计成人和系统能够理解的语言。这样设计的XML数据结构在XML领域称为Schema，描述Schema的语言称为Schema语言。最普通的XML的Schema语言是DTD〔DocumentTypeDefinition：文档类型定义〕。DTD是远在SGML时期就一直使用的Schema语言，1998年制订XML语法时，沿用了描述Schema的DTD。下面是一个DTD的例子：<?xmlversion="1.0"encoding="GB2312"?><!ELEMENT联系人列表(联系人)><!ELEMENT联系人(姓名,编号,单位,职务,)><!ELEMENT编号(#PCDATA)><!ELEMENT姓名(#PCDATA)><!ELEMENT单位(#PCDATA)><!ELEMENT职务(#PCDATA)><!ELEMENT(#PCDATA)>XML文档必需满足DTD所规定的语义。DTD规定在XML文档中可以包含的标记种类和有效布置。只有其结构、数据类型和数据关联等均满足DTD要求的XML文档，才能被称为有效的〔validity〕XML文档。XML文档本身只描述数据内容，它的显示功能由样式单来完成。利用样式单技术时，输出平台不局限于显示器，可以是打印机、绘图仪或者是多媒体播放器。使用独立的样式单文件制定显示格式的一大优势在于：对同一份数据文件可以制定不同的样式风格，应用在不同的场合，使数据能够更合理、更有针对性地表现出来，提高了数据的重用性。目前，W3C正式推荐的样式单标准有两种:一种是层叠样式单CSS〔CascadingStyleSheets〕；另一种是可扩展样式单语言XSL。CSS最初是用于制定HTML文档显示格式的，现在也可用来对XML文档进行简单的样式