（计算机应用技术专业论文）基于内容的体育视频描述、管理和浏览研究与实现.pdf

基j 。内容的体育视频拙述、管理和浏览研究与实现：摘要 摘要 本文针对基于内容的视频研究之核心问题，根据视频分析结果和体育视频的特点， 从体育视频元数据描述、基于内容的视频数据管理和浏览三方面进行了深入研究；在综 合相关领域已有研究成果的基础上，设计和实现了基于内容的体育视频描述、管理和浏 览系统s d o r t s v m b ，取得了以下成果： 1 、基于内容的体育视频元数据描述 参照m p e g 一7 和s p o r t s m l 国际标准，并结合体育方面的领域知识、x m l 的层次结 构和自描述的特点，探讨了通用体育视频元数据层次化描述和组织方案。 针对视频分析结果的描述问题，提出了基于x m l 的x s v ( x m l f o rs h o t sv i e w ) ，用 于表征通过视频分割、关键帧提取和自动、半自动标注等方法获得的体育视频数据及其 相互关系，从各个层面和不同应用角度全面描述体育视频信息，这样可以利用视频数据 的语义和结构信息，而且便于手动调整分析结果以增强描述的准确度。 2 、基于内容的体育视频相关数据管理策略 本文研究了管理视频数据的方法，采取元数据与视频数据相分离的策略，把对非结 构化视频数据的管理转化为对结构化数据的管理。 在视频描述文件符合预定描述s c h e m a 的前提下，系统支持用户自由选择视频分析 算法获取元数据，并通过接1 2 1 控制器s p o r t s m i c ( s p o r t s m e t a d a t ai n t e r f a c ec o n t r o l l e r ) 识别不同体育项目的视频分析结果，根据预定义的控制文件自动配置用户界面。 3 、基于内容的体育视频浏览研究 针对体育视频的数据特点，给出了体育视频镜头的分组和分类方案，便于用户从多 个角度、多层面、结构化浏览视频。 系统提供了基于内容的视频播放器，该播放器用于体育视频片断的内容回放，以及 视频内容与比赛的文本信息同步显示：采取在情节串连图板( s t o r y b o a r d ) 中显示关键 帧序列的缩略i 羽( t h u m b n a i l s ) 实现基于关键帧的浏览，极大地降低了传送视频数据所需 的带宽。系统提供的友好人机交互界面辅助用户预览整个视频的大致内容，选择浏览感 兴趣的视频镜头。 4 、视频内容描述、管理和浏览的集成应用框架 提出了一种视频内容描述、管理和浏览的集成应用框架，基于该框架实现了 s p o r t s v m b 原型系统。该系统采用x m l 作为通信格式传送复杂的结构化信息，便于数 据内容的交换和处理，探讨了系统内各功能模块或系统外的应用程序集成方式，可以更 好地实现数据共享、跨平台和跨终端的应用。 关键词：体育视频，元数据，标注，非线性浏览，视频内容描述与管理 基j 一山容的体育视频描述、管理科l 浏览研宄与实现：a b s t r a c t r e s e a r c ha n di m p l e m e n t a t i o no fc o n t e n t b a s e ds p o r t sv i d e od e s c r i p t i o n ， m a n a g e m e n ta n db r o w s i n g l ix u e c h a o 化o m p u t e r a p p l i e dt e c h n o l o g y ) d i r e c t e db yl ij i n t a o t a k i n gt h ef e a t u r e so fs p o r t sv i d e oi n t oc o n s i d e r a t i o n , t h i sp a p e ra d d r e s s e ss o m ek e y c o n t e n t - b a s e dt e c h n o l o g i e s ，a n ds o m en o v e li d e a si n c l u d i n gd e s c r i p t i o no fv i d e om e t a d a t a ， c o n t e n t - b a s e dv i d e od a t am a n a g e m e n ta n d b r o w s i n g , w h i c h a r eb a s e do nt h er e s e a r c ho f v i d e o p a r s i n gt a k i n gs p o r t s v m ba sa ne x a m p l e ，t h ew o r kc o m b i n e st h ec u r r e n tr e l a t e df i e l d s r e s e a r c ha c h i e v e m e n t s ，d e s i g n sa n di m p l e m e n t sac o n t e n t - b a s e ds p o r t sv i d e or e p r e s e n t a t i o n ， s t o r a g em a n a g e m e n t a n d b r o w s i n gs y s t e m ，w h i c h c a nb es u m m a r i z e da st h ef o l l o w i n g ： 1 c o n t e n t - b a s e ds p o r t sv i d e om e t a d a t a d e s c r i p t i o n r e f e r r i n g t om p e g - 7a n ds p o r t s m li n t e r n a t i o n a ls t a n d a r d s ，t h i s p a p e rp r o p o s e s a g e n e r a ls p o r t sv i d e om e t a d a t a s t r u c t u r a ld e s c r i p t i o na n d o r g a n i z a t i o nm e c h a n i s m ，w h i c hi si n t e r m s o f s p o r t sg a m e s s p e c i f i ck n o w l e d g e ，a n d t h es e l f - d e s e r i p t i o nf e a t u r e so f x m l t h es p o r t sv i d e oc o n t e n t sw h i c ha i ea c q u i r e dt h r o u g hs h o t ss e g m e n t a t i o n k e yf r a m e s s e l e c t i o n ，a u t o m a t i c o rs e m i a u t o m a t i ca n n o t a t i o na r cr e p r e s e n t e d b yu s i n gx m l a sa n e n a b l i n gt e c h n o l o g y s y s t e md e f i n e sah i e r a r c h i c a lv i d e om e t a d a t as t r u c t u r ei nx s v w h i c h m a k e si tc o n v e n i e n tt of u l l yd e s c r i p tt h ev i d e oc o n t e n tf r o md i f f e r e n tp e r s p e c t i v e s i tm a k e s f u l lu s eo fv i d e o ss e m a n t i ca n ds t r u c t u r a li n f o r m a t i o n , e a s i l ym o d i f yt h er e s u l t st oi m p r o v e t h e a c c u r a c y 2 m a n a g e m e n ts t r a t e g yo f c o n t e n t - b a s e ds p o r t sv i d e od a t a t h i sp a p e rd i s c u s s e st h em e t h o d so fv i d e om a n a g e m e n t ；t h em a n a g e m e n to fv i d e oi s c h a n g e di n t ot h a to fm e t a d a t a m e t a d a t ac a nt h e nb e u s e da si n d e xt e r m sf o rv i d e o b r o w s i n g t oh e l pe n d u s e r st ol o c a t et h ed e s i r e dm a t e r i a la n dd e l i v e ri ti na m a n a g e a b l e f o r m a t p r o v i d e dt h a tt h es c h e m ao fs p o r t sv i d e oa n a l y s i sr e s u l ti sm a t c h e d ，u s e r sc a nu s ek i n d s o fa l g o r i t h m st oa c h i e v et h e m ，w h i c hc a nb er e c o g n i z e du s i n gs p o r t s m i c a c c o r d i n gt ot h e p r e d e f i n e dc o n t r o l l e rf i l e ，t h es y s t e ma u t o m a t i c a l l yd e p l o y t h es p e c i f i cu s e ri n t e r f a c e 3 r e s e a r c ho i lc o n t e n t - b a s e d s p o r t s v i d e o b r o w s i n g t h i sp a p e r p r o p o s e sag r o u p i n ga n dc a t e g o r ys c h e m eo fs p o r t sv i d e os h o t s ，s ot h a tu s e r s c a nc o n v e n i e n t l yv i e ws p o r t sv i d e oc o n t e n tf r o md i f f e r e n ta n g l e s t h es y s t e mp r o v i d e sa n e n h a n c e dv i d e op l a y e rt op e r f o r mc l i p sp l a y b a c kw i t ht e x ti n f o r m a t i o na b o u tt h e s p o r t s m a t c h k e yf l a m e s - b a s e db r o w s i n gf a c i l i t a t e ss t o r y b o a r dt oc o n t a i nt h u m b n a i l sa s s o c i a t e d w i t ht h ev i d e os e g m e n t s r e p r e s e n t e db y t h ek e yf r a m e s ，w h i c hc o n v e yo v e r v i e wo ft h ev i d e o c o n t e n t ，d r a m a t i c a l l yd e c r e a s et h en e e d e db a n d w i d t h t ot r a n s f e rt h ev i d e od a t a f r i e n d l yu s e r i n t e r f a c eh e l p su s e rt oi n s p e c ts h o t so fi n t e r e s t ，p r e c i s e l yj u m pt or e l e v a n tp o r t i o n so ft h e v i d e o ，a n dd i r e c ta c c e s st ov i d e os e g m e n t s 基r 内容的体育视频描述、管理和浏览研究与实现：a b s t r a c t 4 a ni n t e g r a t e df r a m e w o r ka b o u tv i d e od e s c r i p t i o n ，m a n a g e m e n ta n db r o w s i n g s p o r t s v m bp r o t o t y p es y s t e mi s d e m o n s t r a t e du n d e rt h i si n t e g r a t e df r a m e w o r k ，w h i c h e m p l o y sa nx m l b a s e dm e d i ad a t ae x c h a n g ef o r m a tf o r c r o s sp l a t f o r ma n dm u l t i d e v i c e s i n t e r o p e r a b i l i t ya m o n gh e t e r o g e n e o u s v i d e od a t ar e p r e s e n t a t i o n s k e y w o r d s ：s p o r t s v i d e o ，m e t a d a t a ，a n n o t a t i o n ，n o n l i n e a rb r o w s i n g ，v i d e o c o n t e n t d e s c r i p t i o na n dm a n a g e m e n t 声明 本人声明所呈交的论文是我个人在导师指导下进行的研 究工作及取得的研究成果。据我所知，除了文中特另t l d n 以标注和 致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成 果。与我一同工作的同志对本研究所做的任何贡献均已在论文中 作了明确的说明并表示了谢意。 作者签名：爹物 日期：夕棚f 2 关于论文使用授权的说明 中国科学院计算技术研究所有权处理、保留送交论文的复 印件，允许论文被查阅和借阅；并可以公布论文的全部或部分内 容，可以采用影印、缩印或其它复制手段保存该论文。 作者繇爹黝导师虢衫争陪吼加 第章绪论 第一章绪论 随着数字化技术的研究进展和推广，宽带网络技术的拓展应用，m p e g 7 标准的推 出，网络多媒体应用己成为热点。视频内容直观易懂，但视频数据庞大，数据结构复杂， 具有非结构化和时空特性，随着视频数据的剧增，如何对大量的多媒体信息进行组织和 管理，实现快速有效的视频浏览和检索，已成为当今备受关注的焦点。 1 1 概述 1 1 1 研究体育视频的意义 体育专业人员通过体育视频进行技术分析，研究对手的技术要领和比赛战术，制定 相应的比赛策略，帮助教练员指导运动员进行有针对性的训练，对于迅速提高技术水平 和比赛成绩具有重要作用，所以收集和管理国内外大量先进的视听技术资料、比赛材料， 并合理使用，对于提高训练的水准和效率，备战奥运都有积极的辅助作用。 体育比赛的电视转播一般很漫长，对应视频数据的关系复杂且数据量庞大，对于观 众来说，真正关心并有可能反复观看的只是其中的精彩部分( h i g h l i g h t s ) ，如何对视频数 据进行有效组织，采取何种策略进行体育视频数据的管理，以及如何在漫长的比赛视频 中，帮助用户精确定位感兴趣的视频片断或精彩镜头，并提供丰富的浏览功雒对充分发 挥体育视频的作用是很关键的。体育类视频内容的结构是明显的，如足球中有上下半场、 射门、慢镜头等，而且往往比赛中间有大量的观众声音。通过分析体育比赛中的音频、 视频和字幕等特征自动识别提取出观众感兴趣的精彩场景可以节约观众欣赏体育比赛 的时间1 】。用户可以快速而有效地从大量的视频中找到所需内容，直接准确定位和浏览， 省时省力，方便快捷。 另外，为电视台或内容提供商开发的基于内容的体育视频数字化管理系统，能够以 最小、最节省的存储方式，建立起低成本的数字声像资科库；用最快捷、最智能的检索 方法，方便采编人员找到任何需要的节目和素材；用最简单、最有效的手段实施视频资 源的管理，同时为交互式电视、视频点播以及媒体的多样性应用创造了理想的条件。 1 1 2 基于内容的体育视频描述、管理和浏览过程 目前大多数多媒体的应用还很少使用到媒体的语义信息，各种媒体的内容之间没有 建立起联系，和依据这些联系来组织、处理和使用这些信息。但随着多媒体数据的剧增， 有必要采用相应的方法和工具，对多媒体的数据按照不同的形式和来源，增加相关语义， 以便于管理和使用多媒体内容。 基于内容的体育视频处理研究主要包括如下步骤： 1 、基于内容的视频分析，它是视频管理、浏览和检索的基础，它通过镜头边缘检测 等技术先把连续的视频流切分成镜头单元： 2 、从镜头单元中提取关键帧，通过这些操作将视频的内容结构化并生成视频的层次 结构； 基于内容的体育视频描述、管理和测览研究与实现 3 、依据体育项目对应的描述s c h e m a ，采用标准的描述语法对这些数据内容从下至 上地结构化描述，并结合人工手动添加必要的文字标注，抽象出视频的语义特征来表征 视频的内容； 4 、基于x m l 形成描述文件，这些数据，尤其是语义信息相当于人们对视频内容的 理解，并构成了视频元数据库； 5 、描述文件的采用把对视频数据的管理转化成对元数据的管理，数据量大大降低， 而且富有结构和语义信息； 6 、最后，用相关描述内容、镜头和关键帧等信息，选取合适的浏览机制进行非线性 浏览。 本文设计和实现了s p o r t s v m b ( s p o r t sv i d e om a n g e m e n ta n db r o w s i n gs y s t e m ) 系 统，图1 给出了该系统针对体育视频所采取的基于内容的视频处理过程。 1 2 论文工作 图l 基于内容的体育视频管理和浏览的过程 本文的主要研究内容包括：基于内容的体育视频关键技术研究及相应系统的实现。 具体就是根据视频分析结果和体育视频的特点，从体育视频元数据描述、基于内容的视 频数据管理和浏览三方面进行深入研究：在综合相关领域已有研究成果的基础上设计和 实现了基于内容的体育视频描述、管理和浏览系统一一s p o r t s v m b ( s p o r t sv i d e o m a n g e m e n ta n db r o w s i n gs y s t e m ) 。并以s p o r t s v m b 系统的实旌作为线索，提出了一些 创新的研究思想和方法。主要内容包括： 1 、基于内容的体育视频元数据描述 参照m p e g 一7 和s p o r t s m l 国际标准，并结合体育方面的领域知识、x m l 的层次结 构和自描述的特点，探讨了通用体育视频元数据层次化稿述和组织方案。 2 第一章绪论 针对视频分析结果的描述问题，提出了基于x m l 的x s v ( x m l f o rs h o t sv i e w ) ，用 于表征通过视频分割、关键帧提取和自动、半自动标注等方法获得的体育视频数据发其 相互关系，从各个层面和不同应用角度全面描述体育视频信息，这样可以利用视频数据 的语义和结构信息，而且便于手动调整分析结果以增强描述的准确度。 2 、基于内容的体育视频相关数据管理策略 本文研究了管理视频数据的方法，采取元数据与视频数据相分离的策略，把对非结 构化视频数据的管理转化为对结构化数据的管理。 在视频描述文件符合预定描述s c h e m a 的前提下，系统支持用户自由选择视频分析 算法获取元数据，并通过接口控制器s p o r t s m i c ( s p o r t sm e t a d a t ai n t e r f a c ec o n t r o l l e r ) 识别不同体育项目的视频分析结果，根据预定义的控制文件自动配置用户界面。 本文的研究需要用到视频分析结果，而且视频分析也是基于内容的视频研究一个重 要方面，但视频分析算法的实现不是本文的讨论范围。s p o r t s v m b 系统在设计上借鉴 m p e g 一7 在研究范围界定以及s p o 他m l 标准在实施方面的经验，系统提供了可扩展的 功能接口，不限定分析结果获取的具体算法，系统可以灵活采用各种视频分析算法，并 允许其他算法或手动方式对分析结果进一步修改。 3 、基于内容的体育视频浏览研究 针对体育视频的数据特点，给出了体育视频镜头的分组和分类方案，便于用户从多 个角度、多层面、结构化浏览视频。 系统提供了基于内容的视频播放器，该播放器用于体育视频片断的内容回放，以及 视频内容与比赛的文本信息同步显示；采取在情节串连图板( s t o r y b o a r d ) 中显示关键 帧序列的缩略 ( t h u m b n a i l s ) 实现基于关键帧的浏览，极大地降低了传送视频数据所需 的带宽。系统提供的友好人机交互界面辅助用户预览整个视频的大致内容，选择浏览感 兴趣的视频镜头。 4 、视频内容描述、管理和浏览的集成应用框架 介绍的s p o r t s v m b 原型系统在该框架下实施，系统采用x m l 作为通信格式传送复 杂的结构化信息，便于数据内容的交换和处理，探讨了系统内各功能模块或系统外的应 用程序集成方式，可以更好地实现数据共享、跨平台和跨终端的应用。 1 3 论文的组织结构 本文的组织结构如下：第二章主要介绍国内外相关领域已有的典型系统，这些系统 综合且直接地反映了基于内容的视频分析、内容描述、管理和浏览等各方面的研究和实 践情况；该部分还对m p e g - 7 和s p o r t s m l 国际标准，以及开发s p o r t s v m b 系统所需的 j a v a 、x m l 等相关技术进行了简介。第三章主要阐述了基于内容的视频描述相关技术， 及其研究现状和发展趋势，对作者提出的描述方案进行了介绍。第四章讨论了基于内容 的视频数据管理的问题，介绍了s p o r t s v m b 系统针对体育视频数据采取的相关管理策 基1 内容的体育视频描述、管理和浏览研究与实现 略，以及镜头分类和界面自动配置的方法。第五章主要诠释基于内容的视频浏览之研究 和实施方法，讨论了s p o r t s v m b 中非线性浏览的实施和用户界面设计、视频导航等问 题。第六章全面介绍了作者实现的s p o r t s v m b 系统，包括其体系结构、功能流程以及 各个模块的功能和算法实现。第七章对论文_ _ 作进行了总结，并指出进一步的t 作任务。 4 第一章j _ | 关技术标准与系统范例 第二章相关技术标准与典型系统介绍 目前，基于内容的视频处理是多媒体研究领域的热点，涌现出了一批实验或商业化 系统。2 1 节主要介绍国内外相关领域已有的几个典型系统，e h f j 综合且直接地反映了 基于内容的视频分析、内容描述、管理和浏览等各方面的研究成果，代表了相关领域的 研究进展和实践情况，也为s p o r t s v m b 系统的实施提供了参考。2 2 节介绍了开发 s p o r t s v m b 系统所需的j a v a 、x m l 等相关技术，2 3 节介绍了本文的视频描述方案所 参考的m p e g 一7 和s p o r t s m l 国际标准。 2 1 国内外典型系统概况 f i s c h l f i r 系统 f i s c h l a r 2 ，3 ，4 ，5 是一个综合的数字视频系统，用户可以在线地录制、浏览和 观看电视节目。电视节目采用m p e g 一1 格式录制以后，经过一系列视频索b 1 工具进行分 析。用户可以通过系统的多种界面，浏览分析工具产生的内容索引。这些界面便于用户 寻找感兴趣的视频内容，当用户找到所需视频片断时，实时的m p e g l 视频流基于w e b 浏 览模式为用户提供点播服务。 该系统视频组织功能和多种用户界面设计很有特色，可以从多个角度为用户提供节 目的列表。系统内置的p t v 系统能够从用户自然的访问行为记录中提取重要的喜好信 息，在交互时允许用户通过多种方式提交标注和评价信息，以便支持个性化的视频库浏 览、分类和观看。用户可以为每个节目进行标注、分类以及给予评价，评价包括5 个等 级。用户浏览时，看到的是以不同方式组织的视频列表：按频道划分的列表、按种属分 类的列表、个人喜好列表、朋友推荐列表以及p t v 生成的推荐列表。针对不同的使用环 境、应用需求和用户喜好，系统共开发了多种用户界面供选择使用。 h o t s t r e a m s 系统 西门子的h o t s t r e a m s ( 6 是一个可以在移动电话，p d a ，汁算机和装有机顶盒 ( s e t t o pb o x ) 的电视上运行的交互视频点播平台。它是一套基于j 2 e e 架构开发的商业 化软件，集成了合作公司的付费管理系统，该付费系统支持根据视频片断付费 ( m i c r o p a y m e n t ) ，且可以自定义每个视频片断的收费标准。系统中采用x m l 来描述视 频内容，并为视频内容管理提供了工具。 i v i e w 系统 i v i e w 7 ，8 视频管理系统用于有效地管理、分布或动态发布新闻类型的流媒体视频。 它将模拟或数字新闻视频通过多模态的元数据抽取改造成为可以充分索引的数据类型， 并用于视频归档和友好人机交互模式的全内容检索目的。 首先通过视频采集设备完成视频捕捉，然后执行自动视觉场景变化检测，文本字幕 柃测、人脸检测、l o g o 等有意义对象检测，执行自动语音识别以及说话人关联等等，抽 取的视频元数据进一步通过手t 标注或远程处理增强；而后执行基于时间轴的媒体间交 叉索引，并管理多个针对不同环境的视频编码程序，最终基于丰富的视频索引为视频发 布者和浏览者提供针对视频内容的不同精细颗粒度控制。其开放的体系结构设计支持对 数宁视频环境中典型设备、处理技术以及应用的集成。在对t v b 新闻视频的管理中i v i e w 显示了良好的效果。 基，一内容的体育棍频描述、管理和洲览许宄与实现 m e d i a s i t e m e d i a s i t e 9 是一个软件应用程序提供商，他们的软件可以在基于i p 的刚络中方便 多媒体和娱乐公司，企业和政府部门部署，管理和发布他们的视频内容。m e d i a s i t e 提 供了成套的软件集成工具可以很容易的在网上发布视频内容。主要构件( c o m p o n e n t ) 有： w e b f i n d e r ：在i n t e r n e t 上的视频检索和导航引擎，把任何标准的w e b 浏览器都变成 了在线视频搜索的强大工具。 p u b l i s h e r ：提供必要的工具，为创建自定制的视频索引，标注和描述视频以及以不同 的格式对视频进行编码提供条件。 m o d u l e s ：在连接p u b l i s h e r 时使用，m o d u l e s 提供高级索引能力，包括全自动的索引。 q b i c 系统 i b m 公司著名的a l m a d e n 中心研究开发的q b i c i o 系统是基于内容检索系统的典型 代表，可以对图像、视频进行检索。视频方面主要利用了颜色、纹理、形状、摄像机和 对象的运动等多种特征相融合的手段来描述内容。在视频检索中，包括了分镜头检测、 主运动估计、建立层描述、通过拼接完成代表帧生成等多种视频处理手段，并在此基础 上提供了通过物体运动、摄像机运动的视频检索手段。 v i d e o q 系统 v i d e o q 1 1 3 是哥伦比亚大学研究的一个项目，它扩充了传统的关键字和主题导航的 查询方法，允许用户使用视觉特征和时空关系来检索视频。实现了文本和视觉搜索 ( v i s u ms e a r c h ) 方法的集成以及自动的视频对象分割和追踪，建立了包括颜色、纹理、 形状和运动等丰富的视觉特征库( v i s u a lf e a t u r el i b r a r y ) 。 v i r a g e 系统 v i r a g e 1 2 公司是综合解决方案的主要供应商。v i r a g e 互联网视频应用平台能使 媒体、娱乐服务公司、企业以及消费者通过互联网和内联网发布、管理和分销他们的视 频内容，包括在网上创建，管理和发布多媒体所需要的系列套件。通过视频分析将传统 的视频分割成实时的视频片断，其s m a r t e n c o d e 程序能够同时为视频建立索引和编码， 将视频内容转换成片断的视频数据库。这种视频片断可有效地在网站上发布，允许视频 内容的定制表现，或按照需要进行搜索。 v i d e o b a s e 系统 g i d e o b a s e 1 3 是清华大学实施的视频库管理系统，该系统用于为视频档案库( v i d o e a r c h i v e s ) 提供有效的管理，使其支持以镜头( s h o t ) 为基元的浏览检索和镜头抽取( s h o t e x t r a c t i o n ) 。系统可分为视频归档( 建库) 和视频检索两部分。系统管理的视频文件 格式为m p e g 文件，当一个新的视频文件加入视频库时，视频归档模块被调用，利用镜 头分割和组织技术将连续视频流分割为以镜头为基元的序列并在此基础上建立高层的 组织结构，生成的镜头参数存入镜头参数库，同时生成镜头的代表帧并将其存入代表帧 库。 在进行视频检索时，系统提供了通过代表帧对镜头进行浏览检索的人机交互界面。 根挺用户需要，用户可以激活代表帧对应的镜头进行播放，并可将其从视频文件中抽取 处理形成单独的视频文件以供进一步处理。 t v f i n d 系统 t v f i n d ( t s i a g h u av i d e of i n di t ) 1 4 是清华大学开发的基于l j l p e g 一7 标准多媒 体内容描述的视频管理系统。系统为一般用户提供了基于内容的视频浏览、检索和播放 功能，为管理员提供了视频库的组织和维护功能。该系统提出开发一个集成了m p e g 一7 标 准，以及分析、检索、传输等基于内容的视频技术的主要t 具的视频管理系统，在系统 6 第= 带榭关技术标准与系统范例 构建方血设计出一个灵活的系统框架，提出了核心调度模块和统一的通信方式、接口承 格式等崽想，在内容描述和模块间通信的标准化方面为实施类似的系统提供了参考。 22 相关技术介绍 下面对实现s p o r t s v m b 系统所涉及的主要技术给出简单介绍。 2 2 1 1j a v as w i n g 简介 j a v a 开发工具包( j d k ) 包含了一个复杂的图形a p i 和用户接1 3a p i 的集合，该集合 的核心软件被称为j a v a 的基础类( j f c ，j a v af o u n d a t i o nc l a s s e s ) 。j f c 指的是包含在 j a v a2 平台内的一整套图形和用户界面技术，包括a w t 和s w i n g 等。s w i n g 是个 带有一套丰富组件的g u i 工具包，它组成了j f c 的用户界面功能的核心部分。s w i n g 组件不仅是a w t 所提供的组件的替代品，并且在这些组件的基础上有了很大进步，两 者可以在同一个界面上共存。 s p o n s v m b 系统的主要用户界面都是采用s w i n g 开发的。s w i n g 组件包括从按钮、 复选框、滚动条和滑动条这样的简单控件到诸如文本窗格和编辑器窗格那样复杂的工 具。s w i n g 组件具有两个很显著的特点是：轻量级( 1 i g h t w e i g h t ) 和可插入外观( p l u g g a b l e l o o k a n d f e e l ) 。轻量级是指其组件不依赖于本机系统类，而由j a v a 的其他类所支持。 可插入外观组件允许应用程序能够在不重新启动的情况下看到s w i n g 组件的外观效果 【1 5 】。 2 2 1 2 肌f 简介 s p o r t s v ) l i b 系统中所有视频的播放功能都是基于j 岍实现。j a v a 媒体框架( j ，j a v a m e d i af r a m e w o r k ) 1 6 提供了处理所有媒体类型的手段。它是一个将高级媒体格式如 视频和音频集成到j a v a 的a p i 。目前最新版本是j 盯2 1 1 ，是对应j a v a2 平台标准 版( j 2 s e ) 的一种可选用的应用编程接口( a p i ) 软件，这一强大的媒体工具包可以在任何 版本( 1 i x 及以上版本) 的j a v a 平台上的运行。s u n 通过它向j a v a 中引入处理多媒体 的能力。 ( 1 ) 支持功能概述 可以在j a v a a p p l e t 和应用程序中播放各种媒体文件，例如a u 、a v i 、m i d i 、m p e g 、 q u i c k t i m e 和w a v ，加上插件，可以支持r e a l 等文件。 可以播放从互联网上下载的媒体流。 可利用麦克风和摄像机一类的设备截取音频和视频，并保存成多媒体文件。 处理多媒体文件，转换文件格式。 向互联网上传音频和视频数据流。 在互联网上广播音频和视频数据。 ( 2 ) 创建一个p l a y e r 对象 在j m f 编程中，最常见的工作就是创建一个p l a y e r 对象，可以通过m a n a g e r 类的 c r e a t e p l a y e r ( ) 方法完成创建工作。当获得了一个p l a y e r 对象后，可以通过调用 g e t v i s u a l c o m p o n e n t ( ) 方法得到p l a y e r 对象的图像部件( v i s u a lc o m p o n e n t ，在图 像部件上可以播放多媒体的图像) 。然后将图像部件加入到应用程序或a p p l e t 的界面上。 p i a y e r 对象还包含一个控制面板，在上面可以控制媒体的播放、停止和暂停等。 简单的实现媒体播放器的基本步骤： 基j ：内容的体育视频描述管理和浏览研究与实现 2 2 2x m l 2 2 2 1x m l 简介 ) ( m l ( e x t e n s i b l em a r k u pl a n g u a g e ) 1 7 即可扩展式标记语言，主要描述数据本身 而非数据的显示格式。x m l 是一种很好的多层应用程序的黏合剂，可以通过将结构、内 容和表现分离，实现数据的表现形式的定制和应用程序组件间的数据交换，所以它正越 来越广泛地应用于多层应用程序中。 在客户机上，它用于显示与简单的数据处理，允许同一个x m l 源文档，可以用不同 的方法在各种设备上表现出来，例如在计算机屏幕上，在手提电话、p d a 的显示屏上， 或在为盲人服务的设备上翻译成语音等等。在多层结构中，它用于交换数据。另外，x m l 还可以用于在文件或数据库中存储数据。 s p o r t s v m b 系统中，采用x m l 描述视频元数据，且作为通信格式在系统的模块间交 换信息。x m l 的出现，为数据提供了统一有效的信息表达形式，且很好地表达了数据的 含义，极大地支持了不同系统之间的信息交流以及对信息内容的有效检索。 下面看一个简单的d l 描述片断： 2 2 2 2s c h e m a 简介 x m ls c h e m a 1 8 定义语言是一种为了描述和约束) 。文档内容的x m l 语言。x m l s c h e m a 的文件后缀是x s d 文件，一个x m ls c h e m a 中的定义通常分为两部分，型( t y p e ) 定义和元素( e l e m e n t ) 定义。x b i ls c h e m a 定义语言是一种说明性表示语言，其思想来自 知识表示模型( 如语义网络、框架等) 、数据库模式( d a t a b a s es c h e m a ) 定义语言和图模 型( g r a p hd a t am o d e l s ) 。 x m ls c h e m a 允许用户把x m l 文档中的元素声明为特定的类型，准许解析器检查文档 的内容及其结构。x m ls c h e m a 定义了两种主要的数据类型：预定义简单类型和复杂类型。 这两种数据类型之间的主要区别是复杂类型可以象数据一样包含其他元素，而简单类型 则只能包含数据。简单类型给予了x m ls c h e m a 低级类型检查能力，允许用户把元素定 义为表1 中的任何类型之一。 第二章卡关技术标准与系统范例 表1x m ls c h e m a 预定义简单类型 简单类型定义 s t r i n g 字符串数据。 b o o l e a nm 类型的t r u e 或者f a l s e 。 l d a t e 历法日期，格式是c c y y l m m d d 。 | d a t e t i m e历法日期和时间+ m r n e扛4 小时格式的时f 可可根据时区调节。 j 吣i m a l i 壬意精度和也敦的十进删数。_ 。- 抽t e a r 叠翦 r k l o a t标准的3 2 位浮点截： ，j 复杂类型由c o m p l e x t y p e 元素定义，所有的复杂类型都会包含一个内容定义类型 其主要功能是定义类型能包含的内容模式。某些可用的内容模式请见表2 。 表2 一些准许的趔! ! ! ! ! 堕重塑粪型 s p o r t s v m b 系统参照m p e g 7 和s p o r t s m l 国际标准，结合体育方面的领域知识，基 于x m l 提出了一套体育视频元数据描述方案，采用s c h e m a 描述元数据的结构、数据类 型以及元数据问的相互关系。 2 223 x m l 解析介绍 1 、x m l 解析器概述 x m lp a r s e r 是一个提供给程序员二次开发的软件包。程序员在使用x m lp a r s e r 时， 调用其包中提供的接口( 如函数接口等) ，从而得到解析的结果。功能比较完善的x m l p a r s e r 在解析x m l 文档的同时还能够提供有效性检验等相关任务。使用已有的x m l p a r s e r ，能使程序员在处理与x m l 解析相关的事务时节省大量的精力，因而是一种符合 软件工程中代码重用思想的软件包【1 9 】。 根据x m lp a 硌e r 如何回应( f e e d b a e k l 调用者的方式，解析器可以分为两大类：事件 驱动类( e v e n t - d r i v e n ) 和对象模型类( o b j e c tm o d e l ) ，前者的代表是s a x ( s i m p l ea p if o r x m l ) ，后者的代表是d o m ( d o c u m e n t o b j e c t m o d e l ) 。x m l p a r s e r 可以用c 、c + + 、j a v a 等多种高级语言实现，也可以使用这些语言进行二次开发。j a v a 的x m l 解析器一般以 j a r 包的形式发布。 为了将x m l 描述的视频元数据信息进行显示，我们需要对x m l 文档进行解析。为了 让应用程序用d o m 或者s a x ( s i m p l ea p if o rx m l ) 对x m l 数据进行操作，应用程序必须： ( 1 ) 获得个解析对象； ( 2 ) 得到x m l 数据源i ( 3 ) 把数据源传送给解析器进行分析： 2 、s a x 的原理与使用 基1 二内容的体育视频描述、管理和浏览研究与实现 s a x 是s i m p l ca p if o rx m l 的缩写，s a x 是事件驱动的，它并4 i 需要读入整个文档， 而且文档的读入过程也就是s a x 的解析过程。s p o r t s v m b 系统的显示部分主要采用s a x 对x m l 文档进行解析，解析包采用o r g a p a c h e x e r c e s p a r s e r s s a x p a r s e r 。 s a x 的工作原理是：解析器顺序扫描文档，在文档( d o c u m e n t ) 的开始与结束，元素 ( e l e m e n t ) 的开始与结束等地方通知事件处理函数，由事件处理函数做相应的动作，然 后继续同样的扫描过程，直至文档结束。 图2 x l v i l 的s a _ x 解析 从图2 可以看出x m