体育视频的内容标注和解析技术研究

体育视频的内容标注和解析技术研究sky)把文法分成4种类型,即0型文法,1型文法,2型文法和3型文法.型号越高所受约束越多,对语言的描述能力也就越弱.

我们使用上下文无关文法对体育比赛的结构进行描述,主要是基于以下考虑:上下文无关文法完全可以胜任对体育比赛树状结构的描述;上下文无关文法在自然语言理解,句法模式识别,编译技术等领域有广泛的应用,技术比较成熟;基于上下文无关文法的解析器不仅可以为视频有效生成层次浏览树,而且具有较强的错误处理能力.

其中终结符r,b,e,u分别表示一轮比赛的结束,选手比赛开始,选手比赛结束和一般镜头,非终结符和为结构单元,分别代表每轮比赛和每个选手的比赛.对于语义标注序列buuuuuuuebuuuuuuuueeur,使用文法分析器进行解析得到它的层次结构eur].其中序列最后r前面的eu为错误标示,可以用错误恢复策略进行处理.由于视频序列在进行基于统计的语义标注时,存在某种程度的不确定性.所以错误处理应当结合语义标注的确定度来进行.如果出错标注本身的确定度比较低,则可以认为该标注有错;如果出错标注的确定度比较高,则可以认为错误发生在它的前面.

以上,我们通过基于压缩域的镜头分割,语义事件的检测和语法制导的结构解析实现了体育视频的内容标注和解析.虽然我们主要以跳水视频为例进行分析,但是其中的技术完全可以应用到其他类似体育视频的分析中,甚至一般视频的处理中.我们的研究表明,尽管限于当前的技术水平,完全自动的,通用的视频内容理解是不太可能的,但是通过有效的人机交互和建立应用相关的模型,新的技术将可以面对视频信息大量涌现的挑战,给人们带来更加丰富和方便的体验.

五,预期研究成果及创新之处

一个压缩域镜头边界检测的有效算法

体育视频中慢镜重放的检测方法

基于压缩域的视频文本检测和分割

体育视频中状态事件的识别

视音频融合的事件检测

基于文法的体育视频结构解析

一个通用的体育视频内容分析框架及其系统实现

六,已有工作基础

1,已有资源:

4.96G的跳水比赛视频数据,总长度约8小时20分钟;

5.33G的足球比赛视频数据,总长度约9个小时;

2.58G的其他体育视频数据,包括篮球,排球和网球等;

2,已进行工作

一个基于内容的智能视频检索系统:iVideo

一种通过关键帧提取和组织来浏览视频的方式:XPlayer

可视化的视频分析工具:MediaLab

综合颜色特征和摄像机运动分析的镜头边界检测算法

基于标志模板的重放镜头检测算法

跳水比赛视频中精彩片断的自动提取:iVideoAnalyzer

基于压缩域文本检测的体育视频结构分析:SportsPlayer

3,专利和age

and

Graphics,

Dec

2021.

N.

Dimitrova,

H.J.

Zhang,

B.

Shahraray,

I.

Sezan,

T.

Huang,

and

A.

Zakhor,

Applications

of

Video-Content

Analysis

and

Retrieval,

IEEE

Multimedia,

Vol.

9,

No.

4,

2021.

庄越挺,潘云鹤,吴飞编著,网上多媒体信息分析与检索,清华大学出版社,2021年.

M.

Flickner

et

al,

Query

by

Image

and

Video

Content:

The

QBIC

System,

IEEE

Computer,

28,

1995.

D.

Ponceleon,

S.

Srinivasan,

A.

Amir,

D.

Petkovic,

and

D.

Diklic,

Key

to

Effective

Video

Retrieval:

Effective

Cataloging

and

Browsing,

in

Proc.

ACM

Multimedia,

1998.

A.

Hampapur,

A.

Gupta,

B.

Horowitz,

C-F.

Shu,

C.

Fuller,

J.

Bach,

M.

Gorkani,

and

R.

Jain,

Virage

Video

Engine,

SPIE

Storage

and

Retrieval

for

Images

and

Video

Databases

V,

1997.

H.

D.

Wactlar,

T.

Kanade,

M.

A.

Smith,

and

S.

M.

Stevens,

Intelligent

Access

to

Digital

Video:

Informedia

Project,

IEEE

Computer,

Vol.29,

No.3,

pp.46-52,

May

1996.

S.-F.

Chang,

W.

Chen,

H.

Meng,

H.

Sundaram,

and

D.

Zhong,

VideoQ:

an

automated

conte