基于二维图像分割的视频镜头边界检测方法研究课件

基于二维图像分割的视频镜头边界检测方法研究学位申请人：谢明华指导老师：彭进业教授

2006年6月13日内容提纲：背景及意义基于二维图像分割的镜头边界检测总结与展望一、背景及意义视频边界的概念 一个镜头(shot)是相机的一次连续拍摄，代表的是时间和空间上一组连续的动作,是一系列相互关联的连续帧的组合。 视频中一秒钟包含20-30幅帧图像。一、背景及意义镜头边界类型一、背景及意义当人们要查找多媒体视频中感兴趣的信息时，如果视频时间短，可以通过手工调整时间码的方式来进行检索，但是面对大量的多媒体视频时，记住某一段视频的时间位置并快速将其找出是不现实的。用手工控制时间码浏览的方式显然不能满足对大量视频进行检索的要求。为了有效地利用多媒体信息，人们需要对其进行自动的组织、索引以方便语义、内容上的检索，基于内容的视频检索技术正是基于这一需求而产生的，并且受到了越来越广泛的重视。一、背景及意义经典镜头边界检测方法：

1.像素比较和块匹配法

2.直方图比较法

3.基于边缘的方法

4.压缩域中的方法

二、基于二维图像分割的镜头边界检测视频的二维时空图

采样

时空二维图（2350帧）突变边界

2.溶解边界

3.淡入淡出边界

4.扫换边界

突变扫换溶解扫换

1、突变边界检测

①分别求三幅时空二维图梯度

②使用自适应阈值检测突变像素点

③定位突变边界

二、基于二维图像分割的镜头边界检测2、溶解边界检测 溶解边界在时空二维图上是前一镜头二维图的亮度逐渐减小与后一镜头二维图亮度逐渐增加同时发生的过程，这样溶解边界的二维图在水平方向的斜率会明显大于镜头内部象素的斜率。由于摄像机及视频物体的运动，镜头内部在时空二维图上的纹理经常会出现倾斜或者包含复杂的边缘。考虑到这些影响以及运算的复杂度，本文在下了三个方向取像素线段计算像素点的斜率。

最小误差

斜率/误差

3、淡入淡出边界检测 如果把单色帧序列看作单色镜头，那么淡入可以看作单色镜头的逐渐消失和后一镜头的逐渐显现的溶解过程，淡出则恰好相反。本文先利用淡入淡出边界包含单色帧的特征对其进行检测

单色帧的方差相对普通视频帧要小得多，同理，在时空二维图上，单色帧对应的列的方差也比非单色的列要小，计算时空二维图每一列的方差用方差的方法可以检测出单色帧或者近似单色帧序列是否存在。但是，单色帧序列只是淡入淡出边界的一部分，淡入淡出边界的开始和结束部分的帧（或淡入的结束部分、淡出的开始部分）并不是单色的，所以这样检测出来的淡入淡出边界并不能精确地定位淡入淡出的起止位置因为淡入淡出和溶解的相似性，我们用溶解边界检测的方法对淡入淡出边界的起始和终止位置进行定位4、扫换边界检测（1）突变扫换边界检测

突变扫换的检测可以分解为单象素突变边界检测

突变扫换示例4、扫换边界检测（2）溶解扫换边界检测溶解扫换边界处具有溶解边界处像素斜率偏大特征，所以我们采用类似于溶解边界检测的算法来检测溶解扫换边界。 溶解扫换边界与溶解边界在时空二维图上的区别在于溶解扫换边界斜率偏高的部分并不一定在垂直方向上，它可能是倾斜的也有可能是弯曲的。所以如果仍然按照溶解边界检测的方法在三个方向上求像素点的斜率的话，容易忽略掉溶解扫换边界的开始和结束部分。所以，在计算像素点斜率的时候，仅考虑水平方向。

溶解扫换示例溶解扫换检测过程二、基于二维图像分割的镜头边界检测闪光的处理照相机闪光灯、闪电等都会造成视频帧的亮度突变。视频中的闪光持续时间很短，亮度变化很大，但闪光过后，图像帧中的内容却与原来相差很小二、基于二维图像分割的镜头边界检测性能评价标准本文采用检出率（Recall）和准确率(Precision)作为视频镜头边界检测算法的评价标准。

突变检测结果及比较溶解检测结果及比较误检溶解边界漏检溶解边界淡入淡出检测结果及比较本文对使用WindowsMovieMaker软件编辑成了突变扫换、溶解扫换两类扫换类型进行了检测，实验结果表明本文方法能准确检测和定位扫换边界。与MinGyoChung的方法比较，突变扫换边界的检测结果与MinGyoChung算法效果类似，但是MinGyoChung的算法完全不能检测溶解扫换边界。漏检误检四、总结与展望研究了现有基于时空二维图的突变边界检测方法并提出了基于梯度的突变检测方法的改进算法，在时空二维图上对运动进行了补偿并且在像素级别上检测突变边界，将发生突变的像素的个数占整列像素的比率作为关于突变的不连续值。提出了一种基于时空二维图像分割的渐变边界检测方法。对于溶解边界，利用溶解边界处像素与相邻像素的变化率普遍比镜头内部的大的特点，选择像素水平、正对角线、负对角线三个方向误差最小的斜率作为该像素的斜率，较大地克服了运动、时空二维图纹理弯曲因素的影响；利用淡入淡出边界包含单色帧的特征采用基于方差的方法检测淡入淡出边界，然后使用溶解边界检测的方法对淡入淡出边界进行定位；将扫换边界分为突变扫换和溶解扫换两类进行检测，利用上述的突变和溶解边界的检测算法。实验结果表明，该方法对各类视频都能得到很好的检出率和准确率。四、总结与展望视频镜头边界检测只是基于内容视频检索的开始，如何实现在基于内容的视频检索的实用化还有很长的一段路要走。在视频镜头的检测中不明显的镜头变换、视频对象的激烈运动、强烈的光照变换等仍然会对镜头的准确检测和精确定位带来影响，提高视频边界检测算法的鲁棒性仍然是一个有价值的研究课题。结合多媒体数据中语音、字幕等特征对视频进行分段。进行关键帧提取、场景、故事单元划分等进一步的工作，并结合时空二维图的颜色、纹理等多种特征进行视频分段以及对视频物体、摄像机的运动进行分析。在精确检测和定位视频镜头边界的基础上，进行视频检索系统的研究。请各位老师和同学提出宝贵意见