多媒体信息处理

1、.：.；课程设计义务书学生姓名： 专业班级： 指点教师： 学 院： 信息学院 题 目: 多媒体信息处置 初始条件： MATLAB软件平台要求完成的主要义务:设计义务设计视频紧缩系统中的运动估计算法：全搜索法FS: Full Search和三步法(TSS: Three Step Search)，比较二种方法的搜索点和每帧的峰值信噪比PSNR： peak signal to noise ratio设计要求 编制出有全搜索法和三步搜索法分别实现的算法代码对给定的视频中的两幅相邻图像进展运动块估计算法，对视频进展运动估计，并根据估计结果与原来的第二幅图进展比较，计算PSNR，分析全搜索法和三步搜索法的

2、优劣。时间安排： 2021年12月15日-12月25日：研讨原理，进展实际学习 2021年12月26日-12月31日：编写程序源代码 2021年1月1日-1月5日 ：调试程序 2021年1月6日-1月10日 ：撰写报告争辩时间2021年1月12日。 指点教师签名： 年 月 日系主任签名： 年 月 日 PAGE 28TOC o 1-3 h u HYPERLINK l _Toc11857 摘要 PAGEREF _Toc11857 2 HYPERLINK l _Toc30624 Abstract PAGEREF _Toc30624 3 HYPERLINK l _Toc16717 1 运动估计算法概念

3、 PAGEREF _Toc16717 4 HYPERLINK l _Toc6696 1.1 运动估计算法根本思想 PAGEREF _Toc6696 4 HYPERLINK l _Toc14817 1.2 运动估计算法实验原理 PAGEREF _Toc14817 4 HYPERLINK l _Toc14345 2 实验原理和方法 PAGEREF _Toc14345 5 HYPERLINK l _Toc20743 2.1 块匹配运动估计中的准那么函数 PAGEREF _Toc20743 5 HYPERLINK l _Toc2401 2.1.1 SSE(和方差) PAGEREF _Toc2401 5

4、 HYPERLINK l _Toc23877 2.1.2 MSE(均方差) PAGEREF _Toc23877 5 HYPERLINK l _Toc5621 2.1.3 RMSE(均方根) PAGEREF _Toc5621 6 HYPERLINK l _Toc3391 2.1.4 比较结果 PAGEREF _Toc3391 6 HYPERLINK l _Toc18436 2.2 全搜索法FS PAGEREF _Toc18436 6 HYPERLINK l _Toc26552 2.3 三步法(TSS) PAGEREF _Toc26552 7 HYPERLINK l _Toc17087 2.4 峰

5、值信噪比 PAGEREF _Toc17087 8 HYPERLINK l _Toc17589 3运动估计算法的MATLAB编程 PAGEREF _Toc17589 8 HYPERLINK l _Toc354 3.1 MATLAB引见 PAGEREF _Toc354 8 HYPERLINK l _Toc20640 3.2 全搜索法 PAGEREF _Toc20640 9 HYPERLINK l _Toc11334 3.2.1 算法的描画 PAGEREF _Toc11334 9 HYPERLINK l _Toc29086 3.2.2 算法的流程图 PAGEREF _Toc29086 9 HYPER

6、LINK l _Toc15212 3.3 三步法 PAGEREF _Toc15212 10 HYPERLINK l _Toc26737 3.3.1 算法的描画 PAGEREF _Toc26737 10 HYPERLINK l _Toc31297 3.3.2 算法的流程图 PAGEREF _Toc31297 11 HYPERLINK l _Toc4516 3.4 主要的函数阐明 PAGEREF _Toc4516 11 HYPERLINK l _Toc24243 4 仿真结果及分析 PAGEREF _Toc24243 12 HYPERLINK l _Toc4303 4.1 全搜索法结果 PAGER

7、EF _Toc4303 12 HYPERLINK l _Toc30163 4.2 三步法结果 PAGEREF _Toc30163 15 HYPERLINK l _Toc16175 4.3分析与比较 PAGEREF _Toc16175 18 HYPERLINK l _Toc39 4.4 实验中出现的问题 PAGEREF _Toc39 18 HYPERLINK l _Toc16371 5 小结与领会 PAGEREF _Toc16371 19 HYPERLINK l _Toc3936 参考文件 PAGEREF _Toc3936 20 HYPERLINK l _Toc28643 附录 PAGEREF

8、_Toc28643 21摘要 近几十年来，我们正在阅历着一场数字革命，数字数据和数字通讯异常普遍。如今，在台式机上的多媒体信息处置技术曾经日趋成熟。 数字信号不仅更加强壮，而且数字表示和数字传输最主要的益处是它们使得在同样的网络上提供不同范围的效力变得更加简单。基于计算机的多媒体信息处置技术中的视频处置技术使计算机和通讯以一种全新的方式结合在一同。 运动估计是多媒体视频信息处置中一个很根本的、也很重要的问题。运动估计，通常是指二维的平面图像运动估计或者是三维的实体运动的估计。 现实上，它不断是人们研讨很多的主题。块运动估计和块运动补偿是最常用的方法。块运动估计和补偿曾经被运用在如 H.261，

9、MPEG1-2 等国际数字视频紧缩规范中1。块运动估计同样也被广泛地运用在很多其它的数字视频运用中，比如规范紧缩中的运动补偿滤波。 当前的块运动估计算法包括：全搜索法；三步法；共轭方向搜索法；两维对数下降法；交叉搜索法；动态窗口搜索法；两步搜索法等。它们在计算速度和计算精度上各有特点。其中全搜索方法的精度普通是最高的，但是由于是逐点搜索，所以在速度上是最慢的；而三步快速搜索仅在事先确定的侯选的运动矢量的范围内计算准那么函数的值，因此精度比较低，但是由于处置的点较少，它的处置速度很快。运动估计与超分辨率等技术相结合，将可以很大程度地提高图像的质量，运用到视频恢复等技术中，因此运动估计的研讨会有较

10、大的运用前景。关键词：多媒体信息处置 运动估计 全搜索法 三步法AbstractIn recent decades, we are experiencing a digital revolution . digital data and digital communications are abnormaly common. Now, on the desktop, multimedia information processing technology has matured . Not only digital signal is more robust , but also the ma

11、in benefit of digital representation and digital transmission is that they make it easier to provide a diverse range of services on the same network . Computer-based multimedia information processing technology in the video processing technology enables computers and communications together in a new

12、 way .Motion estimation is a very basic and very important issue in multimedia video information processing . Motion estimation usually refers to the estimated two-dimensional planar image motion estimation or three-dimensional movement of the entity . In fact, it has been the study subject of a lot

13、 of people . Block motion estimation and motion compensation block are the most commonly used methods. Block motion estimation and compensation have been used in such as H.261, MPEG1-2 digital video compression and other international standards 1 . Block motion estimation is widely used also in many

14、 other digital video applications , such as the standard compression motion compensation filtering.The current block motion estimation algorithms include full search method ,three-step method , conjugate direction search method , two-dimensional logarithmic descent , cross- search method , dynamic w

15、indow search method , two-step search method. They have their own characteristics in calculation speed and accuracy . The accuracy of the full search method is generally the highes.But because it is the search -by-point , it is the speed of the slowest .And three-step quick search calculated only cr

16、iterion function value in the range of pre-determined candidate motion vectors ,therefore it has relatively low accuracy and fewer point processing . Its processing speed is very fast. Motion estimation combining super-resolution technology will be able to greatly increase the quality of the image,

17、using the video restoration technology , and thus the motion estimation studies have greater prospects.Keywords multimedium information processing motion estimation Full search Method of three-step method 1 运动估计算法概念 视频原始图像中存在着大量的信息冗余，如时间冗余、空间冗余、信息熵冗余、谱间冗余、几何构造冗余、视觉冗余和知识冗余等等。运动估计是视频紧缩编码中的中心技术之一，采用运动估

18、计和运动补偿技术可以消除视频信号的时间冗余以提高编码效率。如何提高运动估计的效率，使运动估计算法的搜索过程更强壮、更快速、更高效成为目前研讨的热点。运动估计的根本思想是尽能够准确地获得序列图像帧间的运动位移，即运动矢量。由于运动估计越准确，预测补偿的图像质量越高，补偿的残差就越小，补偿编码所需位数越少，需求传输的比特率就越小。利用得到的运动矢量在帧间进展运动补偿。补偿残差经过变换、量化、编码后与运动矢量一同经过熵编码，然后以比特流方式发送出去。运动估计算法多种多样，大体上可以把它们分成四类：块匹配法、递归估计法、贝叶斯估计法和光流法。其中块匹配运动估计算法因其具有算法简单、便于VLSI实现等优

19、点得到广泛运用。所以本文将重点引见块匹配运动估计算法。1.1 运动估计算法根本思想 运动估计的根本思想是尽能够准确地获得序列图像帧间的运动位移，即运动矢量。运动估计算法的目的是效率和准确性。由于在成象的场景中普通有多个物体作不同的运动，假设直接按照不同类型的运动将图像分割成复杂的区域是比较困难的。最直接和不受约束的方法是在每个像素都指定运动矢量，这就是所谓基于像素表示法。这种表示法是对任何类型图像都是适用的，但是它需求估计大量的未知量，并且它的解时常在物理上是不正确，除非在估计过程中施加适当的物理约束。这在详细实现时是不能够的，通常采用基于块的物体运动表示法。由于运动估计越准确，预测补偿的图像

20、质量越高，补偿的残差就越小，补偿编码所需位数越少，需求传输的比特率就越小。1.2 运动估计算法实验原理在帧间预测编码中，由于活动图像临近帧中的景物存在着一定的相关性。因此，可将活动图像分成假设干块或宏块，并设法搜索出每个块或宏块在临近帧图像中的位置，并得出两者之间的空间位置的相对偏移量，得到的相对偏移量就是通常所指的运动矢量，得到运动矢量的过程被称为运动估计。 运动矢量和经过运动匹配后得到的预测误差共同发送到解码端，在解码端按照运动矢量指明的位置，从曾经解码的临近参考帧图像中找到相应的块或宏块，和预测误差相加后就得到了块或宏块在当前帧中的位置。 运动估计的准确程度往往用补偿图像与原图像比较的P

21、SNR来衡量表示。2 实验原理和方法2.1 块匹配运动估计中的准那么函数块之间能否匹配是经过各种不同的准那么函数来判别。常用的块匹配准那么函数包括均方误差函数MSE，最小绝对差误差函数MAD，最大匹配像素个数函数MPC，绝对平均误差函数MAE，相互关函数CCF，最大误差最小函数MME。还有一些比较新的准那么函数，比如，块特征匹配函数BFM等等。下面引见其中几种。2.1.1 SSE(和方差) 该统计参数计算的是拟合数据和原始数据对应点的误差的平方和，计算公式如下SSE越接近于0，阐明模型选择和拟合更好，数据预测也越胜利。接下来的MSE和RMSE由于和SSE是同出一宗，所以效果一样。2.1.2 M

22、SE(均方差) 该统计参数是预测数据和原始数据对应点误差的平方和的均值，也就是SSE/n，和SSE没有太大的区别，计算公式如下2.1.3 RMSE(均方根) 该统计参数，也叫回归系统的拟合规范差，是MSE的平方根，就算公式如下 2-1在这之前，我们一切的误差参数都是基于预测值和原始值之间的误差。从下面开场是一切的误差都是相对原始数据平均值而展开的。2.1.4 比较结果根据块匹配的特性和实现的方便性，我们选择MSE(均方差)算法。即 2-22.2 全搜索法FS一切的运动估计算法中FS是性能最好的，由于它是对整个搜索窗口的每一个点进展块匹配计算，根据均方差比如MSE准那么函数或绝对差比如MAD准那

23、么函数最小的原那么最后得出最正确匹配点。由于FS逐点搜索，其计算量也是最大的，假设系统处置速度不够，那么用这种方法是很难实现多媒体系统的实时化的。其它任何一种算法的性能都不如FS，但是其它的算法都是经过减少在搜索窗中搜索的点数，以减少计算量，其性能必然都有所下降，是以牺牲性能来换取处置速度的提高。X以下图为FS的搜索过程，黑色箭头矢量表示了搜索点的顺序，直到搜索完好个窗口的点2。图2-3 全搜索法2.3 三步法(TSS) 三步法是运动估计的一种很好的算法，快速而且高效，它根本上坚持了FS的性能，但其计算量只需FS的10%左右。TSS在会议电视和可视中是运用最多的，它是经过三步搜索，逐渐减小搜索

24、步长。每次搜索都是以上一步的搜索结果为中心，进展周围一定步长的3*3像素的搜索，搜索精度为1个像素。如图，显示TSS的全过程：第一步，以窗口中心为中心，步长为4，进展周围8个点搜索，根据最小绝对差原那么得到一个最正确匹配点，共搜索了9个点；第二步，以上步最正确匹配点为中心，步长为2，继续搜索周围8个点得到匹配点，共搜索了8个点；第三步，同上一步，只是步长为1，最后得到的最正确匹配点就是要得到的运动估计的点，从而得到运动矢量进展图像的预测。TSS共搜索了25个点，而FS要进展15*15=225点搜索，运算时间明显减少，性能稍有下降。因此，它是一种很好的运动估计算法。图2-4 三步搜索法2.4 峰

25、值信噪比 峰值信噪比经常缩写为PSNR是一个表示信号最大能够功率和影响它的表示精度的破坏性噪声功率的比值的工程术语。由于许多信号都有非常宽的动态范围，峰值信噪比常用对数分贝单位来表示。PSNR是“Peak Signal to Noise Ratio的缩写。peak的中文意思是顶点。而ratio的意思是比率或比列的。整个意思就是到达噪音比率的顶点信号，psnr是普通是用于最大值信号和背景噪音之间的一个工程工程。通常在经过影像紧缩之后，输出的影像通常都会有某种程度与原始影像不一样。为了衡量经过处置后的影像质量，我们通常会参考PSNR 值来认定某个处置程序够不够令人称心。 Peak 就是指8 bit

26、s 表示法的最大值255。MSE 指 Mean Square Error均方误差，各值相差的n次方和的平均值的n次平方根(这几个字应该没有)，I(角标n)指原始影像第n个pixel 值，P(角标n)指经处置后的影像第n个pixel 值。PSNR 的单位为dB。所以PSNR值越大，就代表失真越少。 PSNR 是最普遍，最广泛运用的评鉴画质的客观量测法，不过许多实验结果都显示，PSNR 的分数无法和人眼看到的视觉质量完全一致，有能够 PSNR 较高者看起来反而比 PSNR 较低者差。这是由于人眼的视觉对于误差的敏感度并不是绝对的，其感知结果会遭到许多要素的影响而产生变化例如：人眼对空间频率较低的对

27、比差别敏感度较高，人眼对亮度对比差别的敏感度较色度高，人眼对一个区域的感知结果会遭到其周围临近区域的影响。计算公式如下所示： 2-33运动估计算法的MATLAB编程3.1 MATLAB引见 MATLAB是一个高级的矩阵/阵列言语，它包含控制语句、函数、数据构造、输入和输出和面向对象编程特点。用户可以在命令窗口中将输入语句与执行命令同步，也可以先编写好一个较大的复杂的运用程序M文件后再一同运转，可移植性好、可拓展性极强。 MATLAB是一个包含大量计算算法的集合。其拥有600多个工程中要用到的数学运算函数，可以方便的实现用户所需的各种计算功能。MATLAB的这些函数所能处理的问题大致包括矩阵运算

28、和线性方程组的求解、微分方程及偏微分方程的组的求解、符号运算、傅立叶变换和数据的统计分析、工程中的优化问题、稀疏矩阵运算、复数的各种运算、三角函数和其他初等数学运算、多维数组操作以及建模动态仿真等。 MATLAB有两种任务方式：一种是交互式的命令行任务方式；另一种是M文件的程序任务方式。在前一种任务方式下，MATLAB被当做一种高级数学演算纸和图形表现器来运用，MATLAB提供了一套完好的而易于运用的编程言语，为用户提供了二次开发的工具，下面主要引见MATLAB控制语句和程序设计的根本方法。 用MATLAB言语编写的程序，称为M文件。M文件有两类：命令文件和函数文件。两者区别在于：命令文件没有

29、输入参数，也不前往输出参数；而函数文件可以输入参数，也可以前往输出参数。命令文件对MATLAB任务空间的变量进展操作，而且函数文件中定义的变量为部分变量，当函数文件执行终了时，这些变量被去除。M文件可以运用任何编辑程序建立和编辑，而普通常用的是运用MATLAB提供的M文件窗口。 本次课程设计中我全部采用M文件，把每个需求本人编程实现的模块都分别放在一个人函数文件中最后建立一个命令文件中放主干程序并在其中调用之前写好的函数实现整个过程。3.2 全搜索法3.2.1 算法的描画 全搜索算法是先将视频流中的第 K+1 帧划分为许多个不重叠的，相互紧靠着的 N*N 大小的块。然后依次对每一块进展处置。在

30、处置某一块时，以该块的中心点为中心点，在第 K 帧中的窗口内的每个点都进展一次匹配的运算。从中选择准那么函数值最理想的那个点，就是与之相匹配的点。3.2.2 算法的流程图 块运动估计算法的中心是准那么函数的选择。其总体思想是首先将图像划分成假设干个块，对每一个块进展估计。也即计算出窗口中的像素点的个数后，再选择适宜的准那么函数进展计算，求出其最小值。该算法的流程图3如图图3-1 全搜索法流程3.3 三步法3.3.1 算法的描画 三步法是运动估计的一种很好的算法，快速而且高效。它是经过三步搜索，逐渐减小搜索步长。每次搜索都是以上一步的搜索结果为中心，进展周围一定步长的 3*3 像素的搜索，搜索精

31、度为 1 个像素。3.3.2 算法的流程图图3-2 三步搜索法流程3.4 主要的函数阐明1 A=imread(filename)读取一个名为filename的灰度或者真彩图像到A中假设文件包含一个灰度图像，A为一个二维数组；假设文件包含一个真彩色RGB图像，那么A是一个三维数组。2 A=rgb2gray(B)将真彩色图像B转换成灰度图像格式A3imshow(A,)用途置图形图的格式将图形显示出来。表示将A中的最高值显示为黑，最低值显示为白。4 quiver(x,y，u，v)在点x,y处显示对应于分量u,v的速度向量。5 tic;toc用于计算程序所花的时间4 仿真结果及分析4.1 全搜索法结果

32、图4-1 第一幅图图4-2 第一幅图像图4-3 帧间差值图4-4 利用全搜索法匹配后的帧间差图4-5 利用全搜索法恢复的图像图4-6 全搜索法得出的位移矢量图Elapsed time is 9.579308 seconds.PSNR =37.63024.2 三步法结果图4-7 第一幅图图4-8 第二幅图图4-9 帧间差值图4-10 三步搜索法匹配后的帧间差值图4-11 用三步法恢复后的第二帧图像图4-12 三步搜索法的位移矢量图Elapsed time is 7.989397 seconds.PSNR =336.94604.3分析与比较全搜索法中的PSNR =37.6302time=9.579

33、308 seconds三步搜索法中的PSNR =36.9460time=7.989397 seconds也就是说两种搜索法的性能相近，全搜索法更准确一些。但是全搜索法所用的时间稍长些。4.4 实验中出现的问题1当运用其他本人截取的较大视频图片进展实验时，会出现如下警告：Warning: Image is too big to fit on screen; displaying at 67% 经过查询网上的协助 发现了问题的缘由：480P的视频要显示的像素太多，但figure显示图片位置的大小是固定的，这两者发生了冲突。于是我在暴风视频中选择240P的视频截图进展的实验，顺利得出结果。2 每次实

34、验显示的所需时间略有不同经过查阅网上的资料发现是由于系统在运转程序时还运转了其他的运用程序，所以每次实验得出的时间都略有不同。5 小结与领会 经过本次对多媒体信息处置课程设计，让我更深化的了解了多媒体信息的获取、搜索和保管的根本方法。基于块的运动估计，是先将视频图像分成一个个规那么的图像块，然后对每个图像块估计运动矢量。基于块的运动估计和运动补偿曾经广泛运用于各种视频紧缩编码规范。因此，本次课程设计是非常有作用的，它让我了解了多媒体处置的根本原理。课程设计中会遇到很多的困难，但在本人思索下最终处理了问题。所以，本次课程设计我个人的收获很大，但是让我知道本人还在图像编程方面有很多欠缺的地方。不仅

35、对均方误差(MSE)、绝对值误差(MAD)更深的了解，并且采用全搜索块匹配方法得到一切宏块的运动矢量，把MATLAB言语的知识又重新的过了一遍。参考文件1 戴 酉, 李小红, 钱源诚.MPEG 运动估计的改良.淮南工业学院学报，2001 年，第 21 卷第 2 期，3033.2 唐泽鹏，秦雷，朱昌秀.运动估计算法分析.南京邮电学院，2001年，第12期，1013.3 赵美枝.运动估计算法的实现、分析与改良，2006年附录1 全搜索法%?给图像扩边，每个边都扩展dm大小% I1=double(I1);I2=double(I2);rownum colnum = size(I1); II=zeros

36、(rownum+2*dm,colnum+2*dm);II(dm+1:dm+rownum,dm+1:dm+colnum)=I1;%errorfor i=1:dm II(i,dm+1:dm+colnum)=II(dm+1,dm+1:dm+colnum);%left II(rownum+dm+i,dm+1:dm+colnum)=II(dm+rownum,dm+1:dm+colnum);%downendfor j=1:dm II(1:rownum+2*dm,j)=II(1:rownum+2*dm,dm+1);%up II(1:rownum+2*dm,colnum+dm+j)=II(1:rownum+2

37、*dm,dm+colnum);%rightend tic;%下面进展全搜索算法 blocksize=16; rowblocks =rownum/blocksize; colblocks =colnum/blocksize; A=99999999999999999999; %为了找到最小的均方误差，A用于设定一个很大的初值 Eij=0; xrecord=ones(16,16); %xrecord，yrecord用于存放匹配块的块号，即运动矢量 yrecord=ones(16,16); diff=zeros(rownum,colnum); %这幅图的大小为rownum*colnum for x=0

38、:(rowblocks-1) %x表示行中第几个子块 row=x*blocksize; for y=0:(colblocks-1) %y表示列中第几个子块 col=y*blocksize;% tempx=x*blocksize+1:(x+1)*blocksize;% tempy=y*blocksize+1:(y+1)*blocksize; for p=-dm:dm for q=-dm:dm %p,q表示x,y对应子块在前一帧所的搜索位置 % Eij=0; Eij=sum(sum(I2(row+1:row+blocksize,col+1:col+blocksize)-. II(row+dm+p+

39、1:row+dm+p+blocksize,col+dm+q+1:col+dm+q+blocksize).2)/(blocksize2); %后一张图片与前一张图片对应位置的值作比较，得mse if Eij0)&(col+dm+q1+10)&(row+dm+p1+blocksizerownum+dm)&(col+dm+q1+blocksizecolnum+dm) Eij=0; Eij=sum(sum(I2(row+1:row+blocksize,col+1:col+blocksize)-II(row+dm+p1+1:row+dm+p1+blocksize,col+dm+q1+1:col+dm+q

40、1+blocksize).2)/(blocksize2); if Eij0)&(col+dm+q2+10)&(row+dm+p2+blocksizerownum+dm)&(col+dm+q2+blocksizecolnum+dm) Eij=0; Eij=sum(sum(I2(row+1:row+blocksize,col+1:col+blocksize)-II(row+dm+p2+1:row+dm+p2+blocksize,col+dm+q2+1:col+dm+q2+blocksize).2)/(blocksize2); if Eij0)&(col+dm+q3+10)&(row+dm+p3+blocksizerownu