图像处理第13章 视频图像处理

第13章视频图像处理章节内容视频的表达、模型、显示、格式运动信息分类、前景运动、背景运动运动信息检测视频处理方法、滤波视频预测编码原理第13章视频图像处理

视频图像处理是基于前三个单元介绍的图象处理技术的进一步拓展。

视频一般代表一类彩色序列图象，它描述了在一段时间内3-D景物投影到2-D图象平面且由3个分离的传感器获得的场景辐射强度。

视频可看作是对（静止）图象的扩展。除了原来图象的一些概念和定义仍然保留外，为表示视频还需要一些新的概念和定义。

视频相对图像最明显的一个区别就是含有场景中的运动信息，这也是使用视频的一个主要目的。针对含有运动信息的视频的特点，原来的图象处理技术也需要相应的推广。13.1视频表达和格式{首先要讨论视频的表示或表达，以及视频的格式和显示等}13.1.1视频基础{视频是在有规律间隔拍摄得到的图像序列，所以视频相对于图像在时间上有了扩展}1.视频表达函数函数f(x,y,t)描述了在时间t投影到图象平面XY的3-D景物的某种性质。对彩色图象用函数

f(x,y)来表示，则考虑视频灰度到彩色的扩展，视频可用函数

f(x,y,t)来表示。1.视频表达函数彩色视频都应该由3个函数（它们组成一个矢量函数）来表示，每个函数描述一个彩色分量。这种格式的视频称之为分量视频。(质量较高，数据量大，用于专业视频设备)复合视频格式中的3个彩色信号被复用成一个单独的信号。将每个色度分量调到一个位于亮度分量高端的频率上，将一条色度分量加到原始亮度信号中。(数据量小质量差)13.1.1视频基础2.视频彩色模型常用的彩色模型是YCBCR模型：Y代表亮度分量，CB和CR代表色度分量。亮度分量可借助彩色的RGB分量获得：色度分量CB表示蓝色部分与亮度值的差，而色度分量CR表示红色部分与亮度值的差(也称色差分量)。由Y、CB

、CR到R、G、B的反变换：13.1.1视频基础3.视频空间采样率视频空间采样指的是对亮度分量Y的采样率，一般对色度分量CB和CR的采样率常只有其的二分之一。使每行像素数减半，每帧行数不变。这种格式成为4:2:2，即每4个Y采样点对应2个CB采样点和2个CR采样点。对于高分辨率的应用，定义了4:4:4的各式，即对亮度分量Y的采样率与对色度分量CB和CR的采样率相同。另外还有4:1:1和4:2:2的格式。13.1.1视频基础4.视频显示视频显示器宽高比主要有4:3和16:9两种。可有两种光栅扫描方式：逐行扫描，隔行扫描逐行扫描：以帧为单位，显示时从左上角逐行进行到右下角；隔行扫描：以场为单位（一帧分为两场：顶场包含所有奇数行，底场包含所有偶数行），垂直分辨率是帧的一半，显示时顶场和底场交替，借助人眼视觉暂留使人感觉为一幅图像。13.1.1视频基础比较两种模式：逐行扫描：清晰度高，数据量大隔行扫描：数据量只需一半，效果模糊{视频在显示时还需要有一定的帧率，即相邻两帧出现的频率。根据人眼的视觉暂留特性，帧率需要高于25帧/秒，低了会出现闪烁和不连续}13.1.1视频基础5.视频码率

视频的数据量由视频的时间分辨率、空间分辨率和幅度分辨率共同决定。存储一秒钟视频图象所需的位数b（也称为视频码率，单位是b/s），设视频帧数是L，空间分辨率M×N，幅度分辨率G（G=2k）视频的数据量也可由行数fy、每行样本数fx和帧频ft来定义。如果用K表示视频中一个像素值的比特数，这样视频码率也可表示为：

b=fxfyftK13.1.1视频基础6.视频格式实际应用中视频有许多不同的格式，下表为一些常用的视频格式13.1.2彩色电视制式常用彩色电视制式保罗NTSC(美国开发，用于美国、日本等)、PAL(德国开发，用于德国、中共等)SECAM(法国开发，用于法国、俄罗斯等)YUV模型Y代表亮度分量，U和V分别正比于色差B–Y和RY称为色度分量。YUV可有PAL制系统中归一化、计算得到：13.1.2彩色电视制式由YUV得到R'、G'、B'的反变换为13.1.2彩色电视制式YIQ模型

在NTSC制系统中使用Y代表亮度分量，I和Q分别是U和V分量旋转33°后的结果。旋转后，I对应在橙色和青色间的彩色，而Q对应在绿色和紫色间的彩色。人眼对在绿色和紫色间的彩色变化不如在橙色和青色间的彩色敏感，所以在量化时Q分量所需要的比特数可比I分量少，传输时Q分量的贷款可比I分量窄。YIQ可由NTSC制系统中归一化R'G'B'经过下式得到：反变换：人眼对色度信号的分辨能力较低，所以在普通电视制式中，均对信号采用比对亮度信号更低的空间采样率，以降低视频数据量。PLA制系统中的基准白色与NTSC制系统中的基准白色是略有不同的。13.2运动分类和表达

{视频图像可以记录景物的运动情况，运动信息也是视频中特有的}1.运动分类前景运动：目标在场景中的自身运动，又称为局部运动背景运动：主要由摄象机的运动所造成，帧图象内所有点整体移动，又称为全局运动或摄象机运动。全局运动一般具有整体性强、比较规律的特点。局部运动常比较复杂，特别是在目标比较多的时候，各目标可做不同的运动，目标尽在空间小范围内表现出一定的一致性。前景和背景运动或静止可能有4种情况：两者均运动或静止以及其中之一静止另一运动。13.2运动分类和表达2.运动矢量场表达由于运动既包括全局运动，又包括局部运动，所以对整个运动场的表达不能仅采用全局模型的方法。极端情况下，可以考虑对每个像素分别描述其运动。将整幅图象分成许多固定大小的块，对块的运动用矢量表示，将每个运动矢量用（有起点）无箭头的线段（线段长度与矢量大小亦即运动速度成正比）来表示，并叠加在原始图象上。不使用箭头是为了表达简介，减小箭头叠加到图像上对图像的影响。由于起点确定，所以方向是明确的。13.2运动分类和表达3.运动直方图表达虽然同一刚性目标上个点的运动常具有一致性，但不同目标间可以有相对运动，所以局部运动比全局运动矢量场复杂的多。运动矢量方向直方图仅保留运动方向信息以减少数据量，依据是人们分辨不同运动首先是根据运动方向，而运动幅度的大小则需要较多的注意力才能够区分，所以可认为运动的方向是最基本的运动信息。13.2运动分类和表达运动区域类型直方图根据局部运动矢量场可实现对其的分割，并得到具有不同仿射参数模型的各个运动区域。具体就是对运动模型进行分类，统计各个运动区域满足不同运动模型的象素。13.2运动分类和表达4.运动轨迹表达运动轨迹表达了目标在运动过程中的位置信息国际标准MPEG-7推荐了运动轨迹描述符这种运动轨迹描述符有一系列关键点和一组在这些关键点间进行插值的函数构成。关键点用2-D或3-D坐标空间中的坐标值表达，而插值函数分别对应各个坐标轴，x(t)对应水平方向轨迹，y(t)对应垂直方向的轨迹，z(t)对应深度方向的轨迹。插值函数表达式：对于上式插值函数，p：时间轴一点，vp：运动速度，ap：运动加速度13.2运动分类和表达对应图13.2.5中3段轨迹的插值函数分别为零次函数、一次函数和两次函数A段零次函数：x(t)=x(t0)B段一次函数：

x(t)=x(t1)+v(t1)(t－t1)C段二次函数：x(t)=x(t2)+v(t2)(t-t2)+a(t2)(t–t2)2/2根据轨迹中的关键点坐标和差值函数形式，可以确定目标沿特定方向的运动情况，综合沿三个方向的运动轨迹，可以确定场景中目标随时间变化而在空间的运动情况。13.3运动检测要理解场景变化的情况，首先要对运动进行检测，确定是否有运动，以及哪些景物有运动；其次对运动进行评估，即确定运动的情况(速度、方向等)。运动检测是视频图像处理中特有的，也是许多视频图像处理的基础。

对运动的检测就是对整个图像中的运动信息的检测，视频中包括前景运动与背景运动，所以运动检测既要检测场景整体运动造成的变化，又要检测具体景物运动造成的变化。13.3.1利用图像差的运动检测视频中，通过逐像素比较可直接求取前后两帧图像之间的差别。对时间上相邻的两幅图像求差可以将图像中运动目标的位置和形状变化突显出来1.差图像的计算图(b)给出一个示例，将长方形区域逐渐向下移动，依次划过椭圆目标的不同部分，将各次结果组合起来，就得到完整的椭圆目标。图(a),如果对一系列图像两两求差，并把差分图像中值为正或负的区域逻辑与起来就可以得到整个目标的形状。13.3.1利用图像差的运动检测如果在图像采集和被摄场景间有相对运动的情况下采集一系列图像，则根据其中存在的运动信息帮助确定图像中有变化的像素。设在两个时刻ti和tj采集到两幅图象f(x,y,ti)和f(x,y,tj)，则据此可得到差图象

（13.3.1）差图像中为0的像素对应在前后两时刻间没有发生变化的地方。差图像中为1的像素对应两图间发生变化的地方，这场是由于目标运动而产生的。13.3.1利用图像差的运动检测差图像中为1的像素也可能源于不同的情况如：

f(x,y,ti)是一个运动目标的象素而

f(x,y,tj)是一个背景象素或是同一个运动目标但不同位置的象素，……13.3.1利用图像差的运动检测式13.3.1中的阈值Tg用来确定两时刻图像的灰度是否存在比较明显的差异，灰度差异显著性的判别：似然比：实际情况下，由于随机噪声影响，没有发生像素移动的地方也会出现图像间差别不为零的情况，把噪声的影响与像素的移动区别开来，可对差别图像取较大的阈值，差别大于特定的阈值是才认为是像素发生了移动。

各μ和σ分别是在时刻ti

和tj采集到的两幅图象的对应观测窗口中的均值和方差，Ts

是显著性阈值13.3.1利用图像差的运动检测2.累积差图象的计算为克服上述随机噪声影响，可利用多幅图像。如果在某一个位置的变化之偶尔出现，就可判断为噪声。设有一系列图像f(x,y,t1),f(x,y,t2),….f(x,y,tn),，并取第一幅图f(x,y,t1)作为参考图，通过将参考图与其后的每一幅图比较就可得到累积差图像(ADI)ADI有三个功能：(1)ADI中相邻象素值间的梯度关系可用来估计目标移动的速度矢量，这里梯度的方向就是速度的方向，梯度的大小与速度成正比(2)ADI中象素的个数（值）可帮助确定运动目标的尺寸和移动的距离(3)ADI中包含了目标运动的全部历史资料，有助于检测慢运动和尺寸较小目标的运动13.3.1利用图像差的运动检测三种ADI图象：(1)绝对(2)正(3)负13.3.1利用图像差的运动检测上述3中ADI图像的值都是对像素的计数结果，初始时均为零，获得下列信息：(1)正ADI图像中的非零区域面积等于运动目标的面积；(2)正ADI图像中对应运动目标移的位置也就是运动目标在参考图中的位置；(3)当正ADI图像中运动目标移动到与参考图中的运动目标不重合时，正ADI图像停止计；(4)绝对ADI图像包含了正ADI图像和负ADI图像中的所有目标区域；(5)运动目标的运动方向和运动速度可根据绝对ADI图像和负ADI图像来确定。13.3.2基于模型的运动检测运动模型考虑对摄象机建模来进行全局运动检测全局运动通用模型：6参数仿射模型：8参数双线性模型：在对模型参数进行估计时，首先从相邻帧中选取足够多的观测点，接着用一定匹配算法求出这些点的观测运动矢量，最后用参数拟合的方法估计模型参数。13.3.3频率域运动检测借助傅里叶变换把检测转到频率域中进行优点是可以分别处理平移、旋转和尺度的变化(1)对平移的检测根据傅里叶变换借助平移性质傅里叶变换相位角之差13.3.3频率域运动检测考虑到傅里叶变换的分离性，得到dϴx(u)和dϴy(v)分别为f(x,y,tk)和f(x,y,tk+1)在X

轴上和Y轴上投影的傅里叶变换的相位角之差。由于相位角的不唯一性，在计算dϴx(u)和dϴy(v)时可采用下列方法，设dx的变化范围满足K为常数，Lx为X方向的像素个数。将f(x,y,tk)和f(x,y,tk+1)在X

轴上和Y

轴上投影的傅里叶变换的相位角各自加上2π的整数倍，可得到dθ(u)的唯一值。13.3.3频率域运动检测(2)对旋转的检测

借助傅里叶变换功率谱进行，图象中的直线模式在傅里叶功率谱中对应过频谱原点的直线模式。对f(x,y,tk)和f(x,y,tk+1)分别进行傅里叶变换，并计算他们的功率谱：在Pk(u,v)和Pk+1(u,v)中分别搜索对应的过原点的直线模式，再计算直线间的夹角得到旋转角。13.3.3频率域运动检测(3)对尺度变化的检测图象空间的尺度变化对应傅里叶变换域中频率高低的变化当图像空间中目标的尺寸变大时，频率域中功率谱的低频分量会增加；当图像空间中目标的尺寸变小时，频率域中功率谱的高频分量会增加1)在Pk(u,v)，Pk+1(u,v)中分别搜索方向相同的直线模式Lk和Lk+12)将Lk投影到Pk+1(u,v)上，得到L'k如果S<1，表明目标图象尺寸增加了S倍如果S>1，表明目标图象尺寸减小了S倍13.4视频滤波{滤波在这里代表多种处理过程和手段分为空域滤波器（仅考虑帧内）和时空滤波器(还考虑帧间）两类}13.4.1基于运动检测的滤波1.直接滤波基于运动检测的滤波需要在运动检测的基础上采用运动适应的技术帧平均技术不影响帧图象空间分辨率的情况下消除噪声沿时间轴的1-D滤波，即进行时域平均，在场景中有突然的随时间变化处会导致时域模糊。运动适应滤波，它利用相邻帧间的运动信息来确定滤波方向，将由于运动造成的沿时间轴变化与噪声导致的变化区别开来。13.4.1基于运动检测的滤波2.利用运动检测信息有限脉冲响应（FIR）滤波器{具有有限的噪声消除能力，特别在仅进行时域滤波且参与滤波的帧较少时。}

无限脉冲响应（IIR）滤波器{有更强的噪声消除能力，但一般会导致傅里叶相位失真的发生}

13.4.2基于运动补偿的滤波运动补偿滤波器作用于运动轨迹上，象素灰度在确定的运动轨迹上保持不变。1.运动轨迹和时空频谱运动轨迹可用一个矢量函数M(t;x,y,t0)来描述帧间灰度变化：13.4.2基于运动补偿的滤波时空函数的傅里叶变换时空频谱的定义域13.4.2基于运动补偿的滤波2.沿运动轨迹的滤波沿运动轨迹的每一帧上的每个点的滤波。定义在(x,y,t)处的滤波输出为：沿一个匀速运动轨迹的线性、空间不变滤波可表示为：式中，h(x,y,t)是沿运动轨迹所使用的1-D滤波器的脉冲响应。脉冲响应也可表为：13.4.2基于运动补偿的滤波对上式进行3-D傅里叶变换，得到运动补偿滤波器的频率响应

有运动补偿且正确时的情况没有运动补偿时的纯时间滤波情况斜线代表运动轨迹13.4.2基于运动补偿的滤波3.运动补偿滤波器假设在沿运动轨迹M(q;x,y,t)的路径上，像素灰度的变化主要源于噪声。在时空域的采样序列中对运动轨迹估计。使用N帧图来对第k帧图进行滤波。在第k帧的(x,y)处估计离散运动轨迹M(l;x,y,t)，它给出第k帧图中(x,y)处象素对应的第l帧图中的坐标在估计轨迹时，要参考第k帧图来估计偏移矢量，如箭头所示确定了运动补偿滤波器的定义域后，可使用各种滤波方式进行滤波。13.4.2基于运动补偿的滤波4.时空自适应线性最小均方误差滤波时空自适应的线性最小均方误差(LMMSE)滤波可如下进行：在(x,y,t)处的像素估计值为考虑平稳独立噪声(1)时空信号的方差远小于噪声方差时，σf2(x,y,t)≈0，估计值逼近时空均值，μg=μf(2)时空信号的方差远大于噪声方差时，

σf2(x,y,t)>>

σn2(x,y,t)，估计值逼近噪声图像值以避免模糊13.4.2基于运动补偿的滤波5.自适应加权平均滤波自适应加权平均(AWA)滤波在时空中沿运动轨迹计算图像值的一个加权平均。通过优化一个准则函数来确定权重，其值依赖于对运动估计的准确性和围绕运动轨迹区域的空间均匀性。AWA滤波器可如下定义：其中权重K(x,y,t)是归一化常数：当时空中一个像素的值与要滤波像素的值差距大于一个阈值时，对它的权重下降，而加强其它像素的作用。13.4.3消除匀速直线运动模糊假设对在平面上匀速运动的景物采集一幅图像f(x,y)，并设x0(t)和y0(t)分别是景物在x和y方向的运动分量，忽略其他因素，实际采集到的模糊图像g(x,y)为(13.4.20)13.4.3消除匀速直线运动模糊定义滤波函数将式(13.4.20)写成适合实用逆滤波方法的形式：当景物在平面上的匀速运动沿直线进行时，x0(t)和y0(t)均是t的线性函数（且可从模糊视频中估计出来），式(13.4.21)中的积分可解析计算，由运动造成的模糊就可以消除。模糊图移动24个象素移动40个象素移动32个象素{例13.4.1}13.5视频预测编码视频编码，目的是降低视频的码率以减少存储量和加快在信道中的传输，这与静止图像编码类似/并行。1.预测基础当场景变化或景物运动或摄像机的各种运动较快时，视频中相邻帧之间的相关性会变小，预测