第07讲 视频处理技术Ilgl

1、第第07讲讲 视频处理技术视频处理技术I(主教材主教材 3.4，4.8，5.3节）节）3.4 视频处理视频处理4.8 视频编码视频编码5.3 视频编码标准视频编码标准H.26X 3.4 视频处理视频处理3.4.1 视频信号的获取视频信号的获取3.4.2 视频信号的编码视频信号的编码3.4.3 视频信号的传输视频信号的传输3.4.4 视频信号的运动分析视频信号的运动分析3.4.5 三维视频处理与显示三维视频处理与显示视频场景的捕获过程视频场景的捕获过程 景物景物 摄像机摄像机 捕获捕获数字化处理数字化处理/存储存储/传播传播显示显示数字域数字域 3.4.1 视频信号的获取视频信号的获取 视频可分

2、为模拟视频和数字视频。视频可分为模拟视频和数字视频。1.模拟视频模拟视频 普通的广播电视信号是一种典型的模拟视频信号。电视普通的广播电视信号是一种典型的模拟视频信号。电视摄像机通过电子扫描将时间、空间函数所描述的景物进摄像机通过电子扫描将时间、空间函数所描述的景物进行光电转换后，得到单一的时间函数的电信号，其电平行光电转换后，得到单一的时间函数的电信号，其电平的高低对应于景物亮度的大小，即用一个电信号来表征的高低对应于景物亮度的大小，即用一个电信号来表征景物。这种电视信号称为模拟电视信号，其特点是信号景物。这种电视信号称为模拟电视信号，其特点是信号在时间和幅度上都是连续变化的。在时间和幅度上都

3、是连续变化的。 对模拟电视信号进行处理的视频技术（如校正、调制、对模拟电视信号进行处理的视频技术（如校正、调制、滤波、录制、编辑、合成等）称为模拟视频技术。滤波、录制、编辑、合成等）称为模拟视频技术。 3.4.1 视频信号的获取视频信号的获取在电视接收机中，通过显示器进行光电转换，产生在电视接收机中，通过显示器进行光电转换，产生为人眼所接受的模拟信号的光图像。为人眼所接受的模拟信号的光图像。模拟电视系统通常用光栅扫描方式。光栅扫描是指模拟电视系统通常用光栅扫描方式。光栅扫描是指在一定的时间间隔内电子束以从左到右、从上到下在一定的时间间隔内电子束以从左到右、从上到下的方式扫描感光表面。若时间间隔

4、为一帧图像的时的方式扫描感光表面。若时间间隔为一帧图像的时间，则获得的是一场图像；在电视系统中，两场图间，则获得的是一场图像；在电视系统中，两场图像为一帧。扫描方式常有逐行扫描和隔行扫描。像为一帧。扫描方式常有逐行扫描和隔行扫描。 (1) 逐行扫描逐行扫描逐行扫描如图逐行扫描如图3.10所示。在图（所示。在图（a）中，实线为行扫）中，实线为行扫描正程，电子束从左到右扫描过的轨迹；虚线是行描正程，电子束从左到右扫描过的轨迹；虚线是行扫描逆程，电子束从右到左扫过的轨迹。行扫描周扫描逆程，电子束从右到左扫过的轨迹。行扫描周期为电子束从左到右扫描完一行正程所需的时间加期为电子束从左到右扫描完一行正程所

5、需的时间加上从右返到左所需的轨迹。上从右返到左所需的轨迹。 逐行扫描逐行扫描 (2) 隔行扫描隔行扫描隔行扫描如图隔行扫描如图3.11所示。在隔行扫描，一幅图像由所示。在隔行扫描，一幅图像由奇数场（场正程）和偶数场（场逆程）组成。场扫奇数场（场正程）和偶数场（场逆程）组成。场扫描周期为场扫描正程时间加上逆程时间。采用隔行描周期为场扫描正程时间加上逆程时间。采用隔行 行间隔(a) 逐行扫描第i+1帧第i帧第i-1帧帧间隔（b）逐行扫描的帧结构图3.10逐行扫描隔行扫描隔行扫描采用隔行扫描的目的是为了压缩光电转换后所产生的视采用隔行扫描的目的是为了压缩光电转换后所产生的视频信号的频带。频信号的频带

6、。(3)光栅特性光栅特性(a) 隔行扫描奇数场(b) 隔行扫描偶数场图3.11隔逐行扫描(3) 光栅特性光栅特性光栅扫描的基本参数是帧频和每帧扫描行数，它们光栅扫描的基本参数是帧频和每帧扫描行数，它们分别对应于光栅扫描的时间分辨率和空间垂直分辨分别对应于光栅扫描的时间分辨率和空间垂直分辨率。视频就是由许许多多相隔率。视频就是由许许多多相隔t的帧组成的。根据的帧组成的。根据人眼视觉惰性，低于一定阈值的帧频会使人眼感觉人眼视觉惰性，低于一定阈值的帧频会使人眼感觉到图像动作的跳跃和闪烁，所以提高帧频能有效地到图像动作的跳跃和闪烁，所以提高帧频能有效地改善画面的连续性和稳定性。每帧扫描行越多，图改善画

7、面的连续性和稳定性。每帧扫描行越多，图像就越清晰。像就越清晰。 2.数字视频数字视频模拟视频信号经过数字化处理后，就变成了一帧帧模拟视频信号经过数字化处理后，就变成了一帧帧由数字图像组成的图像序列，即数字视频信号，它由数字图像组成的图像序列，即数字视频信号，它用二进制数字表示，是计算机能够处理的数字信号。用二进制数字表示，是计算机能够处理的数字信号。每帧图像由每帧图像由N行、每行行、每行M个像素组成，即每帧图像共个像素组成，即每帧图像共有有MN个像素。个像素。 数字视频图像的采样过程数字视频图像的采样过程 视频场景视频场景 空间采样点阵空间采样点阵 时间采样时间采样 与模拟视频相比，数字视频有

8、许多优点：与模拟视频相比，数字视频有许多优点：（1）适合于网络应用）适合于网络应用 在网络环境中，视频信息可以很方便地实现资源的共在网络环境中，视频信息可以很方便地实现资源的共享享 和可以长距离传输，而模拟信号在传输过程中会有和可以长距离传输，而模拟信号在传输过程中会有信号损失信号损失 。（2）再现性好）再现性好 数字视频可以不失真地进行无限次拷贝，抗干扰能力数字视频可以不失真地进行无限次拷贝，抗干扰能力强，模拟信号由于是连续变化的复制容易失真。强，模拟信号由于是连续变化的复制容易失真。 （3）便于计算机编辑处理）便于计算机编辑处理 模拟信号只能简单调整亮度、对比度和颤色，而数字模拟信号只能简

9、单调整亮度、对比度和颤色，而数字视频信号可以传送到计算机内进行存储、处理，很容视频信号可以传送到计算机内进行存储、处理，很容易进行创造性地编辑与合成，并进行动态交互。易进行创造性地编辑与合成，并进行动态交互。 数字视频的缺陷：数字视频的缺陷是处理速度慢，所需的数字视频的缺陷：数字视频的缺陷是处理速度慢，所需的数据存储空间大，数字图像的处理成本增高。通过对数字数据存储空间大，数字图像的处理成本增高。通过对数字视频的压缩，这样可以节省大量的存储空间。光盘技术的视频的压缩，这样可以节省大量的存储空间。光盘技术的应用也使得大量视频信息的存储成为可能应用也使得大量视频信息的存储成为可能。3.4.2 视频

10、信号的编码视频信号的编码 数字视频的数据量非常大。视频压缩编码无论在视频通信数字视频的数据量非常大。视频压缩编码无论在视频通信还是视频存储中都具有极其重要的意义。视频编码的目的还是视频存储中都具有极其重要的意义。视频编码的目的就是在确保视频质量的前提下，尽可能地减少视频序列的就是在确保视频质量的前提下，尽可能地减少视频序列的数据量，以便更经济地在给定的信道上传输实时视频信息数据量，以便更经济地在给定的信道上传输实时视频信息或者在给定的存储容量中存放更多的视频图像。视频编码或者在给定的存储容量中存放更多的视频图像。视频编码可分为第一代视频编码方法和第二代视频编码方法。可分为第一代视频编码方法和第

11、二代视频编码方法。 第一代视频编码方法主要有预测编码、变换编码和基于块第一代视频编码方法主要有预测编码、变换编码和基于块的混合编码等。的混合编码等。 第二代视频编码也称为基于内容的编码方法，主要采用分第二代视频编码也称为基于内容的编码方法，主要采用分析合成编码、基于知识的编码、模式编码和语义编码等。析合成编码、基于知识的编码、模式编码和语义编码等。视频压缩基础视频压缩基础因为视频图像的相邻帧是非常相似的，只是由于运因为视频图像的相邻帧是非常相似的，只是由于运动的存在，存在一定程度的帧差（相邻两帧的差值，动的存在，存在一定程度的帧差（相邻两帧的差值，体现了两帧之间的不同之处），所以在视频图像中体

12、现了两帧之间的不同之处），所以在视频图像中主要存在的是时间冗余。主要存在的是时间冗余。 时间冗余时间冗余视频图像中的主要冗余视频图像中的主要冗余3.4.3 视频信号的传输视频信号的传输 视频信号的传输是多媒体信息传输的核心。视频通信视频信号的传输是多媒体信息传输的核心。视频通信有两种基本的传输模式：单点传输模式和多点传输方有两种基本的传输模式：单点传输模式和多点传输方式。式。 单点传输模式需要对等的通信方式，又称为为一对一单点传输模式需要对等的通信方式，又称为为一对一方式。一般将这种对等（方式。一般将这种对等（peer-to-peer）通信称为单）通信称为单播。播。 多点传送是一对多或一对全部

13、的方式，也称为广播方多点传送是一对多或一对全部的方式，也称为广播方式（式（broadcast）或组播。）或组播。 根据服务方式不同，视频流业务可以分为直播和点播。根据服务方式不同，视频流业务可以分为直播和点播。3.4.3 视频信号的传输视频信号的传输 点播是将编码后的视频流存储起来，编码在离线的状态下点播是将编码后的视频流存储起来，编码在离线的状态下进行，而直播则需要编码器实时地对视频信息进行编码。进行，而直播则需要编码器实时地对视频信息进行编码。 视频传输通常要求实时，对时延十分敏感。视频传输通常要求实时，对时延十分敏感。 此外，视频传输涉及传输比特率、吞吐量、延迟等一些重此外，视频传输涉及

14、传输比特率、吞吐量、延迟等一些重要的网络性能参数。要的网络性能参数。3.4.4 视频信号的运动分析视频信号的运动分析 运动分析与估计是数字视频处理的基本内容，也是视频处运动分析与估计是数字视频处理的基本内容，也是视频处理研究的热点与难点理研究的热点与难点 。 研究内容主要是测量计算机投影到拍摄平面上的变化，并研究内容主要是测量计算机投影到拍摄平面上的变化，并用来分析物体的运动结构，估计物体的运动参数用来分析物体的运动结构，估计物体的运动参数 。 与运动图像（视频）处理相关的研究内容包括：运动目标与运动图像（视频）处理相关的研究内容包括：运动目标检测与分割、二维三维运动参数估计、运动物体的三维结

15、检测与分割、二维三维运动参数估计、运动物体的三维结构及空间关系的求解等。构及空间关系的求解等。 运动分析主要有两种方法一是根据时间相邻的两幅或多幅运动分析主要有两种方法一是根据时间相邻的两幅或多幅图像求解物体的运动参数和三维结构信息；二是基于光流图像求解物体的运动参数和三维结构信息；二是基于光流分析的运动分析。分析的运动分析。 3.4.4 视频信号的运动分析视频信号的运动分析 运动分析与估计应用：计算机视觉、目标跟踪、工业监视运动分析与估计应用：计算机视觉、目标跟踪、工业监视和视频压缩等场合。和视频压缩等场合。 3.4.5 三维视频处理与显示三维视频处理与显示 三维视频处理是对三维视频信号进行

16、处理，即在普通三维视频处理是对三维视频信号进行处理，即在普通二维视频信息的基础上增加深度信息，更逼真地描述二维视频信息的基础上增加深度信息，更逼真地描述现实世界。现实世界。 三维信息可以通过立体显示器显示。立体显示器能完三维信息可以通过立体显示器显示。立体显示器能完整地再现出三维场景的三维信息，显示有纵深的图像，整地再现出三维场景的三维信息，显示有纵深的图像，使观看者可以直接看出场景中物体的远近，迅速直观使观看者可以直接看出场景中物体的远近，迅速直观地洞察图像的现实分布状况，从而获得更加全面和真地洞察图像的现实分布状况，从而获得更加全面和真实的信息。立体视频显示系统是模拟人眼设计的实的信息。立

17、体视频显示系统是模拟人眼设计的 。 三维视频已在许多场合有重要的应用，例如，三维医三维视频已在许多场合有重要的应用，例如，三维医学图像可以给医生提供比二维图像更加精确和有用的学图像可以给医生提供比二维图像更加精确和有用的细节；科学勘探中三维视频可以更加精确地描述勘探细节；科学勘探中三维视频可以更加精确地描述勘探对象等。对象等。 4.8 4.8 视频编码视频编码 4.8.1 4.8.1 帧内预测编码帧内预测编码 4.8.2 4.8.2 帧间预测编码帧间预测编码 4.8.3 4.8.3 活动图像帧间内插活动图像帧间内插4.8 4.8 视频编码视频编码视频编码系统的基本结构如图视频编码系统的基本结构

18、如图4.154.15所示。所示。 信源模型 量化参数 参数统 计特性重建视频噪声输入视频分析量化二进制编码编码器有损过程无损过程信道综合反量化二进制解码解码器图4.15视频编码系统的一般组成4.8.14.8.1帧内预测编码帧内预测编码 在视频预测编码中，主要分为帧内预测编码和帧在视频预测编码中，主要分为帧内预测编码和帧间预测编码。间预测编码。 所谓帧内预测，就是在一个视频帧，即一幅图像所谓帧内预测，就是在一个视频帧，即一幅图像内进行的预测。内进行的预测。 帧内预测编码的优点是算法简单，易于实现，但帧内预测编码的优点是算法简单，易于实现，但压缩比比较低，因此在视频图像压缩中几乎不单压缩比比较低，

19、因此在视频图像压缩中几乎不单独使用。独使用。 视频图像的编码方法的基本思想视频图像的编码方法的基本思想第一帧第一帧关键帧关键帧采用帧内编码采用帧内编码方法（即静态方法（即静态图像的编码方图像的编码方法）进行压缩法）进行压缩 后续帧后续帧只传输相邻帧之间的变只传输相邻帧之间的变化信息（帧差），帧差化信息（帧差），帧差的传送是采用运动估计的传送是采用运动估计和补偿的方法进行编码。和补偿的方法进行编码。 帧间预测编码就是利用视频图像帧间的相关性，帧间预测编码就是利用视频图像帧间的相关性，即时间相关性，来获得比帧内编码高得多的压缩比。即时间相关性，来获得比帧内编码高得多的压缩比。采用预测编码时，不直接

20、传送当前帧的像素值，而是采用预测编码时，不直接传送当前帧的像素值，而是传送传送x和其前一帧或后一帧的对应像素和其前一帧或后一帧的对应像素x之间的差值。之间的差值。4.8.2 4.8.2 帧间预测编码帧间预测编码 具有运动补偿的帧间预测编码是视频压缩具有运动补偿的帧间预测编码是视频压缩的关键技术之一，它包括以下几个步骤：的关键技术之一，它包括以下几个步骤： 首先，将图像分解成相对静止的背景和若干运首先，将图像分解成相对静止的背景和若干运动的物体，通过运动估值得到每个物体的位移动的物体，通过运动估值得到每个物体的位移矢量；矢量； 然后，利用位移矢量计算经运动补偿后的预测然后，利用位移矢量计算经运动

21、补偿后的预测值值 最后对预测误差进行量化、编码、传输，同时最后对预测误差进行量化、编码、传输，同时将位移矢量和图像分解方式等信息送到接收端。将位移矢量和图像分解方式等信息送到接收端。 4.8.2 4.8.2 帧间预测编码帧间预测编码 在具有运动补偿的帧间预测编码系统中，在具有运动补偿的帧间预测编码系统中，对图像静止区和不同运动区的实时完善分解对图像静止区和不同运动区的实时完善分解和运动矢量计算是较为复杂和困难的。在实和运动矢量计算是较为复杂和困难的。在实际实现时经常采用的是像素递归法和块匹配际实现时经常采用的是像素递归法和块匹配法两种简化的办法。法两种简化的办法。 4.8.3 4.8.3 活动

22、图像帧间内插活动图像帧间内插 活动图像的帧间内插编码是在系统发送端每活动图像的帧间内插编码是在系统发送端每隔一段时间丢弃一帧或几帧图像，而在接收端再隔一段时间丢弃一帧或几帧图像，而在接收端再利用图像的帧间相关性将丢弃的帧通过内插恢复利用图像的帧间相关性将丢弃的帧通过内插恢复出来，以防止帧率下降引起闪烁和动作不连续。出来，以防止帧率下降引起闪烁和动作不连续。 恢复丢弃帧的一个简单办法是利用线性内插，恢复丢弃帧的一个简单办法是利用线性内插，缺点在于当图像中有运动物体时，引起图像模糊，缺点在于当图像中有运动物体时，引起图像模糊，为解决这一问题可采用带有运动补偿的帧间内插。为解决这一问题可采用带有运动

23、补偿的帧间内插。 5.3 视频编码标准视频编码标准H.26X 5.3.1 H.261 5.3.1 H.261 视频电话视频电话5.3.2 H.263 Internet5.3.2 H.263 Internet（qqqq）5.3.3 H.264 DVD5.3.3 H.264 DVDITU-T与与ISO/IEC是制定视频编码标准的两大组织，是制定视频编码标准的两大组织，ITU-T的标准包括的标准包括H.261、H.263、H.264，主要应用于实时，主要应用于实时视频通信领域，如会议电视；视频通信领域，如会议电视；MPEG系列标准是由系列标准是由ISO/IEC制制定的，主要应用于视频存储定的，主要应

24、用于视频存储(DVD)、广播电视、因特网或无线、广播电视、因特网或无线网上的流媒体等。两个组织也共同制定了一些标准，网上的流媒体等。两个组织也共同制定了一些标准，H.262标标准等同于准等同于MPEG-2的视频编码标准，而最新的的视频编码标准，而最新的H.264标准则被标准则被纳入纳入MPEG-4的第的第10部分。部分。 5.3.1 H.2615.3.1 H.261 H.261是国际电信联盟是国际电信联盟 -电信标准部门电信标准部门 ITU-T针对视针对视频电话、视频会议等要求实时编解码和低时延应用提频电话、视频会议等要求实时编解码和低时延应用提出的第一个视频编解码标准，于出的第一个视频编解码

25、标准，于1990年年12月发布。月发布。 H.261标准标准H.261 标准只定义了标准只定义了 QCIF 和和 CIF 格式，格式，将将CIF和和QCIF格式的数据结构每帧划分为格式的数据结构每帧划分为4个层次：个层次：图像层图像层(P)、块组层、块组层(GOB)、宏块层、宏块层(MB)和块层和块层(B)。 cif格式：格式：352*288 qcif格式：格式：176*144 四分之一四分之一 CIF (QCIF) 格式只被用于最低数据率（格式只被用于最低数据率（64 千千位位/ 秒及更低）的会议，今天已经很少使用。自从秒及更低）的会议，今天已经很少使用。自从H.263 标准发行以来，更多使

26、用标准发行以来，更多使用“全分辨率全分辨率”（定以为（定以为 16CIF）的格式（的格式（4CIF 和和 16CIF）被采用。由于采用此类标准时，）被采用。由于采用此类标准时，计算和宽带功能有限，所以，用于全动感视频会议的公计算和宽带功能有限，所以，用于全动感视频会议的公用分辨率仍然是用分辨率仍然是 CIF 到到 4CIF。下面的表格列出了用于。下面的表格列出了用于 NTSC（北美）和（北美）和 PAL（欧洲）视频信号的（欧洲）视频信号的 H.261 和和 H.263 标准的相应格式分辨率。以下列出的分辨率代表标准的相应格式分辨率。以下列出的分辨率代表 4:3 的屏幕高度比。的屏幕高度比。5.

27、3.1 H.2615.3.1 H.261图5.6 H261的编码框图H.261的编码框图如图的编码框图如图5.6所示，其中有两个模式选择开关用来选择编码模式所示，其中有两个模式选择开关用来选择编码模式，编码模式包括帧内编码和帧间编码两种，若两个开关均选择上方，则为帧，编码模式包括帧内编码和帧间编码两种，若两个开关均选择上方，则为帧内编码模式；若两个开关均选择下方，则为帧间编码模式。内编码模式；若两个开关均选择下方，则为帧间编码模式。 5.3.2 H.263 H.263标准制定于标准制定于1995年，是年，是ITU-T针对针对64kbit/s以下的低以下的低比特率视频应用而制定的标准。它的基本算

28、法与比特率视频应用而制定的标准。它的基本算法与H.261基基本相同，但进行了许多改进，使得本相同，但进行了许多改进，使得H.263标准获得了更好标准获得了更好的编码性能。的编码性能。 H.263系统支持系统支持5种图像格式（种图像格式（Sub-QCIF，QCIF，CIF ，4CIF，16CIF ） 与与H.261相同，相同，H.263仍然采用图像层仍然采用图像层P、块组层、块组层GOB、宏、宏块层块层MB和块层和块层B共共4个层次的数据结构，但与个层次的数据结构，但与H.261不同的不同的是，在是，在H.263中，对于不同的格式，每个中，对于不同的格式，每个GOB包含的包含的MB数数目是不同的，对应的行数也不同。目是不同的，对应的行数也不同。 H.263的编码器框图如图的编码器框图如图5.7所示。所示。 5.3.2 H.263 图5.6 H263的编码框图5.3.3 H.264ITU-T H.264ITU-T H.264标准于标准于20032003年通过，也成为年通过，也成为ISOISO的的MPEG-4MPEG-4标准的第十部分，其名称为标准的第十部分，其名称为“先进视频编先进视频编码码 (Advanced Video Co