数字视频处理第7章三维视频处理课件

第7章三维视频处理三维视频编码就对三维视频信号进行处理，即在普通二维视频图像信息的基础上增加深度信息，以更逼真地描述现实世界。第7章三维视频处理三维视频编码就对三维视频信号进行处理17.1立体感觉大量的立体视觉实验表明，人在观看空间物体时不论单眼或双眼都可以产生立体视觉，只是用单眼观看的辨别精度比用双眼时差，主体感较弱。因此，立体视觉有两大类即:单眼立体信息和双眼立体信息。7.1立体感觉大量的立体视觉实验表明，人在观看空间物体时不27.1.1单眼立体信息1)调节2)单眼运动视差3)视网膜像的相对大小4)线性透视5)视野6)光和阴影7)空气透视8)重叠7.1.1单眼立体信息1)调节5)视野37.1.2双眼立体信息用双眼观看空间景物时，形成立体视觉的因素称为双眼立体信息。双眼立体信息是人眼立体视觉的重要因素，包括双眼视差和辐辏。7.1.2双眼立体信息用双眼观看空间景物时，形成立体视觉的41．双眼视差人眼在观看三维空间物体的时候，会产生立体感，也就是说人们不仅能够感觉到空间物体之间的距离，也能够感觉到空间物体与自己之间的距离。此外，即使是左、右两眼都能看到的前平面和上平面，在左、右眼视网膜上所成的像也稍有差异。

1．双眼视差人眼在观看三维空间物体的时候，会产生立体感，也就5图7-1双目视差形成立体感觉

图7-1双目视差形成立体感觉62．辐辏人用双眼观看物体时，如果物体所成的像不是落在左、右两眼视网膜的对应点上，那么所看到的是二重像（也称复像）。使这种二重像成为单像，在生理光学中称为融合。融合时，眼球必须作旋转运动。眼球的这种旋转运动被称为辐辏。

2．辐辏人用双眼观看物体时，如果物体所成的像不是落在左、右7图7-2双眼辐辏的产生

图7-2双眼辐辏的产生8图7-3深度灵敏度与视距关系

图7-3深度灵敏度与视距关系9对三维视频编码而言，深度感觉是一个非常重要的信息，人类视觉系统的深度感觉特性是设计三维视频采集和显示系统的依据。

对三维视频编码而言，深度感觉是一个非常重要的信息，人类视觉系107.2立体成像原理

上一节讨论了视差的定义和人类视觉系统对三维视频图像的一些感觉特性，本节讨论视差和深度的关系，这是三维视频编码的理论基础之一。7.2立体成像原理上一节讨论了视差的定义和人类视觉系统对117.2.1平行摄像机配置(a)三维视图(b)X-Z截面视图

图7-4平行摄像机配置

7.2.1平行摄像机配置(a)三12

图7-5平行配置时摄像机空间坐标与成像平面坐标关系

图7-5平行配置时摄像机空间坐标与成像平面坐标关系13视差矢量为在世界坐标系内坐标为

视差矢量为在世界坐标系内坐标为147.2.2会聚摄像机配置(a)三维视图(b)X-Z截面视图

图7-6会聚摄像机配置

7.2.2会聚摄像机配置(a)三维视图15CI、Cr、CW的坐标满足CI、Cr、CW的坐标满足16数字视频处理第7章三维视频处理课件177.3视差估计所谓视差估计，就是对右图中的每个像素，找到左图中与它“同源”的像素（以左图预测右图）。

7.3视差估计所谓视差估计，就是对右图中的每个像素，找到左图187.3.1视差场的规律1．偏振约束2．空间相关性3．时间相关性4．水平方向性约束7.3.1视差场的规律1．偏振约束197.3.2视差估计的方法用于视差估计主要有基于块的方法和基于网格的方法，二者既可以应用于基于变换的三维视频编码，加以处理后也可以应用于基于对象的三维视频编码。

7.3.2视差估计的方法用于视差估计主要有基于块的方法和基201.基于块的视差估计基于块的视差估计首先把右图划分为适当大小的块，然后根据某种误差准则，在左图的搜索范围内为右图的每一个块寻找最优匹配的块，得到块的视差矢量。

1.基于块的视差估计基于块的视差估计首先把右图划分为适当大21误差准则均方误差准则

MSE=[xl(i,j)-xr(i,j)]2修改空间局部平滑特性：同一物体，其各个部分的视差应当是接近的

SMSE=

[xl(i,j)-xr(i,j)]2+aη|d-dη

|2

η为当前块的一次因果邻域，共包含3块

aη为加权系数，d，dη

分别为当前块和邻域块的视差矢量∑∑∑∑∑误差准则均方误差准则∑∑∑∑∑22图7-9一次因果邻域块图7-9一次因果邻域块23块大小的确定固定块的视察估计算法(FSBM):块大小为8×8或16×16比较好可变块尺寸匹配算法(VSBM):平坦区以大的块为单位进行视差估计，在非平坦区以小的块进行视差估计分级块匹配算法(HBM):首先用大的块对整幅图像进行视差估计，然后检查每个块，将其归入估计成功和估计不成功两类；估计不成功的块则减小块的大小，再一次进行视差估计，直到所有块均估计成功或者已经到达设定的最小块尺寸为止。块大小的确定固定块的视察估计算法(FSBM):块大小为8×824混合块匹配算法VSBM匹配效果好，但是计算复杂度较大，而且也不能保证各个大小不定的块可以不重合的覆盖整个图像。混合块匹配算法结合固定尺寸和自适应尺寸算法各自的优点。步骤：（1）将图像划分为16×16的宏块，对每个宏块计算其最佳的视差矢量，作为块中每一个像素的视差矢量。（2）对每一个宏块，根据e=[fr(x,y)-fl(d,y)]

计算其视差补偿预测图像的误差e，式中d是该宏块的视差矢量。∑混合块匹配算法VSBM匹配效果好，但是计算复杂度较大，而且也25（3）取所有宏块平均误差的一半作为阈值T，根据0,e≤T1,e＞T为每一个宏块做标记sign。（4）对上述标记为1的所有宏块，以其近似中心点（16×16宏块无中心点）建立一个3×3的基本窗口，按照窗口自适应扩张策略，以该窗口所在宏块为边界，扩张得到最后的矩形窗口。（5）对上述得到的矩形窗口重新进行匹配，得到的视差矢量作为该窗口中所有像素的视差矢量。处于当前宏块而不在矩形窗口内的像素，仍然使用步骤（1）中的视差矢量。（6）对矩形窗口的形状大小和视差矢量、其他像素的视差矢量等进行编码，获得码流。（7）重复步骤（4）~（6），直到所有宏块处理完毕。sign=（3）取所有宏块平均误差的一半作为阈值T，根据sign=262.基于网格的视差估计基于网格的视差估计首先给出网格节点（亦称特征点）的视差矢量，然后通过插值的方法获得其他像素点的视差矢量。网格的自适应确定和搜寻网格匹配节点是基于网格的视差估计的关键。2.基于网格的视差估计基于网格的视差估计首先给出网格节点（27网格的确定Delaunay三角形网格（DT）

对于一个二维平面上给定的数据点集{P1，P2，…,Pn}

（1）对每一个点Pi定义区域Vi，使该区域内所有点与Pi的距离都小于与其他数据点集内的距离，即

d(Pi,p)=min{d(Pj,p)},j=1,2,…n,p∈Vi

显然，所有区域恰好不重合地覆盖了整个二维平面。（2）把所有存在共同边界线段的数据点连接起来得到DT网格，即若Vi与Vj存在公共边界，连接Pi与Pj网格的确定Delaunay三角形网格（DT）28图7-11采用DT网格分割图像

图7-11采用DT网格分割图像297.3.3视差估计的快速算法利用视差矢量时空相关性的快速估计算法利用视差矢量、运动矢量相关性的快速估计算法7.3.3视差估计的快速算法利用视差矢量时空相关性的快速估30图7-13基于视差矢量空间相关性快速算法实验结果（①为全搜索法结果，②为快速算法结果）

图7-13基于视差矢量空间相关性快速算法实验结果31图7-14视差矢量与运动矢量相关性

图7-14视差矢量与运动矢量相关性327.3.4视差估计残差图像的编码1.基于小波变换的立体残差图像编码

2.基于DCT的立体残差图像编码

7.3.4视差估计残差图像的编码1.基于小波变换的立体残差33图7-15基于小波变换的残差图像编码

图7-15基于小波变换的残差图像编码34图7-16立体残差图像自适应DCT变换算法框图

图7-16立体残差图像自适应DCT变换算法框图35图7-17垂直扫描顺序

图7-17垂直扫描顺序367.4三维变换编码三维变换编码对左通道图像（左视图）采用结合运动估计的变换编码，把每帧图像划分为宏块，每个宏块一个运动矢量，可以把图像作为I、P、B三种类型进行编码。

7.4三维变换编码三维变换编码对左通道图像（左视图）采用37图7-18基于变换的三维视频编码器

图7-18基于变换的三维视频编码器38

图7-19MPEG-2立体视频编码图像结构

图7-19MPEG-2立体视频编码图像结构39图7-20多模式选择立体视频编码算法

图7-20多模式选择立体视频编码算法407.5基于对象的三维编码

与二维编码相似，基于对象的三维视频编码比基于像素的编码更有潜力，能获得更高的编码效率。基于对象的三维视频编码的基本原理如图7-21所示.

7.5基于对象的三维编码与二维编码相似，基于对象的三维视41图7-18基于对象的三维视频编码结构

图7-18基于对象的三维视频编码结构427.6基于模型的三维编码基于模型的三维编码与基于知识的编码非常类似，适用于场景中的大部分可能对象均已知的情况。由此可对每个可能的对象建立各自的模型，编码器不断的检测场景，当发现已有独立模型的对象时，就对它应用其独立模型进行处理。

7.6基于模型的三维编码基于模型的三维编码与基于知识的编码437.7立体视频显示技术7.7.1．

借助辅助工具的立体显示技术借助辅助工具的立体显示技术主要有分色式立体显示技术、偏光式立体显示技术和快门式立体显示技术。7.7立体视频显示技术7.7.1．借助辅助工具的立体显示44

图7-22分色式立体电视系统的组成

图7-22分色式立体电视系统的45

图7-23偏振式立体电视系统的组成

图7-23偏振式立体电视系统的组成46图7-24快门式立体电视系统的组成

图7-24快门式立体电视系统的组成477.7.2自由立体显示技术自由立体显示技术主要有视差栅格技术、柱面透镜技术、数字微镜反射技术、分像素衍射技术、像素针孔阵列技术等.7.7.2自由立体显示技术自由立体显示技术主要有视差栅格技48

图7-25视差栅格立体显示原理

图7-49

图7-26自动跟踪观众位置的视差栅格立体显示系统

图7-26自动跟踪观众位置的视差栅格立50图7-27柱面透镜技术原理

图7-27柱面透镜技术原理517.7.3真实三维立体显示技术

真三维立体显示技术则采用在空间中直接形成三维图像的方法，克服了基于视差的立体显示技术的缺点，它允许多个观看者从任意角度像观看真实物体一样观看视频。真三维立体显示技术主要包括纵深再现显示技术和全息显示技术两大类。7.7.3真实三维立体显示技术真三维立体显示技术则采用在52图7-28新型的DepthCube立体显示系统结构图

图7-28新型的DepthCube立体显示系统结构图53图7-29Actuality三维立体显示器

图7-29Actuality三维立体显示器54第7章三维视频处理三维视频编码就对三维视频信号进行处理，即在普通二维视频图像信息的基础上增加深度信息，以更逼真地描述现实世界。第7章三维视频处理三维视频编码就对三维视频信号进行处理557.1立体感觉大量的立体视觉实验表明，人在观看空间物体时不论单眼或双眼都可以产生立体视觉，只是用单眼观看的辨别精度比用双眼时差，主体感较弱。因此，立体视觉有两大类即:单眼立体信息和双眼立体信息。7.1立体感觉大量的立体视觉实验表明，人在观看空间物体时不567.1.1单眼立体信息1)调节2)单眼运动视差3)视网膜像的相对大小4)线性透视5)视野6)光和阴影7)空气透视8)重叠7.1.1单眼立体信息1)调节5)视野577.1.2双眼立体信息用双眼观看空间景物时，形成立体视觉的因素称为双眼立体信息。双眼立体信息是人眼立体视觉的重要因素，包括双眼视差和辐辏。7.1.2双眼立体信息用双眼观看空间景物时，形成立体视觉的581．双眼视差人眼在观看三维空间物体的时候，会产生立体感，也就是说人们不仅能够感觉到空间物体之间的距离，也能够感觉到空间物体与自己之间的距离。此外，即使是左、右两眼都能看到的前平面和上平面，在左、右眼视网膜上所成的像也稍有差异。

1．双眼视差人眼在观看三维空间物体的时候，会产生立体感，也就59图7-1双目视差形成立体感觉

图7-1双目视差形成立体感觉602．辐辏人用双眼观看物体时，如果物体所成的像不是落在左、右两眼视网膜的对应点上，那么所看到的是二重像（也称复像）。使这种二重像成为单像，在生理光学中称为融合。融合时，眼球必须作旋转运动。眼球的这种旋转运动被称为辐辏。

2．辐辏人用双眼观看物体时，如果物体所成的像不是落在左、右61图7-2双眼辐辏的产生

图7-2双眼辐辏的产生62图7-3深度灵敏度与视距关系

图7-3深度灵敏度与视距关系63对三维视频编码而言，深度感觉是一个非常重要的信息，人类视觉系统的深度感觉特性是设计三维视频采集和显示系统的依据。

对三维视频编码而言，深度感觉是一个非常重要的信息，人类视觉系647.2立体成像原理

上一节讨论了视差的定义和人类视觉系统对三维视频图像的一些感觉特性，本节讨论视差和深度的关系，这是三维视频编码的理论基础之一。7.2立体成像原理上一节讨论了视差的定义和人类视觉系统对657.2.1平行摄像机配置(a)三维视图(b)X-Z截面视图

图7-4平行摄像机配置

7.2.1平行摄像机配置(a)三66

图7-5平行配置时摄像机空间坐标与成像平面坐标关系

图7-5平行配置时摄像机空间坐标与成像平面坐标关系67视差矢量为在世界坐标系内坐标为

视差矢量为在世界坐标系内坐标为687.2.2会聚摄像机配置(a)三维视图(b)X-Z截面视图

图7-6会聚摄像机配置

7.2.2会聚摄像机配置(a)三维视图69CI、Cr、CW的坐标满足CI、Cr、CW的坐标满足70数字视频处理第7章三维视频处理课件717.3视差估计所谓视差估计，就是对右图中的每个像素，找到左图中与它“同源”的像素（以左图预测右图）。

7.3视差估计所谓视差估计，就是对右图中的每个像素，找到左图727.3.1视差场的规律1．偏振约束2．空间相关性3．时间相关性4．水平方向性约束7.3.1视差场的规律1．偏振约束737.3.2视差估计的方法用于视差估计主要有基于块的方法和基于网格的方法，二者既可以应用于基于变换的三维视频编码，加以处理后也可以应用于基于对象的三维视频编码。

7.3.2视差估计的方法用于视差估计主要有基于块的方法和基741.基于块的视差估计基于块的视差估计首先把右图划分为适当大小的块，然后根据某种误差准则，在左图的搜索范围内为右图的每一个块寻找最优匹配的块，得到块的视差矢量。

1.基于块的视差估计基于块的视差估计首先把右图划分为适当大75误差准则均方误差准则

MSE=[xl(i,j)-xr(i,j)]2修改空间局部平滑特性：同一物体，其各个部分的视差应当是接近的

SMSE=

[xl(i,j)-xr(i,j)]2+aη|d-dη

|2

η为当前块的一次因果邻域，共包含3块

aη为加权系数，d，dη

分别为当前块和邻域块的视差矢量∑∑∑∑∑误差准则均方误差准则∑∑∑∑∑76图7-9一次因果邻域块图7-9一次因果邻域块77块大小的确定固定块的视察估计算法(FSBM):块大小为8×8或16×16比较好可变块尺寸匹配算法(VSBM):平坦区以大的块为单位进行视差估计，在非平坦区以小的块进行视差估计分级块匹配算法(HBM):首先用大的块对整幅图像进行视差估计，然后检查每个块，将其归入估计成功和估计不成功两类；估计不成功的块则减小块的大小，再一次进行视差估计，直到所有块均估计成功或者已经到达设定的最小块尺寸为止。块大小的确定固定块的视察估计算法(FSBM):块大小为8×878混合块匹配算法VSBM匹配效果好，但是计算复杂度较大，而且也不能保证各个大小不定的块可以不重合的覆盖整个图像。混合块匹配算法结合固定尺寸和自适应尺寸算法各自的优点。步骤：（1）将图像划分为16×16的宏块，对每个宏块计算其最佳的视差矢量，作为块中每一个像素的视差矢量。（2）对每一个宏块，根据e=[fr(x,y)-fl(d,y)]

计算其视差补偿预测图像的误差e，式中d是该宏块的视差矢量。∑混合块匹配算法VSBM匹配效果好，但是计算复杂度较大，而且也79（3）取所有宏块平均误差的一半作为阈值T，根据0,e≤T1,e＞T为每一个宏块做标记sign。（4）对上述标记为1的所有宏块，以其近似中心点（16×16宏块无中心点）建立一个3×3的基本窗口，按照窗口自适应扩张策略，以该窗口所在宏块为边界，扩张得到最后的矩形窗口。（5）对上述得到的矩形窗口重新进行匹配，得到的视差矢量作为该窗口中所有像素的视差矢量。处于当前宏块而不在矩形窗口内的像素，仍然使用步骤（1）中的视差矢量。（6）对矩形窗口的形状大小和视差矢量、其他像素的视差矢量等进行编码，获得码流。（7）重复步骤（4）~（6），直到所有宏块处理完毕。sign=（3）取所有宏块平均误差的一半作为阈值T，根据sign=802.基于网格的视差估计基于网格的视差估计首先给出网格节点（亦称特征点）的视差矢量，然后通过插值的方法获得其他像素点的视差矢量。网格的自适应确定和搜寻网格匹配节点是基于网格的视差估计的关键。2.基于网格的视差估计基于网格的视差估计首先给出网格节点（81网格的确定Delaunay三角形网格（DT）

对于一个二维平面上给定的数据点集{P1，P2，…,Pn}

（1）对每一个点Pi定义区域Vi，使该区域内所有点与Pi的距离都小于与其他数据点集内的距离，即

d(Pi,p)=min{d(Pj,p)},j=1,2,…n,p∈Vi

显然，所有区域恰好不重合地覆盖了整个二维平面。（2）把所有存在共同边界线段的数据点连接起来得到DT网格，即若Vi与Vj存在公共边界，连接Pi与Pj网格的确定Delaunay三角形网格（DT）82图7-11采用DT网格分割图像

图7-11采用DT网格分割图像837.3.3视差估计的快速算法利用视差矢量时空相关性的快速估计算法利用视差矢量、运动矢量相关性的快速估计算法7.3.3视差估计的快速算法利用视差矢量时空相关性的快速估84图7-13基于视差矢量空间相关性快速算法实验结果（①为全搜索法结果，②为快速算法结果）

图7-13基于视差矢量空间相关性快速算法实验结果85图7-14视差矢量与运动矢量相关性

图7-14视差矢量与运动矢量相关性867.3.4视差估计残差图像的编码1.基于小波变换的立体残差图像编码

2.基于DCT的立体残差图像编码

7.3.4视差估计残差图像的编码1.基于小波变换的立体残差87图7-15基于小波变换的残差图像编码

图7-15基于小波变换的残差图像编码88图7-16立体残差图像自适应DCT变换算法框图

图7-16立体残差图像自适应DCT变换算法框图89图7-17垂直扫描顺序

图7-17垂直扫描顺序907.4三维变换编码三维变换编码对左通道图像（左视图）采用结合运动估计的变换编码，把每帧图像划分为宏块，每个宏块一个运动矢量，可以把图像作为I、P、B三种类型进行编码。

7.4三维变换编码三维变换编码对左通道图像（左视图）采用91图7-18基于变换的三维视频编码器

图7-18基于变换的三维视频编码器92

图7-19MPEG-2立体视频编码图像结构

图7-19MPEG-2立体视频编码图像结构93图7-20多模式选择立体视频编码算法

图7-20多模式选择立体视频编码算法947.5基于对象的三维编码

与二维编码相似，基于对象的三维视频编码比基于像素的编码更有潜力，能获得更高的编码效率。基于对象的三维视频编码的基本原理如图7-21所示