版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
第7章三维视频处理三维视频编码就对三维视频信号进行处理,即在普通二维视频图像信息的基础上增加深度信息,以更逼真地描述现实世界。7.1立体感觉大量的立体视觉实验表明,人在观看空间物体时不论单眼或双眼都可以产生立体视觉,只是用单眼观看的辨别精度比用双眼时差,主体感较弱。因此,立体视觉有两大类即:单眼立体信息和双眼立体信息。7.1.1单眼立体信息1)调节2)单眼运动视差3)视网膜像的相对大小4)线性透视5)视野6)光和阴影7)空气透视8)重叠1.双眼视差人眼在观看三维空间物体的时候,会产生立体感,也就是说人们不仅能够感觉到空间物体之间的距离,也能够感觉到空间物体与自己之间的距离。此外,即使是左、右两眼都能看到的前平面和上平面,在左、右眼视网膜上所成的像也稍有差异。
图7-1双目视差形成立体感觉
2.辐辏人用双眼观看物体时,如果物体所成的像不是落在左、右两眼视网膜的对应点上,那么所看到的是二重像(也称复像)。使这种二重像成为单像,在生理光学中称为融合。融合时,眼球必须作旋转运动。眼球的这种旋转运动被称为辐辏。
图7-3深度灵敏度与视距关系
对三维视频编码而言,深度感觉是一个非常重要的信息,人类视觉系统的深度感觉特性是设计三维视频采集和显示系统的依据。
7.2立体成像原理
上一节讨论了视差的定义和人类视觉系统对三维视频图像的一些感觉特性,本节讨论视差和深度的关系,这是三维视频编码的理论基础之一。
图7-5平行配置时摄像机空间坐标与成像平面坐标关系
视差矢量为在世界坐标系内坐标为
7.2.2会聚摄像机配置(a)三维视图(b)X-Z截面视图
图7-6会聚摄像机配置
7.3视差估计所谓视差估计,就是对右图中的每个像素,找到左图中与它“同源”的像素(以左图预测右图)。
7.3.1视差场的规律1.偏振约束2.空间相关性3.时间相关性4.水平方向性约束1.基于块的视差估计基于块的视差估计首先把右图划分为适当大小的块,然后根据某种误差准则,在左图的搜索范围内为右图的每一个块寻找最优匹配的块,得到块的视差矢量。
误差准则均方误差准则
MSE=[xl(i,j)-xr(i,j)]2修改空间局部平滑特性:同一物体,其各个部分的视差应当是接近的
SMSE=
[xl(i,j)-xr(i,j)]2+aη|d-dη
|2
η为当前块的一次因果邻域,共包含3块
aη为加权系数,d,dη
分别为当前块和邻域块的视差矢量∑∑∑∑∑图7-9一次因果邻域块混合块匹配算法VSBM匹配效果好,但是计算复杂度较大,而且也不能保证各个大小不定的块可以不重合的覆盖整个图像。混合块匹配算法结合固定尺寸和自适应尺寸算法各自的优点。步骤:(1)将图像划分为16×16的宏块,对每个宏块计算其最佳的视差矢量,作为块中每一个像素的视差矢量。(2)对每一个宏块,根据e=[fr(x,y)-fl(d,y)]
计算其视差补偿预测图像的误差e,式中d是该宏块的视差矢量。∑(3)取所有宏块平均误差的一半作为阈值T,根据0,e≤T1,e>T为每一个宏块做标记sign。(4)对上述标记为1的所有宏块,以其近似中心点(16×16宏块无中心点)建立一个3×3的基本窗口,按照窗口自适应扩张策略,以该窗口所在宏块为边界,扩张得到最后的矩形窗口。(5)对上述得到的矩形窗口重新进行匹配,得到的视差矢量作为该窗口中所有像素的视差矢量。处于当前宏块而不在矩形窗口内的像素,仍然使用步骤(1)中的视差矢量。(6)对矩形窗口的形状大小和视差矢量、其他像素的视差矢量等进行编码,获得码流。(7)重复步骤(4)~(6),直到所有宏块处理完毕。sign=图7-11采用DT网格分割图像
7.3.3视差估计的快速算法利用视差矢量时空相关性的快速估计算法利用视差矢量、运动矢量相关性的快速估计算法图7-13基于视差矢量空间相关性快速算法实验结果(①为全搜索法结果,②为快速算法结果)
图7-14视差矢量与运动矢量相关性
7.3.4视差估计残差图像的编码1.基于小波变换的立体残差图像编码
2.基于DCT的立体残差图像编码
图7-15基于小波变换的残差图像编码
图7-16立体残差图像自适应DCT变换算法框图
图7-17垂直扫描顺序
7.4三维变换编码三维变换编码对左通道图像(左视图)采用结合运动估计的变换编码,把每帧图像划分为宏块,每个宏块一个运动矢量,可以把图像作为I、P、B三种类型进行编码。
图7-18基于变换的三维视频编码器
图7-19MPEG-2立体视频编码图像结构
图7-20多模式选择立体视频编码算法
7.5基于对象的三维编码
与二维编码相似,基于对象的三维视频编码比基于像素的编码更有潜力,能获得更高的编码效率。基于对象的三维视频编码的基本原理如图7-21所示.
图7-18基于对象的三维视频编码结构
7.6基于模型的三维编码基于模型的三维编码与基于知识的编码非常类似,适用于场景中的大部分可能对象均已知的情况。由此可对每个可能的对象建立各自的模型,编码器不断的检测场景,当发现已有独立模型的对象时,就对它应用其独立模型进行处理。
7.7立体视频显示技术7.7.1.
借助辅助工具的立体显示技术借助辅助工具的立体显示技术主要有分色式立体显示技术、偏光式立体显示技术和快门式立体显示技术。
图7-22分色式立体电视系统的组成
图7-23偏振式立体电视系统的组成
图7-24快门式立体电视系统的组成
7.7.2自由立体显示技术自由立体显示技术主要有视差栅格技术、柱面透镜技术、数字微镜反射技术、分像素衍射技术、像素针孔阵列技术等.
图7-25视差栅格立体显示原理
图7-26自动跟踪观众位置的视差栅格立体显示系统
图7-27柱面透镜技术原理
7.7.3真实三维立体显示技术
真三维立体显示技术则采用
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 进行性延髓麻痹病因介绍
- T-CIE 232-2024 液气换热型水冷板式间接液冷数据中心设计规范
- 中考地理总复习七下第七章了解地区第九课时教材知识梳理
- 呼吸道职业暴露
- (报批版)塑料造粒环评报告书
- 商务励志工作报告汇报模板33
- 重庆2020-2024年中考英语5年真题回-教师版-专题01 语法选择
- 云南省曲靖市沾益区2024-2025学年七年级9月月考道德与法治试题(解析版)-A4
- 2023年汽车电喷项目融资计划书
- 2023年变压器、整流器和电感器项目融资计划书
- 新教材人教A版高中数学选择性必修第一册全册教学课件
- IEC60335-1-2020中文版-家用和类似用途电器的安全第1部分:通用要求(中文翻译稿)
- 《HSK标准教程1》-HSK1-L8课件
- 幼儿园小班绘本:《藏在哪里了》 课件
- 上册外研社六年级英语复习教案
- 替班换班登记表
- 社会保险法 课件
- 阿利的红斗篷 完整版课件PPT
- 桥梁工程挡土墙施工
- 供应商质量问题处理流程范文
- 实验室生物安全手册(完整版)资料
评论
0/150
提交评论