数字视频处理4课件

第四章立体视频(3DVideo)4.1立体视觉基本原理古埃及壁画立体视觉早在五千多年前的古埃及，人们就己经有了对立体成像技术的追求考古发现当时对人物形象的画法造型，全身侧面造型，唯有双肩体位保持正面大部分都把脸表达成侧面的姿态，显示出额头、鼻子和嘴唇的轮廓，而眼睛和上身的位置都是正面的，整个人物从头到脚有两次90度的转向古埃及壁画4.1.1立体视觉定义立体视觉是人眼在观察事物时所具有的立体感人眼对获取的景象有相当的深度感知能力（DepthPerception），而这些感知能力又源自人眼可以提取出景象中的深度要素（DepthCue）立体视觉的形成因素有两类，一类为生理因素，一类为心理因素4.1.2立体视觉的生理因素双眼观察景物能分辨物体远近形态的感觉双眼同时注视某物体，双眼视线交叉于一点，叫注视点从注视点反射回到视网膜上，这两点将信号转入大脑视中枢合成一个物体完整的像。不但看清了这一点，而且这一点与周围物体间的距离、深度、凸凹等等都能辨别出来，这样成的像就是立体的像单眼视觉从不同方向(A,B)来的光，落在视网膜的不同区域(a,b)上，因此可以加以辨别，但是由于在同一方向上的所有各点(A1,A2,A3)投射于视网膜的同一区域，则无法确定哪一点更远或哪一点近，因此视网膜点只能表明客体的方向不能表明它的距离辐辏眼球的旋转汇聚运动可称之为辐辏（形容视线聚集像车辐集中于车毂一样）两眼对一观察点的两视线所夹的角称为辐辏角辐辏其中a1,a2分别为点Fl和F2的辐辏角。Fl和F2两点远近不同，因此，辐辏角a1,a2也不同，眼球旋转运动的程度也不一样，这样就产生了深度感觉双眼视差在观看空间某个对象时，人的双眼就从左右两边稍有差别的角度进行观察，因此被观察的物体在人的左右眼视网膜上所形成的像存在略微的差异，这种差异就是双眼视差。视差的产生是由于人的左右眼之间有一定的距离双眼视差双眼视差把一本书放在眼睛正前方大约25厘米的地方，使书脊朝向人脸并向下倾斜45度角，这时左眼就能看到书的封底，而右眼能看到书的封面。当左右眼视网膜产生的影像同时传向视觉中枢时，人就能感到眼前的这本书有立体感双眼视差当把书逐渐离开观察者时，书上的每一点相对左右眼所形成的视角就逐渐减小，所形成的视差也就逐渐变小，到达一定距离时，视差消失。物体距离眼睛太远时，就不会产生有深度感的视觉了。所以，物体越近，视差越明显，人眼就是由此获得深度信息的双眼视差眼的调节通过睫状肌的收缩与舒张，晶状体发生凸度和曲率的改变，使视网膜上的像得以清晰，这是保证视差存在的基本条件。假如视网膜上的像是模糊的，这种视差就会小很多，有时甚至会消失，因而形成立体感能力就差得多立体显示原理L和R分别代表左眼和右眼所在位置，S和T在LR的中垂线上，PQ∥LR。双目注视S点，即通过自适应调节聚焦到S点，由于辐辏效应，左右眼中的S合成一点立体显示原理点T1和T2分别代表T点在左右眼中形成的2个像，让这2个像互不干扰地进入左右眼，由于大脑已经习惯了看辐辏以后的效果，所以大脑会自动将T1和T2合成T点，和参考点S相比，T点有了纵深的效果，从而产生立体的感觉双眼单视物体在两眼视网膜上单独成像，这两个物像是同时产生的，大脑皮层能将这两个物像融合成一个物像，这就是双眼单视将双眼视觉像融合为一个视觉像的机能称为融合机能心理因素——线性透视视线方向上平行线上对应两点随着视距的增大，在视网膜上所成像点的距离线性减小。这种方法常常用在绘画上，用以表现景物的远近深度当眺望远方时，远处景物看起来尺寸很小心理因素——线性透视心理因素——运动视差当物体相对于观察者而运动时，由于背景连续的光变化，视网膜上的图像也随之不断变化，并通过时间序列的比较，使立体视觉成为可能心理因素——结构级差大多数物体的表面都以其纹理或结构等微观形式而相互区别。当我们观察具有结构的表面时，随着距离的增加，组成结构的成分的密度越大心理因素——朦胧透视随着距离增大，景物的对比度降低从而产生深度觉，这就是空气的透视作用当观看远处弥漫着烟雾的风景照片时，会有一种强烈的深度感觉心理因素——朦胧透视心理因素——朦胧透视AscenealongthecoastofCaliforniathatillustratesatmosphericperspective心理因素——遮挡遮挡是指一个物体遮蔽了另一个物体的一部分如果一个物体部分遮挡另一个物体，那么我们就会知觉到完全暴露的物体离我们近遮挡是判断物体深度秩序的重要条件，但是不能判断事物间的距离心理因素——遮挡两个物体的前后位置关系会提供相应的深度线索。图中的a,d提供了深度线索。而b,c没有深度线索心理因素——遮挡心理因素——阴影阴影是由不透明或半透明物体的阻碍所引起的表面亮度的变化。通常情况下认为暗的部分是由于光线被遮挡，亮的部分是光线的直接照射心理因素——颜色同一视标由于颜色的不同，有时看起来近，有时看起来远。因此当观察同一个物体时，根据该物体颜色的变化也可以获得该物体深度变化的心理暗示亮度相同的颜色，波长较长的光线给人近的感觉，波长较短的光线则相反心理因素——视场大视场更有利于提高立体感和现场感，比如说人们看电影和电视的感觉就不一样心理因素电视、电影的立体感会比照片和图片强很多，可能的原因是什么？立体作品美国震撼3D壁画展现了一个灾难场景，由于太过逼真，在马上完成时，这幅灾难画引起了消防队的注意，他们甚至停下车，想去采取营救行动立体作品立体作品立体作品立体作品立体作品立体作品立体作品立体作品第四章立体视频(3DVideo)4.1立体视觉基本原理4.2立体电影立体电影耗资5亿美元的电影《阿凡达》，让观看者享受到一种身临其境的震撼视觉体验，成为2010年初最热门的话题，狂卷全球20亿票房，也引爆3D这个名词4.2.1立体电影概述1839年，英国科学家查理·惠斯顿爵士根据“人类两只眼睛的成像是不同的”发明了一种立体眼镜，让人们的左眼和右眼在看同样图像时产生不同效果，这就是今天3D眼镜的原理1922年，世界上第一部3D电影是《爱情的力量》，遗憾的是，影片很早之前就已经遗失了。早期3D电影都是以展示立体效果为主，常以指向观众的枪、扔向观众的物体为噱头立体电影概述1952年，讲述非洲探险的《非洲历险记》被认定为是史上第一部真正的3D长片。该片的口号是“狮子在你腿上，爱人在你怀里”。尽管《生活》杂志在当时称该片“廉价、荒谬”，但观众们仍然热情地挤进电影院去体验片中的“自然视角”立体电影概述立体电影概述1953年，《恐怖蜡像馆》等一批3D恐怖片应运而生，3D片在上世纪五十年代进入了黄金时期1954年，当时世界上最伟大的导演们，绝大多数都对3D电影低眼相看，认为那只不过是在玩魔术而已，根本不是艺术。然而，希区柯克不这么想，他在1954年拍摄了3D版的《电话谋杀案》，成为了当时3D片中为数不多的精品立体电影概述1962年，我国的天马电影制片厂拍摄了国内第一部3D立体电影《魔术师的奇遇》，桑弧导演，陈强主演。后来又陆续出现了《欢欢笑笑》《快乐的动物园》《靓女阿萍》《侠女十三妹》等立体电影概述1982年，迪士尼拍摄了短片《魔法之旅》，虽然这部短片只有16分钟，但通过CGI(ComputerGenerationImage)与真人表演的混合，打造出了在当时令人惊讶的3D效果1982年，《13号星期五》第三部上映，令80年代的3D电影慢慢复苏立体电影概述1983年，3D版的《大白鲨第三集》轰动一时，放映首周就赚得1300万美元的票房。但因为电影本身水准低下，3D效果也无过人之处，很快就让观众失去了兴趣1985年，《魔晶战士》成为世界首部3D动画长片立体电影概述2004年，第一部IMAX3D长片《极地特快》诞生。该片在2000块普通2D银幕上放映，3DIMAX银幕只有75块。然而就是这75块3DIMAX银幕，获得的票房占全片总票房的百分之三十。3D+IMAX的“超强组合”，让发行方看到了巨大的商业潜力极地特快立体电影概述2005年，迪士尼的动画片《四眼天鸡》(《鸡仔总动员》)采用了新型投影技术放映，减轻了以往看3D电影时容易产生的眼睛疲劳立体电影概述2008年，《U23D演唱会》是第一部完全用3D摄影机拍摄的真人影片，这个音乐纪录片堪称先锋立体电影概述2009年，环球影业的动画片《鬼妈妈》是第一部采用停格动画形式的3D电影立体电影概述2009年，《阿凡达》成为有史以来制作规模最大、技术最先进的3D电影。阿凡达（Avatar）是一部科幻电影，由著名导演詹姆斯·卡梅隆执导，二十世纪福克斯出品。该影片预算超过5亿美元，成为电影史上预算最高的电影立体电影概述大卫·斯莱德执导的《暮光之城3：月食》于2010年6月30日上映，影片采用3DIMAX技术《暮光之城4：破晓》上集于2010年秋季开拍，并于2011年11月在北美上映，《暮光之城4：破晓》下集则将在2012年11月上映立体电影在中国3D电影在国内大范围上映实际始于2008年的《地心历险记》。近在咫尺的细微生物、呼啸而过的珍奇异兽、过山车般身临其境的美妙感觉……100元的高昂票价和前所未有的视觉冲击力，让该片在有限的80块3D银幕放映27周，票房达6700万元，平均每块银幕票房80万元立体电影在中国以票房3.2亿元的《赤壁》(上)为例，它在3600块银幕放映合每块银幕票房8万多元。比较两部影片，3D电影平均银幕票房数是普通影片的10倍！“卖一部电影的票房就收回了放映设备的投入”，堪称奇迹立体电影在中国一系列引进的3D大片掀起了3D热潮，国内众多院线纷纷扩建、更新放映设备，力推3D电影。08年中国的3D银幕数量还只有86块，一部《地心历险记》6700万的票房极大的刺激了各院线老板的胃口，纷纷上马升级3D银幕和设备，到暑期《冰河世纪3》上映之时，中国的3D银幕数量已经迅速发展到350块立体电影在中国《阿凡达》上映之时，中国的3D银幕数量将突破600块，成为紧随美国之后的全球第二大3D电影市场。中国3D银幕数量2010年是1300块，直追美国目前的2000多块立体电影在中国中国3D电影市场一不留神成为全球第二，成长速度可谓一日千里。同时，一批优秀的影视、动画工作者也投入到了3D电影的制作。中国第一部真人实景拍摄的3D电影《乐火男孩》已于2009年8月上映，开创了国产3D电影的先河观看距离与传统电影的观看方式会有不同，由于3D电影技术的目的是让人感到身临其境，所以在影院观看时，坐在前排要比坐在中后排的位置的效果好。由于前排距离银幕近，视角大，画面会将眼球转动的范围完全覆盖，让人会有身处电影环境之中的完美感觉眼球的适应初看3D电影的观众，偶尔会感到看不到3D效果，或是立体效果不明显，这种现象的根本原因可能与戴上了眼镜这种观看方式有关，毕竟影院所提供的眼镜是大众尺寸的，不舒服的感觉和镜片的距离等方面的因素，分散了观影的注意力4.2.2IMAXIMAX(ImageMaxium)是加拿大的IMAX集团所研发的一种巨型银幕电影除了一般的IMAX影片之外，IMAX后来又发展出了IMAX3D技术，所以IMAX电影并不一定是3D立体电影IMAX3D立体电影设计是通过观众所戴的3D立体眼镜分别接收左右眼影像后呈现成3D立体的效果传统的3D胶片技术，将左右眼视觉影像同时存放在同一个胶卷中，而IMAX3D技术不仅使用世界最大的IMAX底片，并且使用双胶片分开录制、播放左眼及右眼的影像，使得影像更立体清晰，色彩也更鲜明IMAX使用Imax3D影片时，Imax摄影机装有两个相同的镜头，镜头间距正好是人眼间距65mm，两幅图像被分别记录到两条同步运行的空底片上。在Imax3D影院，专用的Imax3D立体放映机分别把左右两条影片上的图像通过一对放映镜头放映到巨幕上立体电影拍摄数字立体电影拍摄IMAXImax胶片采用独特的70mm横排以造成巨幅效果。如图所示为几种常见的电影胶片，从左到右分别是：70mmImax胶片（仅一个镜头的胶片）、70mm胶片、35mm胶片（电影院里看的电影，几乎全部是用35mm胶片放映的）、16mm胶片。（前些年还有8mm胶片，不过已经绝迹了）这些胶片是按照宽度来命名。除了Imax，其他胶片都是竖着放映的Imax3D胶片与其他胶片的区别Imax3D胶片与其他胶片的区别4.2.3立体电影的观看方式立体电影的观看方式主要有：色分法、时分法、光分法等观看方式立体观察效果成本观看要求色分法彩色画面较差低红绿眼镜光分法效果稳定并适合长时间观看很高偏振眼镜时分法效果稳定，易疲劳较高同步快门式眼镜4.2.4色分法色分法是把两幅具有适当视差的同一景物分别制成红色和绿色图像，再把这两幅图像组合在一起红绿立体形成的基本原理就是将左右图像用红绿两种补色同时显示出来并用相应的补色观察，即分别用红色绘出左眼图像，用绿色绘出右眼图像色分法观察者戴上红绿眼镜观看，其中的红色镜片滤掉绿色图像，看到红色图像，绿色镜片滤掉红色图像，看到绿色图像。这样，观察者的每个眼镜就只能看到一个图像，就实现了分像。因此通过红绿眼镜将具有视差的两张图各自反映到大脑，使人产生逼真的立体感色分法色分法目前较为常见的滤光片颜色是红蓝、红绿或者红青，目前采用这种技术的影院已经越来越少了，毕竟跟不上用户体验度的需求优点：技术难度低，成本低廉缺点：3D画质效果不理想，画面边缘容易偏色色分法4.2.5时分法时分法的技术原理是在发送端用两台摄像机，模拟人的左、右两眼进行摄像，产生一对视差图像信号，编码成一路信号进行传送。接收端解码成两路信号，在屏幕上同时显示两幅图像，由人的两眼分别观看，从而获得立体感左右眼的视图在不同时刻无交叉地交替显示时分法时分法需要显示器和3D快门式眼镜的配合来实现3D立体效果。时分法所采用的立体眼镜构造有些复杂，当然成本也高。两个镜片都采用电子控制，可以根据显示器的输出情况进行状态的切换，镜片的透光、不透光切换使得人眼只能看到对应的画面（透光状态下），双眼看到不同的画面就能够达到立体成像的效果时分法优点：应用得最为广泛，资源相对较多缺点：戴上眼镜之后，亮度减少较多3D眼镜快门的开合在日光灯作用下与左右图像不完全同步，会出现串扰重影现象快门式3D眼镜相对较贵，并且需要安装电池或充电使用4.2.6光分法光分法立体电影是用两个镜头如人眼那样从两个不同方向同时拍摄下景物的像，制成电影胶片；在放映时，通过两个放映机，把用两个摄影机拍下的两组胶片同步放映，使这略有差别的两幅图像重叠在银幕上，这时如果用眼睛直接观看，看到的画面是模糊不清的光分法要看到立体电影，就要在每架电影机前装一块偏振片，它的作用相当于起偏器，从两架放映机射出的光通过偏振片后，就成了偏振光，左右两架放映机前的偏振片的偏振化方向互相垂直，因而产生的两束偏振光的偏振方向也互相垂直，这两束偏振光投射到银幕上再反射到观众处，偏振光方向不改变光分法通过眼镜的过滤，把分离后的左右影像送到各个眼睛，大脑再把这两个影像合成3D立体感其他立体显示方法都有晕眩感，观看半小时以上需要中间休息以缓解视力疲劳，而光分法则没有，因此具有独特的优点第四章立体视频(3DVideo)4.1立体视觉基本原理4.2立体电影4.3立体电视4.3.1立体电视的发展4.3.2立体电视技术需要辅助眼镜左右眼图像的偏振光调制技术：被动式，采用偏振片，不同偏振方向的光进入不同的眼睛。采用隔行扫描，分辨率受限时间域调制技术：主动式，同一位置不同的时间给出两个图像。左眼图像出现时，右眼眼镜关闭，右眼图像出现时，左眼眼镜关闭。采用逐行扫描，分辨率较高，可实现真正的1080p立体电视技术无需辅助眼镜-裸眼3D裸眼直视自动立体显示技术，该类技术主要通过光学系统将左右眼图像分别在空间不同方向进行传播，从而在特定位置使左右眼观看到不同图像内容来实现立体显示被动偏振眼镜式一部分3D液晶电视采用了被动偏振眼镜式。在屏上，另有一层偏振导向膜，交错将每一行的光线偏振方向做方向扭转，奇数行扭转到与左眼镜片偏光方向相同的角度，偶数行扭转到与右眼镜片偏光方向相同的角度（也可奇数行对右眼，偶数行对左眼）被动偏振眼镜式主动偏振眼镜式（快门式）显示屏高速交替显示左右眼画面，眼镜左右眼也分别高速切换开关，显示左眼画面时，眼镜左眼打开右眼关闭，显示右眼画面时，眼镜右眼打开左眼关闭。所有的等离子3D电视和一部分液晶3D电视使用这种技术形式目前三星、LG、SONY等厂商所推出的3D电视主要使用的就是这种3D显示技术主动偏振眼镜式主动偏振眼镜式通过提高画面的快速刷新率（至少要达到120Hz），左眼和右眼两个60Hz的快速刷新图像才会让人对图像不会产生抖动感，并且保持与2D图像相同的帧数优点：资源相对较多，厂商宣传推广力度大，3D效果出色缺点：快门眼镜价格昂贵主动偏振眼镜式裸眼式——柱状透镜式在屏表面上有一道道紧密排列的半圆柱形透镜，利用这些柱镜的折射角度不同，将左右眼的图像分开优点：不需要眼镜，使用方便，制作成本相对较低，亮度较高缺点：分辨率损失较严重，2D兼容性不好裸眼式——柱状透镜式裸眼式——平行光栅式在屏前或屏与背光板之间再加一层遮蔽物，把部分方向的光线遮住，只让某些角度的光线可以发出去，将左右眼的图像分开优点：不需要眼镜，使用方便，如果遮蔽物使用可以切换状态的材质，则可以很好的兼容2D缺点：制作成本相对较高，亮度较低，分辨率损失也较严重裸眼式——平行光栅式多视点技术如图(a)所示，视区1表示观看者眼睛位于该视区时只能看到第一幅视差图像；同理视区2表示观看者眼睛位于该视区时只能看到第二幅视差图像。当观看者左眼位于视区1而右眼位于视区2时，就能感知到立体图像多视点技术若观看者水平移动一定距离就会使得左眼位于视区2而右眼位于视区1，从而产生伪立体（赝立体）。采用双视点技术，观看者只能在相对固定的位置观看到立体图像，缺乏自由度多视点技术为了给观看者提供较大的观看自由度，可采用多视点技术所谓多视点技术，即有N（N>2）幅视差图像信息N幅视差图像交错排列在平板显示屏上，借助光栅的分光作用，