利用全息光学元件实现3D全彩色增强现实

1、利用全息光学元件实现3D全彩色增强现实题目： 利用全息光学元件实现3D 全彩色增强现实 姓 名 马福强 学 号 2120140551 学 院 光电学院 导 师 蓝天 联系方式邮 箱 qingmu1mfz2014 年 12 月 12 日目录1、引言32、增强现实技术和全息技术32.1、增强现实的历史与概述322、全息技术的发展概述全息光学元件介绍43、增强现实系统简介53.1、增强现实系统的构成532、增强现实系统的关键技术及关键设备简介64、基于全息光学元件的增强现实系统实现741、基于全息光学元件的3D全彩色增强现实原理74.2、基于透镜阵列式全息光学元件的3D全彩

2、色增强现实实验84.2.1、记录和再现过程分析84.2.2、衍射效率的测量94.2.3、虚拟信息的再现104.2.4、实验结果与结论115、结论126、我的工作126.1、摄像机标定原理136.2、基于OpenCV的摄像机标定算法及标定结果13参考文献151、引言增强现实(Augmented Reality, AR)技术的目标是将计算机生成的文本信息、图像、虚拟3D模型、视频或场景等实时准确的叠加到使用者所感知的真实场景上，实现虚拟场景和真实场景的有机融合。增强现实是在虚拟现实（Virtual Reality, VR）的基础上发展起来的，AR是VR的技术延伸，同时两者又有着明显的界线与区别。V

3、R是将计算机图形学、计算机仿真技术、人机交互技术、传感技术、人工智能、多媒体技术等综合集成，产生逼真的视、听、触觉一体化的特定范围的三维虚拟环境，使用者可以自然地和虚拟环境中的客体进行交互，相互影响。与VR所要达到的完全沉浸在虚拟环境中的效果不同的是，AR的目标是将计算机生成的文本信息、图像、虚拟3D模型、视频或场景等实时准确的叠加到使用者所感知的真实景物上，实现虚拟场景和真实场景的有机融合。因此AR是虚拟环境与真实场景之间的一座桥梁，实现了对现实世界信息的增强，提高使用者对真实世界的感知能力。近年来，随着计算机性能的提高、机器视觉和显示技术的发展，AR技术逐渐成为了国内外广大学者们研究的热点

4、。2、增强现实技术和全息技术2.1、增强现实的历史与概述增强现实技术主要是将计算机生成的文本信息、图像、虚拟3D模型、视频或场景等虚拟信息实时准确的叠加到真实场景上，实现虚拟场景和真实场景的有机融合。尽管虚拟现实技术发展较早，但直到20世纪90年代初期，波音公司的Tom Caudell和他的同事在飞机铺线工作中将材料的虚拟信息添加到工作人员的头盔显示器中帮助工作人员工作，才在真正意义上实现了将计算机产生的虚拟信息叠加到真实环境中,并第一次提出了“增强现实”（Augmented Reality）的概念。此后增强现实系统则遍地开花，陆续出现在了各行各业，例如齐妮尔（Kirner）、克劳迪奥（Cla

5、udio）等学者运用增强现实技术，改善了网络环境中人际交流的方式；兰姆（Lam）、阿尔伯特（Albert H.T）等人结合真实世界的游戏与电脑游戏的优点，开发出一款名为“增强现实桌”（Augmented Reality Table）的游戏，它利用头盔式摄像机来感知纸牌的输入和真人玩家的命令操作，通过交互式的游戏环境使真人玩家与3D模型玩家进行互动，从而产生更有吸引力的用户体验；2012年4月4日，美国著名互联网巨头谷歌公布的“Project Glass”的电子眼镜产品计划，即谷歌眼镜(如图1所示)，这款增强现实产品具有智能手机所能提供的各类服务，镜片具有微型显示屏的功能，其可将信息传送至镜片，

6、并允许课穿戴用户通过声音控制收发信息。图1-1 谷歌眼镜22、全息技术的发展概述全息光学元件介绍早在 1948 年，为了提高电子显微镜的分辨本领，英籍匈牙利物理学家D. Gabor提出了全息原理，并开始了全息照相的研究工作。但由于汞灯光源的相干性较差，使全息图的质量受到很大的影响。这方面的工作直到 1960 年激光发明后才有突破性的进展。根据全息学的基本原理，全息技术可分为记录和再现两个相对独立的环节(图 1-1 所示为一般光学全息的记录和再现过程示意图)。其第一步是利用干涉原理记录物体光波信息，参考光束和物光束叠加产生干涉，把物体光波上各点的位相和振幅转换成在空间上变化的强度，利用干涉条纹间

7、的反差和间隔将物体光波的全部信息记录在全息介质上；其第二步是利用衍射原理再现物体光波信息，用记录时用的参考光照射全息介质，由于全息介质记录了物体上各点的光信息，故原则上它的每一部分都能通过衍射光波再现原物的整个图像。并且再现的图像立体感强，具有真实的视觉效应。图1-2 光学全息的记录过程(a)和再现过程(b)从发展过程来看，全息技术经过汞灯光源的同轴全息、激光光源的离轴全息和激光记录白光再现的全息技术三代的发展，已经发展的相当成熟，并向着全息术的最后一个目标亦即终极目标：白光记录白光再现发展。而全息光学元件是用全息学的方法在记录材料薄膜上记录点光源的干涉条纹,再经过处理制成光栅条纹结构的薄膜光

8、学元件, 可以完成准直、聚焦、成像、分束、光束偏转和光束扫描等功能，但有时也称为衍射光学元件，主要包括：全息透镜、全息光栅、全息滤光片、全息扫描器等，其使用材料主要包括：例如光导热塑料、光致聚合物、多量子阱材料和光折变晶体等，本文所述实验所用的记录材料为光致聚合物。需要强调的是，衍射效率是评价衍射光学元件以及含有衍射光学元件的折衍射混合光学系统的重要指标之一。光线通过衍射光学元件后，会产生多个衍射级次，一般只是关注主衍射级次的光线，其他衍射级次的光线在主衍射级像面上形成杂散光，降低像面的对比度。因此，衍射光学元件的衍射效率直接影响到衍射光学元件的成像质量，对衍射光学元件衍射效率的精确测量是十分

9、必要的。3、增强现实系统简介3.1、增强现实系统的构成一个典型的增强现实系统(如图3-1所示)通常由场景采集系统、跟踪注册系统、虚拟场景发生器、虚实合成系统、显示系统和人机交互界面等多个子系统构成。其中，场景采集系统负责获取真实环境中的信息，如外界环境图像或视频；跟踪注册系统用于跟踪观察用户的头部方位和视线方向等；虚拟图形绘制系统负责生成要加入的虚拟图形对象；虚实合成系统是指虚拟场景与真实场景对准的定位设备和算法。图3-1 增强现实系统构成图32、增强现实系统的关键技术及关键设备简介在增强现实系统中，虚拟物体和真实场景的混合显示的目标是结合真实和虚拟世界来实现场景的无缝拼合，因此虚实准确结合的

10、注册步骤和最后的显示系统非常关键，决定了用户对环境的最终感知效果。增强现实系统中的显示系统主要使用透视式头盔显示器来实现虚拟物体与真实环境的混合显示，佩戴透视式头盔显示器的使用者既可以看到外部的真实环境，又可以看到计算机生成的虚拟景物。因此，透视式头盔显示器是将虚拟景物和真实环境融合的重要显示设备，是AR系统中的关键设备。透视式头盔显示器的主要作用是实现虚拟信息与真实环境的融合，由三个基本环节构成：虚拟信息显示通道、真实环境显示通道、图像融合及显示通道。而其中虚拟信息的显示原理与虚拟现实系统所用的浸没式头盔显示器基本相同，图像融合与显示通道是与用户的最终接口，基本取决于真实环境的表现方式。因此

11、根据真实环境的表现方式划分，目前的透视式头盔显示器主要有基于CCD摄像原理的视频透视式头盔显示器和基于光学原理的光学透视式头盔显示器两种形式。基于CCD摄像原理的视频透视式头盔显示器原理如图3-2(a)所示。由安装在使用者头盔上的两个微型CCD摄像机摄取外部真实环境的图像，计算机通过计算处理将所要添加的信息或图像信号叠加在摄像机的视频信号上，通过视频信号融合器实现计算机生成的虚拟场景与真实场景融合，最后通过类似于浸没式头盔显示器的显示系统呈现给用户。基于光学原理的光学透视式头盔显示器则是通过一对安装在眼前的半透半反的光学合成器实现对外界真实环境与虚拟信息的融合的，如图3-2(b)所示。真实场景

12、直接透过半反半透镜呈现给用户，经过光学系统放大的虚拟场景经半反半透镜反射而进入眼睛，真实场景和虚拟场景的融合通过光学合成器来实现。ab图3-2 视频信号融合器(a)和半透半反镜(b)实现虚实图像融合它们两者之间的主要区别就在于真实环境的显示方式。光学透视式头盔显示器对真实环境是一种几乎“无损”的显示，使用者对真实环境的观察只受到半透半反的光学组合器的过滤，真实场景几乎完整地呈现给使用者，所获得的信息比较可靠和全面，因此光学透视式头盔显示器的发展得到了极大的关注，典型的例子如谷歌眼镜。4、基于全息光学元件的增强现实系统实现41、基于全息光学元件的3D全彩色增强现实原理基于光学原理的光学透视式头盔

13、显示器中主要是通过一个半透半反的透镜实现虚实场景的融合。而全息光学元件（Holographic optical element, HOE）是其极佳的代替品，因为，HOE是一种包含衍射光栅的全息器件，它能实现传统光学元件的光学功能，如反射镜、透镜等。基于全息光学元件的图像合成器满足透视式的功能，而且更重要的是对于真实场景的亮度没有损耗，同时能够减小设备的尺寸并降低预算。基于以上优势，利用全息光学元件作为图像合成器具有一定的研究价值。因此，可以利用全息光学元件作为图像合成器在光学透视式的增强现实系统中实现3D全彩色的显示。全息光学元件可以实现虚拟场景的记录和重现，如图4-1所示。在体积全息记录的过

14、程中，即作为参考光的平面波和通过透镜阵列的的球面信号光发生干涉，将会在全息光学元件表面的全息材料的形成被每个透镜单元调制的干涉条纹。当完全相同的参考光照射的全息材料上时，形成记录的透镜阵列式全息光学元件将会重现记录过的透镜阵列的波前,所形成的效果就如同通过了透镜阵列一样，而此时的透镜阵列式全息光学元件的作用如同半反半透镜，但只有符合布拉格条件的光才能被反射回来形成图像。当参考光为携带图像信息的平行光时，则可以形成图像。同时，由于全息光学元件具有透明性，且不符合布拉格条件的光将不能被反射形成积分图像，所以透镜阵列式全息光学元件对于真实场景的亮度没有损耗。另外需要注意理解的是，透镜阵列单元的大小即

15、为其成虚拟图像像素的大小。图4-1 利用全息光学元件记录（a）和再现（b）原理图作为图像合成器，经过记录的透镜阵列式全息光学元件可以提供虚拟3D图像，并且它的透视式很好的满足了基于光学的透视式增强现实系统。4.2、基于透镜阵列式全息光学元件的3D全彩色增强现实实验4.2.1、记录和再现过程分析如图4-2-1所示，描述了透镜阵列式全息光学元件记录和再现的实验过程。图中所示的三个激光器：红色（671nm）、蓝色（473nm）、绿色（532nm），同属于光线集中模块（beam-combining part）。其中二分之一玻片分别在三色光的光路上，控制着光线的偏振状态；而ND（neutral dens

16、ity）控制着三个激光器的能量密度；ES（electric shutter）控制着三个激光器的曝光时间。光线扩展模块的作用是把激光器出射光线扩展成相互平行的平面波。最后的记录模块是把平面波分成两束分别为参考光和入射光分别照射全息材料，具有3.3毫米焦距直径为1mm的透镜阵列放在入射光路上，而全息材料则位于参考光和入射光交叉点（产生干涉）的一块可移动平台上。其中，入射光正常入射，而参考光与垂直方向成50度夹角入射到全息材料上。图中两个正方向的孔径光阑（A1、A2）约30mm宽，其作用是使参考光和入射光可以精确的在全息材料上成像。但随之而来的是，这个孔径光阑也限制了参考光和入射光在全息材料上的成像

17、区域的大小。为了扩大全息材料的记录区域，可以用在沿一个轴方向可以移动的空间复用（spatial multiplexing），这样，通过在水平方向沿轴移动全息材料所在的移动平台，就可以记录一个30mm*60mm大小图像的全息光学元件。另外，为了在三个波长上获得相当的衍射效率，在同时使三个激光器在全息材料上曝光，同时也分别改变激光器的能量密度。在全彩色全息光学元件的记录和再现实验中，蓝绿红激光器的能量密度分别为51mJ/cm2、59 mJ/cm2、47 mJ/cm2 。图4-2-1 全息光学元件记录和再现实验图4.2.2、衍射效率的测量在透镜阵列式全息光学元件对平面参考光波衍射的过程中衍射效率（D

18、E）是比较难计算的。相反为了能得到全息成像过程中的衍射效率，可以通过测定透镜阵列式全息光学元件的透射率（T）和反射率（R）间接计算可见光波段的衍射效率，当材料对光波的吸收和散射可以忽略不计时，衍射效率即：。实验中，用一个具有宽频带非相干光源的投影仪来调制全彩色全息光学元件上的图像。另外，用一个具有非相干白光源的分光器测定透镜阵列式全息光学元件的的透射率和反射率。透镜阵列式全息光学元件的透射率和反射率如图4-2-2所示。图4-2-2 透镜阵列式全息光学元件的透射率和反射率其中红、绿、蓝三种颜色的透射率、反射率、衍射效率分别列在的下表中。表1、经过记录的透镜阵列式全息光学元件显示图像的三原色的透射

19、率、反射率和衍射效率的测量值。红色（%）绿色（%）蓝色（%）透射率（T）75.772.173.2反射率（R）6.26.75.5衍射效率（DE）18.121.221.34.2.3、虚拟信息的再现在实验用的基于透镜阵列式全息光学元件的光学透射式增强现实系统的3D虚拟图像的再现过程中，需用产生与记录时所用参考光相同的参考光光源。同时，为了在透镜阵列式全息光学元件上产生校准的图像，还需使用光学中继和远心镜头。透镜阵列式全息光学元件的放置同记录时一样，和参考光成50度夹角。图4-2-3 虚拟图像再现实验图片在实验中，用于透射的图像通过图像投影仪投射在透镜阵列式全息光学元件上，然后在透镜阵列式全息光学元件

20、的前方形成虚拟图像，此时的透镜阵列式全息光学元件正如半反半透镜一样可以实现虚实场景的融合（也可以理解为透明屏幕）。实验中所用的是电脑生成的具有3D信息的三个英文字母：S，N，U。为了显示色彩的代表性并描述出3D信息，原始图像中三个字母的颜色分别为红、绿、蓝，而且其深度信息也不相同，分别为+30、0、-30。如下图4-2-3所示。图4-2-3 实验所用3D虚拟图像当符合上述条件的虚拟图像投射到经过记录的透镜阵列式全息光学元件上时，由于投射光符合布拉格条件将会被反射到全息光学元件前方，形成图像。由于图像的形成如同是被一块透镜阵列成像，所以，透镜阵列单元透镜的大小就是虚拟图像的像素大小。4.2.4、

21、实验结果与结论如下图4-2-4所示，则显示了在基于透镜阵列式全息光学元件的增强现实系统利用上面的3D虚拟信息在五个不同的角度形成的增强图像。从图像的结果也可以看出，从五个不同的角度看到的虚拟图像：即三个字母，确实是具有3D信息。我们也可以从图中看出这的确提供了一种双目显示的方法，并给用户呈现3D效果。图4-2-4 实验结果：从五个不同角度观察的效果接下来的研究工作可以从全息光学元件的使用上展开研究，例如使用更多的基本全息光学元件，并在3D虚拟信息重构的过程中减小透镜之间的距离，另外为了提高图像的亮度可以使用更高的光线能量密度。同时，真实的图像由于不符合布拉格条件也同虚拟图像一样通过透镜阵列式全

22、息光学元件被观测到，这说明基于透镜阵列式全息光学元件的3D全彩色增强现实系统具有透视的功能。上述实验的结果证实了透镜阵列式全息光学元件作为一种新的3D光学透射式增强现实系统的有效性。5、结论在目前的增强现实系统中，正如前文所描述的一样，透射式的增强系统使用较多的是半反半透镜作为虚实图像的合成器，技术也比较成熟。但利用全息光学元件记录并再现出3D全彩色虚拟图像而实现的增强现实系统通过上述实验可以看出具有可行性，也可以通过舍弃虚拟图像生成设备进而减小系统的尺寸并降低系统预算，但仍需要进一步的研究解决一系列的问题,如实时跟踪注册等。6、我的工作正如前面所描述的那样,AR系统的关键技术有显示技术、相机

23、标定技术、跟踪注册技术以及界面可视化技术等, AR 系统的实现一般包括四个基本步骤：(1)获取真实场景信息；(2)分析真实场景与摄像机的位置信息；(3)对虚拟物体进行建模；(4)视频合并或直接显示在用户的便携式显示器中。其中,第(2)步中, 计算机需要分析大量的摄像机跟踪数据和真实场景信息，这样才可以精确地计算出虚拟模型被安置在现实环境(真实场景)中的确切位置。进行这一步的基础工作便是进行摄像机标定。所以，我就摄像机标定做了一些工作，也是实现增强现实系统所必须做的工作。由于前面的描述中没有涉及任何跟踪注册的相关内容，因此我在这方面做了一些工作。6.1、摄像机标定原理摄像机标定的目的是确定摄像机

24、的位置、属性参数、建立成像模型，以便确定空间某点与它在图像平面像点间的对应关系。其要确定的参数可以分为内部参数和外部参数：内部参数描述摄像机的内部光学和几何特性，如图像中心、焦距、镜头畸变等；外部参数就是相对于世界坐标系的摄像机坐标的三维位置和方向。摄像机模型：在进行摄像机标定时，我们一般使用针孔模型，并引入透镜的径向畸变和切向畸变。为了更好的描述摄像机模型，需要定义几个坐标系。设 P (Xw，Yw，Zw )是一个点的世界坐标，P(Xc，Yc，Zc)是该点在摄像机坐标系中的坐标，P (x，y)是该点在图像平面坐标系，（u，v）为像素坐标系。通过坐标系之间的变换关系我们可以得到以世界坐标系表示的

25、P点坐标与其投影点p（在像素坐标系的点）的坐标（u，v）的关系： 其中，；M为3*4矩阵，称为投影矩阵；完全由ax，ay，u0，v0决定，由于ax，ay，u0，v0只与摄像机内部结构有关，我们称这些参数为摄像机内部参数；M2完全由摄像机相对于世界坐标系的方位决定，成为摄像机外部参数，确定某一摄像机的内外参数，称为摄像机标定。6.2、基于OpenCV的摄像机标定算法及标定结果由上述摄像机模型可见，如果已知道投影矩阵M，对任何空间点P，如已知它的坐标，就可求出它的图像点p的位置（u，v）。在这里我们使用基于2D平面靶标的摄像机标定方法，要求摄像机在两个以上不同的方位拍摄一个平面靶标，摄像机和2D平

26、面靶标都可以自由地移动，不需要知道运动参数。标定过程中内部参数始终不变，只有外部参数发生变化。这种方法由张正友等人提出，其平面靶标上有很多方格点，方格点即为标定点。基于棋盘格点的摄像机标定（张正友）：1、制作一张模板（棋盘格点）；2、从不同的角度拍摄若干张图像；（实时）3、检测图像的特征点；4、求摄像机的内参和外参；5、求出畸变系数。（由于求取畸变的过程比较复杂，这里没有描述过程）通过开源代码库OpenCV，并编写相关程序实现了摄像机标定的目标，并得出了相关参数，且结果基本符合预期。图6-2-1基于OpenCV的摄像机标定过程中所用图片图6-2-2 基于OpenCV的摄像机标定结果在摄像机标定

27、过程中，我们使用的摄像机所成图像大小为640*480，因此，标定的图像中心应该在320*240即（u0,v0）坐标为（320,240），而我们的标定结果为（316.3, 249.8），虽然存在误差但在可以接受的范围内，同时误差的大小与所使用的摄像机的质量相关。参考文献1. Hong, K, Yeom, J，Jang, C et al. Full-color lens-array holographic optical element for three-dimensional optical see-through augmented reality J. OPTICS LETTERS, 2014, 39(1):127-130.2. 钟慧娟，刘肖琳，吴晓莉.增强现实系统及其关键技术研究J. 计算机仿真,2008