7章基于图像的VR技术84

基于图像的VR技术VR的两两种研究究方法简简介VR的两两种研究究方法：：方法一：：基于几几何的绘绘制该方法有有时也被被称为基基于模型型的方法法传统上，，一个虚虚拟环境境是由各各类3D几何体体合成的的。在虚虚拟环境境中漫游游是通过过实时绘绘制2D几何体体实现的的。首先对场场景建立立三维几几何模型型，对场场景中各各个物体体的材料料、光照照、纹理理、消隐隐等因素素进行描描述；然后根据据观察者者位置和和观察角角度生成成场景中中各个物物体的图图象，用用图形学学方法进进行绘制制；最后用光光线跟踪踪或纹理理映射的的方法增增加真实实感，同同时对物物体进行行着色、、上光、、粘贴材材质、判判断遮挡挡、填充充空洞等等处理。。基于几何何绘制的的方法此方法有有3个主主要问题题：第一，几几何体的的建模是是一个非非常繁琐琐的问题题。其次，由由于漫游游需要实实时显示示，因此此限制了了场景的的复杂性性和绘制制的质量量。最后，加加速绘制制所需要要的专门门硬件极极其昂贵贵，因此此限制了了虚拟现现实的发发展。基于几何何的绘制制方法的的工作流流程基于图像像绘制技技术VR的两两种研究究方法：：方法二：：基于图图像的建建模和绘绘制(ImageBasedModelingandRendering，简称称IBMR，简简写为IBR))从已知的的图像中中合成新新视图来来构成虚虚拟环境境，IBMR方法有有以下优优点：建模容易易：把不同视视线方向向、不同同位置拍拍摄的照照片数据据按某种种形式组组织起来来表示场场景，如如全景图图像和光光场，这这就是IBMR意义下下的所谓谓建模。。绘制快：：不需要复复杂的计计算，直直接从已已有的视视图中合合成新的的视图，，整个绘绘制过程程都在二二维空间间进行，，绘制时时间不依依赖于场场景的复复杂度，，只跟显显示分辨辨率有关关。

真实感强强：基于图像像的方法法能真实实地反映映景物的的形状和和丰富的的明暗、、材料及及纹理细细节，不不需要经经过额外外的光照照模拟。。交互性好好：由于有绘绘制速度度和真实实感的保保证，再再加之先先进的交交互设备备和反馈馈技术，，使得基基于图像像的VR有更好好的交互互性。当然，IBR方方法也并并非没有有不足，，目前还还有如下下缺点：：1)表示示模式。。即数据的的组织问问题。需需要找到到一种简简便有效效且适合合于计算算机表示示的模式式，使之之能精确确完整地地表示整整个场景景;2)获取取方法。。用手持相相机或者者用被精精确定位位与控制制的数控控摄像机机、图象象采样的的数量多多少、采采样模式式及样本本均匀性性等都会会影响问问题的难难度和精精度。3)失真真问题失真是由由于连续续图象信信号的离离散化、、采样设设备的精精度和质质量、设设备噪等等多种因因素而产产生的。。同时，，工BR方法不不可避免免地要对对场景图图象进行行多重采采样，这这样又会会产生采采样积累累误差。。4)可见见性判断断。景物间的的相互遮遮挡会使使新合成成的视图图中出现现空洞和和重叠。。5)信息息压缩。。IBR方法的的计算量量不大，，但数据据量很大大，合理理有效的的压缩及及解压缩缩机制是是一个亚亚待解决决的问题题。6)完全全漫游。。如何实现现基于图图象的完完全实时时漫游是是基于IBR方方法的虚虚拟现实实系统能能否走向向实用的的又一个个关键问问题。基于图像像的建模模和绘制制技术基于立体体视觉的的方法基于视图图插值的的方法基于图像像拼合和和分层的的方法基于全视视函数的的方法基于立体体视觉的的方法基于立体体视觉的的视图合合成方法法主要利利用立体体视觉技技术从已已知的参参考图像像中合成成相对于于新视点点的理想想图像关键问题题是找出出每对已已知图像像之间的的对应映映射，即即解决立立体匹配配问题通过对应应关系建建立了一一个基于于图像的的场景表表示将场景视视图及其其对应关关系组成成一个图图结构，，图中灰灰色摄像像机代表表不同物物理位置置的参考考图像，，黑色摄摄像机代代表合成成视图，，双向边边表示邻邻接视图图间的立立体对应应关系，，单向边边表示对对参考图图像所做做的变换换。基于图像像的建模模和绘制制技术1基于于立体视视觉的方方法基于立体体视觉的的图像合合成方法法主要有有以下优优点：新视图可可以由两两幅邻近近的参考考图像及及它们的的对应关关系合成成，整体体的几何何模型不不是必需需的；图像变换换比传统统的图像像绘制快快得多，，而且计计算时间间独立于于场景复复杂度；；只需知道道邻接摄摄像机之之间的相相对轮廓廓信息，，而不需需要对摄摄像机进进行精确确的定标标。基于立体体视觉的的图像合合成方法法也存在着着立体视视觉中固固有的缺缺陷：由于场景景有可能能部分和和全部地地被遮挡挡，只能能掌握场场景有限限的信息息，导致致在参考考图中不不可见而而在新图图中应该该可见的的区域出出现空洞洞，如何何填补这这些空洞洞是一个个难以解解决的问问题；由于只产产生有限限的深度度分辨率率(深度度不连续续)，使使得匹配配处理出出现误差差。视图插值值方法可可以对二二维的图图像按照照形状插插值来模模拟和近近似三维维的图形形变换。。给定两两幅不同同视点参参数的图图像，用用这种方方法可以以求出中中间视点点的图像像，从而而达到视视点变化化的效果果。视图插值值就是利利用图像像变形的的方法产产生视点点沿着一一定路径径变化时时的中间间图像基于图像像的建模模和绘制制技术2基于于视图插插值的方方法将同一场场景的多多张有重重叠的图图像组合合成一幅幅较大图图像的处处理叫做做拼合((mosaic)。图像拼合合技术典典型地被被用于全全景图的的生成、、改善图图像分辨辨率、图图像压缩缩及视频频扩展等等方面图像整合合(imageregistration),,即是是把参考考图像中中相互重重叠的部部分对齐齐所做的的变换。。基于图像像的建模模和绘制制技术3图像像拼合和和分层的的方法全视函数数(PlenOpticFunction)是是由Adelson和和Bergen命名的的全视函数数描述了了观察点点(而非非物体或或光源))接收到到的所有有可见光光辐射的的能量。。用计算算机图形形学术语语，它描描述了给给定场景景中所有有可能的的环境映映照集合合全视函数数定义在在一个七七维的参参数空间间上代表空间间中视点点的位置置，视域域方向和和范围用用仰角方位角定义，λ代表人人眼感受受到的波波长,t代表时时间基于图像像的建模模和绘制制技术4基于于全视函函数的方方法

全视函数数的参数数化摄像机：：模型及及定标摄像机模模型针孔成像像模型（（几何））几种参考考坐标系系成像过程程（代数数）摄像机定定标线性模型型摄像机机定标非线性模模型摄像像机定标标立体视觉觉摄像机机定标一、Camera模模型：针孔成像像模型图像上每每一点的的亮度反反映了空空间物体体表面某某点反射射光的强强度，而而该点在在图像上上的位置置则与空空间物体体表面相相应点的的几何位位置有关关。这些些位置的的相互关关系，由由摄像机机成像几几何模型型所决定定；该几何模模型的参参数称为为摄像机机参数，，必须由由实验与与计算来来确定，，实验与与计算过过程称为为摄像机机定标；；摄像机模模型是光光学成像像几何关关系的简简化。最最简单的的模型为为线性模模型，亦亦称为针针孔模型型(pin--holemodel)摄像机针针孔模型型示意图图Camera模模型：四种参考考坐标系系Image坐标系camera坐标系world坐标系（物理/计算机））Camera模模型：代数模型型成像过程程旋转、平移（欧氏变换）(1)从从world坐坐标到Camera坐坐标齐次坐标标概念：：Camera模模型：代数模型型(2)经经透视投投影将Camera坐坐标投影影到实际际图像平平面透视投影影（中心射射影）：：Camera模模型：代数模型型(3)将将实际图图像坐标标转换成成计算机机图像坐坐标(缩缩放变换换)Image坐标系代数表达达：为计算机图像坐标（象素单位）为实际图像坐标（物理单位）Camera模模型：代数模型型完整过程程摄像机定标：求解二、Camera定标标目标基本原理理定标参照照物线性模型型非线性模模型立体视觉觉自定标((project))实例机器人手手眼定标标主动视觉觉的头眼眼定标Camera定定标：线性模型型情形Camera的完整代代数模型型：其中：:

为3X4矩阵，称为投影矩阵;:由（（只只与摄像像机内部部结构有有关）决决定，称称为摄像机内内部参数数;:由摄像机机相对于于世界坐坐标系的的方位决决定，称称为摄像机外外部参数数;Camera定标：确定某某摄像机机的条件：借借助定标标参照物物（已知知n个点）摄像机定定标算法法（线性模型型情形）最小二乘乘法Camera定定标：非线性模模型情形形径向畸变变离心畸变变薄棱镜畸畸变如广角镜镜头系统统Camera定定标：立体视觉觉情形极线概念Camera定定标：立体视觉觉情形消去消去Camera定定标：立体视觉觉情形：基本矩阵外极线方程：Camera定定标自定标不使用定定标参照照物针孔摄像像机模型型及坐标标系全景图像像的生成成图像拼合合主要包包含两个个问题：：一是图像像整合，，即把参参考图像像中相互互重叠的的部分对对齐所做做的变换换；二是图像像缝合，，即把图图像经过过一定的的变换后后，在缝缝合空间间进行图图像的局局部匹配配。通过图象象拼接来来生成全全景图象象的基本本过程如如下:针对某一一场景，，视点固固定，采采集一组组有重叠叠区域的的连续环环视图象象作为原原始图象象数据。。按照全景景视觉一一致性的的要求，，同时也也是为了了维持实实际场景景中的空空间约束束关系，，先将原原始图象象数据转转化为拼拼接图象象数据，，即:把把原始图图象转换换到用于于映射全全景图象象的曲面面上(如如:圆柱柱面、球球面、立立方体表表面等))。通过图象象拼接技技术，将将这组图图象中相相邻两幅幅图象间间的重叠叠部分整整合在一一起，进进而实现现相邻两两幅图象象的拼接接。当所所有的图图象都拼拼接完毕毕后，就就会获得得一幅全全景图象象。当然也可可以不固固定视点点，如::手持照照相机进进行拍摄摄，但此此时要通通过某种种办法计计算出拍拍摄各张张相片时时，照相相机的位位置和方方位柱面全景景模型柱面全景景模型((图a))就是将将环境图图像表达达在一个个圆柱体体面上，，这样就就很容易易将它展展开为简简单的平平面图((图b))。在水水平方向向上其无无表面无无边界，，从而简简化了建建立图像像流场所所需的对对应关系系搜索。。通过旋转转摄影的的方法，，可以获获得一系系列相互互间有一一定接缝缝的局部部图像，，以此作作为全景景图像生生成的原原始输入入。柱面体模模型和展展开示意意图1、柱面面正投影影算法在拼接全全景图像像之前必必须将他他们统一一投影到到柱面上上，使现现实世界界中相同同的景物物在不同同的局部部图像中中是相同同的。柱面正投投影算法法是为了了将多张张实景图图像分别别投影到到一个柱柱面上，，以柱面面全景图图像的形形式存储储,就是是对于一一张拍摄摄的实景景图像I上的每每一个象象素点P的坐标标(x,,y))，找到到其在圆圆柱体上上的投影影点Q((u,,v,,w))在柱面面全景图图像中的的坐标((x’，，y’))。如下下图2--9所示示。P在照相相机坐标标系下的的坐标为为:(x-W//2,y-H//2,--f)，，其中，，W和H分别是是实景图图像I的的宽度和和高度。。把圆柱柱面的中中心设为为照相机机坐标系系的原点点0，以以数码相相机的象象素焦距距f作为为圆柱面面的半径径。柱面正投投影示意意图柱面坐标标转换图图照相机坐坐标系原原点0与与象素点点P的直直线方程程可以表表示为参参数方程程(t是是参数)):圆柱面的的方程可可以表示示为:联立上面面式即可可得到P点在圆圆柱面上上投影点点Q的参参数坐标标:为了便于于存储，，将此三三维的坐坐标转换换为二维维的图像像坐标::1、柱面面全景图图像的拼拼接图像的整整合一般图像像整合问问题可以以形式化化定义为为其中I1和I2分别代表表两个图图像样本本，M是是一个平平面投影影变换或或摄像机机定点旋旋转拍摄摄时两幅幅重叠图图像间的的变换矩矩阵，用用齐次坐坐标表示示如下::

因为两个个图像具具有共同同的视点点，所以以m9=1，即即假如M能能得到，，我们就就可准确确地将两两幅图像像拼合。。（1）特特征点的的提取及及相关匹匹配算法法特征点的的提取及及匹配算算法的目目的是提提取图像像的特征征点，然然后对两两幅图像像中的特特征点进进行尽可可能准确确的匹配配。主要包含含以下三三步：首先提取取每幅图图像的特特征点；；然后通过过一定的的相关准准则对两两幅图像像的特征征点集进进行初步步匹配；；最后通过过全局优优化策略略在初始始匹配集集中寻找找最佳匹匹配(a)角角点检测测(CornerDetection))选取的特特征点为为图像上上的Harris角点点，它的的基本原原理描述述如下，，建立下下面的矩矩阵C其中I((x,y)是是亮度值值，这里里用灰度度来表示示如果在一一点上矩矩阵C的的两个特特征值很很大，则则在该点点向任意意方向上上的一个个很小的的移动都都会引起起灰度值值的较大大的变化化角点检测测的函数数如下：：其中k参参数设为为0.04(Harris设设定的最最优参数数)。局局部区域域中对应应角点函函数的最最大值的的点就是是角点。。确定一个个阈值，，仅仅选选取R值值大于这这个阈值值的点作作为角点点。这个个阈值根根据需要要的角点点数量确确定（2）相相关匹配配法匹配过程程如下：：在一幅幅图像中中选择一一个角点点以及角角点周围围小区域域的像素素，把这这些像素素同第二二幅图像像中候选选角点及及周围相相同大小小的区域域像素进进行比较较，得到到一些相相似度量量值，最最后通过过这些度度量值确确定匹配配点。角点的匹匹配过程程是一个个病态问问题。一一些角点点不能得得到匹配配点，这这是因为为第一，待待匹配的的角点有有一些非非常相似似，可能能得到错错误的匹匹配点。。第二，两两幅图像像中求出出的角点点并不是是一一对对应的，，存在一一些角点点在另一一幅图像像中的匹匹配点没没有检测测出来。。相关匹配配法对于图像像I1中中的角点点m1，设其其坐标为为(x1,y1)，并并以该点点为中心心定义一一个大小小为(2n+1)´´(2m+1)的的相关窗窗口。选择第二二幅图像像I2中中的矩形形搜索窗窗口为在在该点附附近大小小为(2dx+1)´´(2dy+1)的的窗口，，然后用用该区域域中的所所有角点点m2与图像像I1中中的角点点m1在给定定的相关关窗口中中进行相相关操作作，并设设m2的坐标标为(x2,y2)。角点m1和m2的相关关值Score定义如如下表示相关关窗口内内像素灰灰度均值值，定义义为，k=1,2.则表示图图像Ik在以点点(xk,yk)为为中心，，大小为为(2n+1)´((2m++1))的邻域域内的标标准偏差差，其表表达式为为相关值Score(m1,m2)的的取值范范围从--1到1，当点点m1与与m2越越相似，，相关值值Score((m1,,m2))也就越越大（3）松松弛法通过对匹匹配点的的匹配强强度进行行松弛法法迭代来来去除模模糊的匹匹配点对对。M矩阵的的鲁棒求求解由于M只有8个个未知参参数，而而一对匹匹配点可可以构成成两个方方程，所所以如果果我们有有四对匹匹配点，，i=1，2，3，，4，便便可得到到下面的的方程组组用下式求求得变换换矩阵M后，可定定义如下下的误差差函数来来衡量M的准确程程度其中，n为匹配配点的数数目，ei为第第i对匹匹配点的的误差，，定义如如下其中图像的缝缝合在求得图图像序列列的变换换矩阵M后，要将将相邻照照片依次次拼接形形成圆柱柱面全景景图，需需要处理理以下三三个问题题：恢复摄像像机焦距距，将照照片序列列投影到到圆柱面面；查找变换换后图像像的重叠叠区域；；对图像的的色彩融融合。摄像机焦焦距的求求解Ii和Ii+1是相邻邻的两幅幅照片，，图Ii的中心心点Oi在Ii+1中中的对应应点是Pi+1。。根据Ii到Ii+1的变换换矩阵Mi，并由由此计算算Pi+1到到Oi+1的的距离ti。摄摄像机焦焦距f、摄像机机帧间转转角Hi与ti之间有有如下关关系：Hi=arctan(ti/f)。如果果图片1,2,……,N是摄像机机环绕垂垂直轴旋旋轴360°摄摄取的如如图所示示的依次次相邻的的图片序序列，那那么有如如下等式式成立,用牛顿迭迭代法解解方程((5-16)，，可得到到以象素素为单位位的摄像像机焦距距f的的值摄像机焦焦距的恢恢复示意意图为简化计计算，设设摄像机机内参数数矩阵为为对于纯旋旋转运动动的情况况，变换换矩阵可可表示为为为旋转矩矩阵。由由于R为为正交矩矩阵，因因此可由由下面的的式子可以求f

缝合点的的查找将图像投投影到圆圆柱面上上后，得得到了具具有重叠叠相似区区域的两两幅图像像对两幅图图像分别别运算相相似距离离，根据据相似距距离来寻寻找图像像的相似似部分由于在上上面的算算法中已已经得到到了匹配配的特征征点，所所以利用用重叠区区域的搜搜寻方法法。

图像投影影变换后后的匹配配点对对于图像像中的特特征点，，设其坐坐标为((,)，，并以该该点为中中心定义义一个大大小为((2n+1)´´(2m+1)的的相关窗窗口。并并设的坐坐标为((,)，，选择第第二幅图图像中的的搜索窗窗口为以以该点为为中心大大小为((2s+1)´´(2t+1)的的窗口，，然后用用该区域域中的所所有点与与图像中中的特征征点在给给定的相相关窗口口中进行行相关操操作，并并设的坐坐标为((,,))。点和和的相关关值Score的定义义上面所所述。在在实验中中，为使使缝合点点查找的的更准确确，例如如使m==n=10，考考虑到，，分别为为m1和m2变换后后的对应应点，所所以确定定搜索窗窗口很小小，s==t=5，相关关值的阈阈值为0.95缝合点查查找的算算法描述述：Step1随随机选选择一对对匹配点点m1、m2，投影影变换后后得到对对应点和和。Step2在在投影影变换后后的图像像和上进进行上面面所述的的相关匹匹配。Step3若若存在在满足要要求的匹匹配，从从中选择择一个最最优的匹匹配作为为结果，，算法结结束；否否则，转转到Step1。图像的色色彩融合合由于相邻邻帧之间间亮度差差的存在在，如果果将图像像简单叠叠加，拼拼接处会会产生明明显的接接缝。为为了消除除拼接缝缝隙，在在两幅图图的重叠叠区域，，将两帧帧图的像像素值按按一定的的权值合合成到新新图图像融合合加权函函数生成的全全景图像像球面全景景图生成成技术使用普通通数字相相机的球球面全景景图生成成技术难难度虽然然较高，，但是应应用价值值也大。。这种方法法对硬件件的要求求低，只只需有一一台数字字相机即即可，随随着数字字相机的的普及，，它能使使个人制制作自己己的球面面全景图图。用这种方方法构造造的全景景图有很很大的灵灵活性，，可以根根据需要要设置场场景的分分辨率，，可以满满足不同同的应用用需求。。还可以用用于从拍拍摄的较较低分辨辨率的图图像构造造高分辨辨率图像像。基于图像像绘制的的全景图图生成系系统可以以采用立方体、圆柱体和球体等模型来来实现。。采用球面面模型生生成的全全景图，，相对于于立方体体模型而而言效果果真实，，相对于于圆柱体体模型而而言视角角范围广广，但球球面全景景图模型型较复杂杂，技术术尚欠成成熟。同时由于于球面模模型生成成全景图图在两极极的变形形较大，，在实际际中应用用受到限限制。球面模型型原始图图像的拍拍摄可以以用普通通相机也也可以外外挂鱼眼眼镜头拍拍摄。对于用普普通相机机拍摄得得到的照照片图像像，其全全景图的的生成过过程一般般为:获获得系列列图像一一计算相相机焦距距一投影影变换一一拼接生生成全景景图一反反投影变变换实时时浏览。。用鱼眼镜镜头，我我们只需需要拍摄摄2-4张张图片，就就可覆盖盖水平和和垂直方方向360度的的场景，，由于全全方位光光线投射射的方式式使得鱼鱼眼图片片中的场场景呈现现扭曲现现象，因因而不能能直接使使用一般般的拼接接方式合合成全景景图。因因此用鱼鱼眼图像像的全景景图生成成过程为为:获得得鱼眼图图片一鱼鱼眼图片片校正一一拼接生生成全景景图一反反投影变变换。相邻照片片几何关关系示意意图为获得球球体的半半径，首首先应对对相机的的焦距进进行估计计。对于于绕固定定视点旋旋转360度拍拍摄到的的水平