基于图像的VR技术培训课件

基于图像VR技术基于图像的VR技术培训课件第1页VR两种研究方法介绍VR两种研究方法：方法一：基于几何绘制该方法有时也被称为基于模型方法传统上，一个虚拟环境是由各类3D几何体合成。在虚拟环境中漫游是经过实时绘制2D几何体实现。首先对场景建立三维几何模型，对场景中各个物体材料、光照、纹理、消隐等原因进行描述；然后依据观察者位置和观察角度生成场景中各个物体图象，用图形学方法进行绘制；最终用光线跟踪或纹理映射方法增加真实感，同时对物体进行着色、上光、粘贴材质、判断遮挡、填充空洞等处理。基于图像的VR技术培训课件第2页基于几何绘制方法此方法有3个主要问题：第一，几何体建模是一个非常繁琐问题。其次，因为漫游需要实时显示，所以限制了场景复杂性和绘制质量。最终，加速绘制所需要专门硬件极其昂贵，所以限制了虚拟现实发展。

基于图像的VR技术培训课件第3页基于几何绘制方法工作流程基于图像的VR技术培训课件第4页基于图像绘制技术VR两种研究方法：方法二：基于图像建模和绘制(ImageBasedModelingandRendering，简称IBMR，简写为IBR)

从已知图像中合成新视图来组成虚拟环境，IBMR方法有以下优点：建模轻易：把不一样视线方向、不一样位置拍摄照片数据按某种形式组织起来表示场景，如全景图像和光场，这就是IBMR意义下所谓建模。绘制快：不需要复杂计算，直接从已经有视图中合成新视图，整个绘制过程都在二维空间进行，绘制时间不依赖于场景复杂度，只跟显示分辨率相关。

真实感强：基于图像方法能真实地反应景物形状和丰富明暗、材料及纹理细节，不需要经过额外光照模拟。

交互性好：因为有绘制速度和真实感确保，再加之先进交互设备和反馈技术，使得基于图像VR有更加好交互性。基于图像的VR技术培训课件第5页当然，IBR方法也并非没有不足，当前还有以下缺点：1)表示模式。即数据组织问题。需要找到一个简便有效且适合于计算机表示模式，使之能准确完整地表示整个场景;2)获取方法。用手持相机或者用被准确定位与控制数控摄像机、图象采样数量多少、采样模式及样本均匀性等都会影响问题难度和精度。3)失真问题失真是因为连续图象信号离散化、采样设备精度和质量、设备噪等各种原因而产生。同时，工BR方法不可防止地要对场景图象进行多重采样，这么又会产生采样积累误差。4)可见性判断。景物间相互遮挡会使新合成视图中出现空洞和重合。5)信息压缩。IBR方法计算量不大，但数据量很大，合理有效压缩及解压缩机制是一个亚待处理问题。6)完全漫游。怎样实现基于图象完全实时漫游是基于IBR方法虚拟现实系统能否走向实用又一个关键问题。基于图像的VR技术培训课件第6页基于图像建模和绘制技术基于立体视觉方法基于视图插值方法基于图像拼合和分层方法基于全视函数方法基于图像的VR技术培训课件第7页基于立体视觉方法基于立体视觉视图合成方法主要利用立体视觉技术从已知参考图像中合成相对于新视点理想图像

关键问题是找出每对已知图像之间对应映射，即处理立体匹配问题

经过对应关系建立了一个基于图像场景表示将场景视图及其对应关系组成一个图结构，图中灰色摄像机代表不一样物理位置参考图像，黑色摄像机代表合成视图，双向边表示邻接视图间立体对应关系，单向边表示对参考图像所做变换。

基于图像建模和绘制技术1基于立体视觉方法基于图像的VR技术培训课件第8页基于立体视觉图像合成方法主要有以下优点：新视图能够由两幅邻近参考图像及它们对应关系合成，整体几何模型不是必需；图像变换比传统图像绘制快得多，而且计算时间独立于场景复杂度；只需知道邻接摄像机之间相对轮廓信息，而不需要对摄像机进行准确定标。基于图像的VR技术培训课件第9页基于立体视觉图像合成方法也存在着立体视觉中固有缺点：因为场景有可能部分和全部地被遮挡，只能掌握场景有限信息，造成在参考图中不可见而在新图中应该可见区域出现空洞，怎样填补这些空洞是一个难以处理问题；因为只产生有限深度分辨率(深度不连续)，使得匹配处理出现误差。基于图像的VR技术培训课件第10页视图插值方法能够对二维图像按照形状插值来模拟和近似三维图形变换。给定两幅不一样视点参数图像，用这种方法能够求出中间视点图像，从而到达视点改变效果。视图插值就是利用图像变形方法产生视点沿着一定路径改变时中间图像

基于图像建模和绘制技术2基于视图插值方法基于图像的VR技术培训课件第11页将同一场景多张有重合图像组合成一幅较大图像处理叫做拼合(mosaic)。图像拼合技术经典地被用于全景图生成、改进图像分辨率、图像压缩及视频扩展等方面图像整合(imageregistration),即是把参考图像中相互重合部分对齐所做变换。基于图像建模和绘制技术3图像拼合和分层方法基于图像的VR技术培训课件第12页基于图像的VR技术培训课件第13页全视函数(PlenOpticFunction)是由Adelson和Bergen命名全视函数描述了观察点(而非物体或光源)接收到全部可见光辐射能量。用计算机图形学术语，它描述了给定场景中全部可能环境映照集合

全视函数定义在一个七维参数空间上

代表空间中视点位置，视域方向和范围用仰角

方位角

定义，λ代表人眼感受到波长,t代表时间基于图像建模和绘制技术4基于全视函数方法

基于图像的VR技术培训课件第14页全视函数参数化

基于图像的VR技术培训课件第15页摄像机：模型及定标摄像机模型针孔成像模型（几何）几个参考坐标系成像过程（代数）摄像机定标线性模型摄像机定标非线性模型摄像机定标立体视觉摄像机定标基于图像的VR技术培训课件第16页一、Camera模型：针孔成像模型图像上每一点亮度反应了空间物体表面某点反射光强度，而该点在图像上位置则与空间物体表面对应点几何位置相关。这些位置相互关系，由摄像机成像几何模型所决定；该几何模型参数称为摄像机参数，必须由试验与计算来确定，试验与计算过程称为摄像机定标；摄像机模型是光学成像几何关系简化。最简单模型为线性模型，亦称为针孔模型(pin-holemodel)基于图像的VR技术培训课件第17页摄像机针孔模型示意图基于图像的VR技术培训课件第18页Camera模型：四种参考坐标系Image坐标系camera坐标系world坐标系（物理/计算机）基于图像的VR技术培训课件第19页Camera模型：代数模型成像过程旋转、平移（欧氏变换）(1)从world坐标到Camera坐标齐次坐标概念：基于图像的VR技术培训课件第20页Camera模型：代数模型(2)经透视投影将Camera坐标投影到实际图像平面透视投影（中心射影）：基于图像的VR技术培训课件第21页Camera模型：代数模型(3)将实际图像坐标转换成计算机图像坐标(缩放变换)Image坐标系代数表示：为计算机图像坐标（象素单位）为实际图像坐标（物理单位）基于图像的VR技术培训课件第22页Camera模型：代数模型完整过程摄像机定标：求解基于图像的VR技术培训课件第23页二、Camera定标目标基本原理定标参考物线性模型非线性模型立体视觉自定标(project)实例机器人手眼定标主动视觉头眼定标基于图像的VR技术培训课件第24页Camera定标：线性模型情形Camera完整代数模型：基于图像的VR技术培训课件第25页其中：:

为3X4矩阵，称为投影矩阵;:由（只与摄像机内部结构相关）决定，称为摄像机内部参数;:由摄像机相对于世界坐标系方位决定，称为摄像机外部参数;Camera定标：确定某摄像机基于图像的VR技术培训课件第26页条件：借助定标参考物（已知n个点）摄像机定标算法（线性模型情形）基于图像的VR技术培训课件第27页最小二乘法基于图像的VR技术培训课件第28页基于图像的VR技术培训课件第29页Camera定标：非线性模型情形径向畸变离心畸变薄棱镜畸变如广角镜头系统基于图像的VR技术培训课件第30页Camera定标：立体视觉情形极线概念基于图像的VR技术培训课件第31页Camera定标：立体视觉情形消去消去基于图像的VR技术培训课件第32页Camera定标：立体视觉情形：基本矩阵外极线方程：基于图像的VR技术培训课件第33页Camera定标自定标不使用定标参考物基于图像的VR技术培训课件第34页针孔摄像机模型及坐标系

基于图像的VR技术培训课件第35页基于图像的VR技术培训课件第36页全景图像生成图像拼合主要包含两个问题：一是图像整合，即把参考图像中相互重合部分对齐所做变换；二是图像缝合，即把图像经过一定变换后，在缝合空间进行图像局部匹配。基于图像的VR技术培训课件第37页经过图象拼接来生成全景图象基本过程以下:针对某一场景，视点固定，采集一组有重合区域连续环视图象作为原始图象数据。按照全景视觉一致性要求，同时也是为了维持实际场景中空间约束关系，先将原始图象数据转化为拼接图象数据，即:把原始图象转换到用于映射全景图象曲面上(如:圆柱面、球面、立方体表面等)。经过图象拼接技术，将这组图象中相邻两幅图象间重合部分整合在一起，进而实现相邻两幅图象拼接。当全部图象都拼接完成后，就会取得一幅全景图象。当然也能够不固定视点，如:手持摄影机进行拍摄，但此时要经过某种方法计算出拍摄各张相片时，摄影机位置和方位基于图像的VR技术培训课件第38页柱面全景模型柱面全景模型(图a)就是将环境图像表示在一个圆柱体面上，这么就很轻易将它展开为简单平面图(图b)。在水平方向上其无表面无边界，从而简化了建立图像流场所需对应关系搜索。经过旋转摄影方法，能够取得一系列相互间有一定接缝局部图像，以此作为全景图像生成原始输入。基于图像的VR技术培训课件第39页柱面体模型和展开示意图基于图像的VR技术培训课件第40页1、柱面正投影算法在拼接全景图像之前必须将他们统一投影到柱面上，使现实世界中相同景物在不一样局部图像中是相同。柱面正投影算法是为了将多张实景图像分别投影到一个柱面上，以柱面全景图像形式存放,就是对于一张拍摄实景图像I上每一个象素点P坐标(x,y)，找到其在圆柱体上投影点Q(u,v,w)在柱面全景图像中坐标(x’，y’)。以下列图2-9所表示。P在摄影机坐标系下坐标为:(x-W/2,y-H/2,-f)，其中，W和H分别是实景图像I宽度和高度。把圆柱面中心设为摄影机坐标系原点0，以数码相机象素焦距f作为圆柱面半径。基于图像的VR技术培训课件第41页柱面正投影示意图基于图像的VR技术培训课件第42页柱面坐标转换图基于图像的VR技术培训课件第43页摄影机坐标系原点0与象素点P直线方程能够表示为参数方程(t是参数):圆柱面方程能够表示为:联立上面式即可得到P点在圆柱面上投影点Q参数坐标:基于图像的VR技术培训课件第44页为了便于存放，将此三维坐标转换为二维图像坐标:基于图像的VR技术培训课件第45页1、柱面全景图像拼接图像整合普通图像整合问题能够形式化定义为其中I1和I2分别代表两个图像样本，M是一个平面投影变换或摄像机定点旋转拍摄时两幅重合图像间变换矩阵，用齐次坐标表示以下:

基于图像的VR技术培训课件第46页因为两个图像含有共同视点，所以m9=1，即假如M能得到，我们就可准确地将两幅图像拼合。

基于图像的VR技术培训课件第47页（1）特征点提取及相关匹配算法

特征点提取及匹配算法目标是提取图像特征点，然后对两幅图像中特征点进行尽可能准确匹配。主要包含以下三步：首先提取每幅图像特征点；然后经过一定相关准则对两幅图像特征点集进行初步匹配；最终经过全局优化策略在初始匹配集中寻找最正确匹配

基于图像的VR技术培训课件第48页(a)角点检测(CornerDetection)选取特征点为图像上Harris角点，它基本原理描述以下，建立下面矩阵C

其中I(x,y)是亮度值，这里用灰度来表示

假如在一点上矩阵C两个特征值很大，则在该点向任意方向上一个很小移动都会引发灰度值较大改变基于图像的VR技术培训课件第49页角点检测函数以下：其中k参数设为0.04(Harris设定最优参数)。局部区域中对应角点函数最大值点就是角点。确定一个阈值，仅仅选取R值大于这个阈值点作为角点。这个阈值依据需要角点数量确定基于图像的VR技术培训课件第50页（2）相关匹配法匹配过程以下：在一幅图像中选择一个角点以及角点周围小区域像素，把这些像素同第二幅图像中候选角点及周围相同大小区域像素进行比较，得到一些相同度量值，最终经过这些度量值确定匹配点。角点匹配过程是一个病态问题。一些角点不能得到匹配点，这是因为第一，待匹配角点有一些非常相同，可能得到错误匹配点。第二，两幅图像中求出角点并不是一一对应，存在一些角点在另一幅图像中匹配点没有检测出来。基于图像的VR技术培训课件第51页相关匹配法基于图像的VR技术培训课件第52页对于图像I1中角点m1，设其坐标为(x1,y1)，并以该点为中心定义一个大小为(2n+1)´(2m+1)相关窗口。选择第二幅图像I2中矩形搜索窗口为在该点附近大小为(2dx+1)´(2dy+1)窗口，然后用该区域中全部角点m2与图像I1中角点m1在给定相关窗口中进行相关操作，并设m2坐标为(x2,y2)。角点m1和m2相关值Score定义以下基于图像的VR技术培训课件第53页

表示相关窗口内像素灰度均值，定义为，k=1,2.

则表示图像Ik在以点(xk,yk)为中心，大小为(2n+1)´(2m+1)邻域内标准偏差，其表示式为相关值Score(m1,m2)取值范围从-1到1，当点m1与m2越相同，相关值Score(m1,m2)也就越大基于图像的VR技术培训课件第54页（3）松弛法经过对匹配点匹配强度进行松弛法迭代来去除含糊匹配点对。

基于图像的VR技术培训课件第55页M矩阵鲁棒求解因为M只有8个未知参数，而一对匹配点能够组成两个方程，所以假如我们有四对匹配点，i=1，2，3，4，便可得到下面方程组

基于图像的VR技术培训课件第56页用下式求得变换矩阵M后，可定义以下误差函数来衡量M准确程度其中，n为匹配点数目，ei为第i对匹配点误差，定义以下

其中基于图像的VR技术培训课件第57页图像缝合在求得图像序列变换矩阵M后，要将相邻照片依次拼接形成圆柱面全景图，需要处理以下三个问题：恢复摄像机焦距，将照片序列投影到圆柱面；查找变换后图像重合区域；对图像色彩融合。基于图像的VR技术培训课件第58页摄像机焦距求解Ii和Ii+1是相邻两幅照片，图Ii中心点Oi在Ii+1中对应点是Pi+1。依据Ii到Ii+1变换矩阵Mi，并由此计算Pi+1到Oi+1距离ti。摄像机焦距f、摄像机帧间转角Hi与ti之间有以下关系：Hi=arctan(ti/f)。假如图片1,2,…,N是摄像机围绕垂直轴旋轴360°摄取如图所表示依次相邻图片序列，那么有以下等式成立,用牛顿迭代法解方程(5-16)，可得到以象素为单位摄像机焦距f值基于图像的VR技术培训课件第59页摄像机焦距恢复示意图基于图像的VR技术培训课件第60页为简化计算，设摄像机内参数矩阵为对于纯旋转运动情况，变换矩阵可表示为为旋转矩阵。因为R为正交矩阵，所以可由下面式子

能够求f

基于图像的VR技术培训课件第61页缝合点查找将图像投影到圆柱面上后，得到了含有重合相同区域两幅图像对两幅图像分别运算相同距离，依据相同距离来寻找图像相同部分

因为在上面算法中已经得到了匹配特征点，所以利用重合区域搜寻方法。

图像投影变换后匹配点对基于图像的VR技术培训课件第62页对于图像中特征点，设其坐标为(,)，并以该点为中心定义一个大小为(2n+1)´(2m+1)相关窗口。并设坐标为(,)，选择第二幅图像中搜索窗口为以该点为中心大小为(2s+1)´(2t+1)窗口，然后用该区域中全部点与图像中特征点在给定相关窗口中进行相关操作，并设坐标为(,)。点和相关值Score定义上面所述。在试验中，为使缝合点查找更准确，比如使m=n=10，考虑到，分别为m1和m2变换后对应点，所以确定搜索窗口很小，s=t=5，相关值阈值为0.95基于图像的VR技术培训课件第63页缝合点查找算法描述：Step1随机选择一对匹配点m1、m2，投影变换后得到对应点和。Step2在投影变换后图像和上进行上面所述相关匹配。Step3若存在满足要求匹配，从中选择一个最优匹配作为结果，算法结束；不然，转到Step1。基于图像的VR技术培训课件第64页图像色彩融合因为相邻帧之间亮度差存在，假如将图像简单叠加，拼接处会产生显著接缝。为了消除拼接缝隙，在两幅图重合区域，将两帧图像素值按一定权值合成到新图图像融合加权函数基于图像的VR技术培训课件第65页基于图像的VR技术培训课件第66页基于图像的VR技术培训课件第67页生成全景图像基于图像的VR技术培训课件第68页球面全景图生成技术使用普通数字相机球面全景图生成技术难度即使较高，不过应用价值也大。这种方法对硬件要求低，只需有一台数字相机即可，伴随数字相机普及，它能使个人制作自己球面全景图。用这种方法结构全景图有很大灵活性，能够依据需要设置场景分辨率，能够满足不一样应用需求。还能够用于从拍摄较低分辨率图像结构高分辨率图像。基于图像的VR技术培训课件第69页

基于图像绘制全景图生成系统能够采取立方体、圆柱体和球体等模型来实现。采取球面模型生成全景图，相对于立方体模型而言效果真实，相对于圆柱体模型而言视角范围广，但球面全景图模型较复杂，技术尚欠成熟。同时因为球面模型生成全景图在两极变形较大，在实际中应用受到限制。球面模型原始图像拍摄能够用普通相机也能够外挂鱼眼镜头拍摄。基于图像的VR技术培训课件第70页

对于用普通相机拍摄得到照片图像，其全景图生成过程普通为:取得系列图像一计算相机焦距一投影变换一拼接生成全景图一反投影变换实时浏览。用鱼眼镜头，我们只需要拍摄2-4张图片，就可覆盖水平和垂直方向360度场景，因为全方位光线投射方式使得鱼眼图片中场景展现扭曲现象，因而不能直接使用普通拼接方式合成全景图。所以用鱼眼图像全景图生成过程为:取得鱼眼图片一鱼眼图片校正一拼接生成全景图一反投影变换。基于图像的VR技术培训课件第71页相邻照片几何关系示意图基于图像的VR技术培训课件第72页为取得球体半径，首先应对相机焦距进行预计。对于绕固定视点旋转360度拍摄到水平层系列图片，利用等距离匹配算法计算出相机焦距。原理如前图所表示。基于图像的VR技术培训课件第73页Ii和Ii+1是相邻两幅照片;为拍摄此相邻照片时相机转角，亦即相机光轴夹角;d