虚拟现实建模技术课件

第三章虚拟现实建模技术虚拟现实建模概述基于图形学的真实感图形的实时绘制模型分割：层次细节模型（LOD）基于图象的建模技术第三章虚拟现实建模技术虚拟现实建模概述虚拟现实建模：

——虚拟环境的建模虚拟现实建模：基于图形学的渲染基于图像的渲染基于图形学的渲染基于图形学的渲染：几何造型光照模型与渲染算法三维观察纹理影射基于图形学的渲染：几何造型四、基于图像的建模技术虚拟现实建模技术课件基于图象的建模和绘制在计算机创造的虚拟环境中产生身临其境的感受，VR对计算机图形学提出了挑战：高质量的，实时的图像生成高分辨率的显示自然的交互基于图象的建模和绘制在计算机创造的虚拟环境中产生身临其境的感经典的图形学：能在很短的时间里产生具有相当复杂度的真实感图形，但其固有的矛盾使它无法满足高级VR的要求，在一定程度上限制了VR技术的应用和推广；从另外一个角度考虑了这个问题，即能否直接由真实场景的图片来构造虚拟场景呢？经典的图形学：能在很短的时间里产生具有相当复杂度的真实感图形能不能用摄像机对景物拍摄后,自动获得所摄环境或物体的二维增强表示或三维模型，即基于现场图像的VR景物建模？能不能用摄像机对景物拍摄后,自动获得所摄环境或物体的二维增强虚拟现实建模技术课件虚拟现实建模技术课件虚拟现实建模技术课件问题：真实场景图片：点阵结构的像素图像，没有三维几何信息，没有光照信息图片反映真实场景的某一个角度的视觉特征，用户移动观察视角时，无法由单幅图看到其它角度的场景。问题：而从图像中获取场景的三维几何信息的问题，在计算机视觉领域研究多年，仍未完全解决。所以基于图像渲染的想法尽管直接，但一直没有引起大家的深入研究。而从图像中获取场景的三维几何信息的问题，在计算机视觉领域研究1993年，Apple公司的QuickTimeVR系统第一次向人们展示了基于图像的方法也可以构造出一个十分优秀的虚拟现实系统。基于柱面全景图像的虚拟现实系统，生成的虚拟环境不需要知道图像的三维几何信息，但支持用户在虚拟环境中左看、右看、上看、下看、3600环视、沿固定路线前进与后退等漫游操作，且用户观察到的视觉效果完全具有照片质量。1993年，Apple公司的QuickTimeVR系统第QuickTimeVR是不是VR系统？不支持自由前进和后退，没有头盔显示器和数据手套；当时很多计算机图形研究人员并不完全承认它是一个虚拟现实系统，认为它相当于图形学中的纹理影射技术。但没多久，学术界便确认了基于图像渲染的学术地位，并于20世纪90年代兴起了新的研究浪潮——基于图象的建模与绘制技术IBMRQuickTimeVR是不是VR系统？不支持自由前进和后退IBMR（Imaged-BasedModelingandRendering）基于图象的建模与绘制技术IBMR（Imaged-BasedModelingand图形学：如何由几何模型绘制图象计算机视觉：如何从场景图象中重建场景几何IBMR：试图从图象—几何—图象链中完全或尽可能多的消除几何部分，使绘制更接近真实自然IBMR、计算机图形学、计算机视觉图形学：如何由几何模型绘制图象IBMR、计算机图形学、计算机

：方法

：状态：方法：状态图形、图象建模比较图形：建模复杂，占用大量的人力和物力绘制速度：实时和复杂，真实感的矛盾图象：用相片代替几何输入进行建模和图象合成（1）利用从相片中抽取的三维信息，重构传统的几何模型（2）将照片作为系统的输入，使用二维的、基于图象的视图重构方法图形学中应用图象的例子：纹理映射技术图形、图象建模比较图形：基于图象的建模：用预先获得的一组图象表示场景的形状和外观；新图象的合成通过适当地组合原图象实现；IBMR的优点：建模容易：拍摄照片绘制快：视图—视图真实感强基于图象的建模：用预先获得的一组图象表示场景的形状和外观；新什么是基于图像的建模与绘制？什么是基于图像的建模与绘制？基于图象的造型与绘制（IBMR）基于图象的造型与绘制（IBMR）例：例：基于图象的造型（IBM）应用图象得到场景的外观场景的几何信息光照反射特性运动特性很容易构造真实感场景基于图象的造型（IBM）应用图象得到很容易构造真实感场景基于图象的绘制已有图象可以用来构造新视点的图象不必进行所有光照计算可以快速的进行绘制基于图象的绘制已有图象可以用来构造新视点的图象可以快速的进行IBMR技术包括两类不同的方法基于计算机视觉的技术基于图象的绘制（IBR）技术IBMR技术包括两类不同的方法基于计算机视觉

利用计算机视觉的方法重建场景的3D模型，并利用图象中的纹理细节进行绘制。基于计算机视觉利用计算机视觉的方法重建场景的3D模型，并基于计算机视觉（Cont）重建三维模型

空间位置？基于计算机视觉（Cont）重建三维模型

空间位置？基于计算机视觉（Cont）点重建基于计算机视觉（Cont）点重建基于图像的渲染（IBR）？当把图像影射到简单几何中时，图像经常用作某一部分场景的近似。纹理映射是这种应用最简单的一个例子。纹理映射：定义纹理空间坐标与三维模型中对应位置之间的映射函数，这种映射的说明既困难又耗时，经常需要人工干预；纹理映射的另一个局限：它依赖于基础的三维几何模型，而三维几何模型的构建相当费时费力。基于图像的渲染（IBR）？当把图像影射到简单几何中时，图像经大部分虚拟环境的三维模型是聘请专业人士手工绘制的，如影片《泰塔尼克号》中“泰塔尼克”号巨轮便是好莱坞花巨资（约2500万美元）精心绘制而成的；构建三维几何模型的困难与定义纹理坐标映射点组合在一起时，问题变得更复杂了。这种情况下，基于图像渲染（Image-BasedRendering，简称IBR）产生了；大部分虚拟环境的三维模型是聘请专业人士手工绘制的，如影片《泰IBR技术－目标IBR的目标从已有图象得到新视点的图象原因：图象容易得到IBR技术－目标IBR的目标原因：图象容易得到IBR以环境中抽样出的离散图形组成基础数据，通过处理与组织这些图像数据得到环境的连续描述。如构造一个虚拟友谊广场：在广场选择有限个视点，在若干个不同的方向拍摄照片，得到友谊广场的一组离散图像；IBR技术处理和组织这些图像，构造出一个虚拟友谊广场；支持用户在其中任意角度、任意方向自由漫游IBR以环境中抽样出的离散图形组成基础数据，通过处理与组织这图像是基础，图像被认为是二维空间上的一种测量。在传统的图像处理中，唯一的几何联系是图像空间上的二维相邻。基于图像渲染则需要考虑一种更加全局的三维几何相邻。获取输入图像集内不同像素之间的几何联系，重构出虚拟环境的连续描述。图像是基础，图像被认为是二维空间上的一种测量。基于图像的绘制(IBR)是计算机图形的一个重要研究方向，它可以从图像中重建具有照片真实感的虚拟场景。由IBR的定义可知，IBR的输入是离散的图像集，输出是一个连续变化的函数。虚拟环境的连续描述可以总结为全光函数。基于图像的绘制(IBR)是计算机图形的一个重要研究方向，它可IBR技术－核心把图象看作光线的集合…而不是象素的集合IBR技术－核心把图象看作光线的集合…而不是象素的集合IBR技术－全光函数给我们足够多的采样光线，是不是可以插值得到附近的光线？IBR技术－全光函数给我们足够多的采样光线，是不是可以插值得全光函数：全光函数：从空间中任意点在任何时候所看到的任意波长的光线的集合。全光函数描述一个观察者在一个特定空间中所接收到的所有辐射能量，而不是一个光照源或一个视点。全光函数：全光函数：从空间中任意点在任何时候所看到的任意波长全光函数P7=P(Vx,Vy,Vz,θ,φ,λ,t)是一个七维函数；从理论上讲，只需采样环境并重建出全光函数，IBR就变得非常容易。但实际上，重建七维的全光函数很难实现，几乎是不可能的。全光函数P7=P(Vx,Vy,Vz,θ,φ,λ,t)McMillan和Bishop忽略λ和t，提出全光建模系统，从一组离散采样点产生连续五维全光函数五维函数

P5=P(Vx,Vy,Vz,θ,φ)然而五维函数仍然难以重构，Levoy等和Gortler等分别提出了光场函数和光图函数，在一定的条件下，把五维的全光函数降为四维。McMillan和Bishop忽略λ和t，提出全光建模系统，四维光图函数的定义：McMillan和Bishop将全光函数简化为一个用五个变量描绘位置和方向的函数，如果假设空气是透明的，则光线通过空间的光亮度是恒定的；再假设，只考虑远离一个有界物体凸起表面的那个光源，只需描绘这个物体表面的全光函数值。四维光图函数的定义：在空间任一位置的一个立方体，沿着某条光线向后追索到立方体的表面，就能够确定任何光线在任何方向的发光度，由于光线在立方体上的交点最多只有两个，而在平面上描述一个交点只需二维向量，因此，用四维函数便能描述物体表面的任意光线,这便组成了一个四维的全光函数在空间任一位置的一个立方体，沿着某条光线向后追索到立方体的表选择立方体的一个面，建立垂直轴（s，t）；用一条平行于st面的辅助平面构成的坐标轴（u，v）参数化光线的方向；则任一光线都可以用四个坐标参数（s，t，u，v）来确定四维函数：

A（s，t，u，v）这个四维函数还要进行离散化选择立方体的一个面，建立垂直轴（s，t）；用一条平行于st面光图系统如何生成一个光图，以及如何从光图生成一幅图像光图系统流程图光图系统如何生成一个光图，以及如何从光图生成一幅图像1、图像采集与摄像机定标真实场景的光图获取需要大量观察点的图像，用摄像机获取；首先要校准摄像机，以确定摄像机方向与图像坐标之间的映射关系；其次，在每一幅图像中设定特殊的标记，以从这些标记中计算摄像机的姿态。1、图像采集与摄像机定标2、三维外形的估计从自然图像恢复3D形状信息一直是计算机视觉研究的重点与难点，经过几十年研究，从图像中可靠地提取精确的3D几何信息始终没有得到很好的解决；但重建光图只需要大致的估计物体的外形，还是可以实现的2、三维外形的估计3、光图重建从样本构建一个光图类似于多维分散数据的近似样本点问题：样本点不能被预先确定或控制样本的均匀分布不能被保证多分辨率光图重建算法3、光图重建4、压缩光图取样需要大量的存储空间，需要压缩4、压缩5、重建图像给定一个虚拟摄像机，重建过程其实就是给输出图像的每一个像素着色，使得输出图像上的物体就像是摄像机正对着真实的物体一样；有了光图，可以一个像素一个像素地，一条光线一条光线地生成一幅新的图像。5、重建图像对光图函数的讨论：光图函数假定针对的是静态物体或场景，不需要知道场景的反射特性，不需要关于场景的任何几何信息，然而这种方法允许使用几何信息以改进计算效果。光图函数的计算过程十分复杂，从采集图像到生成最终所需要的图像一般要花费几个星期，且精度与效果都有待于进一步改进。对光图函数的讨论：光场(Lightfields)技术把全光函数缩小到了4维表达，但数据量仍然十分庞大而且不容易采集。同心拼图技术解决了这些问题，将光图函数降到了3维的形式，从而提供了很好的应用可能。光场(Lightfields)技术把全光函数缩小到了4维表达同心圆拼图技术是沈向洋博士提出的

沈向洋，微软中国研究院研究项目主任，负责计算机成像、计算机图形、机器人、图像设计和虚拟环境模型设计等项目的研究工作。沈博士的博士论文是世界上第一个由照片转换成虚拟实境的研究。同心圆拼图技术是在1999年举行的国际图形学年会上，沈向洋博士发表了：用同心拼图法将空间任意拍摄的二维图像进行全真的三维复原。这是到目前为止，这一领域最高水平的研究工作，将对计算机图形学研究中的虚拟现实技术产生重大影响，并由此导致许多新的技术手段的出现，将为商业、医疗、文化等诸多领域带来广泛的用途。在1999年举行的国际图形学年会上，沈向洋博士发表了：用同心什么是同心拼图？同心拼图（concentricmosaics）：由位于同心圆上的照相机拍摄的一系列细长的图片（slitimages）拼接而成的。由一架照相机在不同视点（viewpoint）拍摄的照片组合成的，而这些视点是连续分布的。同心拼图的采样系统由数架固定在水平旋转杆上的相机构成，每架相机沿着各自的圆周做连续运动。

什么是同心拼图？同心拼图法使二维图像的三维立体重现不仅停留在理论上，而是可以成为现实，并且非常便于实现。同心拼图采样跟传统的全景摄影一样简单，不涉及困难的几何光学建模过程，只是需要较多数量的图像。同心拼图法使二维图像的三维立体重现不仅停留在理论上，而是可以ＩＢＲ技术将以其旺盛的生命力进入人类生活空间的方方面面……雄伟的万里长城秀丽的桂林山水巍峨的华山泰山历史博物馆科技馆英雄纪念碑

ＩＢＲ技术将以其旺盛的生命力进入人类生活空间的方方面面……ＩＢＲ在网络中的应用：网上虚拟购房，远在上海的客户只要登录北京的售楼公司网址，则大到所售楼房的外观，小到每个房间的灯具、地毯质地等场景便一览无余，而客户所要做的只是双击鼠标。

ＩＢＲ在网络中的应用：

虚拟全景空间

——基于图像渲染的虚拟现实系统虚拟全景空间90年代，QuickTimeVR与IPIXViewer等一批新型系统的推出，向人们展示了一个个方便制作、高质量的虚拟全景空间生成平台；而Internet的普及又为虚拟全景空间的推广与应用构筑了一个很好的舞台；90年代，QuickTimeVR与IPIXViewer等全景图像实际上描述的是一个二维的全光函数，即在全光函数P7=P(Vx,Vy,Vz,θ,φ,λ,t)中，全景图像描述了固定视点（Vx,Vy,Vz）、时间t与波长范围λ的情况下，变化观察视角（θ,φ）得到的任意观察方向上所看到虚拟场景集；以全景图像技术为基础构建出的虚拟全景空间是当今最成熟、最实用的一个基于图像渲染的虚拟现实系统；全景图像实际上描述的是一个二维的全光函数，即在全光函数P7=虚拟全景空间？基本定义：视点空间（1）视点：指用户在某一时刻在场景中的观察点，观察时所用的焦距固定。（2）视点空间：在某一视点处，用户所观察到的场景。视点空间定义限定了视点的位置，对观察方向未作任何限定，即视点空间包含任意观察方向上用户所看到的全局场景。虚拟全景空间？基本定义：视点空间虚拟全景空间：单个视点空间反映的是一个三维点空间，而一个虚拟现实系统往往需要建立一个N维的虚拟空间；点空间:用户只能靠改变视角来观察不同的场景；N维的虚拟空间：用户可通过改变空间位置观察不同的场景；虚拟全景空间：N维虚拟空间能反映虚拟空间在时间上的变化，风景名胜岁季节的变化，白天黑夜的变化等N维虚拟空间中视点的变化可以不局限于物理时空，如在教学楼中安排一间美国总统办公室等这样的N维虚拟空间称为虚拟全景空间（VirtualPanoramicSpace）N维虚拟空间能反映虚拟空间在时间上的变化，风景名胜岁季节的变VPS由众多视点组成，视点空间是VPS的基本组成单元；空间操纵：用户通过一定手段可以在虚拟空间中漫游；视点空间内操纵：操纵视角，360。全视野视点空间间操纵：位置变化、时间变化、超现实场景变化VPS由众多视点组成，视点空间是VPS的基本组成单元；VPS的组成：全景图像生成器空间编辑器：把不相干的全景图像组织成用户可以任意漫游的虚拟全景空间VPS浏览器：提供给用户漫游功能VPS的组成：全景图像：能反映全局场景的图像（PanaromicImage）局部图像：反映用户在某一视角看到的场景全景图像：能反映全局场景的图像（PanaromicImag全景图像的定义全景图像的制作全景图像的特点全景图像的应用全景图像的定义全景图像的定义：三维全景虚拟全景实景虚拟现实全景图360。全景全景摄影全景图像的定义：三维全景定义（1）

全景是把相机环360度拍摄的一组或多组照片拼接成一个全景图像，通过计算机技术实现全方位互动式观看的真实场景还原展示方式。在播放插件（通常Java或Quicktime、activex、flash）的支持下,使用鼠标控制环视的方向，可左可右可近可远。使用户感到就处在现场环境当中，产生身临其境的逼真视觉效果。定义（1）

全景是把相机环360度拍摄的一组或多组照片拼接定义（2）全景摄影是把相机环360度拍摄的一组照片拼接成一个全景图像，用一个专用的播放软件在互联网上显示，并使您能用鼠标控制环视的方向，可左可右可近可远。使您感到就在环境当中，您好像在一个窗口中浏览外面的大好风光。

定义（2）全景摄影是把相机环360度拍摄的一组照片拼接成一个定义（3）全景，是对场景的超大视角乃至360度完整场景范围进行展示的照片。通过对专业相机捕捉整个场景的图像信息用软件进行合成，用专门的播放器进行播放，把二维的平面图模拟成真实的三维空间，呈现给观赏者。给观赏者提供各种操纵图像的功能，放大缩小，各个方向移动观看场景，达到模拟和再现场景的真实环境的效果。定义（3）全景，是对场景的超大视角乃至360度完整场景范围进全景图像：球面全景图像多面体全景图像柱面全景图像视点空间：球体、多面体与圆柱体全景图像：柱形全景：把拍摄的照片投影到以视点为中心的有限高度的圆柱上，从而水平360度观看四周的景色，但用鼠标向上下拖动时，上下的视野将受到限制，看不到天顶，也看不到地底。即垂直视角小于180度。柱形全景：把拍摄的照片投影到以视点为中心的有限高度的圆柱上，球形全景：把拍摄的照片投影到以视点为中心的圆球上从而能水平360度，垂直180度，即全视角360X180观看全景照片。可以说用户已经融入了虚拟环境之中了。球形全景照片的制作：首先必须全视角拍摄，即要把上下前后左右全部拍下来，普通相机要拍摄很多张照片。然后再用专用的软件把它们拼接起来，做成球面展开的全景图像最后选用播放软件，把全景照片嵌入网页。球形全景：把拍摄的照片投影到以视点为中心的圆球上从而能水平3立方体全景(cubicPanorama)：这种全景照片是由前，后，左，右，上，下6张照片无缝拼接而成。相机位于立方体的中心，也是全视角,实际效果与球形全景类似。立方体全景(cubicPanorama)：这种全景照片是全景图像的制作：怎样生成三维全景呢？——硬件和软件拍摄：需要相机和鱼眼镜头、云台、三角架等硬件来拍摄出鱼眼照片照片的数字化和全景照片的合成：使用全景拼合发布软件把拍摄的鱼眼照片拼合选用播放软件并把它嵌入网页，发布成可以播放和浏览的格式。全景图像的制作：怎样生成三维全景呢？——硬件和软件常见的全景制作硬件：一次成像：Oneshot

环拍设备：Roundshot，Panoscan

组合设备：数码相机+鱼眼镜头+全景云台常见的全景制作硬件：常见的全景制作软件：著名软件企业：3Divsta、Ipix、Iseemedia、Ulead、上海杰图等。

常见合成软件：Panotool、Photovista、Ipix、Uleadcool360、造景师等

常见播放工具：Ptviewer，Iseemedia的RealtimeViewer，QuicktimePlayer等。

发布制作工具：国内的漫游大师，国外的3Dvistapublisher，IBMHotmedia等。常见的全景制作软件：拍摄:

全景摄影全视角拍摄，特点:

（1）相机必需准确可靠定位:由于相机的视角大多小于360度，因此必须拍摄多张照片才能记录全视角图像信息，为了使多张照片光滑地连接成全景投影图像，相机必需准确可靠定位在一个中心点上，有专用设备可供选购，可以准确定位相机。许多爱好者仅仅使用三角架也能拍出好的全景照片。全景图像的制作——拍摄拍摄:

全景摄影全视角拍摄，特点:全景图像的制作——拍摄（2）选用超广角镜头:

对全360度全景照片，相机镜头的视角越小，拍摄的照片就越多，后处理就越复杂。因此最好选用小于18MM的鱼眼镜头，比如选用18MM的镜头需要拍8---10张(照片之间应有适当的重叠)，而选用8MM的鱼眼镜头只需拍2-3张。按一次快门就可以拍下全360度的专业相机，价格昂贵。（2）选用超广角镜头:为什么需要鱼眼镜头？

普通照片的水平视角和垂直视角能捕捉到的范围分别为90度左右和70度左右。鱼眼镜头能使拍摄到图片的水平视角和垂直视角都达到180度，整个场景只需要拍摄两张图片就可以。为什么需要鱼眼镜头？8mm鱼眼镜头拍的180度广角照片8mm鱼眼镜头拍的180度广角照片鱼眼镜头拍摄的照片鱼眼镜头拍摄的照片云台的作用？相机节点（NodalPoint）：“节点”指照相机的光学中心，穿过此点的光线不会发生折射。在拍摄鱼眼照片时，相机必须绕着节点转动，才能保证全景拼合的成功。云台的作用正是如此。云台的作用？云台安装于三脚架上。保证相机转动时，镜头的“节点”正好位于转动轴上。不采用云台而直接使用数码相机和鱼眼镜头拍摄鱼眼图像将会产生偏移。云台安装于三脚架上。保证相机转动时，镜头的“节点”正好位于转拍摄时没有采用云台，空间信息不完全，图像无法正确拼合，加了云台，节点的位置保持不变，偏移消失拍摄时没有采用云台，空间信息不完全，图像无法正确拼合，加了云使用云台拍摄后进行拼合的图像没有拼缝和错位

使用云台拍摄后进行拼合的图像没有拼缝和错位

（3）取景与用光:取景要兼顾水平四面八方，还要顶天和立地，球形和立方体全景顶天和立地的巧妙取景可以产生融入三维环境的效果。用光是全景拍摄的难点，由于是360度拍摄，无法回避直射的阳光，反差大难以控制，与普通摄影不同。但摄影的用光和拍摄技巧全部可以用在全景的拍摄中。（3）取景与用光:数字化:把照片输入计算机数字相机:直接输入计算机。胶片照相机:用扫描仪数字化照片后输入计算机。全景图像的制作——数字化数字化:把照片输入计算机全景图像的制作——数字化

合成全景照片:

把拍摄的多张照片合成一个全景照片是全景制作的重点。柱形全景合成最简单，球形和立方体全景则必须经过几何变换才能合成。全景图像的制作——合成全景照片

合成全景照片:

把拍摄的多张照片合成一个全景照片是全景制首先将拍摄好的正面、反面的两张鱼眼图片导入软件导入拍摄好的前后两个半球的鱼眼照片首先将拍摄好的正面、反面的两张鱼眼图片导入软件将前后半球拼合成一张完整的全景图。自动拼合鱼眼图片并在鱼眼图下面生成全景图的预览

将前后半球拼合成一张完整的全景图。自动拼合鱼眼图片并在鱼眼

合成后的全景图像合成后的全景图像后期的润饰:

由多张照片合成的全景照片往往在照片之间对比度，色彩、清晰度、层次上有许多差异，必须由图像处理软件编辑和修改，最常用的软件是Photoshop。全景图像的制作——后期润饰后期的润饰:

由多张照片合成的全景照片往往在照片之间对比度，全景照片在互联网上的显示:全景图片拼合好以再使用软件将其发布成可以播放和浏览的格式。全景可发布成网页格式、exe格式、mov格式（需要quicktime播放器才能播放）等。全景图像的制作——互联网上显示全景照片在互联网上的显示:全景图像的制作——互联网上显示全景照片嵌入网页后，借助于一个浏览器的插件在互联网上显示。这个插件可以是JAVA小程序，也可以是一个IE的ActiveX控件。JAVA小程序是自动下载和自动执行的，其功能是显示全景照片，并使能用鼠标拖动观看。全景照片嵌入网页后，借助于一个浏览器的插件在互联网上显示。这

用Quicktime5显示QTVR全景用Quicktime5显示QTVR全景

应用在网页中的全景应用在网页中的全景

杰图FlyVR实景虚拟现实平台

杰图FlyVR实景虚拟现实平台gis地图与现实场景