虚拟现实技术的体系结构和关键技术(共80张PPT)(共79张PPT)

虚拟现实(xūnǐxiànshí)技术及应用

VirtualReality郝泳涛博士(bóshì)

haoyt@同济大学CAD研究中心

副教授2007年上海第一页，共七十九页。第二章

虚拟现实(xūnǐxiànshí)技术的技术体系结构第二页，共七十九页。2.1虚拟现实(xūnǐxiànshí)技术的体系结构第三页，共七十九页。体系结构输入(shūrù)处理器渲染(xuànrǎn)处理器用户模拟处理器虚拟世界数据库第四页，共七十九页。模拟处理器

VR的核心程序处理(chǔlǐ):

控制交互、对象动作和决定虚拟世界的状态。第五页，共七十九页。渲染(xuànrǎn)处理感觉传输到用户视觉听觉触觉（触摸/力）实时图像生成SGI图形工作站第六页，共七十九页。虚拟世界数据库设计的主体部分隶属虚拟世界的对象信息描述动作的脚本(jiǎoběn)用户信息灯光效果程序控制硬件设备支持OOD技术第七页，共七十九页。虚拟现实(xūnǐxiànshí)建模语言(VRML)VirtualRealityModelingLanguageVRML是在因特网上建立虚拟现实的开放标准第八页，共七十九页。AVRMLcylinder#VRMLV2.0utf8#ACylinderShape{appearanceAppearance{materialMaterial{}}geometryCylinder{height2.0radius1.5}}Cylinder.wrl第九页，共七十九页。2.2虚拟现实(xūnǐxiànshí)的多感知系统体系和技术第十页，共七十九页。J.J.Gibson总结(zǒngjié)的感知系统人类(rénlèi)的感知系统第十一页，共七十九页。行为(xíngwéi)系统人类的行为(xíngwéi)系统第十二页，共七十九页。人与环境(huánjìng)的关系第十三页，共七十九页。虚拟现实(xūnǐxiànshí)系统第十四页，共七十九页。1992年Bryson主计算机数据手套（传感器）（信号源）BOOM双筒全方位监视器多感知系统(xìtǒng)技术框图第十五页，共七十九页。一个(yīɡè)示例：virtualcockpit第十六页，共七十九页。VirtualRealitysystems

totrainaircraftpilotsandtankcommanders第十七页，共七十九页。1、视觉生成(shēnɡchénɡ)技术第十八页，共七十九页。1.1视觉生成基本原理：光线跟踪(gēnzōng)的方法假设从视点V通过屏幕象素e向场景投射光线交场景中的景物于P1,P2,…,Pm,那么离视点最近的P1

就是画面在象素点e处的可见点，象素e的光亮度应由P1

点向P1V方向辐射的光亮度决定。如此求出视域内每一个(yīɡè)象素的光亮度，则可生成一幅完整的真实感图象。e第十九页，共七十九页。光线跟踪(gēnzōng)技术(raytracing)I=Ic+tsIs

+ttIt其中(qízhōng)：I：可见点P处的光亮度。Ic：局部光照亮度tsIs：环境镜面反射光亮度ttIt：规则透射光亮度每一点的光亮度求法第二十页，共七十九页。视觉生成(shēnɡchénɡ)的基本内容在图形设备上生成逼真视景必须完成四个基本任务：用数学方法建立所需要三维场景的几何描述将三维几何描述转换为二维视图这可通过对场景的透视变换来完成。确定场景中的所有可见面这需要使用隐藏面消除算法将视域之外的或被其他物体遮挡的不可(bùkě)见面消去。计算场景中可见面的光强与颜色严格地说，就是根据基于光学物理的光照模型计算可见面投射到观察者眼中的光亮度大小和色彩，并将它转换成合适图形设备的颜色值，从而确定投影画面上每一个象素的颜色，最终生成视景。第二十一页，共七十九页。1.2视景的几何(jǐhé)建模与表示方法要实现虚拟现实，首先(shǒuxiān)要尽可能详细地表示虚拟现实的场景几何信息。例如：表示虚拟环境中的山川河谷、鱼虫鸟兽，花草树木、五官躯体、车船路桥等。实现虚拟现实视景的表示方法有：多边形(三角形)网格表示方法结构立体几何表示方法体数据表示方法(volume-basedmethod)第二十二页，共七十九页。多边形(三角形)表示(biǎoshì)方法这种方法又称为表面或边界表示方法，即物体的立体几何(lìtǐjǐhé)信息是通过它们的边界面或包围面来表示的。而物体的边界面或包围面（即物体的表面）可以用多边形表示。第二十三页，共七十九页。结构立体几何表示(biǎoshì)方法这种方法又称为体积表示(biǎoshì)方法。这种表示(biǎoshì)方法中，物体被表示(biǎoshì)为一个三维体积基元的集合及它们之们的布尔运算：并、交及差。第二十四页，共七十九页。Volume-basedmethods表示单元为体素(voxel)每个体素表示了所在位置的颜色、密度等相关(xiāngguān)信息。第二十五页，共七十九页。其他建模与表示技术(jìshù)(VR相关)细节层次(LevelsofDetail:LOD)技术纹理(wénlǐ)映射(texturemap)技术第二十六页，共七十九页。CourtesyStanford3DScanningRepository69,451polys2,502polys251polys76polysLevelofDetail:

TraditionalLODInANutshell第二十七页，共七十九页。DistantobjectsusecoarserLODs:LevelofDetail:

TraditionalLODInANutshell第二十八页，共七十九页。纹理(wénlǐ)映射技术(texturemapping)在视景表示时，对于有些细节，不需要建立相应的多边形表示，为了达到很好的视觉效果，只需要建立简单的几何模型，然后在几何模型的面上贴上对应的逼真图片(túpiàn)就可以了。这种方法称为纹理映射方法。这不仅增加了场景的逼真度，而且减少了表示场景的多边形数目。第二十九页，共七十九页。映射(yìngshè)纹理前的场景映射纹理(wénlǐ)后的场景纹理映射技术(示例)第三十页，共七十九页。1.3立体显示(xiǎnshì)技术基本原理：人的视觉系统可以通过四种线索得到深度知觉:侧视网膜图象差(lateralretinalimagedisparity);运动视差(motionparallax);图象大小差异(differentialimagesize);纹理梯度(texturegradient)。目前的立体显示技术基本上是基于双目视差原理(yuánlǐ)实现的。第三十一页，共七十九页。影响(yǐngxiǎng)（沉浸感）立体视觉因素宽视野（１８０Ｘ１５０）立体显示彩色高分辨率头部跟踪主要视觉设备：红蓝滤色眼镜(yǎnjìng)液晶开关的立体视眼镜三维头盔显示器（HMD）双筒全方位监视器（BOOM）墙式显示屏自动声象虚拟环境（CAVE）第三十二页，共七十九页。头盔(tóukuī)式显示器（HeadMountedDisplay，HMD)第三十三页，共七十九页。HMD实物(shíwù)与原理图头盔(tóukuī)显示器HeadMountedDisplay,HMD第三十四页，共七十九页。头盔实现(shíxiàn)方法1带有光导纤维(ɡuānɡdǎoxiānwéi)的HMD的原理HMD的实现方法第三十五页，共七十九页。VideoEyewear眼镜(yǎnjìng)式显示器第三十六页，共七十九页。第三十七页，共七十九页。第三十八页，共七十九页。BOOMBinocularOmni-OrientationMonitorBOOMFS2第三十九页，共七十九页。BinocularOmniOrientationMonitor(BOOM)第四十页，共七十九页。CAVECaveAutomaticVirtualEnvironment第四十一页，共七十九页。CyberSphereFullyImmersiveSphericalProjectionSystemIllustrationoftheSphericalProjectionSystemtheFullyImmersiveSphericalProjectionSystem第四十二页，共七十九页。ImmersaDesk/technology/idesk/第四十三页，共七十九页。InfinityWall第四十四页，共七十九页。2、声音生成(shēnɡchénɡ)技术第四十五页，共七十九页。听觉

3D&Stereo声源(shēnɡyuán)定位：强度（高频）和时差（低频）问题：声音从头里发出，随强度差而偏左或偏右原因：与耳朵形状有关解决：Convolvotron($15,000)

耳内录音+计算第四十六页，共七十九页。3触觉(chùjué)与力觉生成技术第四十七页，共七十九页。3.1触觉与力觉反馈(fǎnkuì)设备Therearetwomaintypesofhapticdevices:devicesthatallowusersto"feel"texturesof2-dementionalobjectswithapenormouse-typeinterfacegloveorpen-typedevicesthatallowtheuserto"touch"andmanipulate3-dementionalvirtualobjects第四十八页，共七十九页。触觉（Haptic)Haptic:机械感受器（压力与纹理）与本体感受器(proprioceptor)（重量(zhòngliàng)、形状、大小）机械臂，空气囊，记忆金属，小马达，小探针第四十九页，共七十九页。第二代TeletactII装有更高分辨率的指尖空气室，其余部分的空气室更大，并提供手掌反馈系统。很大的手掌空气室允许用户使劲握物体，然后接收刺激。TeletactII与TeletactI使用相似，只是空气室由20增加到30个。在中指尖、食指尖和拇指区域空气室密度较大，空气室也被放在手的背部，以产生(chǎnshēng)手接触物体的感觉。ARRC力学(lìxué)反馈手套第五十页，共七十九页。笔式力量(lìliɑng)感知器第五十一页，共七十九页。PHANTOM®Omni™HapticDeviceBySensAbleTechnologies第五十二页，共七十九页。力反馈手套(shǒutào)RMⅡRMⅡ像一付手套似的戴在用户的手上。主要结构包括一个小平台，上面架着四个特制的汽缸。每个汽缸轴的顶端都和相应的指尖相连接(liánjiē)，轴和指尖的连接(liánjiē)通过“Y”形的连接物。一个简单的细皮手套被作为传感器/反馈系统的支持结构。第五十三页，共七十九页。CyberGraspByImmersionCorporation第五十四页，共七十九页。数据(shùjù)手套第五十五页，共七十九页。DHM手势(shǒushì)传感装置原理图第五十六页，共七十九页。4、身体(shēntǐ)位置跟踪第五十七页，共七十九页。身体(shēntǐ)跟踪位置的跟踪（位置+方向） 及角度的度量（指关节、光纤）眼动跟踪第五十八页，共七十九页。位置跟踪技术：正交电磁场 Polhemustrackers超声波信号 Logitec.MattelPowerGlove机械连接 FakeSpaceLabs视频信号处理(xìnhàochǔlǐ)

MyronKruegerLED视频传感 UNCatChapelHill惯性跟踪（加速度） Spaceball第五十九页，共七十九页。PowerGlove示意图第六十页，共七十九页。三维鼠标器示意图第六十一页，共七十九页。基于运动(yùndòng)跟踪的方法一种人体运动记录(jìlù)回放的方法关键：数据的转换第六十二页，共七十九页。基于运动(yùndòng)跟踪的方法第六十三页，共七十九页。基于(jīyú)运动跟踪的方法记录点的坐标转换成旋转角驱动虚拟角色运动重定向第六十四页，共七十九页。基于运动(yùndòng)跟踪的方法第六十五页，共七十九页。虚拟现实(xūnǐxiànshí)系统第六十六页，共七十九页。一个(yīɡè)示例：virtualcockpit第六十七页，共七十九页。VirtualRealitysystems

totrainaircraftpilotsandtankcommanders第六十八页，共七十九页。2.3几种典型的虚拟现实系统(xìtǒng)及其应用第六十九页，共七十九页。J.J.Gibson总结的感知(gǎnzhī)系统人类的感知(gǎnzhī)系统第七十页，共七十九页。行为(xíngwéi)系统人类的行为(xíngwéi)系统第七十一页，共七十九页。人与环境(huánjìng)的关系第七十二页，共七十九页。虚拟现实(xūnǐxiànshí)的概念模型王兆其，《虚拟环境中物体(wùtǐ)运动逼真性的研究》，博士学位论文，北京航空航天大学，1999.6.第七十三页，共七十九页。(1)AugmentedReality应用领域：维修(wéixiū)，医学检查，培训等主要问题：虚实一致性王兆其《虚拟环境中物体运动(yùndòng)逼真性的研究》博士论文，北京航空航天大学，1999.6.R.T.Azuma,ASurveyofAugmentedReality,Presence:TeleoperatorsandVirtualEnvironments,1997,6(4):355~385第七十四页，共七十九页。(2)多用户虚拟现实(xūnǐxiànshí)系统一次允许多个用户参与(cānyù)。典型的系统有：mWorld,CAVE，DIVE等