虚拟现实技术的体系结构和关键技术2

虚拟现实技术及应用

VirtualReality郝泳涛博士同济大学CAD研究中心

副教授2007年上海第二章

虚拟现实技术的技术体系结构2.1虚拟现实技术的体系结构体系结构输入处理器渲染处理器用户模拟处理器虚拟世界数据库模拟处理器

VR的核心程序处理:

控制交互、对象动作和决定虚拟世界的状态。渲染处理感觉传输到用户视觉听觉触觉（触摸/力）实时图像生成SGI图形工作站虚拟世界数据库设计的主体部分隶属虚拟世界的对象信息描述动作的脚本用户信息灯光效果程序控制硬件设备支持OOD技术虚拟现实建模语言(VRML)VirtualRealityModelingLanguageVRML是在因特网上建立虚拟现实的开放标准AVRMLcylinder#VRMLV2.0utf8#ACylinderShape{appearanceAppearance{materialMaterial{}}geometryCylinder{height2.0radius1.5}}Cylinder.wrl2.2虚拟现实的多感知系统体系和技术总结的感知系统人类的感知系系统行为系统人类的行为系系统人与环境的关关系虚拟现实系统统1992年Bryson主计算机数据手套（传感器）（信号源）BOOM双筒全方位监视器多感知系统技技术框图一个示例：virtualcockpitVirtualRealitysystemstotrainaircraftpilotsandtankcommanders1、视觉生成成技术1.1视觉生成基本本原理：光线跟踪的方方法假设从视点V通过屏幕象素素e向场景投射光光线交场景中中的景物于P1,P2,…,Pm,那么离视点最最近的P1就是画面在象象素点e处的可见点，，象素e的光亮度应由由P1点向P1V方向辐射的光光亮度决定。。如此求出视视域内每一个个象素的光亮亮度，则可生生成一幅完整整的真实感图图象。e光线跟踪技术术(raytracing)I=Ic+tsIs+ttIt其中：I：可见点点P处的光亮度。。Ic：局部光光照亮度tsIs：环境镜面反反射光亮度ttIt：规则透射射光亮度每一点的光亮亮度求法视觉生成的基基本内容在图形设备上上生成逼真视视景必须完成成四个基本任任务：用数学方法建建立所需要三三维场景的几几何描述将三维几何描描述转换为二二维视图这可通过对场场景的透视变变换来完成。。确定场景中的的所有可见面面这需要使用隐隐藏面消除算算法将视域之之外的或被其其他物体遮挡挡的不可见面面消去。计算场景中可可见面的光强强与颜色严格地说，就就是根据基于于光学物理的的光照模型计计算可见面投投射到观察者者眼中的光亮亮度大小和色色彩，并将它它转换成合适适图形设备的的颜色值，从从而确定投影影画面上每一一个象素的颜颜色，最终生生成视景。1.2视景景的几何建模模与表示方法法要实现虚拟现现实，首先要要尽可能详细细地表示虚拟拟现实的场景景几何信息。。例如：表示虚虚拟环境中的的山川河谷、、鱼虫鸟兽，，花草树木、、五官躯体、、车船路桥等等。实现虚拟现实实视景的表示示方法有：多边形(三角形)网格表示方法法结构立体几何何表示方法体数据表示方方法(volume-basedmethod)多边形(三角角形)表示方方法这种方法又称称为表面或边边界表示方法法，即物体的的立体几何信信息是通过它它们的边界面面或包围面来来表示的。而而物体的边界界面或包围面面（即物体的的表面）可以以用多边形表表示。结构立体几何何表示方法这种方法又称称为体积表示示方法。这种种表示方法中中，物体被表表示为一个三三维体积基元元的集合及它它们之们的布布尔运算：并并、交及差。。Volume-basedmethods表示单元为体体素(voxel)每个体素表示示了所在位置置的颜色、密密度等相关信信息。其他建模与表表示技术(VR相关)细节层次(LevelsofDetail:LOD)技术纹理映射(texturemap)技术CourtesyStanford3DScanningRepository69,451polys2,502polys251polys76polysLevelofDetail:TraditionalLODInANutshellDistantobjectsusecoarserLODs:LevelofDetail:TraditionalLODInANutshell纹理映射技术术(texturemapping)在视景表示时时，对于有些些细节，不需需要建立相应应的多边形表表示，为了达达到很好的视视觉效果，只只需要建立简简单的几何模模型，然后在在几何模型的的面上贴上对对应的逼真图图片就可以了了。这种方法法称为纹理映映射方法。这不仅增加了了场景的逼真真度，而且减减少了表示场场景的多边形形数目。映射纹理前的的场景映射纹理后的的场景纹理映射技术术(示例)1.3立体体显示技术基本原理：人的视觉系统统可以通过四四种线索得到到深度知觉:侧视网膜图象象差(lateralretinalimagedisparity);运动视差(motionparallax);图象大小差异异(differentialimagesize);纹理梯度(texturegradient)。目前的立体显显示技术基本本上是基于双双目视差原理理实现的。影响（沉浸感感）立体视视觉因素宽视野（１８８０Ｘ１５００）立体显示彩色高分辨率头部跟踪主要视觉设备备：红蓝滤色眼镜镜液晶开关的立立体视眼镜三维头盔显示示器（HMD）双筒全方位监监视器（BOOM）墙式显示屏自自动声象虚拟拟环境（CAVE）头盔式显示器器（HeadMountedDisplay，HMD)HMD实物与原理图图头盔显示器HeadMountedDisplay,HMD头盔实现方法法1带有光导纤维维的HMD的原理HMD的实实现方法美国icuiti公司分辨率：VGA（640X480）价格69800日圆（约合人人民币5235元）距离眼睛1cm，画面相当于于2米外42英寸屏幕厚度2cm，重量70g支持连接DVD播放器、桌面面电脑等电源使用3节AA电池，可以连连续播放5小时左右。VideoEyewear眼镜式显示器器BOOMBinocularOmni-OrientationMonitorBOOMFS2BinocularOmniOrientationMonitor(BOOM)CAVECaveAutomaticVirtualEnvironmentCyberSphereFullyImmersiveSphericalProjectionSystemIllustrationoftheSphericalProjectionSystemtheFullyImmersiveSphericalProjectionSystemImmersaDeskInfinityWall2、声音生成成技术听觉3D&Stereo声源定位：强强度（高频））和时差（低低频）问题：声音从从头里发出，，随强度差而而偏左或偏右右原因：与耳朵朵形状有关解决：Convolvotron($15,000)耳内录音+计算算3触觉与力力觉生成技术术3.1触觉觉与力觉反馈馈设备Therearetwomaintypesofhapticdevices:devicesthatallowusersto"feel"texturesof2-dementionalobjectswithapenormouse-typeinterfacegloveorpen-typedevicesthatallowtheuserto"touch"andmanipulate3-dementionalvirtualobjects触觉（Haptic)Haptic:机械感感受器（压力力与纹理）与与本体感受器器(proprioceptor)（重量、形形状、大小））机械臂，空气气囊，记忆金金属，小马达达，小探针第二代TeletactII装有更高分辨辨率的指尖空空气室，其余余部分的空气气室更大，并并提供手掌反反馈系统。很很大的手掌空空气室允许用用户使劲握物物体，然后接接收刺激。TeletactII与TeletactI使用相似，只只是空气室由由20增加到到30个。在中指尖、食食指尖和拇指指区域空气室室密度较大，，空气室也被被放在手的背背部，以产生生手接触物体体的感觉。ARRC力力学反馈手手套笔式力量感感知器PHANTOM®Omni™HapticDeviceBySensAbleTechnologies力反馈手套套RMⅡRMⅡ像一付手套套似的戴在在用户的手手上。主要要结构包括括一个小平平台，上面面架着四个个特制的汽汽缸。每个个汽缸轴的的顶端都和和相应的指指尖相连接接，轴和指指尖的连接接通过“Y”形的连接物物。一个简简单的细皮皮手套被作作为传感器器/反馈系系统的支持持结构。CyberGraspByImmersionCorporation数据手套DHM手势传感装装置原理图图4、身体位位置跟踪身体跟踪位置的跟踪踪（位置+方向）及及角度的度度量（指关关节、光纤纤）眼动跟踪位置跟踪技技术：正交电磁场场Polhemustrackers超声波信号号Logitec.MattelPowerGlove机械连接FakeSpaceLabs视频信号处处理MyronKruegerLED视频传感UNCatChapelHill惯性跟踪（（加速度））SpaceballPowerGlove示意图三维鼠标器器示意图基于运动跟跟踪的方法法一种人体运运动记录回回放的方法法关键：数据据的转换基于运动跟跟踪的方法法基于运动跟跟踪的方法法记录点的坐标转换成旋转角驱动虚拟角色运动重定向基于运动跟跟踪的方法法虚拟现实系系统一个示例：：virtualcockpitVirtualRealitysystemstotrainaircraftpilotsandtankcommanders2.3几种典型的的虚拟现实实系统及其其应用总结的感知系统人类的感知知系统行为系统人类的行为为系统人与环境的的关系虚拟现实的的概念模型型王兆其，《虚拟环境中中物体运动动逼真性的的研究》，博士学位位论文，北北京航空航航天大学，，1999.6.(1)AugmentedReality应用领域：：维修，医医学检查，，培训等主要问题：：虚实一致致性王兆其《虚拟环境中中物体运动动逼真性的的研究》博士论文，，北京航空空航天大学学，1999.6.R.T.Azuma,ASurveyofAugmentedReality,Presence:TeleoperatorsandVirtualEnvironments,1997,