虚拟现实技术的体系结构和关键技术

1、会计学1虚拟现实技术的体系结构和关键技术虚拟现实技术的体系结构和关键技术q体系结构体系结构输入处理器渲染处理器用户模拟处理器虚拟世界数据库q模拟处理器模拟处理器 VR的核心程序的核心程序处理处理: 控制交互、对象动作和决定虚拟世界的控制交互、对象动作和决定虚拟世界的状态。状态。q渲染处理渲染处理感觉传输到用户感觉传输到用户视觉视觉听觉听觉触觉（触摸触觉（触摸/力）力）实时图像生成实时图像生成SGI 图形工作站图形工作站q虚拟世界数据库虚拟世界数据库设计的主体部分设计的主体部分隶属虚拟世界的对象信息隶属虚拟世界的对象信息描述动作的脚本描述动作的脚本用户信息用户信息灯光效果灯光效果程序控制程序控制

2、硬件设备支持硬件设备支持OOD技术技术q虚拟现实建模语言虚拟现实建模语言(VRML) Virtual Reality Modeling LanguageVRML 是在因特网上建立虚拟现实的开是在因特网上建立虚拟现实的开放标准放标准qA VRML cylinder#VRML V2.0 utf8 # A Cylinder Shape appearance Appearance material Material geometry Cylinder height 2.0 radius 1.5 Cylinder.wrl系统活动形式感受单元器官模拟 器官行为剌激物外部信息方向感姿势及方向调整机械及重力感

3、受器前庭器官 身体平衡重力及加速度 重力或加速度方向听觉听机械感受器耳蜗器官 声音定位空气振动振动方向及性质触觉触摸机械、热量及动觉感受器皮肤、关节、肌肉及腱各种探查活动组织变形、关节配合及肌肉纤维紧张物体表面粘性及冷热等各种状态味觉尝化学及机械感受器嘴品尝物体化学性质 营养及生化价值嗅觉嗅化学感受器鼻以鼻吸气气体化学性质 气味性质视觉看光学感受器眼睛凝视、扫描等活动光大小、形状、纹理及运动等J.J.Gibson总结的总结的感知系统系统目的应用相关系统调整姿势适应重力及加速度维持身体平衡前庭器官定向通过部分身体运动获得外部剌激考察或感觉各种信息所有相关感觉走动通过身体运动进入其它环境从一个位置

4、走到另一个位置定向及调整姿势饮食通过部分身体运动获取或给予吸收或排除品尝、吸收及其它身体功能行动有利于个人的行为操作、自我保护等走动及相关行为表达用于表达、表明或识别姿势、面部或语言表达 语言表达、聆听及面部表情语义用信号通知或表达语言表达基于信号的相关系统行为系统 行为 感知 参与者 行为系统 感知系统 外界环境 http:/www.reflex.lth.se/reflex/whatisVR/1992年Bryson主计算机数据手套（传感器）（信号源）BOOM双筒全方位监视器多感知系统技术框图多感知系统技术框图http:/www.ipo.tue.nl/homepages/mrauterb/pr

5、esentations/HCI-history/sld068.htme光线跟踪技术(ray tracing)I = Ic + ts Is + tt It其中：I ： 可见点 P 处的光亮度。Ic： 局部光照亮度ts Is：环境镜面反射光亮度tt It： 规则透射光亮度UCourtesy Stanford 3D Scanning Repository69,451 polys2,502 polys251 polys76 polysFrom: David Luebke (University of Virginia)/gfx/Courses/2004

6、/RealTime/lecture06.LOD1.pptqDistant objects use coarser LODs:From: David Luebke (University of Virginia)/gfx/Courses/2004/RealTime/lecture06.LOD1.ppt映射纹理前的场景映射纹理后的场景单目视域双目重叠视域单目视域基本原理：基本原理：人的视觉系统可以通过四种线索得到深度知觉人的视觉系统可以通过四种线索得到深度知觉:n 侧视网膜图象差侧视网膜图象差(lateral retinal image dispa

7、rity);n 运动视差运动视差(motion parallax);n 图象大小差异图象大小差异(differential image size);n 纹理梯度纹理梯度(texture gradient)。目前的立体显示技术基本上是基于双目视差原理实现的。目前的立体显示技术基本上是基于双目视差原理实现的。影响（沉浸感）立体影响（沉浸感）立体 视觉因素视觉因素 宽视野（）宽视野（） 立体显示立体显示 彩色彩色 高分辨率高分辨率 头部跟踪头部跟踪主要视觉设备：主要视觉设备：红蓝滤色眼镜红蓝滤色眼镜液晶开关的立体视眼镜液晶开关的立体视眼镜三维头盔显示器（三维头盔显示器（HMDHMD）双筒全方位监视器

8、（双筒全方位监视器（BOOMBOOM）墙式显示屏自动声象虚拟环境（墙式显示屏自动声象虚拟环境（CAVECAVE）q头 盔 式 显 示 器 （头 盔 式 显 示 器 （ H e a d M o u n t e d Display ，HMD)头头盔盔RGB-NTSCRBG-NTSC计计算算机机系系统统扫扫描描转转换换器器左左眼眼计计算算右右眼眼计计算算双双路路VR系系统统 图图形形硬硬件件图图形形硬硬件件HMD 实物与原理图眼睛显示器镜窥视孔合成器外部世界头盔实现方法1校正透镜阴极射线管连接的光导纤维束校正透镜合成器带有光导纤维的HMD的原理q美国美国icuiti公司公司q分辨率：分辨率：VGA（

9、640 X 480）q价格价格69800日圆（约合人民币日圆（约合人民币5235元）元）q距离眼睛距离眼睛1 cm，画面相当于，画面相当于2 米外米外42 英寸英寸屏幕屏幕q厚度厚度2 cm，重量，重量70 gq支持连接支持连接DVD播放器、桌面电脑等播放器、桌面电脑等q电源使用电源使用3节节AA电池，可以连续播放电池，可以连续播放5小时小时左右。左右。 Video Eyewear 眼镜式显示器http:/ qBinocular Omni Orientation Monitor (BOOM)/pape/CAVE/http:/www.ipo.tue.nl

10、/homepages/mrauterb/presentations/HCI-history/sld076.htmIllustration of the Spherical Projection System the Fully Immersive Spherical Projection System http:/www.vr-systems.ndtilda.co.uk/sphere1.htm/pape/CAVE/idesk/paper//technology/idesk//pa

11、pe/CAVE/idesk/paper/http:/www.it.bton.ac.uk/staff/lp22/CS133/vrslides/sld009.htm听觉听觉 3D &Stereo声源定位：强度（高频）和时差（声源定位：强度（高频）和时差（低频）低频）问题：声音从头里发出，随强度差问题：声音从头里发出，随强度差而偏左或偏右而偏左或偏右原因：与耳朵形状有关原因：与耳朵形状有关解决：解决：Convolvotron($15,000) 耳内录音耳内录音 + 计算计算q触觉（触觉（Haptic)Haptic: 机械感受器（压力与纹理）机械感受器（压力与纹理）与本体感受器与本体感受器(p

12、roprioceptor)（重（重量、形状、大小）量、形状、大小）机械臂，空气囊，记忆金属，小马机械臂，空气囊，记忆金属，小马达，小探针达，小探针第二代TeletactII装有更高分辨率的指尖空气室，其余部分的空气室更大，并提供手掌反馈系统。很大的手掌空气室允许用户使劲握物体，然后接收刺激。TeletactII与TeletactI使用相似，只是空气室由20增加到30个。在中指尖、食指尖和拇指区域空气室密度较大，空气室也被放在手的背部，以产生手接触物体的感觉。手掌空气室侧空气室远程触觉空气室笔式力量感知器笔式力量感知器http:/ SensAble Technologies http:/ Imm

13、ersion Corporation q数据手套数据手套qDHM手势传感装置原理图手势传感装置原理图q身体跟踪身体跟踪位置的跟踪（位置位置的跟踪（位置+方向）方向）及角及角度的度量（指关节、光纤）度的度量（指关节、光纤）眼动跟踪眼动跟踪q位置跟踪技术：位置跟踪技术：正交电磁场正交电磁场 Polhemus trackers超声波信号超声波信号 Logitec. Mattel Power Glove机械连接机械连接 Fake Space Labs视频信号处理视频信号处理 Myron KruegerLED视频传感视频传感UNC at Chapel Hill惯性跟踪（加速度）惯性跟踪（加速度）Spac

14、eballqPowerGlove示意图示意图q三维鼠标器示意图三维鼠标器示意图记录点记录点的坐标的坐标转换成转换成旋转角旋转角驱动虚驱动虚拟角色拟角色运动重运动重定向定向http:/www.reflex.lth.se/reflex/whatisVR/http:/www.ipo.tue.nl/homepages/mrauterb/presentations/HCI-history/sld068.htm系统活动形式感受单元器官模拟 器官行为剌激物外部信息方向感姿势及方向调整机械及重力感受器前庭器官 身体平衡重力及加速度 重力或加速度方向听觉听机械感受器耳蜗器官 声音定位空气振动振动方向及性质触觉触

15、摸机械、热量及动觉感受器皮肤、关节、肌肉及腱各种探查活动组织变形、关节配合及肌肉纤维紧张物体表面粘性及冷热等各种状态味觉尝化学及机械感受器嘴品尝物体化学性质 营养及生化价值嗅觉嗅化学感受器鼻以鼻吸气气体化学性质 气味性质视觉看光学感受器眼睛凝视、扫描等活动光大小、形状、纹理及运动等J.J.Gibson总结的总结的感知系统系统目的应用相关系统调整姿势适应重力及加速度维持身体平衡前庭器官定向通过部分身体运动获得外部剌激考察或感觉各种信息所有相关感觉走动通过身体运动进入其它环境从一个位置走到另一个位置定向及调整姿势饮食通过部分身体运动获取或给予吸收或排除品尝、吸收及其它身体功能行动有利于个人的行为操

16、作、自我保护等走动及相关行为表达用于表达、表明或识别姿势、面部或语言表达 语言表达、聆听及面部表情语义用信号通知或表达语言表达基于信号的相关系统行为系统 行为 感知 参与者 行为系统 感知系统 外界环境 虚拟环境实物虚化人虚物实化王兆其，虚拟环境中物体运动逼真性的研究，博士学位论文，北京航空航天大学，1999.6. 反馈虚拟环境真实环境操作实物虚化人虚物实化实物虚化虚物实化王兆其虚拟环境中物体运动逼真性的研究博士论文，北京航空航天大学，1999.6. R. T. Azuma,A Survey of Augmented Reality, Presence: Teleoperators and Virtual Environments, 1997, 6(4):355385 虚拟环境实物虚化人虚物实化实物虚化虚物实化人王兆其虚拟环境中物体运动逼真性的研究博士论文，北京航空航天大学，1999.6. 计算机 实物虚化 人 虚物实化 计算机 虚物实化 实物虚化 计算机网络 人 分布式虚拟环境 王兆其虚拟环境中物体运动逼真性的研究博士论文，北京航空航天大学，1999.6. 计算机 实物虚化 人 虚物实化 计算机或机器人 虚物实化 实物虚化 计算机网络 虚拟环境 真实世界 王兆其虚拟环境中物体运动逼真性的研究博士论文，北京航空航天大学，1999.6.q渲染处理渲染处理感