可视化、多媒体与虚拟现实仿真29

1、8 可视化、多媒体与虚拟现实仿真科学计算及仿真可视化多媒体仿真虚拟现实仿真9/13/202218.1 科学计算可视化含义把计算中所涉及和所产生的数字信息转变为直观的、以图像或图形信息表示的、随时间和空间变化的物理现象和物理量呈现在研究者面前，使他们能够观察到模拟和计算，同时提供与模拟和计算的视觉交互手段。通过人的视觉和现象思维，促进对所观察数据的进一步理解，飞行客观世界隐藏的现象和规律。9/13/202228.1 科学计算可视化可视化的三个层次后处理将计算与可视化（事后）分开进行。仅可视化可以交互。跟踪边计算，边显示，以监视计算过程，只可中止计算，但不能。修改参数驾驭实时观察计算结果，实时干预

2、、调整参数9/13/202238.1 科学计算可视化主要技术问题可视化映射技术数据类型：标量、矢量和张量；二维、三维或高维；静态，动态；结构化数据，非结构化数据映射：图形元素、颜色、透明度等数据管理与操纵技术数据管理：存储、分类数据操作：过滤、变换9/13/202248.1 科学计算可视化主要技术问题人机界面技术：图形交互、数据交互系统实现技术：可视语言和程序可视9/13/202258.1 科学计算可视化科学计算可视化框架模型模拟仿真数据操作可视化映射图形绘制用户界面用户数据图像可视化过程9/13/202268.2 多媒体仿真多媒体仿真概念多媒体：文本、图形、动画、图像和声音多媒体仿真：使人的

3、感官和思维进入仿真回路的一种手段。基本技术数字化信息处理技术；音频和视频技术；人工智能和模式识别技术；图形图像技术；通讯技术9/13/202278.2 多媒体仿真多媒体仿真的研究方法面向仿真对象面向多个媒体面向交互决策9/13/202288.2 多媒体仿真多媒体仿真的主要研究内容多媒体仿真模型和仿真算法表现方法与表现脚本生成技术多媒体仿真数据库地理景物表现技术人机交互技术9/13/202298.3 虚拟现实仿真技术虚拟现实技术的特征及系统的基本构成虚拟现实技术的发展概况位置跟踪通道视觉通道听觉通道触觉/力反馈通道虚拟场景9/13/2022108.3.1 虚拟现实技术的特征及系统的基本构成基本概

4、念虚拟现实（Virtual Reality）：是一种可以创建和体验虚拟世界的计算机系统。虚拟环境（Virtual Environment） ：是一种由计算机和电子技术生成的，通过视、听、触觉等作用于用户，使之产生身临其境的感觉。虚拟现实技术与一般交互式仿真技术的区别信息的多维性人机交互的自然性人对虚拟环境感觉的真实性知识性与智能性9/13/2022118.3.1 虚拟现实技术的特征及系统的基本构成基本特征沉浸(Immerion)：真实感受交互(Interaction)：多方位参与创意(Imagination)：感性与理性的结合基本技术计算机图形学、图象处理与模式识别人工智能、多传感器、多媒体信

5、息处理网络、并行处理、智能控制系统建模与仿真、系统集成9/13/2022128.3.1 虚拟现实技术的特征及系统的基本构成虚拟现实系统基本构成虚拟环境产生器应用系统：目标生成（三维建模、造型）；用户应用系统（定义操作内容）和仿真管理器（管理仿真过程）计算机系统：高速的运算、图形处理、输入输出能力效果产生器头盔显示器：采用双视原理生成的双屏图象位置与方位跟踪器：人眼视线、眼球位置变化、手的位置方位和曲伸触觉/力反馈装置：测量人对作用对象的作用力，进而生成反作用力。接口设备硬件设备：信号转换与数据输入输出接口软件设备：9/13/2022138.3.2 虚拟现实发展状况发展立体电影飞行模拟器三维立体

6、显示：1965年VR先锋， Sutherland力反馈装置：1981年，Fredrick Brooks头盔显示器：1985年，Myron Krueger数据手套：1985年，Scott Fisher,NASA虚拟现实概念：1989年，Jaron Lanier提出9/13/2022148.3.2 虚拟现实发展状况关键技术实时图形与图象：15帧/秒，8000万多边形位置跟踪与映射技术：手腕:3 m/s;眼睛:600/s;头部:1000 /s触觉/力反馈技术：01Khz振动，0.15mm位移人的心理因素：人的感知、认知和大脑神经系统集成技术：各种技术和设备接口不统一，没有统一的技术标准。9/13/2

7、022158.3.3 位置跟踪通道参与者与虚拟环境的互动直接互动：参与者的操作引起环境的变化间接互动：参与者位置的变化（头、眼、手、身），导致环境必须随之变化位置跟踪技术：三维位置跟踪器：头的平移和转动、手或关节的运动，眼球的运动基本技术：电磁、超声波9/13/2022168.3.3 位置跟踪通道三维电磁传感器三套正交线圈：空间坐标、方位易受环境电磁干扰驱动电路计算机检测电路磁场发送器接收器输出9/13/2022178.3.3 位置跟踪通道超声波三维传感器三套超声波发送，接收及控制部件不能遮挡，易受金属干扰视景生成器计算机检测电路超声波发送器接收器(麦克风)头部输出头盔显示器控制单元9/13/

8、2022188.3.3 位置跟踪通道数据手套一种位置跟踪设备，一种数字化输入设备手的6个自由度每个手指关节有两个光导纤维传感器，可测量关节的弯曲和相对位置9/13/2022198.3.4 视觉通道视景生成过程获取图象生成图形生成语音集合变换投影变换生成音乐声音、图象与文字的集成、融合与同步左声图通道右声图通道视景生成命令9/13/2022208.3.4 视觉通道三维立体图象的生成算法单点透视投影双点透视投影基于相关性的立体图形光线跟踪算法由左视点投影点可以计算出右视点投影点9/13/2022218.3.4 视觉通道立体视觉设备种类：头盔显示器，立体眼睛，投影式显示器头盔显示器显示部件：液晶显示

9、屏。分辨率：1个微弧度，延时：0.1s，图象质量：丰富多彩，避免畸变。光学部件：光学系统使液晶成象于观察者能够看清的距离。（包括视场：双眼：水平180度，垂直135度）头盔：定位部件与功能部件的集中：显示、跟踪、定位与音响集成。尺寸重量。9/13/2022228.3.5 听觉通道虚拟声音的产生语音声音语音识别与合成：声音还原技术：存储、选择、输出文本语音转换技术：波形编辑、参数合成、基于规则的合成非语音声音频谱组合法，结合环境声音模型库录音，结合物体与环境的交互库9/13/2022238.3.5 听觉通道虚拟声音的定位混响时间差：声音传递到人的左右耳有时间差异混响压力差：声波对人的左右耳的压强

10、差9/13/2022248.3.6 触觉/力反馈人体触觉系统触觉系统不仅可以感知环境，而且可以影响环境子系统：机械、感觉、运动和认知机械、运动：人手有19块骨头，20条肌肉，22个自由度的运动感觉：接触力：触觉（皮肤接触，刺激神经），运动觉（肢体与物体相当运动）认知：探测、操作。9/13/2022258.3.6 触觉/力反馈触觉/力反馈技术分类自由运动：与环境不产生物理接触由不平衡力形成的接触：指压一个物体由平衡力形成的接触：抓握、一点一个物体9/13/2022268.3.6 触觉/力反馈触觉/力反馈技术发展概况力和力矩显示装置游戏杆：2、3个自由度手控器：6个自由度表面压力反馈装置：直接接触（手有2个自由度）与间接接触（工具6个自由度）的力力学反馈手套：压敏元件、压力气囊触觉显示装置力显示：位移显示：形变软件：触觉交互软件、虚拟物体和环境的物理模型、润色触觉图象9/13/2022278.3.7 虚拟场景的生成虚拟场景静