头盔实验(2014)1研究生

1、头盔、数据手套人机交互实验头盔、数据手套人机交互实验北京航空航天大学自动化科学与电气工程学院李秀芝 孙 琦实验目的实验目的通过在实验平台上的硬件设备和软件环境，学习头盔式显示器和数据手套的基本功能和基本工作原理。学习人机交互系统的硬件和软件总体框架结构的构成及如何建立一个简单的人-机交互系统。学习建模方法和建模步骤，并利用头盔显示器和数据手套及相关的其它硬件设备建立一个小型的虚拟现实环境。先修课程和参考书目先修课程和参考书目先修课程：先修课程：Visual C，C+语言编程，计算机图形学、虚拟现实技术及应用主要参考书：主要参考书：吴家铸，党岗等， 视景仿真技术及应用，西安电子科技大学，2000

2、孙家广，计算机图形学 ，清华大学出版社，2000VTree Users Manual(PDF格式)OpenGL编程手册龚光红，韩亮等先进仿真技术实验教程 机械工业出版社，2010课程安排：16学时系统硬件平台系统硬件平台 三维交互设备包括：头盔立体显示器、数据手套、三维跟踪传感器、声音及系统集成设备、网络分频器和计算机等。 计算机：三台通用PC机网络/通信设备：10/100M自适应网卡/交换机监视器：两台通用PC机显示器头盔式显示器，V6， LCD 双通道头盔显示器一个，全彩色，分辨率为 640*480数据手套一只，右手，18个传感器，不带触觉与力反馈和手势识别6自由度(DOF)运动跟踪传感器

3、：Flock 六自由度电磁位置跟踪器一套。 使用V6型头盔立体显示器作为显示设备, 双通道，全彩色，分辨率为640480。由2个CRT显示器分别向两只眼睛提供图像。 图像由计算机分别驱动，由2台成像计算机采用立体成像算法生成的左右眼图像, 将2幅略有差别的图像在头盔显示器中叠加后，产生立体的显示效果. 头盔显示器被固定在实验者的头部，可以使参与者暂时与真实世界隔离开，感到处于沉浸状态。头盔显示器（侧面）头盔显示器（侧面）头盔显示器头盔显示器 数据手套为一只右手手套，不带触觉、力反馈和手势识别，上有18个传感器用来测量右手18个关节和角度，通过6自由度运动跟踪传感器对于手在空间的实际方位及运动方

4、式进行检测。数据手套戴在实验者手上，作为一只虚拟手用于与虚拟现实系统进行交互，可以在虚拟场景中进行物体抓取、移动、装配、操纵、控制等操作；并把手指和手掌伸屈时的各姿势转换成数字信号传送给计算机，计算机通过应用程序识别出实验者的手在虚拟世界中操作时的姿势，执行相应的操作。数据手套数据手套数据手套（背面）数据手套（背面）数据手套连接示意图六自由度运动跟踪传感器六自由度运动跟踪传感器一套Flock of Birds跟踪器包括一个发射器，若干接收器，若干控制盒，其中一个接收器对应一个控制盒。接收器通过感应发射器发射出的电磁场的强弱、方向等来判断自己所处的位置角度。网络分频器 系统硬件介绍系统硬件介绍系

5、统的基本结构* 传感器、控制信号综合* 双目同步*右眼图象生成*左眼图象生成3. 3. 硬件系统构成及工作原理硬件系统构成及工作原理 系统由3台通用计算机（PC1，PC2，PC3）和相应的VR设备组成。计算机通过基于TCP/IP协议的100 M HUB相连。 PC1（服务器）为中心控制计算机，主要完成数据手套和6自由度运动跟踪传感器信号的采集、计算，网络数据的管理，头盔显示器的双眼同步等任务。 2台成像计算机PC2 、PC3分别完成左、右眼三维图像的实时生成任务，并将生成的视频信号输出到头盔显示器。 头盔显示器顶部和数据手套腕部的运动跟踪传感器测量头部和手部的位置与姿态，数据手套测量手部各关节

6、的姿态；数据手套连接传感器和头盔显示器分别连接接收器，都通过RS232电缆将数据输入到中心控制计算机中进行处理。然后，通过局域网将头部与手的2个传感器的位置及角度信息、手掌及各关节的角度信息发送给两台成像计算机。2台成像计算机分别根据这些信息生成左右眼的显示画面以及虚拟手的图像，传送给双通道头盔显示器并显示出来。系统原理框图系统原理框图分频器监视器/右分频器监视器/左RFLOCKFLOCK控制盒HUBPC1PC2PC3手套头盔控制盒TRFBB位于头盔显示器顶部和数据手套腕部的运动跟踪传感器测量头部和手部的位置与姿态；数据手套测量手部各关节的姿态通过RS232串口电缆将数据输入到中心控制计算机(

7、PC1)中进行处理通过局域网将手的运动和姿态信息、位置信息；以及两眼点的位置信息、视线方向信息发送给成像计算机PC2 、PC3两台成像计算机分别生成左右眼的显示画面以及虚拟手的图像，然后传送给双通道头盔显示器并显示将两幅略有差别的图像在头盔显示器中叠加后，便会产生立体的显示效果系统软件介绍系统软件介绍系统的软件工具平台操作系统：Windows 2000 或者 XP均可开发平台：基于Microsoft Visual C+ 自研VRLabHome、VRLabPiano、VRLabFit动态链接库。底层底层开发工具： CG2 VTree/OpenGL ，Virtual Hand Suit，Multi

8、Gen Creator。三维建模软件三维建模软件Creator提供了非常强大的建模工具。通过平面图形、几何体等工具箱中的多边形绘制、圆的绘制、墙体、平移旋转等工具，制作出虚拟场景的基本几何模型。而且，考虑到整个系统的实时显示性能，保证虚拟现实系统的交互性，在保证模型基本框架的基础上，尽量减少多边形数量，优化模型结构。 可以使用Creator的工具条、建模工具箱、菜单命令，在数据库窗口内完成创建模型、调整视图、编辑模型等多种操作。工具窗口的图表列于主窗口的左侧，通过点击可以打开工具窗口，并可以利用鼠标任意拖动到屏幕上的任何位置。三维建模软件三维建模软件建立模型及纹理制作建立模型及纹理制作 根据基

9、本方法，可以构建虚拟实验场景的模块：如椅子模型， 模型构建完成后，为了更真实的仿真，可对所建的模块进行一些美化处理，如添加颜色、材质、纹理以及灯光等，使模型更逼真。添加颜色后的椅子 椅子模型 建立模型及纹理制作建立模型及纹理制作添加了颜色和材质的灯管日光灯模型制作纹理是Creator建模的一个至关重要的环节，要虚拟模型逼真，就需要加纹理。粘贴纹理后的电脑桌 建立模型及纹理制作建立模型及纹理制作Creator建立制作的实验室场景效果图 灯光控制效果Creator建立制作的实验室场景效果图 Creator建立制作的实验室场景效果图 交互性交互性 : 是指人对虚拟环境内物体的可操作程度和从环境得到反

10、馈的自然程度 。例如 , 人可以用手去直接抓取虚拟环境中的物体 , 这时手有握着东西的感觉 , 并可以感觉物体的重量 ( 其实这时手里并没有实物 ), 视场中被抓的物体也立刻随着手的移动而移动。沉浸感沉浸感 : 进入由VR技术提供的虚拟三维空间环境 , 并作为该环境中的一员 , 参与该环境中物质间的变化与作用。对于任何一个虚拟现实系统 , 操作者必须能通过该系统提供的多维感觉反馈投入虚拟环境中 ,“ 身临其境 ” 地观察、探索和参与环境中的事物的变化，并能相互作用。想象性想象性 : 虚拟环境可使操作者沉浸其中并且获取新的知识 , 提高感性和理性认识 , 就能深化概念和萌发新意。虚拟现实可以启发

11、人的创造性思维。立体成像算法的理论基础与实现立体成像算法的理论基础与实现立体视觉是人们感觉到空间立体感的主要原因，当人在现实生活中观察物体时，由于双眼之间存在67cm的水平距离(瞳距)，所以在同一时刻，两个不同图像通过不同角度进入视野，在左右眼的视网膜上分别产生一个稍有不同的图像(即体视差)。软件部分：首先测得观察者的瞳距，分别计算出左右眼的位置坐标。在眼坐标系下将视点位置向左或右移动 ，然后将此坐标转换到实际坐标系下并传给左右眼成像计算机，进行透视投影。硬件部分：将两台成像计算机视频通道分别与头盔显示器的左右通道相连。另外头盔显示器的外壳上有调整两眼距离及清晰度的装置。系统组成模块系统组成模

12、块 （1）运动跟踪数据处理模块。模块包括数据采集和坐标转换，每个计算周期读取数据手套的18个角度数据、2个位置跟踪器的位置和姿态数据，并根据手关节角度和几何参数计算空间的坐标转换矩阵。（2）网络通信与同步模块。首先将2台成像计算机与中心控制计算机进行网络联接，通过编程实现数据的收发；其次解决2台成像计算机之间的数据同步与刷新同步问题。（3）场景渲染模块。先利用Creator和VTree建模软件建立虚拟场景模型，然后利用立体成像算法分别计算和渲染左右眼各自的视觉场景图，并在头盔显示器中进行叠加。（4）虚拟操作模块。该模块执行碰撞检测算法和碰撞响应算法，分析实验操作者对虚拟环境实行了何种操作。虚拟

13、现实系统的人机交互实现虚拟现实系统的人机交互实现模型建立后，利用实时三维视景系统软件(VTree)使模型在已建立的场景中动起来，即在Visual C+ 6.0的界面上，使用VTree的语句实现。在Creator里面建立的虚拟模型，其输出格式为.flt，而在实时仿真软件VTree里面以及之后Visual C+中编程实现系统功能时候，所要用到的文件格式为.vt，所以需要通过VTree工具将所建立的模型文件.flt转换为.vt，VTree 的功能的功能实验用到的关键技术实时图形生成（坐标转换，碰撞检测）三维几何建模（几何建模，纹理贴图）网络通讯编程（编程，同步技术）立体显示技术（双眼立体显示技术）传

14、感器数据采集（串行口通讯） 实验实验实验一：头盔、数据手套人机交互系统平台搭建头盔、数据手套人机交互系统平台搭建 8学时实验二：室内漫游虚拟手控制实验 8学时实验三：虚拟手弹钢琴实验 8学时实验四：零件抓取与装配实验 8学时实验一、头盔、数据手套人机交互系统平台搭建实验一、头盔、数据手套人机交互系统平台搭建 通过系统平台的搭建，熟悉虚拟现实技术的常用设备，了解各硬件的功能，理解人机交互系统的框架结构。1连接传感器与接收机；2连接数据手套线路；3连接头盔线路；4检查主从机IP，建立连接；5运行主从机程序，观察实验效果。实验一、头盔、数据手套人机交互系统平台搭建实验一、头盔、数据手套人机交互系统平

15、台搭建 实验一、头盔、数据手套人机交互系统平台搭建实验一、头盔、数据手套人机交互系统平台搭建 实验一、头盔、数据手套人机交互系统平台搭建实验一、头盔、数据手套人机交互系统平台搭建 实验二、室内漫游虚拟手控制实验二、室内漫游虚拟手控制 通过编程实现一套虚拟现实环境室内漫游虚拟手控制。 利用已经开发好的VRLabHome动态链接库，调用库函数来执行一定的功能（如加载场景，采集数据，网络传输等），最终实现整个系统。 1建立虚拟场景（在客户端PC2或PC3进行），加载home.vt、lampshade.vt；2数据采集及转换（在服务器PC1进行）；3三台PC机进行网络传输（在服务器与客户端同时进行）；

16、4虚拟人的实现（在客户端PC2或PC3进行）5虚拟手控制的实现（在客户端PC2或PC3进行）实验二、室内漫游虚拟手控制实验二、室内漫游虚拟手控制 实验二、室内漫游虚拟手控制实验二、室内漫游虚拟手控制 实验二、室内漫游虚拟手控制实验二、室内漫游虚拟手控制 实验二、室内漫游虚拟手控制实验二、室内漫游虚拟手控制 实验二、室内漫游虚拟手控制（开关）实验二、室内漫游虚拟手控制（开关） 实验三实验三 虚拟手弹钢琴虚拟手弹钢琴 通过编程实现一套虚拟现实环境虚拟手弹钢琴。利用已经开发好的VRLabPiano动态链接库，调用库函数来执行一定的功能（如加载场景，采集数据，网络传输等），最终实现整个系统。1建立虚拟

17、场景（在客户端PC2或PC3进行），加载piano.vt；2数据采集及转换（在服务器PC1进行）；3三台PC机进行网络传输（在服务器与客户端同时进行）；4虚拟人的实现（在客户端PC2或PC3进行）5虚拟手控制的实现（在客户端PC2或PC3进行）实验三实验三 虚拟手弹钢琴虚拟手弹钢琴 实验三实验三 虚拟手弹钢琴虚拟手弹钢琴 实验三实验三 虚拟手弹钢琴虚拟手弹钢琴 实验四实验四 零件抓取与装配零件抓取与装配 通过编程实现一套虚拟现实环境零件抓取与装配。 利用已经开发好的VRLabFit动态链接库，调用库函数来执行一定的功能（如加载场景，采集数据，网络传输等），最终实现整个系统。 1建立虚拟场景（在客户端PC2或PC3进行），加载fit.vt；2数据采集及转换（在服务器PC1进行）；3三台PC机进行网络传输（在服务器与客户端同时进行）；4虚拟人的实现（在客户端PC2或PC3进行）；5虚拟手控制的实现（在客户端PC2或PC3进行）。实验四实验四 零件抓取与装配零件抓取与装配 实验四实验四 零件抓取与装配零件抓取与装配 本课程要掌握的基本技能硬件设备使用：头盔显示器（分频器）数据手套电磁跟踪器（Flock）软件技术：了解和掌握