基于数据手套的虚拟手势交互系统

1、2007 年第 10 期仪 表 技 术 与Instrument Technique传 感 器and Sensor2007No110基于数据手套的虚拟手势交互系统周晓晶 ,赵正旭 ,楼江(东南大学仪器科学与工程学院 ,江苏南京 210096)摘要 :人机交互是虚拟现实的关键技术 ,利用数据手套驱动虚拟手运动是一种自然 、灵活和高效的交互方式 。首先制作了虚拟手的 3ds 模型 ,然后基于 VC + 和 OpenGL 软件平台创建了虚拟环境及导入该模型 ,并由计算机接口输入数据手 套的传感信号 ,并对该信号进行处理 ,获得驱动虚拟手运动的相关参数 ,最终实现虚拟手实时地完成手势识别和物体抓取 等动

2、作 。关键词 :数据手套 ;传感器 ;虚拟手中图分类号 : TP212文献标识码 :A文章编号 :1002 - 1841 (2007) 10 - 0065 - 02Interactive Hand Gesturing System Ba sed on Data GloveZHOU Xiao2jing ,ZHAO Zheng2xu ,LOU Jiang( School of Instrument Science and Engineering , Southeast University , Nanjing 210096 , China)Abstract :Human2computer inte

3、raction ( HCI) is a mainstream VR technology. To use data glove in driving virtual hand , it is a nat2ural , flexible and efficient HCI control mode . We first developed a virtual2hand gesturing model and builded a VR environment . Then the3ds model was imported on a VC + + and OpenGL platform. By p

4、rocessing the sensor signals , hand gestures can be identified and hand action like ball2grasping can be achieved.Key words :data glove ; sensor ;virtual hand0 引言随着虚拟现实技术的发展 ,虚拟手作为一种自然 、高效的 人机交互方式 ,被广泛地应用在虚拟装配 、远程手术 、机器人控 制及手语识别等各个领域1 - 2 。数据手套是一种虚拟现实系 统的交互设备 ,通过数据手套上的传感器系统 ,可以将操作者 的动作变成传感信号输入到计算机 ,

5、计算机读取并分析传感器 的信号 ,以便控制虚拟手做出不同的手势或抓取 、移动和释放 物体 ,完成与虚拟环境的交互 。基于数据手套的虚拟手交互系 统框图如图 1 所示 。指 ,每个手指又是由 3 个指节组成的 。虚拟手运动时 , 手掌部分为父节点 ,即手掌的平移和旋转将带动 5 个手指共同运动 ;每个手指为一个子节点 ,它们的动作将不影响手掌的运动 。图 2 利用 3DS MAX 软件建立的虚拟手模型112 虚拟手的导入用 3DS MAX 软件建立的是虚拟手的静态模型 ,要想让虚拟 手做出各种动作 ,必须将该 3ds 模型调入到虚拟环境中 。为此 利用 VC + 语言加上 OpenGL 图形接口

6、软件来建立一个视口 , 然后读取虚拟手 3ds 文件中的数据 ,并将它绘制在窗口中 。由 图 2 可以看出 ,虚拟手的模型是由无数的三角形网格组成的 ,3ds 文件的主要部分就是按照一定的拓扑关系储存三角形所有 顶点的坐标 ,通过程序可以按一定顺序读出这些顶点的坐标 , 随后利用 OpenGL 开发接口 ,在显示窗口中重新绘制 。这个过 程中 ,可以确定每个手指的旋转中心 (在每个指根中间) 和整个 手的旋转中心 (在手掌下部的中间) 和旋转坐标轴 。图 1 基于数据手套的虚拟手交互系统框图1 虚拟手的建模和导入111 虚拟手的建模要完成数据手套和虚拟环境的交互工作 ,首先要创建一个 包括虚拟

7、手在内的虚拟环境 ,为此利用 3DS MAX 软件建立一个 虚拟手的模型 。图 2 即是利用该软件建立的三维虚拟手模型 , 其中左上 、右上和左下分别为顶视 、主视和侧视图 ,右下为透视 投影图 。该虚拟手由 16 个部分组成 ,包括有 1 个手掌和 5 个手211 数据手套的传感器系统采用的型号为 5DT Data Glove 5 的右手数据手套 ,如图 3 所 示 。该数据手套配备有 7 个传感器 ,其中 A - E 为每个指头指 根弯曲度传感器 ,F 为倾斜角度传感器 , G 为旋转角度传感器 。7 个传感器 通 过 扁 平 电 缆 线 和 交 互 盒 相 连 , 交 互 盒 通 过 R

8、S -232 接口连至计算机串行口 ,用于驱动虚拟手按照操作者的动 作进行运动 。据 。213 手指和整手控制的实现为了完成手指和整手的控制 ,首先通过软件对数据手套进 行初始化 ,然后完成每个手指的传感器数据的读取 ,然后根据 读取的数据 ,并参照数据手套标定的结果进行适当的缩放 ,得 到对应的旋转角度值 ,最后驱动虚拟手相应的部分绕相应的轴 进行旋转 。214 基于数据手套的手势识别手势的定义是基于传感器的预设响应值和阈值的比较而 得到的 。传感器的响应低于下阈值时将会返回值 1 ,表示对应 手指伸直 ;但传感器的响应高于上阈值时将会返回值 0 ,表示对应手指弯曲 ; 当 响 应 在 上

9、阈 值 和 下 阈 值 之 间 时 , 将 不 返 回 值 。对每个手指的屈伸进行组合 ,便能定义不同的手势4 - 5 。5DTData Glove 5 的右手数据手套可以识别 16 种基本手势 ,图 4 显示 了几种手势的识别情况 , 其中每个手都对应一个手势号 ( 0 -15) 和一个手势名 。图 3 数据手套的传感器系统对比图 2 和图 3 可知 ,虚拟手有 16 个部分 ,而数据手套只 有 7 个传感器 ,所以每个手指的 3 个指节对应一个弯曲度传感 器 ,当人手操纵数据手套的手指弯曲时 ,该手指传感器的信号 通过接口传入计算机 ,计算机读取该信号后就改变虚拟手中该 手指的 3 个指节

10、的旋转角度 ,使得该手指绕指根部分旋转相应 的角度 。另外 2 个旋转和倾斜度传感器对应手掌的运动 ,当收 到传感器发出的旋转和倾斜信号后 ,虚拟手的手掌将带动 5 个 手指分别绕空间的不同坐标轴进行旋转 。212 数据手套的标定由于不同的人 ,手的大小不尽相同 ,因此为了达到手套的 最大灵敏度 ,保证输出数据的精度 ,在使用数据手套前必须对 手套进行标定 ,即确定手指在自然弯曲和自然伸直状态下传感 器的相应极限值 。5DT Data Glove 5 数据手套有 2 种校准方式 : 自动校准和软件校准3 。自动校准指驱动器自动提供传感器输出的一种连续线性 标定方法 。在每次更新期间 ,传感器读

11、出的原始值与设置的最 大最小值 ( rawmax和 rawmin) 进行比较 ,如果超出了设定值的范围 , 就将最大和最小值刷新 。用手连续快速地做弯曲运动 ,不断地 更新当前值 ,也就完成了对数据手套的标定 。传感器标准输出 计算如式 1 所示3 ,其中 max 可由系统函数设定 。(a) 手势 0 ( Fist)( b) 手势 1 ( Index finger point)(c) 手势 5 ( Ring2Index finger point)( d) 手势 15 ( Flat hand)图 4 基于数据手套的手势识别215 数据手套和虚拟手的交互利用数据手套不仅可以完成手势的识别 ,还可以

12、控制虚拟 手完成抓取 、移动和释放物体等动作 ,图 5 显示了利用数据手 套操纵虚拟手完成抓取虚拟球的过程 。首先在虚拟环境中加 入一个虚拟球 ,图 5 ( a) 为虚拟手和小球的原始相对位置 ; 然后 控制整个手进行旋转和平移 ( 因为没有平移传感器 ,平移用键 盘控制代替) ,接近小球 ,如图 5 ( b) 所示 ; 最后通过数据手套控 制虚拟手做抓取动作 ,如图 5 (c) 所示 。 rawval - rawminout = rawmax - rawmin max( )1数据手套在工厂进行校准时 ,已经尽量获得最大可能的动态范围 ,即传感器输出最大值 ( 手握住时) 与输出最小值 ( 手

13、伸 平时) 的差量 。数据手套自带的驱动中有动态软件校准程序 , 可以根据操作者不同的手实时测量出各个传感器的最大值 、最 小值和动态范围 。戴上手套后反复伸展各个手指 ,注意保持动 作的自然 性 。当 满 意 当 前 的 最 大 值 、最 小 值 和 动 态 范 围 数 据 时 ,将数据保存下来 ,应用时可以随时提取 。动态软件校准程 序设定的动态范围为 0255 ,计算公式如下3 :(a)图 5( b)(c)Vmeasured - VminV scaled =×255( )2数据手套驱动的虚拟手抓取虚拟球的过程Vmax - Vmin利用式 (2) 将 测 量 出 的 原 始 数

14、据 进 行 放 缩 得 到 最 终 校 准 的 数(下转第 70 页) 70 Instrument Technique and Sensor Oct12007 线圈直径为 10 mm) 。电铸后的线圈无空洞 、无断线 、无翻边短路 ,有较大的深宽比 (图 11) ,分割后测得每个定子线圈电阻为 2 左右 。与转子装配后对微电机进行测试 ( 图 12) ,发现电机转 矩波动小 ,运转平稳 。密机械意义上的最小电机直径为 10 mm ,厚 4 mm ,通以 011 A 的电流时能获得 47N·m 的转矩 。 有限元法由于具体地计算了导线所处位置的磁密值及导线的受力 ,使得电机的转矩计算比

15、较准确 ,通过修改命令流可 以方便地计算电机不同尺寸参数对应的转矩值 。为进一步减 小计算误差及完善仿真计算 ,需要更深入的研究工作 ,如对不 同直径 、不同磁环厚度 、不同定转子极数以及定子线宽与线间 距不同时的各类搭配方案的电机进行建模计算 ,并辅以实验验 证 ,优化建模计算方法 ,以指导该类电机微小型化过程中的实 际设计 。另外 ,针对平面线圈的制作工艺 ,进一步的工作是深入研究光刻 、微电 铸 和 深 刻 蚀 工 艺 , 制 作 更 高 深 宽 比 的 线 圈 结 构 。图 10 微电铸切割后的平面线圈成熟的定子线圈制作工艺可以应用在集成电路 、大规模数据存储系统以及微泵 、微阀等 M

16、EMS 器件中所使用的高深宽比平面 线圈的制作中 。参考文献 :1TöPFER J , PAWLOWSKI B. Multi2pole magnetization of NdFeB magnets for magnetic micro2actuators and its characterization with a magnetic field mapping device . J . Magn. Magn. Mater . , 2004 , 270 : 124 - 129 .HAMEYER K ,NIENHAUS M. Electromagnetic actuators curr

17、ent devel2opments and examples. Actuator ,1999 .郭占社 ,吴一辉 ,宣明 ,等. 电磁型平面微电机及其制作工艺. 光学 精密工程 ,2003 ,11 (2) :120 - 124 .章名涛 ,肖如鸿. 电机的电磁场. 北京 :机械工业出版社 ,1988 :51 - 65.唐任远. 现代永磁电机理论与设计. 北京 : 机械工业出版社 ,1997 :311 - 314 .赵凯华 ,陈熙谋. 电磁学. 北京 :高等教育出版社 ,1985 : 387 - 390 . 王国强. 实用工程数值模拟技术及其在 ANSYS 上的实践. 西安 : 西 北工业大学出

18、版社 ,1999 :209 - 212 .杨杰伟 ,吴一辉 ,贾宏光. 轴向磁化永磁微电机磁场分析及设计方 法研究. 光学精密工程 ,2006 ,14 (1) :83 - 88 .AYDIN M. Axial flux surface mounted permanent magnet disc motors for traction drive applications. Madison , WI : Department of electrical and computer engineering , University of Wisconsin - Madison , 2002 .T;

19、PFER D ,CHRISTOPH V. Multi2pole magnetization of NdFeB sinteredmagnets and thick films for magnetic micro2actuators. Sensors and Actua2tors A , 2004 , 113 : 257 - 263 .杨杰伟 ,吴一辉 ,王淑荣 ,等. 平面微电机定子线圈制作工艺研究.微细加工技术 , 2006 , 89 (3) : 27 - 32 .2图 11 微电铸后的平面线圈局图 12 基于 MEMS 工艺的直径 10部mm 微电机33 结论通过有限元数值仿真分析 ,分别

20、计算了同一直径电机匝数 变化对应的转矩值和电机直径变化对应的转矩值 ,得出了定子 线圈的最佳布线密度及精密机械范畴内电机所能达到的最小 直径 。即定子线圈最有效的布线密度为线宽 、间距均为 50 m ; 电机的最小尺寸由以下几个方面限制 :(1) 从结构方面考虑 ,为减小轴向尺寸 ,轴承和磁环同轴且 一端共面 ,结构限制了转子直径的进一步减小 ;(2) 从转矩上考虑 ,减小直径 , 转矩也相应减小 , 当直径减 小到一定程度时 ,转矩很小 ,在精密机械范畴内已没有实用意 义 ;(3) 从永磁转子产生的气隙磁场方面考虑 , 随着电机直径 的减小 ,平均半径处的气隙磁密幅值逐渐减小 ,当直径减小到 小于 10 mm 时