《项目申请书》-音乐手套资料文档

1、年度编号工程类别学科分类科学研究规划工程申 请 书工程类别学科分类课 题名称 基于MEMS传感器的战术手语语音翻译数据手套系统工程负责人负责人所在单位填表日期主 要 阶 段 性 成 果序号研究阶段（起止时间）阶段成果名称成果形式承当人最 终 研 究 成 果序号完成时间最终成果名称成果形式预计字数参力口人五、经费预算序号经费开支科目经费预算金额（元）12345678年度 预算一季度二季度三季度四季度合计经费来源经费管理单位填写数据表考前须知课题名称：应准确、简明反映研究内容，最多不超过40个汉字（包括标点符号）。课题负责人：系指真正承当课题研究和负责课题组织、指导的研究者。工作单位：按单位和部门

2、公章全称填写。人：不得填写课题负责人。主要参加者：必须真正参加本课题研究工作，不含课题负责人，不包括单位 领导、科研管理、财务管理、后勤服务等人员。预期成果：系指预期取得的最终研究成果形式。请选项填写，最多限选报3 项，其中必须包含研究报告。例如：论文、论文集、著作、电脑软件、器材、其 他。填写字体：电子版文档请用小四号仿宋_GB2312字体填写。二O一五年一一、数据表课题名称主题词工程类别A.特别委托规划工程B.重点规划工程C. 一般规划工程D.自筹经费工程E.自选工程学科分类研究类型A.基础研究B.应用研究C.综合研究D.其他研究负责人姓名性别出生年月行政职务专业职务研究专长最后学历最后学

3、位担任导师工作单位办公 通讯地址住宅 电子信箱邮政编码主要参 加 者姓名性别出生年月专业职务研究专长学历学位工作单位第一推荐人姓名专业职务工作单位第二推荐人姓名专业职务工作单位预期成果A著 作B研究报告C器 材D软 件E其 它（注明何种成果）预计完成时间二、课题设计论证一、本课题选题意义、研究现状述评和研究价值（一）本课题选题意义战术手语指特种兵在实战中由于所处的环境特殊，相互间的沟通往往依靠的是无声语言： 战术手语。战术手语，是通过特定的手形、手势、形体动作和面部表情，传递特定信息指挥 行动，可由各部队自行制定。特种部队手语最早是由著名反恐部队-德国第九国防军边境部 队（GSG9）创造的，现

4、在，这些战斗语言已被包括中国在内的世界各国特种部队广泛采 用。随着军事手语的逐步修改完善，从前只有少数特种分队使用的军事手语，由于军事手语 的动作简洁明了，正被我军广大步兵部队所使用。作为随时随地都有可能与犯罪分子打遭遇战的警察，熟练掌握手语的含义并能运用自如, 能最大限度地减少不必要的伤亡。目前很多地方公安机关的特警队已经把手语列入训练科目， 作为一项必备的基本技能，并已收到明显的实战效果。但是现有手语交流也存在缺乏：受讯者必须持续注视手语发出者，而无法时刻监视危险 方向，会分散较大的注意力；距离远、夜间、有遮挡物时无法看清对方的手语导致手语通信 失效；战术手语动作简洁明了，动作幅度较大因此

5、被敌方识别的可能性也较大，隐秘性不够; 同时战术手语肢体动作幅度较大，需要花费较长的时间，通信效率不高；肢体语言的表现能 力和识别能力毕竟不如声音语言。如果将传感器植入到手套中，通过提取手指的运动参数，并识别其中包含的战术指令， 用无线信号将战术指令发送给受讯者，再通过TTS语音引擎将战术指令翻译为相应的语音， 最后受讯者通过耳机听对方发出的战术指令。用此方法可以使监视危险区域及与同伴通讯并 行；无线信号不受白天黑夜影响，传播距离远，能穿过遮挡物的遮挡，大大提高通讯的范围; 因为手套能直接从手指的运动参数识别出战术指令，动作幅度较小，进一步增加了隐蔽性， 同时节省体力；同时可以大大提高通讯的效

6、率，同时能表达更加丰富复杂的指令。据此本课题研究战术手语语音翻译手套系统将传统战术手语的优势和现代科技的结 合进一步提高传统战术手语的通讯效率，隐蔽性，使用范围。对于最大化的提高任务执行的 效率，提高武警的生存率具有重要意义。（二）本课题研究现状本课题的关键技术是战术手语的识别（手势识别）手势识别是指利用计算机来检测、分 析和解释人所执行的手势动作，从而用于判断动作意图并提供相应的服务，涉及到信号处理、 模式识别、传感器技术、康复工程、运动医学等多个学科领域（Mitra&Acharya,20XX）。随着 现代信息科技的飞速开展和人们生活水平的不断提高，利用手势识别技术将手势动作识别结 果用于操

7、控高科技电子设备或辅助传递运动、医学等信息成为人机交互和康复工程等领域的 研究热点：手势动作是一种自然的信息传递方式，可用于正常人和计算机之间的信息交互 (Humaa-Computer Interaction,HCI)o由于手势交互的便捷、可移动和适用于双手无法空闲的交 互场合的优势，近年来收到了广受关注(Moeslund&Granum,20义X ； Ong&Ranganath, 20X X ； 任海兵，20XX)o 20XX年，Cybemet公司研制的GestureStorm系统被用于美国佛罗里达州 的嘲G电视台，天气预报员在播报天气的时候只用轻微的拨动手，就可以产生出配合播报的 特殊视频效

8、果(Geer, 20X X)o 微软公司的 Kinect(h.ttp： /wiki/Ymeet)利用摄 像头等多类传感器，实现对手势动作和姿态的即时动态捕捉并用于实时交互。20X义年，Leap 体感控制器制造公司推出手势跟踪器Le叩Motion ( s： /developer. 1 eapmotion.),利用其对 手势动作可以到达精度为0.01mm的精确跟踪，能在显示器上非常精确的反映出执行者手势的 细微变化。加拿大halmieLabs公司于20XX年研发出手势控制腕带MY0( et al.QOX X)基 于颜色手套成功识别了 300个阿拉伯聋哑人手语词。为了

9、利用计算机识别种类繁多的人体手势动作，需要首先通过一定的感知技术获取手势动作 的手形、位置、方向和手臂运动等信息。由于手势动作的识别属于动态模式识别，难度比拟 大，因此需要有针对性的找到合适的信息捕获方式，主流的有基于计算机视觉和基于运动测 量动作感知的两种动作感知方法(Mitra&Acharya,20X X)。基于计算机视觉的动作感知方法利用摄像头等成像设备采集手势动作的视频图像信息， 可以获取相当于人眼的信息量，并且用户可以无需佩戴任何采集设备自由的运动(Pavlovic et al., 19971 Jaimes&Sebe 20X X , 20X XI Zeng etal., 20X X)

10、,因此在手势动作识别领域得 到了成功的应用。德国亚深工大的Grobel&Assail(1997)利用连续视频图像识别戴上颜色手套 执行的262个孤立手语词，到达了 91.3%的识别率。Stamer et 4(1998)和Shanableh et a 1.(20 X X)分别实现了基于视觉的美国手语和阿拉伯手语识别。张良国和高文等(20X X)成功识别 了 439个中国手语孤立词，正确率为92.5%。奥尔堡大学计算机视觉和多媒体技术实验室利 用SwissRanger的SR4000相机捕获的3D数据，通过对一个视角进行训练，即可实现多角度 测试94.4%的识别准确率(HOlteetaL, 20XX

11、)o基于计算机视觉的感知方法缺点在于：由第 三方视角捕获图像信息、，使用时局限性较大，图像容易受到采集时背景、光照等环境因素的 影响，摄像头帧率及架设位置要求较高，手势动作分割也是一个难点(Mitra&Acharya, 20X X,任海兵，20XX)o基于运动测量的手势动作感知方式通过在上肢和手臂安放各类传感器，如加速计、陀螺 仪、磁力计、角速度计、数据手套以及位置跟踪器等，测量手势动作执行过程中产生的位移、 角度、加速度等物理量的变化。该检测技术将测量的传感器和用户合为一体，使得信号捕获 的过程非常的自由。其中加速计传感器能够检测到运动时的加速度(Acceleration, ACC),因 其

12、灵敏的运动变化感应和便携性以及低廉的价格，得到了很多研究者的关注，成为一个重要 的动作捕获方式。芬兰VTT研究中心利用微小加速计手持设备识别手势(Miintyjarvi, 20XX)o Pylvan illen(20XX)以一个三轴加速计为输入设备实现了 10个手势动作96.76%的识别率。Cho et aL(20XX)利用一个三轴加速计识别12种多媒体命令手势，在特定的多媒体交互应用到达了 99%的识别率。奥登堡大学使用Wti-eontroller加速度传感器进行手势识别，利用少量的训练 样本即可将用户手势用于人机交互操作(SchlOmeretaL, 20XX)o莱斯大学利用三轴加速传 感器

13、，每个手势模板仅需要一个训练样本，可到达98.6%的手势识别率，并被应用到用户验 证和3D移动用户界面(Liuet al., 20XX)o加速计的特点是可利用运动加速度和重力加速度 在各轴上的投影来捕获大尺度动作的空间变化过程，但是对于精细的小幅度动作描述却不是 很精确。另一类典型的运动测量传感器为数据手套，其通过捕获手的位置、方向和手指弯曲等信息 来反映手的空间运动轨迹、姿态和时序信息，因为信息丰富而具有较好的识别效果。使用数 据手套的手语动作识别有着较多的研究报道，代表性的有美国手语(Fels&Hinton, 1993)、台 湾手语(Liang&Ouhyotmg, 1995)、韩国手语(K

14、im, 1996)和澳大利亚手语(Kadous, 1996)。国 内中科院计算所利用数据手套实现了对连续中国手语句子的在线识别(3E春立，20X X ； Fang etal., 20XX)o虽然使用数据手套进行的手势识别效果较好，但其本钱昂贵且佩戴笨重，难 以普及使用，不利于便携、自由、普适的手势动作识别交互的开展和应用。综上所述，为了捕获用于描述手势动作的信息从而进行动作识别，可采用不同的感知技 术从不同角度获取手势动作信息，以实现对动作的分类识别。而战术手语识别相对普通手语 识别有其独特的要求。词汇量相对较少，战术手语共有48个词汇，因此手语识别重点在准确 性上而不是多样性；信息传递要及时

15、，这需要手语识别速度快，在硬件上采用较快的处理器, 在算法上尽可能减少时间复杂度；佩戴稳定，经久耐用，可靠性高，为了适应战争或反恐环 境，确保沟通顺畅稳定，手套的可靠性是手套具有实用价值的关键。(三)本课题研究价值战术手语是保护民警，防止失误，减少损失的有效途径。由于手语的使用，杜绝了警员 在作战中，用语言表达战术思想，传递行动方案时容易暴露目标和行动企图的弊端，使我们 的行动更加隐蔽，警员间交流更加方便，快捷，更加有效地保护了参战民警，减少了伤亡， 使我们的战术效果更加理想。在科技文化高速开展的今天要与同样高速开展的违法犯罪活动 作斗争，不能光靠沿袭照搬已有的战术手段。需要通过科技创新将现代

16、科技补充到已有的战 术中去，才能使我们的战术更加完善,才能提高捕获犯罪分子及犯罪嫌疑人的能力和成功率。战术手语语音翻译手套系统能将传统的战术手语识别翻译为相应的语音，可以使监 视危险区域及与同伴通讯并行；无线信号不受白天黑夜影响，传播距离远，能穿过遮挡物的 遮挡，大大提高通讯的范围；因为手套能直接从手指的运动参数识别出战术指令，动作幅度 较小，进一步增加了隐蔽性，同时节省体力；同时可以大大提高通讯的效率，同时能表达更加丰富复杂的指令。据此本课题研究战术手语语音翻译手套系统将传统战术手语的优势和现代科技的结 合进一步提高传统战术手语的通讯效率，隐蔽性，使用范围。对于最大化的提高任务执行的 效率，

17、提高武警的生存率具有重要意义。本课题除了增强了无声语言交流的效力，课题中所涉及的传感技术、模式识别技术、无 线通信技术在其他武器装备的应用也很有价值。为升级、研发其他武器装备奠定良好的技术 基础。二、本课题的研究目标 研究内容、创新之处（一）本课题的研究目标本课题的研究目标是研发出一种基于MEMS传感器的战术手语语音翻译手套系统，在 传统战术手语的基础上进一步提高特警、武警无声语言的沟通效率，实用范围。（二）本课题的研究内容基于MEMS传感器的战术手语语音翻译手套系统主要包括：MEMS六轴惯性传感器手指姿 态检测模块、无线通信模块、嵌入式主控系统、无线耳机模块、电源模块。外部电源无线通信模块电

18、源模 块MEMS惯性传 感器手指姿 态检测模块无线耳 机模块谋入式主控系统基于MEMS 传感器的 战术手语 语音翻译 手套系统主要研究的内容有1）基于MEMS六轴惯性传感器手指姿态检测研究A.应用卡曼滤波消除MEMS六轴惯性传感器返回数据噪声，防止噪声干扰导致误判；B.建立左手空间模型，通过MEMS六轴惯性传感器检查出手指的姿态。2）手指姿态所表达的战术手语实时识别算法研究A.对战术手语进行适应性重新编码建立手语词典，使得战术手语既便于使用又便于识别，同 时进一步丰富手语词汇库。B.采用隐马尔科夫模型（Hidden Markov Model, HMM）进行手语识别。3）战术手语语音翻译手套软硬件设计及工程实现工程实现重点研究提高手套可靠性、耐用性、小型化、电池续航时间。（三）本课题的创新之处1）利用模式识别技