肌电信号交互

1、基于表面肌电信号动作识别与交互目录目录CONTENT基于表面肌电信号的人体动作识别基于表面肌电信号的人体动作识别基于基于SEMGSEMG的手势动作识别技术的手势动作识别技术手势识别与交互系统手势识别与交互系统人机交互及人体动作识别人机交互及人体动作识别人机交互及人体动作识别智能人机界面：计算机应当对人类的自然能力(包括触觉、语言、笔形、姿势和情感等)进行感知。输出输入人机界面人与计算机交互(Human-Computer Interaction,HCI)人机交互人机交互人机交互及人体动作识别 指计算机自动检测、分析和理解人体各类运动和行为，判断人的意图并提供相应服务的过程.应用：人体动作识别人体

2、动作识别多模态人机交互手语识别体感游戏医疗监护幼儿教育远程教学视频研讨体育运动人机交互及人体动作识别针电极肌电信号表面电极肌电信号感知人体动作的两种主流方式：1、计算机视觉计算机视觉：采用视觉设备和图像处理技术视觉设备和图像处理技术持续捕获人体动作，具有跟踪全身或局部肢体运动，并获取表情或手势等动作在摄像机视图二维平面投影的形状平面投影的形状信息的功能。缺点：(1)环境影响;(2)难察觉精细的人体动作;(3)动作分割难。2、运动测量运动测量：用户身体上安放各类传感器传感器设备测量用户执行动作时产生的物理量物理量。缺点：传感器单一，获取的信息有限，可识别的人体动作种类不多。基于表面肌电信号的人体

3、动作识别基于表面肌电信号的人体动作识别肌电信号(Eleotromyography,EMG）伴随肌肉活动产生的一种重要的生物电信号。生理学依据：肢体的特定关节运动关节运动由对应的肌肉群控制。肌肉群控制。肌电控制系统：通过对在相应肌群上采集到的EMG信号对不同人体动作进行识别，用识别结果控制外围设备。概念概念基于表面肌电信号的人体动作识别表面肌电信号产生原理表面肌电信号产生原理MUAPT表面肌电信号：幅度范围为0-1.5mA，带宽为0.5-2000Hz，是许多运动单位(Motor Unit,MU)的电发放的总和，波形呈干扰形，很难从中分辨单一单位动作的波形。发出活动指令运动单位动作电位运动单位动作

4、电位序列诱导产生稳定MUAP波形相对保持不变叠加，形成EMG兴奋容积导体滤波表面肌电信号（Surface EMG,SEMG）运动单位动作电位(Motor Unit Action Potential，MUAP)运动单位的动作电位序列(Motor Unit Action Potential Train，MUAPT)基于表面肌电信号的人体动作识别针电极肌电信号(Needle EMG；NEMG)以针形电极为引导电极，将其插入到肌肉内部，直接在活动肌纤维附近检测电位信息。特点： 干扰小，定位性好，易识别； 具有良好的空间分辨率和较高的信噪比； 但是一种有创伤的检测方法； 不宜同时测量多路信。表面电极肌电

5、信号（Surface EMG,SEMG）从人体皮肤表面通过电极记录下来的神经肌肉活动时发放的生物电信号。特点： 较大的检测表面和较低的空间分辨率； 记录的信号为一定范围内肌纤维电活动的总和； 测量的无损伤性； 干扰大。肌电信息采集方式分两种：测量优势：1感知动作的直接性2检测动作的敏感性3传感器低成本高便携性主要问题：1可识别的手势动作的种类较少2缺乏结合生理学知识的系统研究3可重复性和通用性基于表面肌电信号的人体动作识别肌电信号形成信号采集动作识别信号采集：SEMG信号的采集手段已经从模拟测量方式转为数字记录。预处理：测量电极多采用空间电极配置方式；通过多个电极适当形式的互相组合采集SEMG

6、信号，以改善检测SEMG的信噪比。目前应用较多的空间电极配置方式为双极性(Bipolar)和拉普拉斯(Laplaoe)电极。基于表面肌电信号的人体动作识别表面肌电信号的采集与预处理表面肌电信号的采集与预处理肌肉兴奋产生神经脉冲，电极处产生连续发放形成的MUAPTMUAPT采用表面电极肌电信号采集方法基于SEMG的手势动作识别技术信号预处理整流，平滑，滤波，振幅标准化基于表面肌电信号的人体动作识别信号采集信号产生信号识别基于SEMG的手势动作识别技术多通道表面肌电信号手势动作识别及交互控制示意图： 由放置在人手臂皮肤表面预定位置上的SEMG传感器同步获取多通道SEMG信号数据，经由活动段检测方法

7、活动段检测方法标定每一个动作执行时对应信号流的起止点，再通过特征提取特征提取后进行分分类识别，类识别，动作的识别结果可以转化为控制指令，作为人机交互的输入。手势动作手势动作SEMG模式识别算法模式识别算法由活动段检测、特征提取和分类识别三个主要环节组成。基于SEMG的手势动作识别技术活动段检测活动段检测连续采集的多通道肌电信号数据流中提取出对应于动作执行时的信号,称为活动段活动段(Active Segments)。活动段检测的任务：确定手势动作SEMG信号的起点和终点位置，检测前提条件：对手势动作SEMG信号活动段检测的准确判别。已有的SEMG活动段提取算法有短时傅立叶方法、自组织人工神经网络

8、方法、移动平均方法等。确定每一个手势动作样本所对应的多通道SEMG信号活动段,用于以下环节的特征提取和模式分类。基于SEMG的手势动作识别技术特征提取特征提取特征提取环节的主要目标：将动作SEMG信号用一组能表征其类型固有特性的数据来描述，作为该类别的特征，并尽可能做到不同手势动作类别提取得到的特征差异明显特征差异明显,便于分类。特征提取方法特征提取方法小波变换 谱估计 信号幅值的绝对值均值特征值基于SEMG的手势动作识别技术分类器设计分类器设计分类器设计是模式识别任务实现的核心环节，目的：建立用于识别信号模式的分类模型，以准确判定待识别的样本特征所归属的类别。在SEMG模式识别研究中常用的分

9、类器：1 12 23 34 4线性分类器神经网络支持向量机模糊推理 手势识别与交互系统实时手势交互系统组成实时手势交互系统组成系统组成：信号检测模块和算法处理模块。实现模拟-数字转换功能获取信号信号处理：放大、滤波等包括信号预处理、活动段检测、特征提取和分类识别4个主要步骤手势识别与交互系统各阶段的作用各阶段的作用信号预处理：通过数字滤波去除信号基线漂移等方法以增加后级活动段检测的准确性。活动段检测：从多通道SEMG连续数据流中确定手语动作执行时的信号段。特征提取：基本任务是用一组最有效的参数来表征原始动作信号，实现数据的压缩，并尽可能做到不同手语动作对应的信号特征差异明显。分类识别阶段：线性判别分类器LDC因其良好的性能和较低的计算复杂度作为实时手势SEMG信号分类的首选算法。手势识别与交互系统用户使用此系统进行手势识别实验的截图系统软件界面包括信号实时显示、系统参数调整、功能控制选择和结果显示4个主要区域。系统软件包含存储训练样本和实时测试两个基本功能。当使用存储训练样本功能时，系统可以