肌电信号交互

1、基于表面肌电信号 动作识别与交互 目录目录 CONTENT 基于表面肌电信号的人体动作识别基于表面肌电信号的人体动作识别 基于基于SEMGSEMG的手势动作识别技术的手势动作识别技术 手势识别与交互系统手势识别与交互系统 人机交互及人体动作识别人机交互及人体动作识别 人机交互及人体动作识别 智能人机界面：计算机应当对人类的自然能力(包 括触觉、语言、笔形、姿势和情感等)进行感知。 输出 输入 人机 界面 人与计算机交互(Human-Computer Interaction,HCI) 人机交互人机交互 人机交互及人体动作识别 指计算机自动检测、分析和理解人体各类运动和行为， 判断人的意图并提供相

2、应服务的过程. 应用： 人体动作识别人体动作识别 多模态 人机交 互 手语 识别 体感 游戏 医疗 监护 幼儿 教育 远程 教学 视频 研讨 体育 运动 人机交互及人体动作识别 针电极肌电信号 表面电极肌电信号 感知人体动作的两种主流方式： 1、计算机视觉计算机视觉：采用视觉设备和图像处理技术视觉设备和图像处理技术持续捕 获人体动作，具有跟踪全身或局部肢体运动，并获取 表情或手势等动作在摄像机视图二维平面投影的形状平面投影的形状 信息的功能。 缺点： (1)环境影响; (2)难察觉精细的人体动作; (3)动作分割难。 2、运动测量运动测量：用户身体上安放各类传感器传感器设备测量用 户执行动作时

3、产生的物理量物理量。 缺点： 传感器单一，获取的信息有限，可识别的人体动作种 类不多。 基于表面肌电信号的人体动作识别 基于表面肌电信号的人体动作识别 肌电信号(Eleotromyography,EMG） 伴随肌肉活动产生的一种重要的生物电信号。 生理学依据： 肢体的特定关节运动关节运动由对应的肌肉群控制。肌肉群控制。 肌电控制系统： 通过对在相应肌群上采集到的EMG信号对不 同人体动作进行识别，用识别结果控制外围设备。 概念概念 基于表面肌电信号的人体动作识别 表面肌电信号产生原理表面肌电信号产生原理 MUAPT 表面肌电信号： 幅度范围为0-1.5mA， 带宽为0.5-2000Hz， 是许

4、多运动单位(Motor Unit,MU)的电发放的总和，波 形呈干扰形，很难从中分辨单 一单位动作的波形。 发出 活动 指令 运动 单位 动作 电位 运动单位 动作电位 序列 诱导产生 稳定 MUAP波形相对保持不变 叠加，形成EMG 兴奋 容积导 体滤波 表面肌电信号（Surface EMG,SEMG） 运动单位动作电位(Motor Unit Action Potential，MUAP) 运动单位的动作电位序列(Motor Unit Action Potential Train，MUAPT) 基于表面肌电信号的人体动作识别 针电极肌电信号(Needle EMG；NEMG) 以针形电极为引导电

5、极，将其插入到肌肉内部，直接在活 动肌纤维附近检测电位信息。 特点： 干扰小，定位性好，易识别； 具有良好的空间分辨率和较高的信噪比； 但是一种有创伤的检测方法； 不宜同时测量多路信。 表面电极肌电信号（Surface EMG,SEMG） 从人体皮肤表面通过电极记录下来的神经肌肉活动时发放 的生物电信号。 特点： 较大的检测表面和较低的空间分辨率； 记录的信号为一定范围内肌纤维电活动的总和； 测量的无损伤性； 干扰大。 肌电信息采集方式分两种： 测量优势： 1感知动作的直接性 2检测动作的敏感性 3传感器低成本高便携性 主要问题： 1可识别的手势动作的种类较少 2缺乏结合生理学知识的系统研究

6、3可重复性和通用性 基于表面肌电信号的人体动作识别 肌电信号 形成 信号采集动作识别 信号采集：SEMG信号的采集手段已经从模拟测量方式转为 数字记录。 预处理： 测量电极多采用空间电极配置方式； 通过多个电极适当形式的互相组合采集SEMG信号，以改善 检测SEMG的信噪比。 目前应用较多的空间电极配置方式为双极性(Bipolar)和 拉普拉斯(Laplaoe)电极。 基于表面肌电信号的人体动作识别 表面肌电信号的采集与预处理表面肌电信号的采集与预处理 肌肉兴奋产 生神经脉冲， 电极处产生 连续发放形 成的MUAPTMUAPT 采用表面电 极肌电信号 采集方法 基于SEMG 的手势动作 识别技

7、术 信号预处理 整流，平滑， 滤波，振幅 标准化 基于表面肌电信号的人体动作识别 信号采集 信号产生 信号识别 基于SEMG的手势动作识别技术 多通道表面肌电信号手势动作识别及交互控制示意图： 由放置在人手臂皮肤表面预定位置上的SEMG传感器同步 获取多通道SEMG信号数据，经由活动段检测方法活动段检测方法标定每一个 动作执行时对应信号流的起止点，再通过特征提取特征提取后进行分分 类识别，类识别，动作的识别结果可以转化为控制指令，作为人机交 互的输入。 手势动作手势动作SEMG模式识别算法模式识别算法 由活动段检测、特征提取和分类识别三个主要环节组成。 基于SEMG的手势动作识别技术 活动段检

8、测活动段检测 连续采集的多通道肌电信号数据流中提取出对应于动 作执行时的信号,称为活动段活动段(Active Segments)。 活动段检测的任务：确定手势动作SEMG信号的起点 和终点位置， 检测前提条件：对手势动作SEMG信号活动段检测的 准确判别。 已有的SEMG活动段提取算法有短时傅立叶方法、自 组织人工神经网络方法、移动平均方法等。 确定每一个手势动作样本所对应的多通道SEMG信号 活动段,用于以下环节的特征提取和模式分类。 基于SEMG的手势动作识别技术 特征提取特征提取 特征提取环节的主要目标： 将动作SEMG信号用一组能表征其类型固有特性的数据 来描述，作为该类别的特征，并尽

9、可能做到不同手势动作 类别提取得到的特征差异明显特征差异明显,便于分类。 特征提取方法特征提取方法 小波 变换 谱估 计 信号幅值的 绝对值均值 特征值 基于SEMG的手势动作识别技术 分类器设计分类器设计 分类器设计是模式识别任务实现的核心环节， 目的：建立用于识别信号模式的分类模型，以准确判定待 识别的样本特征所归属的类别。 在SEMG模式识别研究中常用的分类器： 1 1 2 2 3 3 4 4 线性分类器 神经网络 支持向量机 模糊推理 手势识别与交互系统 实时手势交互系统组成实时手势交互系统组成 系统组成：信号检测模块和算法处理模块。 实现模拟 -数字转 换功能 获取信号 信号处理：放

10、 大、滤波等 包括信号预处理、 活动段检测、特 征提取和分类识 别4个主要步骤 手势识别与交互系统 各阶段的作用各阶段的作用 信号预处理：通过数字滤波去除信号基线漂移等方法 以增加后级活动段检测的准确性。 活动段检测：从多通道SEMG连续数据流中确定手语 动作执行时的信号段。 特征提取：基本任务是用一组最有效的参数来表征原 始动作信号，实现数据的压缩，并尽可能做到不同手 语动作对应的信号特征差异明显。 分类识别阶段：线性判别分类器LDC因其良好的性能 和较低的计算复杂度作为实时手势SEMG信号分类的 首选算法。 手势识别与交互系统 用户使用此系统进行手势识别实验的截图 系统软件界面包括信号实时显示、系 统参数调整、功能控制选择和结果显 示4个主要区域。 系统软件包含存储训练样本和实时测 试两个基本功能。 当使用存储训练样本功能时，系统可 以对