基于MDMO的人脸微表情识别方法

基于基于 MDMO 的人脸微表情识别方法的人脸微表情识别方法 微表情是短暂的面部动作短 自主和低强度 识别面部自发微表情是一个很大的挑战 文献中提出了一个简单而有效的主要方向 光学流动 mdmo 微表情识别特征 应用一 个强大的微表情视频光学流动法和面部区域划分为感兴趣区域 ROI 基于部分行动单位 这是一个基于光学流动兴趣区域 归一化的统计特征 考虑局部统计运动信息和空间位置 为了减少噪声由于头部运动的影响 提出了一种光学流驱动的方法将所有帧的微表情的视 频剪辑 最后 一个 SVM 分类器利用 mdmo 特征识别微表情 1 DRMF 方法对面部区域进行划分 要建立了微表情识别的有效特征 首先通过使用受限的本地模型的一个实例来检测并 将面部区域划分为感兴趣区域 即 ROIs 称为判别响应图拟合 DRMF 使用 DRMF 方法 在每个微表情视频片段中 在第一帧的面部区域 有力地检测出一 组面部特征点 首先 使用 Viola Jones 人脸探测器来定位每一帧的面部区域 其次 通过 提取响应块和低维投影 计算出一组初始特征点 第三 drmf 迭代干扰这些初始特征点与 生成的特征模板 控制形状和外观的变化从一个训练集学习相关目标图像 形状和外观形 态变化的统计模型 应用 DRMF 方法以一个强大的 准确的方式定位面部地区的 68 个特征 点 在应用中 使用了从 DRMF 方法获得的 66 个特征点 在的微表情识别中 没有使用两 个特征点来识别内唇角 图图 1 所示 左图 使用所示 左图 使用 DRMF 方法检测面部区域的方法检测面部区域的 66 个特征点 右图 正常面部区域个特征点 右图 正常面部区域 所有 66 个特征的面部特征都被表示为 FP fp1 fp66 在不同的框架中 面部区域 的部分在实践中往往会有所不同 可以利用检测到的特征点集 FP 对每个帧中的人脸区域进 行归一化处理 使每一帧的面部区域恢复正常 图图 2 所示 左图 所示 左图 36 个区域的划分 由个区域的划分 由 66 个特征点决定 右图 由个特征点决定 右图 由 ROIs 21 22 25 和和 26 所共享的所共享的 顶点的位置是顶点的位置是 IDs 4 和和 33 的两个特征点的平均位置 的两个特征点的平均位置 进一步将标准化的面部区域划分为 36 个 ROIs 由 66 个特征点决定 36 个 ROIs 中所 有顶点的规范规则 可以在计算机数字库找到 例如 眉毛被划分为外部和内部部分 其中有两个划分准则 1 ROI 划分不应该太粗糙 否则许多 AUs 将会定位在脸部相似或重叠的部分 在某些部分 比如嘴巴 提供了更多的分区来更好地区分不同的 AUs 2 ROI 划分不应该过于密集 一般来说 每个 ROI 至少对应一个 AU 例如 ROI 1 只与 AU2 相关 不需要进一步细分 2 光流场的计算 划分好区域后就要进行光流场的计算 光流是通过检测两个图像帧之间不断变化的像 素的强度来推断物体的运动 在一个视频剪辑中 一个像素定位为 x y t 强度为 I x y t 在两帧之间移动了 x y 和 t 根据亮度恒定约束条件 有 假设移动很小 I x y t 的图像约束可以用泰勒级数来获得 是一个高阶无穷小的 从两个方程式可以有 得到 Vx 和 Vy 是 x 和 y 分量 分别是 I x y t 的速度或光流 因此 在距离 t 的两帧之间 一 个像素的光学量值 t 被表示为一个二维的向量 由于图像帧之间的光照变化可能会影响光流量估计的准确度 为了解决强度不一致性 问题 对图像序列进行预处理 每个图像分解为两个部分 即一个结构部分和一个纹理部分 结果表明 强度不一致是因为阴影和明暗认识只能出现在原始图像和结构部分 因此 在 纹理部分的光流计算可以提供准确的结果 图图 3 所示 在紧张的微表达中 图像序列的光流 所示 在紧张的微表达中 图像序列的光流 b d 和和 f 的光流场在颜色编码方案中被可视化 的光流场在颜色编码方案中被可视化 3 光流领域的面校准 图 在微表情的第一个框架中 由图 在微表情的第一个框架中 由 DRMF 方法检测到方法检测到 13 个特征点 以使所有后续的帧对齐个特征点 以使所有后续的帧对齐 在微表情的短时间内 图像序列中的面部区域可能会有一个小的旋转和转化 为了修 正这个小的头部动作 为了一个微表情的视频剪辑 在第一帧中使用了一些特征点的位置 在 66 个面部特征中通过使用 DRMF 方法检测到的点 选择了 13 个特征点 其中一个在鼻 子根部 另一个在面部轮廓线上 这 13 个特征点受各种微表情的影响最小 对于微表情剪辑中的每一个帧 Fi i 1 通过计算 f1 与 fi 之间的光流 使 fi 与 f1 保持 一致 将产生的光学流场表示为 Oi 这是第一帧中 13 个特征点的位置 则后面每一帧的 13 个特征点的位置 是这个表达式 按照光流场的计算方法有 是光流场中第 J 个点的光流失量 给定 P1 和 Pi 通过求解可以 很容易地得到仿射变换矩阵 在所有帧中利用 DRMF 方法 首先检测到 13 个特征点 然后 每一帧与第一帧的特征 点的对应关系确定仿射变换 使得每一帧的面部特征点在该矩阵变换下与第一帧的面部关 键点差异最小化 4 MDMO 特性 第一帧和之后的每一帧之间的光流被表示为 转换欧式坐标为极坐标 其中分别是光流失量的大小和方向 在每一帧中 考虑每个区 域内部的光流主方向 在每个分块中计算 HOOF 特征 将所有光流方向向量量化到 8 个区 间 然后做统计直方图运算 是数量最多的方向向量的平均值的极坐标表示 计算出这些 特征值来作为该区域的运动特征 由于幅度和方向都是 36 维的 最终获得的特征是 72 维 向量 最终微表情的视频剪辑是由光学流动特征的级数表示 这里 nf 是视频剪辑的帧数 考虑到在不同剪辑帧数不同 不同区域特征向量的分布可能十分广泛 进行标准化处理 分别地将极坐标下的光流方向的平均值和光流场特征定义为笛卡尔坐标下表达式 对 笛卡尔坐标下的光流场特征求平均值 再将平均特征转为极坐标系下的坐标 但是由于不 同剪辑下只要方向的强度不同 还要进一步规范特征的幅值 最后 得到归一化运算后的 微表情的视频剪辑 MDMO 特征向量 可以用来支持向量机建模 用于处理微表情的监测和 识别任