基于双目被动立体视觉的三维人脸重构与识别_图文

1、 自 , , 动 化 学 报 卷 向上 与 向下 的不确定性 因此 这样 的定位总的来说 是 比较粗糙的 故我们需要将两张 曲面进行迭代对 夕 , 和 迭代 齐 设有两 张曲面 过程如 卜 从曲面 步骤 或 功 中选 取整数点 计 算其到曲面 功 的最小距 离 运用 骤 算法 对旋 步 转和平移参数进行非线性最 小二 乘拟合 将旋 转 平 移 参 数 运 用 到 曲 面 之 步骤 抓 功 形 成 新的曲面 仍记 作 功 重复步骤 、 直 到收敛 步骤 另外 当采集 非 正 面人 脸 图像 时 如 图 所示的 半 所 示 归一 化后只 能得到如图 么 由于 缺少左 边 脸部表面三 维 边脸 重

2、建结果 那 点云 信 息 神经 网络重 建 曲面在这 一 部分 的形 状 随 意性很强 给 识 别过程带来 困难 因此 将只 进 行右 半区域 以及 眼 睛部分的人脸 比对 如果 比对的两张 人脸 曲面是从不 同左 右 角度进行采集 的 那 么 由于 人 脸 具 有 很好 的对称 性 我们 只 需要 将其 中一 张 人 脸 曲面 做关于 梦 轴 的镜 向 如 图 所 示 再将 两 幅点 云 进 行 迭 代 便 可 获得如 图 的结 果 从图 中可 以 了解 到 由 于 拍 摄 角 度 原 因 被 鼻 子遮 挡 的脸 颊 部 分 以及 脸 的侧 面 被 很 好 地 恢 复 了 以上 方法 也 被

3、运 用 于 当人脸 特 别是颧 骨部 分 皮肤过 于 细腻 而 缺 少纹 理 时 出现 大孔 时的填补 过程 当人脸 库十分庞 大 时 比对过程 需考虑 时间 消 费 为提 高 比对 效率 可 分层 次对人脸进行神经 网络 重 建 即首先选用较少的隐含层 神经 元 进 行粗略 比 对 排 除掉库中大 部分人脸 再提 高隐含层 神经 元 个 数来进 行精确 比对 以获得更 高的效率 另外 采样 的是基本正 面 的人脸时 可 考虑对重 建 曲面 进 行左右 对 称性 检测 出现 不对 称的情况 通 常发 生 在人 的表情十 分丰 富 或者面 颊部分非常光 洁 引起 的匹配 失败时 在这些情况 下

4、应该只对 眼 部 周 围 以及 鼻 子 附近 这 些纹 理 信 息 丰富 并 且 不 容 易随 表情变化 而 变化 的 区 域 进 行 比 对 识别 如 图 所示 的圆形 区 域 , , , , 一 , , , , , , , , 、 , , , , , , , , , , , , , , , , , , , , , , , 系统实例 与讨论 的 机 两 台 摄 像机 分辨率 线 有效像素 建立 如 图 所 示 的双 目立 体 视觉 系统 作 为 前端 人 脸 图像采集 整 个三 维人脸 识 别 系统主 要 由四 部分 组 成 前端 人 脸 图像采集系 统 人脸 三 维点 云 重 建系 统 人

5、 脸 三 维 曲面 重 建 系统 和 三 维人脸 识 别 系统 其程 序流程如 见 卜 图 页 所示 , , 一 采用 一 台 , , , 、 、 图 取 人 脸 中 心 的 圆型 区 域 一 期 周佳立等 基于 双 目被动立体视觉 的三 维人脸重构与识别 人 脸 号 与校 正 人脸 图像获取 根据视差 获 得深度信息 曲面初步 归一 化 不 同人脸特征 比对 确定人脸大致 位置 人脸对 应点亚 像素匹 配 神经 网络 训练 范数空间 间 建立 数据流人 脸 检测 双 目视觉 觉 标定 确定归一 化 三 角形 曲面迭代 归一 化 图 三 维人脸识别系统流程 阮 为 了验 证 本文 提 出 的三

6、 维人脸 识 别方法 的有效 性 我们 在 不 同光照 背景 条件下 在相 隔 半年 的时 间 内对 多人 进 行 多次 不 同 姿 态 与表情 的 样本采集 为 获得较理 想 的重 建 与识 别 效果 通 常需要使 人 脸 尽可 能充满整个 图像对 但 在实际操作中 拍摄距 离 、 时 对 重建精度的影 响不 大 建立 如 在 图 所示 的三 维人脸库 本 次实验 主 要 选 取 了具 有代表性 的 一 些 样本 所 示 进行较 为细致 的测试 分析 其 中样本 如图 、 、 、 与样本 为亲姐 妹 而 样本 、 、 虽 然是 同 与样本 样本 与样本 一 人 但 前后 采样时间 间 隔都在

7、半年 以上 并且 各样 本在采样 时的光照 背 景 姿态 与表情都存 在较 大 的差异 因此 对该 组 样本 的分析具 有一 定 的普遍 性 , 、 , , , , , , 、 , , 、 、 图 助 三 维人脸 库 比 几 意义 图 部分 人 脸样本 朗 自 表 动 化 , 学 报 卷 不同表情与拍摄角度下 两人脸间的判别尺度 比 几 一 曦 的 一 一 一 一 一 一 一 加 一 一 一 对图 中样本进 行 自动 归一 化三 角形 定位 准 出现 瞳孔 确率达 到 其 中只 有样本 与 难 以定位 的情况 对 其进行 交互 瞳孔定位后 能 由于脸 部拍摄角度过 大 造成 归 完成 归一 化

8、 但 一 化过程 失败 对成 功 归一 化 的样本 重 构 后 进 行 两两相似 度 比 对 计 算式 可以 中所确 定 的判 别 尺 度 发 现 对 于 不 同人 之 间无论 拍摄情 况 如何多变 其 、 判 别 尺 度 相对 都 很 大 即 使对 于 亲姐 妹 的 , 结论 本文提 出了一 种新的基 于双 目立 体视觉采 集人 脸 图像 运用 复小 波变换技术精确 匹 配 对应 点 通 过 神经 网络方法 实现人脸 重 构的三 维人脸 识 别方法 与传统 使用 激光扫描仪或 结构光 等人脸 信息采集方 法相 比 由于使用 了非侵入 式 的双 目立 体视 觉 系统 使采集过程更加友好 快捷

9、并可 根据需要达到隐蔽 采集的 目的 本文得 出了以下结论 运 用基 于 复小波变换的相位相关算法 可 获得 密 集 并 且 满足 识 别 精度要 求 的人 脸三 维 点 云 信 息 该算法对 背景无特别要求 通过三 维点位置 可 信度参数 。 决定其在神经 网络 训 练次数 的方法 使得重建 曲面更加 精准 而 归 一 化 处 理 使得 识 别过 程 为后继 的迭 代识 别 比对 提供 较理 想的初始状态 采用局 部人 脸 比 对 的思想 在表情剧 烈或 者 面颊特 别 光洁 的情况 下 只 对纹理 丰 富并且 相对 不 受表情变化 影响 的双 眼 以及 鼻子周 围区域进 行重建 比对 减少

10、 了拒判 的概率 研 究表 明 该方 法 不仅 对 环 境 以及 人 脸位 姿表 情等鲁棒性 强 识 别准确 率高 并且 成 本低廉 适合 在许多领域推广应用 , , , , , , , , , , , , 、 , , , , 、 与 如表 所 示 也 能 很容 易地 进 行 区 分 并且 从 表 中不 难 看 出 表情 的变 化对 识 别 过 程 影 响 不 大 这 是 由于 我 们采 用 了 对 表 情变 化 相对 不 敏感 的 圆形 区 域 如 图 所 示 进 行 比 对 识 别 但 在表 情变化 十分剧 烈 时 仍然 会 遇 到 一 些 虽 困 惑 如 样本 与 的判别 尺 度 为 然

11、 仍 具 有 一 定 的 聚 类性 但 已 使 得判 断 变得模糊 、 而 对 于 不 同 的光 照 情 况 如 样 本 对 识别 效 果 没 有 影 响 在 分类 闽值设定为 的条件下 样 本 都 能 正 确 聚 类 在 本 次实验 中 总 体 识别 率达 到 实验表 明 系统允 许接受非 正 面 的人脸 采集 图 像 只 要 在该 图像对 中能方 便地 识 别 出 归一 化三 角 形 即可 系统 识 别基 本不 受光 照 条件 的影 响 对不 同 面 部表情有 一 定的鲁棒性 并且 对 不 同 时期 不 同 发 型 的人脸也有较好 的识 别准确度 在匹配 算法 中 每 一 点 都可 并行计

12、 算 因此 在 实际编程 中 采用 多线程 的处 理 方 式 可 在很大程 度 上 提 高算法 的速 度 在本 次 实验 中 采用 双 线程 对 每 张脸计 算 个匹 配 点 用 时大约在 秒 左 右 而 随着计 算机硬 件技 的方式 有 望 使立 体视 术 的提 高 以及 采用多 觉重建过程 实时化 , , , , , , , , , , , , , , , , , , , , , , , , , 助 , , 脚 , 蛇 七 了 叮 ” 渭, 匀 , 一 , , , 锐加 明目 巴 , , , 比 众 姗 心 , , 介 , , 绍 助 一 日 , 亡 馆 , 朋 比 几 亡 万 期 亡 周

13、佳立 等 基 于双 目被动立 体视觉的三 维人脸重构与识别 访盯 , , , 一 , 劝 妙 朗 运 略 , 地 比 凡叨 , 份 、 , , , 一 , , 一 , 韶 夕 , , 朗 卜 , , 一 , 习 , , 一 , , 一 即 凡 叩川 鳍 , 以月 叭 , , 一 一 , , 。 工 日 丘 以滋 升 亡 孙 印理 , , 一 压 吸 , , 比 血 , , 叭 , 叭厄 , , 周 佳 立 浙 江 大学 国家 重 点实验 室 博 上 研 究 生 主 要研 究方 向为 图形 图像 处 理 计 算机 视觉 模式 识 别 本文通 信作者 、 、 回 , , 即 , 场 , , , 即 , , , 翻 比 众 目 , 肠 姻 沁助 ,