远距离人脸识别系统分析

远距离人脸识别系统分析远距离人脸识别系统分析 基于主动视觉的基于主动视觉的 FRAD 系统系统是一套基于多摄像机追踪架构的远距离监控的人脸图像采 集原型系统 系统应用固定的摄像机进行可靠的人体检测和追踪 并采用卡尔曼滤波器对 人体位置进行追踪 确保预测出 PTZ 摄像机能够采集到人脸图像的位置 人体追踪系统可 同时处理视场内的多个目标 优先选择系统会选择一个目标进行图像采集 这时摄像机将 逐一快速对准目标 确保能够采集到视场内所有目标的人脸图像 最后采用商业人脸识别 器进行人脸图像处理 实践表明 该系统的人体定位距离可达 25 50 米 人脸图像采集距 离可达 15 20 米 该系统的一个重要创新是将生物特征识别与可靠的地面人体追踪器结合起来 在使用 时人一旦进入摄像机视场内 追踪器就能够锁定该目标直到目标走出摄像机视场 在应用 中 摄像机采集到的人脸图像和识别结果会与存储于内部数据结构的追踪目标 ID 进行关联 这样可以在长时间内累积识别信息 允许目标选择系统选择还未识别的追踪目标 该系统 具有多个可配置运行模式 包括自动注册和基于网络的自动注册数据共享 当目标从一个 摄像机区域移动到另一个摄像机区域后 允许重复目标识别 1 系统的应用设计系统的应用设计 1 硬件 硬件 该系统可由多个节点组成 每个节点由一对 WFOV 和 NFOV 摄像机构成 摄像机置于 标准的架高工作台上 摄像机通过串口 VISCATM 接口连接 其中 WFOV 摄像机分辨率为 640 480 30Hz NTSC 固定角度 NFOV 摄像机分辨率为 1280 720 30Hz 其角度 转向和放大倍数由计算机控制 2 人体检测和追踪 人体检测和追踪 在 WFOV 静态摄像机视场中检测并追踪移动的人体 由于摄像机是静止的 所以该系 统采用了背景差分法检测移动目标 系统对每一个像素的每一个颜色分量分布采用了自适 应的参数模型 任何与建模不符的像素都将被认定为前景像素 在追踪的过程中 焦距 WFOV 摄像机的方向和位置等内外参数都通过一个计算过程得出 这些参数通过真实坐标 与 WFOV 摄像机视频帧映射得到 假定一个人在行走 计算视频中包含整个人体的可行区 域 那些能够匹配可行区域的前景像素簇即为检测到的人体 人体检测过程在 WFOV 视频 中以 10Hz 的频率进行 其中采用了卡尔曼滤波器 这使得系统对于瞬时干扰更加稳定 并 且卡尔曼滤波器提供了追踪目标的速度 这样就可以预测目标的前行位置 3 PTZ 控制器控制器 PTZ 控制器主要是对 PTZ 摄像机的平移 旋转 放大倍数的控制 在具体操作时 根 据 WFOV 摄像机画面对 NFOV 摄像机画面进行计算 首先 NFOV 摄像机处于原始位置 即 平移和倾斜角度 0 放大倍数为 1 采用点对应估算 WFOV 和 NFOV 摄像机画面中同一点 的位置关系 NFOV 摄像机经过进一步计算 以确定平移 倾斜和放大设置对其画面的影 响 在这个计算的过程中 十分精确和重要的部分是摄像机的放大点 放大点就是当放大 倍数改变时真实世界坐标不变的点 通常是一幅图像的中心 实践表明确切的放大点根据 设备的不同而不同 当对远距离物体采用高放大倍数时 即使很小的放大点偏移也会影响 抓拍目标的准确性 在该计算过程中 一旦在 WFOV 视频中确定了目标位置和区域尺寸 就直接确定了 NFOV 平移 倾斜和放大倍数的设置 这会使得目标图像填满整个 NFOV 的 画面 4 目标选择 目标选择 对于目标的选择 一般在低分辨率的 WFOV 视频中可能会检测和追踪到多个目标 因 此该系统采取了优先选择机制选择目标 自动控制 NFOVPTZ 摄像机采集目标的高分辨率人 脸图像 目标优先选择基于目标的历史记录和当前状态 对于每一个被追踪的目标都有一 个用于优先选择的目标记录 该记录包括过去目标被检测的次数 人脸图像采集的次数和 人脸识别的成功次数 通过人体追踪器中的卡尔曼滤波器可以确定以下几个参数 目标到 摄像机节点间的距离 方向余弦和目标的速度 方向余弦是指目标行走方向与摄像机方向 夹角的余弦 表明了目标正脸与摄像机节点间的角度 表 1 用于计算目标得分的参数 使用以上信息对被追踪目标进行评分 评分最高的将被选为人脸图像采集对象 评分 的得出主要是将每一参数乘以一个系数 并对结果进行省略处理再相加 最后得到最终的 评分 如表 1 所示为一组参数和系数 例如 目标的方向余弦乘以系数 10 然后限定于 8 8 内 再与其它分数相加就得到评分 类似地 目标的速度 米 秒 乘以 10 限定于 0 20 的范围内 目标移动得快意味着会更快离开覆盖区域 所以增加了优先选择的分数 而采集次数 成功采集人脸图像的次数和成功识别人脸的次数的系数都为负数 这将对优 先选择减分 减少系统重复采集 系统为各个参数限定了范围 可避免任何一个单独的参 数过大而影响优先选择分数 总之 优先选择过程是在挑选行进速度快 面向摄像机的目 标 在实际中 目标选择机制使得系统能够从一个目标向另一个目标移动 去选择未出现 过的 有用的人脸图像 一旦选定了目标 人体追踪器中的卡尔曼滤波将预测出目标在下 0 5 1 0 秒的人脸位 置 然后 NFOV 摄像机将调解放大倍数等参数指向该位置 直到目标经过 这个做法为系 统留有完成平移 倾斜和放大设置的时间 当目标经过 NFOV 摄像机画面时 目标的人脸 和上身将通过 NFOV 摄像机视频画面的中心 然后由基于 NFOV 视频图像的人脸检测模块 进行人脸检测和采集 一旦完成采集 系统将马上开始选择新目标 即系统大约每隔 1 2 秒指示摄像机采集一幅新的人脸图像 除了选择目标和确定 NFOV 摄像机指向的位置外 系统还必须选择 NFOV 摄像机的放 大倍数 放大倍数与成功采集人脸的几率间存在一个平衡 高放大倍数可获得高分辨率的 人脸图像 但任何目标追踪上的差错都将使人脸采集成功率大大降低 该系统采用了一种 自适应的放大倍数选择方法 如果一个目标从没被成功采集过人脸图像 那么初始采集人 脸图像分辨率的目标设定为双眼间 30 个像素 然后 每次以某分辨率成功采集人脸图像后 其分辨率目标值将提高 20 如果系统重复采集该目标图像 其分辨率将逐渐提高 人脸 图像的分辨率目标值和人的距离决定了 NFOV 摄像机的放大倍数 NFOV 摄像机具有自动和手动对焦模式 NFOV 摄像机的自动对焦功能偶尔会出现对焦 不准模糊的情况 不过利用目标位置和距离两个数据可以解决这个问题 在使用中 独特 的摄像机设备和典型的目标距离使得焦距相对较远 所以在使用时不必知道非常精确的目 标距离 只有当焦距调整超过几米的可调阈值范围内时才需要调整摄像机的焦距 5 人脸检测和剪切 人脸检测和剪切 在人脸检测和剪切方面 目标锁定程序指示 NFOV 摄像机连续监视 NFOV 摄像机视频 流中的人脸图像 采用匹兹堡模式识别 FT SDK 检测 NFOV 视频中每一帧的人脸 这个过程 的运行频率为 10Hz 与图像刷屏率相同保持实时操作 如果在一帧图像中检测到了多个人 脸 系统只选择最靠近图像中心的人脸 其更可能是选定的目标 然后将目标人脸图像剪 切下来 异步传输至人脸识别器 同时告知目标锁定器人脸采集完毕 然后更新目标记录 6 人脸识别 人脸识别 当人脸识别器接收到新的剪切人脸图像后 系统将创建人脸采集记录并存储该图像 人脸识别器根据图像采集的时间询问目标锁定器 以确定人脸图像来自哪个追踪目标 ID 目标锁定器保存一个追踪目标的时间记录作为 ID 号 人脸采集记录与之相关联 系统可以 以 10Hz 的频率采集人脸图像 但是人脸识别每幅图像通常需要 0 5 2 秒的时间 这主要 取决于算法 一般情况下 识别与采集并不同步 所以人脸识别是异步进行的 在处理环节中 重复应用人脸识别器识别最新采集的未识别图像 结果存储于人脸图 像采集记录中 未处理的人脸图像在 30 秒后被丢弃 人脸识别次数和结果存于目标记录中 的人脸图像采集记录中 并显示于程序中 人脸识别结果传递至目标锁定器以更新目标记 录 人脸识别结果同时被 GUI 使用以标注 WFOV 视频中被追踪目标的名字 本系统配有可选的自动注册功能可以利用每一个追踪目标的目标记录 这是一个可配 置的基于规则的过程 其目标是利用采集到的未注册且适于注册的人脸图像进行自动注册 自动注册目标必须具有至少一幅质量超过人脸识别匹配阈值的人脸图像 并且采用至少 4 幅不同的人脸图像进行识别的结果均为失败 这个过程可帮助确保用于自动注册的人脸图 像确实是未知图像 性能评估性能评估 为了测试该生物特征监控系统的性能 实验模仿交通运输枢纽中心的情况 系统被安 置于室内和室外的固定位置 室内测试在一个很长 宽大约为 9 米 的走廊内进行 光照 为来自窗户的自然光和屋顶的几个日光灯 这个走廊与机场航站楼相似 如图 1 所示 此 地的光照情况随着时间和天气而变化 从晴朗天气的很亮到阴雨天或夜晚的昏暗 在进行 室外测试时 摄像机分别朝向和背对太阳 试验进行了 6 天以经历不同的变化 在试验过 程中 被测试目标以自然的方式步行穿过走廊或室外区域 表 2 试验数据 第一项试验将评估人体检测和人脸图像采集的性能 表 2 所示为采集数据 图 3 中的 直方图为初始人体检测和初始人脸采集的距离 尽管被测目标的行为是可控的 但此过程 中出现了其他非测试人员 包括在摄像机视场中静止不动的人员 这些非测试人员甚至并 不知晓正在进行测试 在全部的 466 次试验中 只有 1 例人体检测失败和 8 例人脸采集失 败 原因是该目标或其脸部以某种方式被遮挡 表 3 试验数据 表 3 为人体检测 人脸检测和人脸识别的均值和标准方差 我们可以看到 人体检测 和人脸采集的平均范围大约是人脸识别的两倍 这是由于人脸识别算法需要高分辨率人脸 图像 这也是现有人脸识别算法的局限性 结语结语 通用公司的人体生物特征监控系统的主要是通过目标追踪 目标选择和自动 PTZ 摄像 机控制进行人脸图像采集 目标是采集