（通信与信息系统专业论文）嵌入式人脸检测与识别系统的研究与实现.pdf

摘要 人脸检测与人脸识别是计算机视觉与人工智能领域研究的热点课题 利用人 脸特征进行身份验证相比于其它人体生物特征 如指纹 虹膜 掌纹 语音等 具有简便 准确 用户友好 方便查询等特点 人脸识别技术让安全与便捷完美 融合 一旦发展成熟 将极大地改变人们现有的生活方式 嵌入式系统以其性价比高 功耗低 体积小等优点 广泛应用于消费电子领 域 人脸检测与识别算法在嵌入式系统上实现 将带来大量的效益 但是嵌入式 系统中硬件资源 运算速度无法与通用计算机相比拟的情况下 人脸检测与识别 算法暂时不能达到应用标准 主要存在人脸检测速度慢 误检率高 识别率低等 缺点 本文在阅读大量参考文献的基础上 围绕怎样提高人脸检测与识别速度 降低人脸误识率 缩小存储空间等方面 主要做了如下的研究工作 1 针对a d a b o o s t 人脸检测算法在嵌入式实时视频中检测速度缓慢的问题 提出一种改进的嵌入式视频人脸检测方法 首先对前帧进行基于肤色检测的 a d a b o o s t 人脸检测 然后将检测到的区域进行形态学处理 作为后帧的感兴趣区 域 并直接用于后帧的a d a b o o s t 人脸检测 提高了检测速度和检测正确率 为后 续人脸识别奠定了坚实的基础 2 针对p c a 人脸识别算法的识别速度慢 注册的特征样本差异性弱的问 题 提出了一种注册时自动剔除相似注册照的方法和采用注册识别双阈值的方法 来提高识别速度 减小存储空间以及降低误检率 3 在嵌入式平台上实现人脸检测与人脸识别系统 并针对嵌入式特点进行 软件设计优化 采用多线程方法 合理利用嵌入式系统资源 提高软件效率 关键词 嵌入式系统 人脸检测 人脸识别 a d a b o o s t 算法 p c a 算法 a b s t r a c t f a c ed e t e c t i o na n df a c er e c o g n i t i o na r et w oo ft h er e s e a r c h f o c u s e s i nt h e c o m p u t e r v i s i o na n da r t i f i c i a li n t e l l i g e n c ef i e l d f a c i a l f e a t u r ef o ra u t h e n t i c a t i o n c o m p a r e dt o o t h e rh u m a nb i o l o g i c a lc h a r a c t e r i s t i c ss u c ha sf i n g e r p r i n t i r i s p a l m p r i n t s v o i c e e t c h a ss i m p l e a c c u r a t e u s e r f r i e n d l y a n de a s i l ya c c e s s i b l ef e a t u r e s f a c er e c o g n i t i o nt e c h n o l o g yp e r f e c tb l e n do fs a f ea n dc o n v e n i e n t o n c ed e v e l o p e d i t w i l lg r e a t l yc h a n g ep e o p l e sl i f e s t y l e e m b e d d e ds y s t e mw i t hi t sc o s t e f f e c t i v e l o wp o w e rc o n s u m p t i o n s m a l l s i z e f e a t u r e sw i d e l yu s e di nt h ef i e l do fc o n s u m e re l e c t r o n i c s t h ef a c ed e t e c t i o n a n d r e c o g n i t i o na l g o r i t h mo n t h ee m b e d d e ds y s t e mw i l lb r i n gal o to fe f f e c t i v e n e s s b u tt h e e m b e d d e ds y s t e mh a r d w a r er e s o u r c e s t h eo p e r a t i o ns p e e di s l i m i t e d i tc a n tb e c o m p a r a b l et op c s o f a c ed e t e c t i o na n dr e c o g n i t i o na l g o r i t h m ss t i l l c a n tm e e tt h e a p p l i c a t i o ns t a n d a r d s t h e r ea r et h es l o ws p e e do ff a c ed e t e c t i o n h i g hf a l s ed e t e c t i o n r a t e l o wr e c o g n i t i o nr a t ea n do t h e rs h o r t c o m i n g s o nt h eb a s i s o fr e a d i n gal o to f r e f e r e n c e t h ep a p e rf o c u so nh o wt oi m p r o v et h es p e e d o ff a c ed e t e c t i o n f a c e d e t e c t i o nr a t ea n dr e d u c et h em e m o r y d ot h ef o l l o w i n g f i r s t l y an e we m b e d d e df a c ed e t e c t i o ns y s t e mi sp r o p o s e d t os o l v et h ep r o b l e mo f s l o ws p e e di nr e a l t i m ev i d e of a c ed e t e c t i o n i nt h i sp a p e r a tf i r s t d oa d a b o o s tf a c e d e t e c t i o no nh i g hc o l o ri m a g eb a s eo ns k i nd e t e c t i o na l g o r i t h m t h e n m o r p h o l o g i c a l p r o c e s s i n gd e t e c t i o nr e s u l t s s e tr e g i o no fi n t e r e s t r o i o nt h e n e x tf r a m e a n dd o a d a b o o s tf a c ed e t e c t i o no nr o i e x p e r i m e n t a lr e s u l t s s h o wt h a tt h em e t h o dh a s i m p r o v e st h ed e t e c t i o na c c u r a c ya n d t h es p e e d s e c o n d l y f o rt h es l o wr e c o g n i t i o ns p e e da n dt h er e g i s t r a t i o nc h a r a c t e r i s t i c so ft h e s a m p l ed i f f e r e n c e s w e e kp r o b l e mo fp c af a c er e c o g n i t i o na l g o r i t h m p r o p o s e da a u t o m a t i c a l l yr e m o v es i m i l a rr e g i s t e r e dp h o t o sd u r i n gf a c er e g i s t e ra n dd u a l t h r e s h o l d m e t h o dt o i m p r o v et h er e c o g n i t i o ns p e e d r e d u c i n g s t o r a g es p a c e a n dt h ef a l s e r e c o g n i t i o nr a t e i i l a s t l y o p t i m i z e de m b e d d e ds o f t w a r ed e s i g n e f f e c t i v e u s eo ft h ee m b e d d e d s y s t e mr e s o u r c e s m u l t i t h r e a d e da p p r o a c ht oi m p r o v es o f t w a r ee f f i c i e n c y k e yw o r d s e m b e d d e ds y s t e m f a c ed e t e c t i o n f a c er e c o g n i t i o n a d a b o o s t a l g o r i t h m p c aa l g o r i t h m 1 1 i 1 1 研究背景和意义 第一章绪论 随着科学技术的高速发展 2 1 世纪已经步入信息化的时代 人们的生活日益 数字化 生活越来越便利但是也衍生出信息安全和财产安全等问题 生物特征识 别技术 l 以其安全度高 用户友好性强等特点 得到学者的广泛关注 因此近些年 有了较快的发展 人脸识别 虹膜识别 指纹识别 语音识别等生物特征识别技 术 都已成为研究的热点并应用于各个领域 2 基于人脸特征识别的身份验证是所 有生物识别技术中最自然的和最直接的手段 与其它生物特征识别技术相比较 人脸识别技术具有简单 友好以及方便查询等优点 因此更易于被用户接受 人 脸检测技术是人脸识别技术的重要支撑 同样具有重大研究意义 另一方面 随着嵌入式技术的快速发展 嵌入式硬件性能与嵌入式操作系统 均迅速提升 已经具备了处理实时视频信息的能力 嵌入式系统高性能 低功耗 体积小 稳定性高 价格便宜等优点 消费电子产品大多运行在嵌入式环境下 因此 研究如何在嵌入式环境下实现实时有效人脸检测与人脸识别算法是实现人 机交互与人工智能的关键技术之一 人脸检测与人脸识别在身份识别 视频监控 电子商务 门禁控制 生活娱 乐等领域具有十分广泛的应用 人脸检测与识别技术研究涉及到模式识别 图像 处理 计算机视觉 心理认知等众多学科 人脸检测与识别技术的研究 不但改 变人们的生活方式而且还会提高图像处理等学科的发展和相互融合提高 具有重 要的社会和科学意义 1 2 国内外研究现状 目前对于人脸检测与人脸识别技术的探索与研究 无论是国际上还是国内都 取得了一些成果 特别是其中一些独立的人脸检测与人脸识别研究组织做出了突 出的贡献 主要包括 美国卡耐基梅隆大学 c m u 的机器人研究所 麻省理工大 学 m i t 的多媒体实验室和人工智能实验室 日本的a t r 研究所等等 国内的一 些研究机构和高校 如清华大学 中科院计算所 中科院自动化所 上海交通大 学等也都致力于人脸识别的研究 并且部分研究成果已经成功应用在身份识别 计算机安全等方面 虽然有一些局限性 但是在特定的应用条件下也取得了较好 的效果 并获得多项国际奖励 1 2 1 人脸检测的研究现状 人脸检测技术是人脸识别技术研究过程中衍生出的一个研究方向 它起源于 2 0 世纪6 0 7 0 年代 由于当时人脸识别研究主要针对背景相对简单甚至单一背景 的人脸图像 所以人脸检测技术并为得到学者的重视 直到9 0 年代以后 随着人 脸识别技术研究的不断深入 对人脸检测的要求逐渐增加 人脸检测技术才逐渐 受到人们的 重视 3 近年来 由于计算机科学的飞速发展 图像处理 模式识别等 学科日益成熟 人脸检测已成为前沿技术中的热门研究方向之一 人脸检测 f a c ed e t e c t i o n 的定义为 判定任意给定的一幅图像或者一组图像 序列中是否存在人脸 如果存在 则确定图像或图像序列中所有人脸位置 大小 方向甚至人脸轮廓等 根据这个定义可知 人脸检测可以分为静态图像人脸检测 和视频实时检测两种情况 视频实时检测需要判断人脸是否存在 若存在则需要 动态跟踪人脸位置 因为视频人脸检测对检测算法本身的性能指标和硬件要求都 比较高 所以它比静态人脸检测困难程度相对较高 本文设计的嵌入式人脸检测 与识别系统将针对视频序列做人脸检测 现今人脸检测方法众多 大致归纳为三 种 1 基于知识的方法 2 模板匹配的方法 3 基于特征的方法 a 基于知识的方法 基于知识的人脸检测方法是一类较早的人脸检测方法 长期以来人类对脸部 外形了解透彻 因此利用各种人脸形状先验知识建立人脸模型 然后通过模型比 对实现人脸检测 这些人脸形状先验知识主要描述人脸各器官的相互关系 并制 定成一些简单规则 比如通常一个正常的人脸具有对称的两只眼睛 一个鼻子和 一张嘴 我们可以利用各器官之间的相对位置和距离等关系来制定人脸形状规则 根据这些简单的编码规则确定人脸在图像中的区域 由于人脸面部特征的先验知 识很难明确定义出通用的规则 导致此类方法检测效果不是很理想 如果制定过 于严格的规则 会出现不能通过所有的检测规则而失败 如果制定过于宽松的规 则 可能会有较高的误检率 此外 因为不同的人脸姿态与表情导致先验人脸知 识存在多种情况 不能在一次检测中枚举所有情况 所以这种方法对人脸的多姿 态的鲁棒性非常差 基于知识的人脸检测方法发展多年 积累了不同类型的检测 方法 它们可归纳为 1 基于模板的方法 2 基于模型的方法 3 基于结 构的方法 1 基于模板的方法根据模板参数是否可变又分为固定模板和弹性模板 固 定模板根据预先设计好的人脸特征标准模板对图像目标区域进行比对运算 如果 检测检测得到的相似度在阈值的区域以内 则判定该目标区域为人脸区域 典型 代表为c r a w 等 4 j 通过提取人脸图像中各器官的特征然后建立好固定模板进行匹 配 实现人脸检测 当人脸尺寸 姿态 表情变化时 此种方法表现较为敏感 通用性较差 基于弹性模板的人脸检测方法是根据先验知识设计一个动态人脸模 板参数表 然后不断利用目标检测区域的数据来修改模板参数表 直至达到收敛 最终实现目标区域的人脸检测 典型算法为y u i l l e 等 5 1 基于f i s c h l e r t 6 1 等提出的特 征模板的基础上提出弹性模板匹配的方法 虽然弹性模板以运算量的增加为代价 一定程度上避免了固定模板的缺陷 但仍难以实现实时运用 2 基于模型的人脸检测方法通过大量的坐标点来表示人脸的脸颊 眉毛 眼睛 鼻子和嘴巴等关键部位 为减小数据计算量 此类方法通常使用p c a 进行 数据降维 首先将大量的坐标向量作为训练集 然后将训练集中的坐标向量进行 p c a 变换 得到低维人脸形状的主成分模型参数 最后通过对比输入图像中关键 点与主成分模型参数的相似度来确定检测区域中的人脸位置 c o o t e s 等提出了两 种经典人脸检测模型 分别是a s m 模型 a c t i v es h a p em o d e l s 7 和a a m 模型 a c t i v ea p p e a r a n c em o d e l s i s 3 基于结构的方法 基于结构的人脸检测方法根据人脸结构特征的先验知识 构建简单几种人脸 检测规则 然后利用这些规则对检测区域进行比较 实现人脸检测 这种先验人 脸知识抽象图如图1 1 所示 y a n g 等人利用马赛克方法实现了简单背景的人脸检 测 该方法利用己知的规则来描述人脸各个器官之间的位置关系 基于人脸结构 先验知识抽象出人脸的基本特征规则通过验证检测图像区域是否符合先验的规则 实现人脸的检测 z a b r o d s k y 等 9 1 人利用人脸器官的对称性的特点 对目标区域的 对称性进行检测 达到一定阈值则判定人脸区域 实现了人脸检测 此外 s a b e r 1 0 和s o b o t t k a 1 1 等人利用人脸的外形近似于椭圆的特点 对目标区域进行椭圆检测 来判别人脸区域 之后w a n g 等 1 2 1 人基于人脸形状检测的方法 利用一个包含人脸 边缘方向信息的特殊模板对检测区域进行匹配 实现人脸检测 c h o o n g 等 13 1 人根 据人脸的面部结构 颜色 纹理等特征假设判断图像中存在多个人脸 然后分别 验证假设的人脸区域 最终实现人脸的检测 实验结果表明 基于结构的人脸检 测方法仅对简单背景的图像比较有效 图1 1 基于知识的人脸检测方法抽象出人脸的基本特征规则 b 基于特征的方法 基于特征的人脸检测方法基本思想是寻找人脸的较为稳定的不变特征 在不 同姿势和光照的条件下 人脸都有一些不变特征可供识别 例如肤色特征 1 4 16 1 纹理特征 1 7 1 8 等 这些不变特征可以用来区别人脸与背景 所以可用在人脸检测 中 这类方法首先搜索这些面部的特征 然后用一种或几种特征构建人脸检测器 的模型 来检测图像中是否是人脸区域 这类方法同样具有缺点 图像在成像过 程中 由于拍摄角度 光线 人脸姿势 物体遮挡等缘故 人脸部位的这些特征 很容易丢失 例如 在使用眼睛或鼻子等特征作为人脸检测器时 在这些部位被 遮挡或成像模糊时 会发生该算法失效 导致人脸检测失败 c 模板匹配的方法 基于模板匹配的人脸检测方法通常可以转化为匹配预先定义的模板的问题 此类方法可以分为使用单一模板和使用多模板的方法 模板匹配通过计算该图像 和模板之间的相似度 与相应阈值进行判断是否有人脸 这类方法的优点是容易 实现 缺点是检测精度不高且计算量很大 在姿态 表情变化时无法有效处理 这类方法的研究中 s a k a i 等 1 9 人使用人脸轮廓 眼睛 鼻子和嘴等子模板建模 通过按照线分割整幅图像 然后对每一个子模板去检测图像中的正面人脸 梁路 宏等 2 0 1 人使用了平均脸模板匹配方法进行人脸检测 该方法考虑到眼睛在人类辨 识人脸过程中的特殊地位 首先使用双眼模板首先进行人脸的粗筛选 然后使用 不同长宽比的人脸模板进行进一步人脸匹配 最后使用马赛克规则进行验证 此外需要特别指出的是2 0 0 1 年的国际计算机视觉大会上展示了几种实用的人 脸检测算法 其中康柏研究院的研究员v o i l a 2 1 2 2 1 提出了一个基于h a a r 特征的 a d a b o o s t 实时人脸检测算法 该算法检测速度快 检测率高 误检率低 它是将 人脸检测技术推向于应用的里程碑方法 同时也是目前公认的最有效的人脸检测 方法 1 2 2 人脸识别的研究现状 人类本身从面部来辨别区分不同的人的主要依据就是个体之间存在的差异较 大并且对于同一个人较为稳定的特征 同样计算机做人脸识别也是通过寻找这样 的特征来实现 由此可以得出人脸识别的主要困难就是特征表达和特征提取 提 取得到的特征需要考虑如下几个变化 1 人脸表情 发型 是否戴眼镜等变化 2 人脸角度变化 3 图像的光线强度变化 当今人脸识别方法百家争鸣 但研究主要基于两大方向 基于人脸各器官特 征的识别方法 基于人脸整体特征的识别方法 基于人脸各个器官特征的识别方 法通常抽取眉毛 眼睛 鼻子和嘴等器官的尺度 位置和彼此间的比率等作为特 征 人脸的角度变化以及表情变化等因素对这种方法的器官精确分割影响很大 同时此类方法忽略了人脸本身具有的灰度信息 因此该类方法已经逐渐淘汰 基 于人脸整体特征的人脸识别方法不需要精确提取人脸器官的具体信息 并且使人 脸图像本身具有的灰度信息得到充分利用 因此此类方法识别性能表现良好 成 为人脸识别的主流方法 具体的人脸识别方法有 弹性图匹配方法 线性判别分 析方法 l i n e a rd i s c r i m i n a n ta n a l y s i s l d a 主成分分析方法 p r i n c i p a lc o m p o n e n t a n a l y s i s p c a 独立成分分析方法 i n d e p e n d e n tc o m p o n e n ta n a l y s i s i c a 支 持向量机方法 s u p p o r tv e c t o rm a c h i n e s v m 人工神经网络方法 a r t i f i c i a ln e u r a l n e t w o r k a n n 3 d 人脸识别方法 a 弹性图匹配方法 弹性图匹配方法 2 3 1 是为了解决人脸角度变化 和表情变化而诞生的 它是将 人脸建成二维或三维网格表面模型 应用塑性图形或可变形曲面匹配技术进行匹 配 m l a d e s 等人提出了形变不变形的人脸识别算法 此种方法采用动态连接结构 d y n a m i cl i n k a r c h i t e c t u r e d l a 技术 2 4 1 来描述人脸特征 此后w i s k o o t 等 2 5 人提 出匹配时采用弹性图匹蕊f i e l a s t i cg r a p hm a t c h i n g e g m 方法 该方法首先通过网 格状的稀疏图来表示人脸图像 利用g a b o r 小波分解对图像位置的进行处理 图 中的各个节点分别用g a b o r 小本分解得到特征向量标记 然后利用连接节点的距 离向量标记图像中的边缘部分 最后在进行图像匹配时 优先找到与待匹配图像 最相似的模型图 再通过对所有的节点位置进行最佳匹配来获得一个变形图 使 得图像中的各个节点与模型图中对应节点的位置非常接近 在弹性图匹配过程中 己知人脸模板与未知人脸图像之间的相似性度量由公式1 1 给出 f c 膨 2 莩c 一刁声豸产 允丕 一之 一 一五 2 c 其中 前一项用来判断局部特征之间的相似程度 后一项用来判断局部特征的 变形程度 这种可变性匹配方式能够容忍三维人脸空间映射到二维空间所引起的 变形 因此在很大程度上克服了人脸表情变化 角度变化等对人脸识别的影响 该方法的主要缺点是需要分别计算每幅人脸的模型图 计算量比较大 且需要较 多的存储空间 因此不便于算法应用 b 线性判别分析方法 线性判别分析 2 6 l l i n e a rd i s c r i m i n a n ta n a l y s i s l d a 也称为f i s h e r 线性判别 f i s h e rl i n e a rd i s c r i m i n a n t f l d 是模式识别中堪称经典的算法 它是在1 9 9 6 年 由p b e l h u m e u r 引入模式识别和人工智能领域的 线性判别分析方法的基本思想 2 7 是将高维样本投影到低维的最佳鉴别矢量空间 从而达到压缩特征空间维数和抽 取分类信息的效果 向低维子空间投影后 保证模式样本具有最小的类内距和最 大的类间距 即使低维子空间中不同的人脸样本分离性达到最佳状态 因此 它 是一种具有较好特征提取方法的人脸识别方法 c 1 主成分分析方法 主成分分析法 p r i n c i p a lc o m p o n e n ta n a l y s i s p c a 2 8 1 由t u r k p e n t l a n d出 也被称为特征脸的方法 它也是一种较为常用的经典算法 它根据一组人脸向量 的协方差矩阵找到这些训练图像构造主元子空间 而这些主元向量具有脸的形状 也被称为特征脸 p c a 的核心思想 2 9 1 在于降维 减少计算量 它将疗维特征映射 到k 维上 k 刀 这k 维是全新的正交特征 这k 维特征称为主元 是重新构造 出来的k 维特征 而不是简单地从n 维特征中去除其余刀一k 维特征 该方法衍生出 多种改进算法 如j y a n g 等提出的2 dp c a 的人脸识别方法 3 0 y a n g 等人提出了 基于核的主成分分析方法 k e r n e l p c a 3 1 a l e x 等人提出了基于模的主成分分 析方法 3 2 1 本文第三章将会重点讲解基于p c a 算法的人脸识别方法以及其改进方 法 d 独立成分分析方法 独立成分分析方法 i n d e p e n d e n tc o m p o n e n ta n a l y s i s i c a 3 3 原本是一种数字 信号的技术 对多维数据处理较为有效 除了应用于人脸识别领域以外 还广泛 应用于语音信号分离 生物医学信号处理 远程通信以及图像消噪等技术领域 b a r t l e t t 3 4 1 等人在b e l l 和s j n o w s k i t 3 5 对独立成分分析研究的基础上将其引入人脸识 别领域 独立成分分析方法首先从一组人脸图像提取一组基函数 将基函数进行 线性叠加可以表示所有输入的人脸图像 叠加系数具有一定的独立性 然后利用 这些独立的叠加系数进行人脸匹配 最终达到识别人脸的目的 e 支持向量机方法 支持向量机方法 3 6 s u p p o r tv e c t o rm a c h i n e s v m 是由v l a d i m i rn 提出来的 它是一种监督式学习的方法 它在统计分类和回归分析中具有广泛的应用 它在 解决小样本 高维模式与非线性识别等问题上表现良好 支持向量机方法的主要 思想是把输入空间通过非线性变换转换为高维空间 再求出高维空间中的最优线 性分类面 所得最优线性分类面和输入模式之间的距离 进而实现对未知样本的 分类 该方法对小样本人脸识别和字符识别的误识率非常小 支持向量机方法的 理论基础 3 7 1 是统计学习理论中的结构风险最小原理和v c 维理论 它在有限样本 信息中找到模型复杂性和学习能力之间的平衡点 具有较好的推广能力 利用支 持向量机方法与神经网络方法得到的分类函数在形式上类似 但支持向量机方法 克服了神经网络方法容易陷入局部最小的缺陷 支持向量机方法是一种在高维空间找到超平面的二分类方法 但是在实际人 脸识别是一种多分类问题 支持向量机方法的应用得到了大大的限制 因此 o n e a g a i n s t o n e 方法和o n e a g a i n s t r e s t 方法 3 8 为解决支持向量机方法应用于多 分类问题而诞生 它可以通过构造出多个支持向量机二值分类器的方法来解决多 分类问题 f 人工神经网络方法 人工神经网络 3 9 a r t i f i c i a ln e u r a ln e t w o r k a n n 本质上是一种大规模非线性 连续时间自适应的信息处理系统 通过大量的简单关系实现复杂的函数关系 该 方法模仿人脑神经网络 以简单的处理单元作为神经元 这些神经元再通过一定 权值互联成庞大的神经拓扑网络 有利于分布式存储信息的并行处理 是一种较 为智能的信息处理方式 因为人工神经网络是一个非线性连续时间自适应系统 所以它具有良好的自适应性和鲁棒性 此外它还具有联想记忆功能 非线性特性 良好的容错能力 可以解决复杂模式识别问题 基于神经网络的人脸识别方法是利用神经网络的学习能力和分类能力对已经 灰度化的人脸图像进行识别 k o h o n e n t 4 0 的自联想映射神经网络方法应用于人脸识 别领域主要是还原损坏或被噪声污染的人脸图像情况 l i n 和k u n g 等人则是融合 统计方法与神经网络 采用概率决策神经网络 p d b n n 进行人脸识别 l a w r a n c e 等人融合卷积神经网络方法和自组织特征映射神经网络方法 s o m 进行人脸识别 g 3 d 人脸识别方法 3 d 人脸识别方法 4 1 4 3 是近几年在人脸识别领域比较活跃的方法 2 d 人脸识 别技术虽已成熟 但由于单一的2 d 图像不能提供识别所需的完整信息 故其识别 精度很难进一步提高 在人脸识别过程中 特征提取是影响识别效果的一个重要 环节 在分析了传统的主成分分析法和由此改进的2 d p c a 方法的基础上 提出 了3 d 人脸识别方法 该方法首先建立3 d 人脸模型 然后通过改变模型参数来控 制模型的形状和纹理 这样就可以记录所有人脸 最后通过p c a 对3 d 人脸数据 进行降维 将人脸图像分为几个部分分别进行特征提取 同时充分考虑每个部分 所包含的特征信息量的多少 并在分类时赋予它们不同的权值 识别过程即将加 权后的特征进行匹配 8 1 3 人脸检测及人脸识别评估指标 每种算法都有评估指标 用来评估某种算法在不同场合下表现的优劣 同样人 脸检测和人脸识别算法也不例外 对于人脸检测算法来说 通常关注以下几个指 标 1 人脸检测率 在给定图像中 检测出来的人脸和人脸总数的比率 检测 率无法反映系统对非人脸的排除能力 2 误检率或虚警率 非人脸被错误的当做人脸检测出来的数量与应检测到 的正确人脸数量的比值 通常这个指标非常重要 有些人脸检测算法可以达到 1 0 0 的检测率 但是其误检率可能非常巨大 一个理想化完美的人脸检测算法 应该有1 0 0 的人脸检测率和0 误检率 但现在只有人脑具有这样的检测能力 3 检测速度 一幅图像检测出人脸区域的时间 人脸跟踪 视频人脸识等 大部分应用领域都需要实时地检测人脸 当检测率和误检率均达到指标的时候 提升检测速度是一项重要任务 尤其在嵌入式系统上检测速度是一个重要指标 4 鲁棒性 在各种复杂环境和输入人脸表情 姿态变化的情况下 人脸检 测方法的适应能力 通常一种算法的鲁棒性越强越好 对于人脸识别算法来说 评估指标与人脸检测算法类似 通常有如下几个指 标 1 误识率 是指将其他人误作目标人员的比率 2 拒识率 是指当前做识别的人已注册 但是无识别匹配结果 也不会误 识为其他人的的数量占总体注册人数的比率 3 识别速度 是指识别一幅人脸图像的时间 4 注册速度 是指数据库注册一个人的时间 5 鲁棒性 指的是检测系统在各种复杂条件下的适应能力 人脸识别按识别方式可以详细划分为两种情况 一种为闭集人脸识别方式 即识别人通过输入注册在数据库中的某个特征i d 调出数据库中的一个指定样本 进行1 对l 匹配 通常较少人脸注册样本采用这种人脸识别方式 另一种为开集 人脸识别方式 即识别人与人脸注册数据库中的每个注册样本进行比对 通常较 多的人脸注册样本采用 l 对多 人脸识别方式 所以人脸识别检测指标中得误识 率 拒识率 识别速度都需要考虑这两种识别方式 1 4 常用人脸样本公用数据库 研究人脸识别技术需要大量的人脸图像样本 一方面作为机器学习的训练样 本 另一方面用来做算法验证 单凭一己之力去采集成千上万张人脸是一件费时 费力的事情 如果每个人都分享采集到的人脸数据 那人脸识别技术将加快普及 速度 造福社会 一些研究机构和大学为此专门针对不同光照 表情 姿态以及 不同年龄层段的人脸样本进行采集 并分享了各自的人脸库 现在被广泛使用的 人脸库有以下几个 1 f e r e t 人脸库 该数据库由f e r e t 项目创建 由色彩图像和灰度图像两部分组成 包含1 4 0 5 1 张多姿态 表情 光照的人脸图像 人脸集中大多数为西方人脸 且每个人的图 像变化较少 它初建于1 9 9 3 年 是人脸识别领域应用最广泛的人脸数据库之一 2 y a l e 人脸数据库 该数据库由耶鲁大学计算视觉与控制中心创建 分为人脸数据库a 与b 两部 分 其中a 部分包含1 5 位志愿者的1 6 5 张人脸样本图像 b 部分包含1 0 位志愿 者的5 8 5 0 张样人脸样本图像 这些图像都是严格控制姿态和光照变化的条件下进 行采集的 原本主要用于姿态和光照问题的建模工作 所以采集人数较少 使得 该数据库应用于人脸识别领域受到限制 3 m i t 人脸数据库 该数据库由麻省理工大学媒体实验室创建 采集了不同姿态 光照以及脸部 大小的1 6 位志愿者的2 5 9 2 张图像 该数据与y a l e 数据库类似 由于采集人数偏 少 导致应用受到限制 4 o r l 人脸数据库 该数据库由剑桥大学a t t 实验室创建 采集了4 0 个志愿者的4 0 0 张脸部图 像 部分志愿者的图像包括了姿态 表情和面部饰物的变化 但由于人脸变化模 式较少使得多数人脸识别方法的识别率均可以达到9 0 以上 因此早期人脸识别 研究中经常被人们采用 后期进一步利用的价值已经不大 5 c a s p e a l 大规模中国人脸数据库 该数据库由中国科学院计算机研究所数字化研究室创建 是难得的东方人脸 数据库 该数据包含了1 0 4 0 名中国人共9 9 4 5 0 幅肩部以上面部图像 所有图像严 1 0 格控制采集过程 大部分志愿者采集到了姿态 表情 饰物和光线四种主要变化 其中一部分部分人脸图像具有背景 成像距离和年龄跨度的变化 c a s p e a l 人 脸库在人数 图像变化条件等方面比其他公开发布的人脸库更具有综合优势 1 5 存在的问题及本文工作 通过上文对人脸检测与人脸识别技术的国内外研究现状的分析 发现存在如 下几个问题 1 由于人脸多样性及可变性产生的影响造成的检测率下降 例如 外貌 肤色以及表情的不同 甚至有器官畸变或缺失等情况 2 人脸的遮挡造成的误检率上升 例如 戴眼镜或口罩等造成的面部遮挡 人本身的胡须 头发及头部饰物等 3 由于图像成像条件的差异造成检测率下降 如 由于人脸在一定程度的 旋转造成的多种人脸姿态 图像采集设备参数造成的成像问题 光照强度太大或 太弱造成的成像问题 4 人脸检测算法本身复杂 检测速度较慢 不能在嵌入式实时环境下应用 5 由于人脸外形不稳定 表情变化的本质是面部肌肉的变化 不同角度下 拍到的人脸图像相差很大 这使得人脸识别效果的稳定性和识别率下降 6 人脸自动注册得到的同一人的不同特征样本的差异性较弱 7 人脸识别是占用大量存储空间 对应用于嵌入式系统上有很大的挑战 本文主要针对人脸检测速度慢 人脸注册的特征样本差异性较弱 人脸识别 占用空间较大的问题进行研究 为今后人脸检测和人脸识别算法提供新的思想和 方法 主要的研究工作如下 1 在基于肤色检测的a d a b o o s t 人脸检测方法进一步改进 快速设置图像 的r o i r e g i o no f i n t e r e s t 感兴趣区域 减小背景环境 减小计算量 提高识别 速度 更利于人脸检测算法应用于嵌入式产品 2 提高p c a 人脸识别算法识别率与减小存储空间进行研究 在自动人脸 注册过程中自动剔除相近人脸注册照入手 寻找在保证识别率的前提下 减少c p u 使用率 节省更多存储空间方法 3 在嵌入式平台实现人脸检测与人脸识别算法 1 6 论文的组织结构 本文的结构组织及主要研究内容的安排如下 第一章绪论 详细阐述人脸检测与人脸识别技术的研究背景 国内外研究现 状及意义 介绍了人脸检测及人脸识别评估指标以及常用人脸数据库 此外对现 有人脸检测与识别算法存在的优缺点进行总结 引出本文研究的重要意义 第二章a d a b o o s t 人脸检测算法的改进 首先介绍了h a a r 矩形特征和积分图 与巨型特征值的计算方法 然后详细介绍了a d a b o o s t 人脸检测算法 基于肤色检 测的a d a b o o s t 人脸检测算法和本文改进的人脸检测算法 改进方法在视频人脸检 测过程中运用先验的动态扩展人脸检测感兴趣区域的方法与肤色检测方法相结 合 大幅提高了检测速度以及略微提升检测成功率 该检测方法在嵌入式系统上 稳定可靠 为后续在嵌入式平台上实现人脸识别算法提供了良好的铺垫 同样其 他算法一样 本文的改进方法仍然存在一些缺陷 当人脸在实时视频过程中快速 移动 将降低检测成功率 本方法仍待进一步改进 第三章p c a 人脸识别算法的改进 本章主要详解p c a 算法的基本原理 以 及将p c a 应用到人脸识别领域的方法及步骤 提出了一种适于嵌入式平台的p c a 改进算法 它采用自动注册人脸的方式并智能剔除相似注册照 并且采用注册识 别双阈值法保证识别率 改进后的算法识别率与传统算法相比略有降低 但是所 用存储空间大幅下降 识别速度大幅提升 更适合应用于嵌入式平台 第四章嵌入式系统中人脸检测与识别算法设计与实现 描述在嵌入式系统上 设计与实现人脸检测与人脸识别算法 已经应注意的常见问题 第五章总结与展望 总结和概括本文的主要研究工作 并对下一步的研究方 向进行展望 第二章a d a b o o s t 人脸检测算法的改进 人脸检测即从静态图像或视频序列中检测出人脸的位置信息 通常情况下 人脸检测是一件及其困难的事情 因为它要对不同姿态 强弱光线 复杂背景甚 至遮挡的人脸图像进行检测 获得完整的人脸区域 人脸检测是人脸识别的前序 步骤 它也是人脸识别中非常关键的环节 它的准确与否直接影响到人脸识别结 果 甚至直接造成人脸识别算法的失效 近几年 人脸的检测技术已发展的日益 成熟 但是实际应用却少之又少 主要原因是算法复杂 对硬件条件要求较高 不适合嵌入式平台应用 如何在复杂场景 姿态变化 光照变化的情况下做出简 单有效的判断是实现人脸检测从理论走向应用的非常重要的课题 1 9 9 0 年 f r e u n d 构造出一种多项式级的算法 可以将任意弱学习提升为强学 习算法 这就是著名的b o o s t i n g 算法 4 4 1 之后 f r e u n d 和s e h a p i r e 4 5 对b o o s t i n g 算法进行改进 提出了a d a b o o s t 算法 2 0 0 1 年的计算机视觉和模式识别会议上 c v p r 0 1 v i o l a 等展示了一个基于简单矩形特征 h a a r 特征 和a d a b o o s t 算法 的实时人脸检测系统 这种方法根据弱学习的反馈 适应性地不断调整训练中的 假设错误率 使得在检测效率不降低的情况下 提高了人脸检测率 为快速实时 的多姿态人脸检测提供了良好的解决方法 是人脸检测领域里程碑式的进步 2 1 矩形特征与积分图 a d a b o o s t 人脸检测算法特征提取和特征计算方法简单 所以它的检测速度很 快 它将简单的矩形组合作为人脸检测的特征向量 也被称为h a a r 矩形特征 此 外它采用积分图的方法来计算特征值 积分图的引用 使得只要遍历计算一次图 像的积分值 就能够在用常量时间内计算出每个矩形特征的特征值 所以该方法 的训练和检测的速度较快 2 1 1h a a r 矩形特征 a d a b o o s t 算法采用h a a r 矩形特征进行特征提取 这种矩形特征可以粗略的描 述特定走向 水平 垂直 对角 的图像结构 并对一些简单的图形结构较为敏 感 如图2 1 所示 矩形特征可以简单地描绘面部的某些特征 例如 眼眉的颜色 比额头颜色深 鼻梁两侧的颜色要比鼻梁颜色深等 图2 1 矩形特征在人脸上的特征匹配 h a a r 矩形特征归纳如图2 2 所示 这类特征都是由两个或多个相邻的全等矩 形组成 每种特征模板都由黑白两种颜色的矩形组成 矩形特征的特征值等于白 色矩形像素之和与黑色矩阵像素和的差值 2 1 2 积分图 特定方向特征 口 g 图2 2h a a r 矩形特征归纳图 积分图是a d a b o o s t 检测速度大幅提升的关键因素 积分图的计算方法是选取 原图像中像素点 z y 左上部分区域的全部像素点的像素值之和作为积分图像中 对应点 z y 的特征值 对于图2 3 内一点a j y 定义其积分图i i z y 为 i i x y j 石7 y 2 1 j 工 s 其中j x y 为点 x y 处的灰度颜色值 灰度图像颜色范围为o 2 5 5 彩色图像 必须先转换为灰度图再取灰度值 整个积分图像则只要遍历一次原图像即可求得 计算公式如下 s j j 厂 s z y 一1 j 石 y 2 2 j j x y i i x 一1 y s z y 2 3 1 4 l 其中s j y 是一个临时数组 用来记录原图像单列中的像素值的累加 并定 义s 工 1 与 i 1 y 的值为0 0 0 t y 图2 3 积分示意图 当原图像的积分图像构造完成后 对应于原图像中任意一个矩形的积分值就 能够快速的通过积分图上对应矩形的四个顶点的积分值计算出结果 如图2 4 所 示 矩形d 的h a a r 积分值的计算方法 首先利用公式 2 1 分别计算点1 2 3 4 点的积分值 然后计算4 3 2 1 的值即为矩形d 的积分值 图2 4 区域积分计算 2 1 3h a a r 矩形特征的特征值计算方法 通过上述计算方法就可以很容易的计算出特征矩阵的特征值 h a a r 特征为例 此模板的特征值计算公式如下 允 乞一弓 以图2 5 中的 2 4 由2 1 2 节中的单个矩形特征值计算法可得 f j i i t i i 3 一i i 2 i i l p b i i 6 一i i t i i 8 i i 3 由此可得h a a r 特征矩阵的特征值为 名 j 一j 一 j 之一j j 一j 毛 一 j 一j 毛 o o x y 2 5 2 6 2 7 图2 5h a a r 矩形特征 由此可见 矩形特征的特征值与原图像坐标值无关 只与此特征端点的积分 图有关 因此 经历一次图像遍历计算后 不管此矩形特征的尺度如何 特征值 计算时间都只是常量 而且都只是简单的加减运算 积分图的引入 使得人脸检 测速度大幅度提升 2 2a d a b o o s t 算法描述 一 a d a b o o s t 算法是一种监督学习方法 它首先为每个样本分配一个初始权重 由弱分类学习算法得到一个现有权值下最优的弱分类器 它只能简单判别人脸非 人脸 之后再根据分类结果调整样本权重 将分类错误的结果权重值增加 使下 一层的学习更注重分类错误的结果 最后我们得到很多个弱分类器 用弱分类器 的错误率作为投票权重 最终得到一个联级弱分类器的强分类器 a d a b o o s t 算法 的具体流程如下 4 6 s t e p l 对于刀个已知