人脸识别的特征提取概论

1、人脸人脸识别的特征提取概述识别的特征提取概述 12021/3/23 主要内容 n1.人脸识别的意义。 n1. 特征提取在人脸识别中的重要性。 n2. 特征提取的各种方法简单介绍。 22021/3/23 人脸识别是人体生物认证技术的一人脸识别是人体生物认证技术的一种种, 首先首先我们谈谈人体生物认证技术我们谈谈人体生物认证技术 n人体生物的生物特征包括人体生物的生物特征包括生理特征生理特征和和行为行为 特征特征两大类。两大类。 人体的人体的生理特征生理特征主要包括人脸、指纹、掌主要包括人脸、指纹、掌 纹、掌形、虹膜、视网膜、静脉、纹、掌形、虹膜、视网膜、静脉、DNADNA、颅、颅 骨骨等等, ,

2、这些这些特征是与生俱来的特征是与生俱来的, ,是先天形成是先天形成 的的; ; 而而行为特征行为特征包括声纹、签名、步态、耳形、包括声纹、签名、步态、耳形、 按键节奏、身体气味等按键节奏、身体气味等, ,这些特征是由后天这些特征是由后天 的生活环境和生活习惯决定的。的生活环境和生活习惯决定的。 n这些生物特征本身固有的特点决定了其在这些生物特征本身固有的特点决定了其在 生物认证中所起的作用是不同的生物认证中所起的作用是不同的. . 32021/3/23 4 生物特征识别技术(Biometrics) 2021/3/23 5 为什么要做人脸识别? n多学科领域的挑战性难题 n模式识别:最典型、最困

3、难的模式识别问题 n人工智能:人类智能的基本体现 n计算机视觉:实现人眼的功能 n下一代人机交互 n让计算机不再“熟视无睹” n让计算机具有人类的情感 n广泛的应用前景 n人脸识别相比其他生物特征识别的优势 2021/3/23 人脸识别 人脸识别是一个活跃的研究领域,是人类 视觉最杰出的能力之一。虽然人脸识别 的准确性要低于虹膜、指纹的识别,但由 于它的无侵害性和对用户最自然、最直 观的方式,使人脸识别成为最容易被接受 的生物特征识别方式。 62021/3/23 人脸识别的商业前景 nBill Gates: 以人类生物 特征进行身份验证的 生物识别技术,在今后 数年内将成为IT产业 最为重要的

4、技术革命 72021/3/23 所谓人脸识别系统,是指不需要人为干预,能够自动获取人 脸图像并且辨别出其身份的系统 一个人脸识别系统至少要包含三个部分,即数据采集子系 统、人脸检测子系统和人脸识别子系统 数据采集 子系统 人脸识别 子系统 人脸检测 子系统 人脸识别系统 识别结果： He is ! 82021/3/23 人脸检测和人脸识别 (1)人脸检测（Face Detection） 人脸检测（Face Detection）是指在输入图像中确定所有人脸（如 果存在）的位置、大小、位姿的过程。人脸检测是自动人脸识别 系统中的一个关键环节。 (2)人脸识别 人脸识别细分为两类,一类是回答我是谁的

5、问题,即辨认 （Identification）,另一类是回答这个人是我吗?即确认 （Verification）。显然,用于Identification模式的识别系统对算法 的运算速度的要求要高于Verification模式的识别系统。 人脸检测和人脸识别是人脸识别技术两大理论。两者 的研究相对独立。 对于人脸识别理论中特征提取方面的算法研究非常重对于人脸识别理论中特征提取方面的算法研究非常重 要要,是人脸识别能否成功的关键是人脸识别能否成功的关键。 92021/3/23 问题的提出? 1. 特征提取是人脸识别中最基本的问题之 一。 2. 特征提取不但从原始模式信息中提取出 最有利于模式分类的特

6、征,而且极大地降 低模式样本的维数。 3. 特征提取是模式识别的前期工作,处理的 是否得当影响后期的成果,可谓“大军未 动,粮草先行” 所以对于人脸识别,有效的特征提取是解 决问题的关键之一。 102021/3/23 特征提取在一个人脸识别系统中的地 位 人脸的 检测与 定位 人脸图 像处理 特征提 取 特征匹 配 身份判 决 结论结论:特征提取特征提取在一个实际的人脸识别系统中也是在一个实际的人脸识别系统中也是 至关重要的。至关重要的。 112021/3/23 特征提取的作用 n1.是寻找针对模式的最具鉴别性的描述,以使此 类模式的特征能最大程度地区别于彼类。 n2.是在适当的情况下实现模式

7、数据描述的维数 压缩,当描述模式的原始数据空间对应较大维数 时,这一点会非常有意义,甚至必不可缺。 122021/3/23 特征提取要解决的关键问题。 n1.在人脸识别中存在的高维、非线性、 小样本问题。 n2. 如何有效地利用原图像数据。 132021/3/23 人脸识别中特征提取的困难 n特征提取的主要困难 (1) 外貌、表情、肤色等的不同,使人脸具有模式可变性 (2) 光照条件变化的影响,曝光及外在光源等引起的图像 亮度、对比度的不同 (3) 眼镜、头发、饰物和其它外部物体等引起面部图像 的部分遮挡 (4)人脸与摄像头之间的相对运动引起人脸姿态的多样性 (5)复杂背景对人脸目标的干扰 1

8、42021/3/23 人脸识别特征提取的主要方法 n(l)基于几何特征的方法和模板匹配方法 n(2)基于子空间分析的方法 n(3)基于小波理论的人脸识别方法 n(4)基于神经网络的方法 n(5)基于隐马尔可夫模型的方法 n(6)基于支持向量机的方法 n(7)基于三维模型的方法 152021/3/23 1基于几何特征的方法和模板匹配 方法 n1.1基于几何特征基于几何特征 (GcometricalFeature)的的 方法方法 思想思想: 提取人脸面部具有代表性的部位(例如 眉毛、眼睛、鼻子、嘴巴等)的相对位置和相 对大小作为特征,再辅以人脸轮廓的形状信息 作为特征。 特点特点: 容易受光照、表

9、情、遮挡等因素的影响, 稳定性不高。 162021/3/23 1.2模板匹配方法 思想思想: 在人脸识别中,就是把数据库的人脸 图像看作己知的模板,然后根据待识别图 像和己知模板间相关性的大小来分类 。 特点特点: 模板匹配方法的计算量较大,而且除 了光照、表情以外,图像的平移旋转和放 缩也会严重影响模板匹配中互相关的计 算. 172021/3/23 1.3总结 n1.基于几何特征的方法和模板匹配方法 一般优于基于几何特征的方法,但两者对 外在条件要求比较苛刻。 n2.一般作为其他方法的辅助方法。 182021/3/23 2 基于子空间分析的方法 2.1基于子空间分析的方法是特征提取的主流 方

10、法。已形成形成一系列的方法群,但大致分为 线性与非线性两种。 基本基本思想思想: 把高维空间中松散分布的人脸图像,通过 线性或非线性变换压缩到一个低维的子空间中 去,使人脸图像的分布在低维的子空间中更紧凑, 更有利于分类,另外也使高维的计算减小为低维 计算. 在一定程度上缓解了“维数灾难” 192021/3/23 2.2主要方法 线性子空间方法: 主元分析(PCA)、奇 异值分解(SVD)、线 性判别分析(LDA)、 独立主元分析(ICA)、 和非负矩阵因子 (NMF)等 非线性子空间方法: 核主成分分析、核 Fishe:判别分析、流 形学习方法等。 202021/3/23 2.3总结 1.子

11、空间分析的方法具有计算代价小、 描述能力强、可分性好等特点,现己经成 为人脸识别的主流方法之一。每种子空 间方法都有优缺点,但从理论上和大多数 的实验结果来看,基于可分性准则的线性 判别分析在人脸识别研究中具有一定的 优越性。 2.非线性方法的研究成为热门,如基于核 的非线性子空间方法,流形学习方法等。 212021/3/23 3.基于小波理论的人脸识别方 法 小波分析被称为小波分析被称为“数学显微镜数学显微镜”。 主要主要思想思想: 人脸图像图像即二维信号,对人脸图像进 行小波变换,采用低频图像来表示人脸不但可降 低图像的维数而且使特征更为有效。小波的多 分辨率分析是图像模式识别的有效工具,

12、它是我 们对图像进行低维表示的数学基础。很容易将 一维小波推广到二维乃至更高维数的情形。在 人脸识别中作用越来越明显。 222021/3/23 4 .基于神经网络的方法 n4.1原理; 人工神经网络 (Artificial Neural Network,ANN)是由大量简单的处理单元 (神经元)相互连接而构成的网络系统,它 在自学习、自组织、联想及容错方面具 有较强的能力, 而且在学习过程中有自动提取特征的能 力 。 232021/3/23 4.2一些具体方法 nGutta等提出了混合神经网络、Lawrence等通过一个多 级的SOM（自组织映射）实现样本的聚类,将卷积神经 网络CNN用于人脸

13、识别、Lin等采用基于概率决策的神 经网络方法; nDemers等提出采用主元神经网络方法提取人脸图像特 征,用自相关神经网络进一步压缩特征,最后采用一个 MLP（多层感知器）来实现人脸识别。 nEr等采用PCA（主成分分析）进行维数压缩,再用LDA （线性判别分析）抽取特征,然后基于RBF进行人脸识 别。 nHaddadnia等基于PZMI特征,并采用混合学习算法的 RBF神经网络进行人脸识别。 n神经网络的优势是通过学习的过程获得对这些规律和 规则的隐性表达,它的适应性较强。 242021/3/23 4.3人工神经网络在特征提取的 应用 应用神经网络进行人脸的特征提取和分 类器的设计,有比

14、较成熟的人脸特征提取 方法主要有: n多主分量提取算法 n自适应主分量神经网络提取算法 一些不足:神经元数目多,训练时间长。 252021/3/23 5.基于隐马尔可夫模型识别 5.1基本思想基本思想: 在人脸识别过程中,我们往往不是单独的用人脸的五官这 些相对独立的特征来进行的,而是把人脸作为一个整体来 考虑.而隐马尔可夫模型恰恰很好的描述了这个系统. 262021/3/23 5.2基于HMM的优点。 第一、允许人脸有丰富的表情变化、较大的头部转动等. 第二、较高的识别率. 第三、扩容性好,增加新样本不需要对所有的样本进行训 练,只需训练新样本。 第四、大部分训练可以在建立数据库时完成,因而

15、计算时 间也是可以接受的。 272021/3/23 6.基于支持向量机的方法 6.1概述概述: SVM建立了一套较好的有限样本下机器学习的理论框架 和通用方法, 既有严格的理论基础, 同时在解决小样本、 非线性及高维模式识别问题中表现出许多特有的优势。 已经应用于手写体识别、三维目标识别、人脸识别、文 本图像分类等实际问题中,性能优于已有的学习方法,表 现出良好的学习能力。从有限训练样本得到的决策规则 对独立的测试集仍能够得到较小的误差。 282021/3/23 7.基于三维模型的方法 n7.1概述 由于三维面貌经过平面投影会丢失一部分重要信息,导致以二 维图像为输入的人脸识别方法比较脆弱,易

16、受光照、姿态、表情的 影响,所以人们试图以人脸原本的三维信息建模,直接在三维条件 下进行识别,以便较好地解决传统方法面临的“光照”和“姿态” 这两个瓶颈问题. 三维数据的表示主要有三维网格图像和深度图像 两种。可避 免或减少噪声及表情变化对于识别率的影响. 292021/3/23 7.2 方法实现 n 该类方法一般先在图 像上检测出与通用模 型顶点对应的特征点, 然后根据特征点调节 通用模型,最后通过纹 理映射得到特定人脸 的3D模型。Tibbalds 基于结构光源和立体 视觉理论,通过摄像机 获取立体图像,根据图 像特征点之间匹配构 造人脸的三维表面 302021/3/23 7.2三维模型的

17、一些不足 n在信息来源、海量存储、计算复杂度及 实现手段等方面都存在一定的困难。 312021/3/23 特征提取其它方法 n目前对特征提取研究较多还有下列方法: n弹性图匹配方法。弹性图匹配方法。 n基于数据场方法。基于数据场方法。 nKL变换。变换。 n奇异值分解。奇异值分解。 n混合方法。混合方法。 322021/3/23 人脸识别的总结和展望 n人脸自动识别技术已取得了巨大的成就,随着科技的发展,在实际应用中仍然面临困 难,不仅要达到准确、快速的检测并分割出人脸部分,而且要有效的变化补偿、特征 描述、准确的分类的效果,还需要注重和提高以下几个方面: n (1) 人脸的局部和整体信息的相互结合能有效地描述人脸的特征,基于混合模型 的方法值得进一步深入研究,以便能准确描述复杂的人脸模式布。 n (2) 多特征融合和多分类器融合的方法也是改善识别性能的一个手段。 n (3) 由于人脸为非刚体性,人脸之间的相似性以及各种变化因