（电子科学与技术专业论文）基于子空间的人脸识别算法研究.pdf

硕士学位论文 a b s t r a c t c u r r e n t l y f a c er e c o g n i t i o na l g o r i t h mb a s e do ns u b s p a c eh 嬲a t t i a c t t e dw i d e s p r e a da t t e n t i o nf o ri t sh i 曲e 伍c i e n c ya 1 1 ds 仃o n gc h a u r a c t e r - r 边a t i o n 酞l v a n t a g e s h o w e v e f b e c a u s eo ff a c ei m a g e sa r em o r ev u l n e r a - b l et 0t 1 1 ei n t e r f e r e n c eo fv a r i o u se x t e m a lf a c t o r s ，m a n yr e s e a r c h e r sh a v e b e e i lt i r e l e s s l ye x p l o r e dt h a th o wt 0u s ef a c ei i i l a g ei n f o 咖a t i o nm o r e e f f e c t i v e l ya n d h o wt 0o b t a i nah i g h e rr e c o g n i t i o nr a t e h a v i n ga m l y z c da n ds t u d i e da1 0 ta b r o a da n dh o m e a c a d e m i cl “e r a t u r eo nf a c er e c o g n i t i o ni nr e c e n ty e a r s ，m i sp a p e rd e e p l ys t u d i e dt h e m e t l l o do fs u b s p a c e - b 弱e d 危a t u r ee x 订a c t i o n 锄dt h ec l a s s i f i c a t i o nm e t t l o do fn e a r e s tn e i g h b o rc l 豁s i f i e r - b 弱e d t h er e s e a r c hw o r ki s 嬲f o l l o w s ： f i r s t l y f o rt l l eh e a 、yc o m p u t a t i o n a lc o m p l e x i 够o f t h eh l u n 暑mf a c e i i n a g e ，m i sp a p e rp r o p o s e d 髓h n p r 0 v e dk e m e lp r i n c i p a lc o m p o n e n t 锄a l y s i sa l g o r i 也n l ( 舳c a ) 胁ea l g o r i t h i i lu s e st l l em e t h o do f b e s ts 锄- p l em e a ne s t i l 瑚【钯v e c t o rt 0i r 塔t e a do ft h eo r i g i n a ls 锄p l ev e c t o r r e d u c i i l gt h e 醐u mo f 胁c a l c u l a t i o n 姐dm 钮i n l p r 0 v e sm ea l g o - r i t h m c o m p u t a t i o n r a 钯 s e c o n d l y f o rt l l es m a us 锄p l e s 矩dt h ee d g ei n f o n n a t i o ni n t e r f c r e n _ c ep r o b l e m s ，t h i sp a p e rp r o p o s e d 舭i m p r o v e dl i n e a rd i s c r i m i n a n t 粕a l y s i s a l g 耐t l l i n ( l d a ) 1 1 1 ea l g o r i t h i n 哪e st l l em e t l l o do f b e t 、e 锄c l a s ss c a n e r ，n l a t 淞f e 孤玳w e i 曲t 舭di n n e r c l 弱s a t t e rm a t r i xm e 锄c 锄衙 t r e a t ，e n h a n c m gt h ea 1 9 0 r i t h ma ：b i l i t yo fd e “l i n gw i t l le i g e n v a l u ee r r o ra r i d e d g ec l 弱s i f i c a t i o n t h e nt h ei i l l p r 0 v e dk p c a 锄di m p r o v e dl d aa l g o r i - t l u i li sc o n 胁m e d 觚da p p l i e dt 0 也ef a c er c c o g n i t i o nf e a t u r ee x 仃a c t i o n 1 1 ：l i r d l y f o rt h ec u r s eo fd 证l e n s i o n a l i t ) ra n dn o i s ei s s u e si l lm es 锄- p l ec h a r a c t e r i s t i c s ，t h i sp 印e rp r o p o s e dakn e i g h b o 体( k 阿叼c l 嬲s i f i c 撕一 o na l g o 打曲nb 嬲i i l go ns i m i l a r i t ya u ) 【i l i a 巧o ff e a t l i r ew e i g h t e d t h i sa l - g o r i m mr c d u c e st l l ed i m e n s i o no fs a m p l e 加，e 仃e c t i v e l ys u p p r c s s e st l l e 诚e r l e r e n c eo f 也en o i s ed 【刁1 1 t a f o u r t h l y t ：k sp a p e rd e s c r i b e sm ef a c er e c o g n i t i o na l g o r i m mc o m p r e h e n s i v e l y ，舳d 觚a l y s i st l l ea d v a n t a g e so ft h ei m p r 0 v e df a c er e c o g n i t i n 硕士学位论文 a b s t r a c t o na l g o r i l mr a t eb yl 鹕en 啪b e ro fe x p e r i m e n t a l t h i sp a p e rs t u d i e st h ei m p r o v e df e 姗e x 仃a c t i o na l g o r i t h ma n d c l a s s i f i c a t i o na l g o r i 咖nb ym 棚a bs o 腑a r e t h es i m u l a t i o nr e s u l t s s h o wt h a t ：t h i sp a p e rp r e s e n t sa ni i l l p r 0 v e dp e r f o 衄a n c eb e t t e ri nf a c er e c o g 面t i o na l g o r i t h m 1 ( e yw o r d s ：f a c er e c o g n i t i o n ，s u b s p a c e ，k p c a ，l d 八n e a r e s t n e i 曲b o rc l 淞s i f i e r ，州c l 邪s i f i e r m 硕士学位论文 绪论 1 1 人脸识别的研究意义 第一章绪论 身份识别是人类社会生活的一个最基本的问题，它在我们的生活中无处不 在，近年来基于生物特征的身份识别技术被列为2 1 世纪对人类社会最具有革命 性影响的十大技术之一，微软比尔盖茨曾经预言：生物识别技术，将成为未来 几年i t 产业的重要革新。目前比较流行的生物识别技术主要有指纹识别、掌纹 识别、虹膜识别、人脸识别等等，几种生物特征识别技术相比较而言，人脸识别 技术具有最直观、最自然，最符合人的认知规律的突出特性n 2 】，因此它在当代信 息化时代中脱颖而出。 人脸识别技术关键之处在于对人脸信息的捕捉，在自然界中人脸作为一种特 殊的复杂视觉模式，包含着极其丰富的信息，主要有几下几点：首先，人脸图像 具有一定的不变性和唯一性，它能够提供一个人的性别、年龄、种族等众多相关 信息；其次，人脸具有多样的变化能力，会出现多种不同的面部表情和神色的变 化，从这些变化中，人们可以感知到一个人的情绪，感受等多样的信息b 】。正是 由于人脸有着如此之多的优势，人脸识别技术领域得到了各行各业的青睐。 现阶段人脸识别技术在国家军事、公共安全等领域有着较为广泛的应用前 景，例如智能门卫、智能视频监控、出入境管理等都是近年来逐渐取代传统识别 方法的典型代表，尤其在美国“9 l l 事件、英国伦敦地铁爆炸事件等严重威胁 社会公共安全的恐怖事件发生之后，人们对社会公共安全的要求有了进一步的提 升，各国政府部门也纷纷加大对本国安全问题的投入工作。另外人脸识别系统还 在各类银行卡，金融卡、储蓄卡等身份验证领域具有举足轻重的地位。 近期德国安防部门正在测试应用于安防领域的最新身份识别监控系统，拟将 人脸识别技术作为新型搜索辅助手段，进行失踪人员的查询，这一测试目前取得 了一定的成果。在我国人脸身份识别系统的发展也达到了世界领先的地位，举世 闻名的有中科院研发的人脸识别技术，该技术开创了人脸识别技术应用于奥运领 域的先河。 1 2 人脸识别技术的发展 人脸识别的研究历史较为悠久，见文献 4 早在1 8 8 8 年和1 9 1 0 年，g a l t 锄就 硕士学位论文绪论 在n a n 杂志上发表了两篇关于利用人脸进行身份识别的文章。他用一组数字代 表不同的人脸特征，对人类自身的人脸识别能力进行了分析，此举在人脸识别领 域虽然取得了一定的成果，但遗憾的是并没有涉及到人脸的自动识别问题。随之， 有关自动人脸识别( a f r ) 技术的研究论文最早见于1 9 6 5 年c h 觚和b l e d s o e 在 p 加。捌嘶cr - e s e 缸c hi l l c 发表的技术报告中，迄今为止已有四十余年的历史晦】。近 年来，人脸识别技术的研究得到了诸多研究者们的青睐，涌现出大量的新技术和 新方法，尤其自1 9 9 0 年以来，人脸识别技术更是得到了长足的发展。总体概括起 来，人脸识别技术的发展大致分为三个阶段。 第一阶段( 1 9 6 4 一1 9 9 0 年) ：这一阶段人脸识别技术主要是基于人脸几何结构 特征的技术方案，研究者们只是将它视作一个一般性的模式识别问题，具体表现 在人们对于剪影研究的问题上。此时以b e l t i n o n 、舢l e n 和p a r l ( c 为代表，主要研 究人脸识别所需要的面部特征。见文献 6 在b e i t i u o n 的系统中，用一个简单的 语句与数据库中某一张脸相联系，同时与指纹分析相结合，提供了一个较强的识 别系统。a e n 为待识别人脸设计了一种逼真的摹写，p a r k e 则用计算机实现了这 一想法，并产生了较高质量的人脸灰度图模型。总之，这一阶段的特点是识别过 程全部依赖于操作人员，显然这是一种非自动的人脸识别系统，故而这一阶段重 要的成果并不多，也没有获得实际的应用价值。 第二阶段( 1 9 9 卜1 9 9 7 年) ：虽然这一阶段的时间相对短暂，却是人脸识别领 域的高潮期，不但诞生了具有代表性的人脸识别算法，而且出现了具有商业化运 作的人脸识别系统。实际上这一阶段是人机交互式识别阶段，主要代表性有： g o l d s t i 、h a 衄叽和k s k 等用几何特征参数表示的人脸正面图订】，他们采用多 维特征矢量表示人脸面部特征，并设计了基于这一特征表示法的识别系统。i v a 和k 曲a y 鹬h i 则采用了统计识别方法哺1 ，即用欧氏距离来表征人脸特征，但这类 方法需要利用操作员的某些先验知识，仍然摆脱不了人的干预。 第三阶段( 1 9 9 8 年一现在) ：2 0 世纪9 0 年代以来，人脸识别方法的研究变得 非常热门，吸引了大量的研究人员和基金支持。由于主流的人脸识别技术受到光 照、姿态等客观因素的影响，表现出较差的鲁棒性，因此，光照、姿态等问题逐 渐成为研究的热点。与此同时，人脸识别的商业系统也进一步的发展起来，其中 g i 砌蛳a d e s 等提出的基于光照锥模型的人脸识别方法是这一时期的重要成果之 一町，另外b l a l l z 和v e t t 盯等提出的基于3 d 变形模型的人脸图像分析与识别方法 也是这一时期内杰出的代表。总而言之，非线性建模方法、统计学习理论、基于 3 d 模型的人脸建模与识别等各种人脸识别方法代表了未来技术发展的趋势叭1 。 2 硕士学位论文绪论 1 3 人脸识别的结构与方法 1 人脸识别的结构 人脸识别是一个视觉模式识别问题，它利用摄像机将随光照、姿态、表情等 环境因素和人自身因素的变化而变化的三维人脸转变为二维人脸图像进行识别， 换而言之，给定一个静止或动态的图像，利用已有的人脸数据库确认图像中的一 个或多个人。人脸识别的结构有以下五个部分n 羽，如图卜l 所示： ( 1 ) 人脸检测：从各种不同的背景中找出人脸所在的位置与具体区域，确 定图像中人脸的位置。 ( 2 ) 人脸图像预处理：即对采集到的人脸图像进行一定的图像预处理工作， 去除图像中的噪声，从而有效的提高识别速率。 ( 3 ) 人脸图像的特征提取：为区分不同的人脸，需要提取各个人脸的独特 性质，即从人脸图像中提取一组最能反映人脸特征的数组表示样本向量。 ( 4 ) 人脸分类决策：即用人脸数据库中预先存放的已知的人脸图像与待识 别的图像进行比较，得出相关的识别信息。分类决策的主要任务是设计一个优化 的分类器将待识别对象精确的归为某一类别。 ( 5 ) 识别结果输出 人脸图像检 测人脸警预处h 特征提取 理 i l ”“” 分类器决策识别结果 图卜1 人脸识别基本流程图 2 人脸识别方法 根据人脸表征方式的不同，通常将人脸识别方法分为四大类：基于几何特征 分析的识别方法、基于子空间分析的人脸识别方法、基于弹性图匹配的人脸识别 方法和基于3 - d 建模的人脸识别方法。 ( 1 ) 基于几何特征分析的人脸识别方法 基于几何特征分析方法的基本原理是：首先用双眼模板初步筛选，其次使用 不同长宽比的多个人脸的模板进行检测和定位，最后利用人脸器官的边缘特征进 行确认识别。该方法通过人脸面部拓扑结构几何关系的先验知识，利用基于结构 的方法在知识的层次上提取人脸面部主要器官特征，再将人脸用一组几何特征矢 量表示n 钉，用模式识别中层次聚类的思想设计分类器以达到识别的目的。这种方 法可以实现对人脸显著特征的高效描述。同时具有存储量小、对光照不敏感等优 点，但此方法也有不足之处：从图像中抽取稳定的特征比较困难；对强烈表情变 化和姿态变化鲁棒性较差等问题n 】，因此该方法更适合用于粗分类等人脸识别问 3 硕士学位论文绪论 趑。 ( 2 ) 基于子空间分析的人脸识别方法 基于子空间分析方法的基本出发点是：首先定义具有一定性能的目标函数， 寻找使该目标函数达到最优的线性或非线性的空间变换，然后利用得到的空间变 换将原始的高维数据压缩到一个低维的子空间中，使原始数据在该子空间中的分 布更加紧凑，从而为数据描述提供更好的手段。从本质上讲，线性子空间方法就 是利用一个显式的空间变换关系将高维空间中的数据映射到低维空间中进行分 析。子空间分析方法有两种分类方法，其一，可以按照空间变换分为线性子空间 方法和非线性子空间方法，其二可以根据目标函数包含类别的信息分为无监督子 空间方法和有监督子空间方法。在人脸识别中，常见的线性子空间分析方法有主 成分分析法( p c a ) 、线性鉴别分析法( l d a ) 、独立成分分析法( i c a ) n 钉等。 非线性子空间方法有等距映射法、局部线性嵌入法、拉普拉斯特征映射法等n 们。 基于子空间分析的人脸识别方法具有计算代价小、描述能力强、可分性好等优点， 是人脸识别中常用的方法之一。 ( 3 ) 基于弹性图匹配的人脸识别方法 弹性图匹配方法是一种基于动态链接结构的方法。该方法在二维的空间中定 义了一个距离，它对通常的人脸变形具有一定的不变性，也不要求待识别人脸和 库中人脸维数一定相同。该方法的优点：不仅能保留二维图像的空间相关性信息， 而且在向人脸库中加入新的人脸信息时，不需要改变已有的数据，直接加入新的 模板数据即可n 刀。另外弹性图匹配的方法充分考虑了人脸图像的局部细节特征 u 铂，保留了人脸的空间分布信息，对于受控条件下的正面人脸识别具有很好的识 别效果。但弹性匹配方法在具体实现时，需要考虑具体的参数选择，这样会影响 到识别的效果，同时这类识别方法计算量较大，一般都无法达到实时处理的效果。 ( 4 ) 基于3 一d 建模的人脸识别 3 - d 人脸模型近年来被引入人脸识别领域，以解决光照、姿态和表情变化引 起的识别率较低的问题。自2 0 世纪7 0 年代p a r k e 在计算机上建立了第一个人脸模 型起，人脸的建模得到了广泛的关注，而且一直是计算机图形学和模式识别领域 的研究热点删1 。经过3 0 多年的发展，先后有诸多学者在人脸建模进行了创造性 的研究，提出了不同的人脸建模方法。目前常见的3 - d 人脸建模可以分为三类： 未结合人脸先验模型的方法；结合一般人脸建模的方法；结合3 一d 人脸形 变模型的方法。总而言之3 一d 模型是通过大量的人脸形状和纹理的统计先验知识 获得的，该模型将不同因素造成的人脸图像的变化进行了分离并用独立的参数集 表示瞌1 翻，这使得表示人脸属性的形状和纹理信息与外界环境的影响完全独立。 假如给定一张人脸图像，研究者们就会很容易的利用3 d 估计其三维的形状、纹理 4 硕士学位论文 绪论 和其他特征等。但3 一d 建模相比二维人脸图像的获取要复杂很多，同时需要使用 专门的三维扫描仪来获得人脸图像的深度信息，加之，三维人脸识别的计算复杂 度高，实时处理比较困难，这些因素限制了三维人脸识别技术的发展。 1 4 基于子空间人脸识别方法的研究现状 1 面临的主要困难 目前人脸识别算法主要适用于限定环境下、限定类别数量条件下的应用，还 远远不能发挥出人脸图像可在自然条件下提取和识别的优点。归结起来，主要面 临的困难有以下溉绷： ( 1 ) 光照影响人脸图像获取过程中存在许多不确定性，如光强、光源方向 等。这些不确定因素使得面部图像的灰度深浅不均匀，人脸在局部上对比度较大， 从而影响识别效果。目前最好的人脸识别系统在室外光照环境下，识别率也会受 到严重的影响而下降。迄今为止研究人员针对光照等问题提出了诸多解决方案， 但目前光照处理方法仍未达到实用的程度，有待于进一步的研究。 ( 2 ) 人脸模式的多样性，人脸姿态的多样性和面部非刚性物体的变化( 如 表情的变化) 决定了人脸模式的复杂性，从而导致难以提取足够多的用于分类的 不变性特征。 ( 3 ) 人脸模式的非线性和高维性很难用精确的数学模型描述，人脸识别技 术发展到今天，许多成果仍然是在二维人脸信息基础上取得的，因此在进行特征 脸数据提取时，容易造成某些有用信息的丢失，从而影响到计算机的识别准确率。 ( 4 ) 姿态问题，目前针对姿态的人脸识别研究较少，多数的人脸识别算法 中主要针对正面、准正面人脸图像，当发生仰俯或者左右侧面较严重的情况下， 人脸识别算法的识别率将会急剧下降。因此如何提高系统对姿态的鲁棒性也是人 脸识别研究中一个重要的问题。 ( 5 ) 低质量照片问题，目前的多数人脸识别系统在算法设计和模型训练方 面往往都只针对图像质量很好的情况，但对智能监控、公安系统等应用而言，其 图像的片源是多方面的，照片的质量也参差不齐，存在采集到的图像模糊、噪声 较大、分辨率较低等缺陷。如何提高系统对采集图片的识别能力也是人脸识别领 域中有待提高的问题之一 ( 6 ) 人脸图像采集设备带来的问题，目前主流的人脸信息采集设备是摄像 头，硬件设备微小的不同，就会影响获取人脸图像数据更大的变化，如何解决这 些问题也是人脸识别中值得关注的。 2 算法的发展 硕士学位论文绪论 综前所述，基于子空间的人脸识别方法与其它人脸识别方法相比较而言，具 有较为显著的优点，其中主成分分析( p c a ) 法和线性鉴别分析( l d a ) 法在人脸 识别中颇受青睐。由于视角、光照、表情等因素的影响，人脸模式极其复杂而难 以描述，因此近年来诸多改进的主成分分析算法得到了广泛的发展，文献 2 5 中 所述基于p c a 发展起来的e p c a 和a p c a 两种算法，较之p c a ，该算法识别率有所 提高，但a p c a 算法在识别系统中具有一定的不稳定性，同时e p c a 对人脸库不具 有通用性。文献 2 6 中提到的双向p c a 算法，该算法通过对训练样本和测试样本 进行双向降维，特征提取，进而保证了较为理想的人脸识别率，但该算法忽略了 人脸图像的非线性信息，具有一定的局限性。 同时在应用经典的l d a 算法解决人脸识别问题时，面对人脸样本数小于人脸 向量维数时，易出现样本类内散度矩阵奇异的情况，影响到人脸识别率；另外经 典的l d a 算法中遇到大量样本时，特征提取也会受到严重的影响。近年来各种改 进的l d a 算法备受关注，文献 2 7 中提出的优化的l d a 算法中，通过重新定义样本 类间散度矩阵使传统的f i s h e r 准则优化，在一定程度上克服了边缘类信息干扰问 题，但该算法对处理特征值偏差问题的能力没有得到妥善的解决。文献 2 8 中提 出的一种改进的基于f i s h 盯准则的l d a 方法，用以解决类内散度矩阵奇异的问题， 但该算法却忽略了类间散度矩阵存在的类别信息干扰问题。 总而言之，各种线性子空间人脸识别方法虽然在一定程度上得到了比较成功 的应用，但面对现阶段人脸识别中遇到的多方面的问题：怎样提高算法对环境和 姿态变化的适应性以及怎样减少高维数据有效信息的丢失等，仍有许多局限性。 近1 0 年来，核函数技术在模式识别领域中得到了迅猛的发展。s c h 御b p f 等利用 核技术将经典的主成分分析( p c a ) 方法推广到核主成分分析( 1 【p c a ) 方法中，实 验结果表明，核主成分分析( 1 ( p c a ) 方法能够提取人脸图像的非线性特征，但同 时还会提取到过多的不相关特征，从而影响到人脸识别的识别性能，为了提高特 征提取的效率，各种改进的l ( p c a 算法应时而生，文献 2 9 中提出的基于小波变化 的核主成分分析算法，通过将图像进行小波变换以消除人脸图像无关的信息，在 性能上该算法优于p c a ，l ( p c a 算法，但同时小波分解过程中基函数和分解层数的 选择的不同，导致了该算法的识别率存在不稳定的缺陷。文献 3 0 中提出的改进 的i ( p c a 算法中，采用基于几何考虑的特征向量提取算法，降低了l 【p c a 计算的复杂 性，缩短了计算时间，但该算法在人脸识别准确率方面并无明显的优势。 上述基于子空间的人脸识别方法中都是采用线性或非线性方法将人脸图像 进行一次投影降维以求取图像的特征脸，可见在人识别领域中，若采用二次降维 以获取最佳特征脸的方法，将会逐渐受到研究者们更多的关注。 6 硕士学位论文绪论 1 5 本文研究的主要内容及论文章节安排 受各种基于子空间的改进算法的启发，本文拟对核主成分分析( k p c a ) 以及 线性鉴别分析( l d a ) 算法进行改进，采用改进后的k p c a 和l d a 相结合的方法提 取人脸图像的特征向量，最后对最近邻分类器进行改进，采用改进后的算法进行 识别。具体操作如下： ( 1 ) 首先采用改进后的i ( p c a 方法，将原始数据通过非线性变换映射到一个 高维的线性向量空间，再在变换后的高维空间中进行线性的特征提取和分类。于 是将高维的图像投影到低维的子空间中。 ( 2 ) 然后在子空间中采用改进后的基于主元空间的线性鉴别分析( l d a ) 方 法，将样本向量经过第二次降维投影，取得最佳投影子空间。 ( 3 ) 最后采用改进后的k n n 最近邻分类器，对样本向量进行分类识别。 本文提出的k p c a 和l d a 融合改进算法中，有效利用非线性子空间人脸图像 信息的同时，能够使高度复杂、非线性的原始样本线性化、简单化，并且使样本 特征之间的冗余信息明显降低，防止有用信息的丢失。另外本论文对k n n 最近邻 分类器进行了改进，不仅提高了分类性能，而且缩短了分类识别时间，使得人脸 识别率显著提高。 本文的内容共分6 章，具体结构安排如下。 第1 章首先简要介绍了人脸识别技术的发展，其次介绍并分析了人脸识别技 术的主要内容及存在的主要困难，重点阐述了现阶段各类人脸识别技术，最后简 单说明了本文主要的研究工作。 第2 章首先简单介绍了0 r l 人脸识别库，其次介绍了用以消除人脸图像噪声 的三种滤波方式，重点介绍了两种常用的预处理图像的规范化形式，即几何规范 化和灰度规范化。在此基础之上，说明了本文拟采用的图像预处理方法并通过一 组仿真实验加以说明。 第3 章首先介绍了人脸特征提取中常见的特征提取方法，包括经典的p c a 、 l 【p c a 、l d a 等方法，在此基础之上，本文提出了改进的k p c a 、l d a 、l ( p c a + l d a 等 人脸特征提取算法，并通过实验加以分析说明了改进后算法的优良性能。 第4 章介绍了常见的最近邻分类器的分类方法，进而提出了改进的k n n 分类 器算法，并通过实验加以分析说明改进后的k n n 分类器良好的分类性能。 第5 章首先介绍了人脸识别算法的整体系统模块。然后通过大量的实验数据 对各种算法的识别性能做了详细的分析说明，全面验证了本文算法的优势。 第6 章对全文工作进行简要总结，分析了本文的不足之处，展望了今后的工 作方向。 7 硕士学位论文 人脸图像的预处理 2 1 引言 第二章人脸图像的预处理 一般情况下，系统获取的原始图像会受到各种条件的限制和随机干扰，不能 直接使用。例如人脸图像受到光照明暗程度以及设备性能的优劣等因素的影响， 会存在噪声和对比度不够等缺陷。人脸图像的预处理，可以有效的去除噪声，削 减输入设备或其他因素对图像造成的退化现象等信息，是计算机人脸识别系统中 的必要环节，为后续的特征提取和识别工作做准备。常见的人脸图像预处理方法 有：灰度规范化，几何规范法，图像滤波等。 2 2 人脸识别库的介绍 人脸图像数据库是人脸识别系统研究、开发、评测的基础，任何人脸识别系 统的开发都需要建立一个包含人脸图像或图像系列的数据库。人脸数据库的设计 对系统的识别率影响是至关重要的。开发一个在所有可能的变化情况下都能正确 进行人脸识别的系统是非常困难的，因此几乎所有人脸识别的研究都是在一定的 约束条件下进行的，如光照、表情和姿态变化等受到一定限制，大部分系统都未 考虑长期变化，如年龄的变化等，所以有必要建立适应不同需要的人脸数据库。 下面介绍一个典型的人脸数据库o r l 人脸库m 1 。 0 r l 人脸库由剑桥大学a t t 实验室创建，包含4 0 人的4 0 0 幅面部图像，每 个人有1 0 幅不同的图像，且大小为1 1 2 9 2 。这些图片是在不同时间拍摄的， 人的面部表情和面部细节有着不同程度的变化( 比如眼睛睁或闭，笑或严肃，戴 或不戴眼镜) ；人脸姿态也有相当程度的变化，深度旋转或平面旋转可达2 0 度， 本文所有实验均采用0 r l 人脸库中的图像数据。 同一人的不同角度光照以及表情图像变化，部分示图如图2 1 所示： 囝囝囝口国囝囝日囝e 图2 10 r l 中同一人的不同表情图像 不同人的图像中除了有脸部的饰物，胡须等不同之外，还有年龄、性别等不 同，部分示图如图2 2 所示： 囤 硕士学位论文人脸图像的预处理 口国国团圄固日囝国 2 3 图像的滤波处理 图2 20 r l 中不同人的人脸图像 在人脸图像采集中，不可避免的受到噪声的干扰，并在获得的图像中留下痕 迹。为了改善图像质量，避免噪声对抽取图像特征的影响，需要消除图像的噪声。 目前消除噪声的方法通常分为两类：一类是全局处理，包括w i e n e r 滤波等方法， 另一类则使用局部算子，如中值滤波，梯度倒数加权滤波等经典算法b 引，人脸图 像预处理中经常使用此类的滤波方法，下面将简单介绍几种常见的滤波器泓1 。 1 均值滤波器 最简单的线性滤波器是局部均值运算滤波器。均值滤波是对信号进行局部平 均，以平均值来代表该像素点的灰度值，即每一个像素值用其局部邻域内所有值 的均值置换： 砒f ，小吉厂附】 ( 2 - 1 ) 1 “p t ，e 其中m 是邻域内像素点总数，邻域的大小控制着滤波程度，对应大卷尺 模板的大尺度邻域会加大滤波程度。线性平滑滤波器去除了高频成分和图像中的 锐化细节。例如，把阶跃变化平滑成渐进变化，却牺牲了精确定位的能力：空间 可变滤波器能调节权值，使得在相对比较均匀的图像区域上加大平滑量，而在尖 锐变化的图像区域上减小平滑量。 2 高斯平滑滤波器 高斯平滑滤波器的关键在于对高斯函数的设计，高斯函数有一维零均值高斯 函数和二维零均值高斯函数： ， 一维零均值高斯函数为：g ( x ) = p 2 c r 2 ( 2 2 ) _ ! 型 二维零均值高斯函数为：g 【f ，卅= e 2 c r 2 ( 2 3 ) 其中，高斯分布参数盯决定了需要设计的高斯滤波器的宽度。在数字图像处 理中，常用到二维零均值高斯函数作为高斯滤波器的设计模板。 一般来说，一幅图像的边缘方向是事先无法预知，因此，在滤波前无法确定 一个方向是否比另一个方向需要更多的平滑。二维高斯函数具有旋转对称性，即 滤波器在各个方向上的平滑程度是相同的，这就意味着高斯平滑滤波器在平滑滤 西 硕士学位论文人脸图像的预处理 i i 一薰冈蚕薰一 、嚣i 蓑鼍，嚣一三，嚣i i l = 篓l 图2 3 采用不同的模板滤波效果 2 4 图像的几何规范化 由于成像系统本身具有非线性或者摄像时视角变化的原因，都会使生成的图 像产生几何失真，解决这类问题的方法就是几何校正。人脸图像的标准化不管对 于哪种人脸识别方法来讲，都是非常重要的，它直接影响着最终的识别效果。所 谓标准化主要是对输入的图像进行几何校正，以使不同输入情况下的人脸图像最 后都统一到同样的大小，并使人脸的关键部位也尽量保持相对位置的一样。下面 简单介绍几种常见的图像校正方法d 引。 1 图像的平移 将图像中的所有点都按照指定的平移量水平、垂直移动，通过平移可以消除 人脸左右偏移对人脸识别中的影响，它体现了人脸在图像平面内的平移不变性。 平移图像相当于平移图像的坐标系，但二者移动的方向相反。设图像的原坐标系 为x o y ，移动到图像某点a ( 缸，) ，) 即可得新的坐标系x 。o 。y ，已知图片的大小 为m 刀。假设图片的任一像素点p ，在原坐标为( x ，y ) ，在新坐标为( 五，乃) ，则： 五= 工一缸；弗= y 一少 ( 2 4 ) 1 0 硕士学位论文人脸图像的预处理 ；：阳，篓阳，篡阳，篓阳 ，馐t 一t ，e _ 二，们t ? 图2 4 不同方法中图像的放大效果图 最近邻插值法：输出图像中每一个像素点的值就是该点在输入图像中变换位 硕士学位论文 人脸图像的预处理 置最临近采样点的值； 双线性插值法：输出像素值为输入图像中2 2 邻域采样点的平均值； 双三次插值法：输出像素值为输入图像中4 4 邻域采样点的平均值，相比前 两种方法，该方法的效果较好。 2 5 图像的灰度规范化 1 彩色图像的灰度化 彩色图像的灰度化有几种转换公式。较早的图像灰度化处理比较简单，图像 像素的灰度值一般通过直接取彩色图像三分量中最大值或三种色彩的平均值来 得到。前者得到的灰度图通常会偏亮，而后者得到的图像则比较平滑，损失了 原图像中的一些细节。一般较为常用的彩色图像灰度转换公式为： j = o 3 r + o 5 9 g + 0 1l b( 2 1 0 ) 其中，表示灰度图的亮度值，r 代表彩色图像的红色分量值，g 代表彩色图像绿 色分量值，b 代表彩色图像蓝色分量值。三分量前的系数为经验加权值。加权系 数的选取是基于人眼的视觉模型：对于人眼较为敏感的绿色取较大的权值；对人 眼较为不敏感的蓝色则取较小的权值。通过该公式转换的灰度图能够比较好的放 映原图像的亮度信息。 2 直方图均衡化 图像的灰度直方图是图像各像素灰度值的一种统计度量，其横坐标表示像素 的灰度级别，纵坐标表示该灰度出现的频率( 像素个数) 。直方图均衡的基本思 想是将各灰度级分量尽量平均布满空间，在直方图上表现为由密集的灰度分布变 为均匀的分布，从而增强图像的对比度。另外直方图均衡可以减少光线对图像的 干扰，使得特征提取变得更加容易，同时提高图像的主观质量。 灰度直方图是灰度级的函数，它表示图像中具有每种灰度级的象素的个 数反映图像中每秒灰度出现的频率。直方图均衡化的基本思想是把原始图的直 方图变换为均匀分布的形式，这样就增加了象素灰度值的动态范围从而达到增强 整体对比度的效果。设图像厂( z ，y ) 的灰度分布密度函数为p ，( 厂) ，则直方图均 衡化后的图像g ( x ，y ) 为： ， g = r ( ) = j ：乃( ”) 出 ( 2 一1 1 ) 对于数字图像，可以对式( 2 一1 1 ) 做离散近似。设一副图像的总像素数为， 第七级灰度的像素数为，第七个灰度级为气，图像的灰度范围为工( o ，l ，三一1 ) 级，灰度出现的相对频率数为e ( 咯) ，原图像直方图的累积分布函数为r ( 咯) ，则 直方图均衡化后的图像g ( 工，y ) 灰度e ( ) 为： 硕士学位论文 人脸图像的预处理 e ( ) = r ( ) = 萎 ( 2 1 2 ) 经过直方图均衡化后，图像的细节更加清楚，直方图各灰度等级的分布更加 平衡，直方图均衡化处理后的效果如图2 5 所示： 原图像直方图均衡化图像 四 趟 氓 啊丽 i 专l 划 原图像直方图统计均衡化直方图统计 4 0 0 j 粤3 0 0 餐2 0 0 1 0 回 图2 5 直方图均衡化效果图 2 6 本文对图像的预处理工作 1 2 0 0 灰度级 1 预处理方法 s t e p l ：首先为了采集到噪声尽可能小的人脸图像，本论文采用常用模板为 3 木3 的中值滤波器。 s t e p 2 ：为了适应不同来源的人脸图像，对输入图像进行几何变换。如果输 入图像的尺寸太小或者过大，通过图像的缩放变换将图像的尺寸放大或者缩小到 一定的范围以内。本文采用双三次插值法，将图像通过几何规范化调整到一定的 范围之内。 s t c p 3 ：考虑到人脸图像中肤色等色彩信息经常受到光源颜色、图像采集设 备和光照强度的色彩偏差等因素的影响，将图像进行直方图均衡化处理，达到对 图像进行光照补偿的目的。 2 本文预处理实验效果演示： 由图2 6 可以看出，人脸初始图像经过三步预处理之后，人脸轮廓明显突出， 删 硕士学位论文人脸图像的预处理 i 嬲薰同意意翮 ，器闩，器t 。筘_ 邋。 2 7 本章小结 本章首先介绍人脸识别中常用的o r l 人脸库；然后介绍了均值滤波器、高斯 滤波器和中值滤波器，并通过实验证明中值滤波器采用不同模板的滤波效果；再 次介绍了图像几何规范化的三种方法，重点阐明了图像的缩放方法；最后介绍了 图像的灰度规范化方法；进一步提出本文预处理图像采用的方法，并用实验结果 加以说明。 1 4 硕士学位论文核主成分分析及线性鉴别分析的改进算法 第三章核主成分分析及线性鉴别分析的改进算法 3 1 引言 在过去几十年里，人脸识别技术取得了突飞猛进的进展，涌现出各种各样的 人脸特征提取方法，通常，一幅大小为m 刀像素的人脸图像被表示成一个m 刀 维空间的向量，该向量维数很高，加之图像空间中的点分布成离散状态，不利于 分类，而且计算非常复杂。为了有效的降低空间中特征向量的维数，减少计算机 的运算量，基于子空间的特征提取方法引起了人们的关注】，该方法根据一定的 目标函数寻找一个线性或非线性的空间变换，把原始特征空间中的高维向量降低 到低维空间中，使数据分布更加紧凑。 目前最流行的两个子空间分析方法是主成分分析法( p c a ) 和线性鉴别分析 法( l d a ) 。p c a 算法的根源为k l 变换】，该方法的目的是通过线性变换找出一 组最优的单位正交向量基，并用其线性组合重建原样本，使得重建后的样本与原 样本的误差最小。但p c a 没有利用类标签信息，不适合鉴别分类问题。另外一个 子空间分析方法线性鉴别分析法( l d a ) 是众所周知的有监督子空间学习方法啪】， 该方法以样本可分性为目标，寻找一组线性变换，使得样本向量的类间散度和类 内散度的比值最大。因此，l d a 提取的人脸特征具有一定的鉴别能力。但p c a 和 l d a 都是假定人脸样本图像位于线性空间中，现实中人脸图像由于距离、姿态、 表情以及光照强度的不同，而形成多种不同的图像，将这些图像映射到样本向量 空间中，即得高维样本空间向量。此时基于线性子空间的特征提取方法，不能对 人脸的非线性分布信息进行充分的描述，从而造成人脸识别率下降的后果。 近1 0 年来，核函数技术在模式识别领域中得到了迅猛的发展。s c h f i 岫p f 等 利用核技术将经典的p c a 推广到核主成分分析法( 1 ( p c a ) ，非线性核技术成为模 式识别领域发展的主流方向。在人脸特征提取中，有效的利用核函数的方法，方 便的实现了非线性人脸特征向量的投影，使得特征向量矩阵的运算较易处理，因 而非线性核映射提供了一种有效的人脸特征向量提取方法。现实中诸多实验结果 表明l ( p c a 不仅能够抽取非线性特征，而且具有更优的识别效果，但传统的l ( p c a 算法在求解核矩阵时，运算复杂度相当大，从而导致计算机耗费资源太大，运算 速率明显降低等问题。基于以上种种原因，本章致力于研究线性鉴别分析算法的 改进以及非线性核主成分分析算法的改进。 1 5 硕士学位论文核主成分分析及线性鉴别分析的改进算法 3 2 主成分分析法 3 2 1 主成分分析法( p c a ) 的基本算法 主成分分析法( p c a ) 的概念首先由k 盯lp 硒o n 在1 9 0 1 年引进，当时只是针 对非随机变量来讨论的，继而于1 9 3 3 年h 0 t e l l i n g 又将这个概念推广到随机变量 中。随之s 拍、，i c h 和脚将k - l 变换用于人脸图像的最优表示，近年来m i t 的 t u r k 和p e n t l 锄d 再一次发展了一种基于主元分析的人脸识别方法h ，这就是著 名的“特征脸”方法。 在多数实际问题中，由于指标较多及指标间有一定的相关性，势必增加分析 问题的复杂性，而主成分分析法就是设法将原来的指标重新组合成一组新的互相 无关的几个综合指标，根据实际需要从中取几个较少的综合指标，尽可能多地反 映原来的指标信息。主成分分析法是人脸识别中经典的线性特征提取方法之一， 其基本出发点是通过一个线性或非线性的空间变换，将原始样本数据映射到某个 特征子空间中，使数据在该子空间的分布更加紧凑。 p c a 算法的基本思想是：通过求取原始样本协方差矩阵的特征值和特征向 量，从中选取若干个最大特征值所对应的特征向量组成一个最优投影矩阵，然后 通过最优投影矩阵，将原始样本数据映射到主成分子空间中，从而达到数据压缩 和去除样本相关性的效果，具体算法描述如下： s t 印1 ：求取原始样本集的协方差矩阵： 设训练集s ：x - 五，屯，毛】为刀维矩阵，且厅为样本总数，现将每幅 人脸图像按照先行后列的顺序组成一个列向量x ，则x 为维随机列向量且 为每张人脸图像列向量维数。为了求得样本向量的协方差矩阵，先求取x 每一 行的样本均值，如下式： 一= 亡嘞 ( 3 1 ) i l 令= 【h ，鲍，鲰】r 则有样本向量的均值矩阵又= 【，声，】，且又为刀维 矩阵，求解x 对应的协方差矩阵墨： 置= 专( x 一贾) ( x 一叉) r ( 3 2 ) s t e p 2 ：求取原始样本集的最优投影矩阵： 已知删咄( 墨) = 胁，求得矩阵s 的特征值为五，五，丸，将这些特征值从大 到小排序，则有 五丸，设所有特征值对应的特征向量为嵋，吒。 则 与峨满足如下关系式： 1 6 硕士学位论文核主成分分析及线性鉴别分析的改进算法 s 嵋= 以mf = l ，2 ，川 ( 3 3 ) 由于前，个最大特征值 如4 对应的特征向量，。，w ：，m ，具备人脸样 本的主要信息，故选取前厂个最大特征值对应的特征向量来组成最优投影矩阵 彬= h ，：，】。如图3 1 所示，o r l 人脸库中2 0 0 张人脸样本经过p c a 投影 的最优投影矩阵对应的1 0 张特征脸图像，特征值元依次选取 1 ，1 1 ，2 1 ，3 1