（机械设计及理论专业论文）红外图像人脸识别研究.pdf

大连理工大学硕士学位论文 摘要 红外图像人脸识别是利用模式识别、图像处理等方法对由热红外成像设备采集的红 外人脸图像进行分类识别的技术。红外图像入脸识别技术可在很大程度上弥补可见光人 脸识别技术的缺陷和不足，该技术与可见光人脸识别技术的融合将是今后人脸识别研究 的一个重要方向。本论文在深入研究红外人脸图像特性的基础上，系统研究了几种不同 的红外图像人脸识别方法，并迸行了相关的实验测试。 研究了红外人脸图像的预处理方法。对红外人脸图像手动定位双眼，利用图像的几 何变换对红外图像进行旋转、放缩、裁剪等操作，完成红外入脸图像的几何预处理；利 用直方图均衡化法对红外人脸图像进行灰度预处理。 对主成分分析和线性鉴别分析两种基于统计的红外图像人脸识别方法进行了研究。 利用p c a 算法对红外人脸图像进行降维并提取其特征向量，对降维后的红外人脸特征 采用l d a 算法训练生成一个使类问离散度最大、类内离散度最小的最佳分类器。实验 结果表明该分类器对红外入脸图像具有较好的分类效果。 采用标号图来表示红外人脸图像，标号图的节点用一组描述人脸局部特征的二维 g a b o r 小波变换系数标示，这些节点位于红外人脸图像上对识别有意义的特征点位置上； 标号图的边用描述相邻两个节点相对位置的度量信息来标示，由各边组成的网格图结构 描述了整个人脸的几何特征。通过红外人脸图像与人脸束图之间的弹性束图匹配，确定 标号图上特征点的位置，然后计算特征点位置的二维g a b o r 小波变换系数并进行人脸的 分类识别。 基于人工神经网络的基本理论，设计了一个三层b p 神经网络。采用p c a + l d a 方 法对红外人脸图像进行特征提取，将提取出的特征向量用于b p 神经网络的训练，得到 一个鲁槔性和容错性较强的分类器。实验结果表明采用p c a + l d a 与b p 神经网络相结 合的红外图像人脸识别方法能够达到较高的识别率。 关键词：红外人脸图像；主成分分析；g a b o r 小波交换；弹性束图匹配；b p 神经网络 红外图像人脸识别研究 r e s e a r c ho nf a c er e c o g n i t i o no f i n f r a r e di m a g e a b s t r a c t f a c er e c o g n i t i o no f i n f r a r e dh n a g ei sa t e c h n o l o g yo f i d e n t i f i c a t i o na n dc l a s s i f i c a t i o no n i n f r a r e df a c ei n l a g ew h i c hc o l l e c t e db yt h e r m a li n f r a r e di m a g i n gd e v i c eb yu s i n gt h em e t h o d s o fp a t t e r nr e c o g n i t i o n , i = r l a g ep r o c e s s i n g ，e t c t h et e c h n o l o g yo fi n f r a r e di m a g ef a c e r e c o g n i t i o ni sae x t e n s i o nt ot h ev i s i b l ei m a g ef a c er e c o g n i t i o mt h ef u s i o no fb o t hf a c e r e c o g n i t i o n sw i nb ea ni m p o r t a n td i r e c t i o no ff a c er e c o g n i t i o n b a s e do nt h ea n a l y s i so f c h a r a c t e r i s t i c so fi n f r a r e df a c ei m a g e ，s e v e r a lm e t h o d so fi n f r a r e di m a g ef a c er e c o g n i t i o nf i r e s t u d i e ds y s t e m a t i c a l l yi nt h i sp a p e r n ep r e p r o c e s s i n go fi n f l a t e df a c ei m a g ei sr e s e a r c h e d e y e sp o s i t i o ni sl o c a t e db y h a n d s g e o m e t r i cp r e p r o c e s s i n gi n c l u d i n gr o t a t i o n , d i p p i n ga n ds c a l i n g , g r e yv a l u e p r c p r o c e s s i n gi n c l u d i n gh i s t o g r a me q u a l i z a t i o na r ea d o p t e d t w om e t h o d so f i n f r a r e di m a g ef a c er e c o g n i t i o nb a s e do np r i n c i p a lc o m p o n e n ta n a l y s i s a n dl i n e a rd i s c r i m i n a ma n a l y s i si ss t u d i e d d i m e n s i o n a l i t yo ft h ei n 丘a r e df a c ei m a g e sa r e r e d u c e d , a n dt h ef e a t u r ev e c t o r sa 聆e x t r a c t e d t h ef e a t u r ev e c t o 培a r eu s e dt og e n e r a t i n ga c l a s s i f i e rw h i c hc a nm i n m i z ew i t h i n - c l a s ss o a r e ra n dm a x i m i z eb e t w e e n - c l a s ss c a r e r e x p e r i m e n t sd e m o n s t r a t et h a tt h i sc l a s s i f i e rc o ng e tah i 曲p e r f o r m a n c eo ni n f r a r e df a c e i n 啦 t h el a b e l e dg r a p hi su s e dt or e p r e s e n ti n f r a r e df a c ei m a g e ，e v e r yn o d eo ft h el a b e l e d g r a p hi sl a b e l e dw i t has e to ft w o - d i m e n s i o n a lg a b o rw a v e l e t st r a n s f o r mc o e f f i c i e n t sw b i c h d e s c r i b et h e1 0 c a lf a c i a lf e a t u r e ，a n dt h e s en o d e sl i ea tt h ef e a t u r ep o i mp o s i t i o n so ft h ef a c e i m a g ew h i c hi su s e f u lf o rr e c o g n i t i o n ；e v e r ye d g eo ft h el a b e l e dg r a p hi sl a b e l e dw i t hm e t r i c i n f o r m a t i o no nt h er e l a t i v ep o s i t i o no f t w oa d j a c e mn o d e s ，鲥ds t n i c t m _ et h a ti sc o m p o s e db y a l le d g e sd e s c r i b e st h eg e o m e t r i c a lf e a t u r eo ft h ew h o l ef a c e 1 1 塘e l a s t i cb u n c hg r a p h m a t c h i n ga l g o r i t h mm a t c h e st h ei n f r a r e df a c ei m a g et oaf a c eb u n c hg r a p hi no r d e rt oo b t a i n t h ep o s i t i o n so ft h ef e a t u r ep o i n t s ，t h e nt h et w o - d i m e n s i o n a lg a b o rw a v e l e t st r a n s f o r m c o e f f i c i e n t sa r ec o m p u t e da tt h ef e a t u r ep o i n t sa n dt h e s ec o e 伍c i e n t sa 托u s e df o rf a c e c l a s s i f i c a t i o na n dr e c o g n i t i o n t h r e e - l a yb pn e u r a ln e t w o r kw a sd e s i g n e db a s e do nt h ep r i n c i p l eo fn e u r a ln e t w o r k 1 1 始f e a t u r ev e c t o ro fi n f r a r e df a c ei m a g ei se x t r a c t e db yt h em e t h o do fp c a + l d a ，t h e f e a t u r ev e c t o ri su s e dt ot r a i n i n gb pn e u r a ln e t w o r k , a n dac l a s s i f i e rw i t hs t r o n gr o b u s ta n d f a u l tt o l e r a n c ec a nb eg e n e r a t e d n 地i n f l a t e df a c er e c o g n i t i o ne x p e r i m e n tw a sc o n d u c t e d w i t ht h ec l a s s i f i e ra n de x p e r i m e n t a lr e s u l t ss h o wt h a tt h em e t h o dc a ng e ta h i g hp e r f o r m a n 一i i 大连理工大学硕士学位论文 k e yw o r d s - i n f t a r e af a c ei m a g e ；p r i n c i p a lc o m p o n e n ta n a l y s i s ；o a b o rw a v e l e t st r a n s f o r m ； e l a s t i cb u n c hg r a p hm a t c h i n g ；b pn e u r a ln e t w o r k i i i 独创性说明 作者郑重声明：本硕士学位论文是我个人在导师指导下进行的研究工 作及取得研究成果尽我所知，除了文中特别加以标注和致谢的地方外， 论文中不包含其他人已经发表或撰写的研究成果，也不包含为获得大连理 工大学或者其他单位的学位或证书所使用过的材料。与我一同工作的同志 对本研究所做的贡献均已在论文中傲了明确的说明并表示了谢意。 作者签名：固竭 e t a l ：丝；：兰： 大连理工大学硕士研究生学位论文 大连理工大学学位论文版权使用授权书 本学位论文作者及指导教师完全了解“大连理工大学硕士、博士学位 论文版权使用规定”，同意大连理工大学保留并向国家有关部门或机构送 交学位论文的复印件和电子版，允许论文被查阅和借阅。本人授权大连理 工大学可以将本学位论文的全部或部分内容编入有关数据库进行检索，也 可采用影印、缩印或扫描等复制手段保存和汇编学位论文。 作者签名 ! 习丑望 翩魏j 奎衅 q 星年上月! 日 大连理工大学硕士学位论文 1绪论 f 1 红外图像人脸识别的研究背景和意义 生物识别技术是以计算机数据处理方式，按人体一个或多个生物部位的特征进行个 体识别的技术。其具体实现方式包括：指纹识别、掌纹识别、眼虹膜扫描、声音识别及 人脸识别等。其中，人脸识别以其方便、经济及准确两越来越受到世人灼瞩目。人脸识 别技术在高安全性部门的警戒、入口控制及计算机保密等领域有着广泛的应用价值，它 涉及计算机科学、模式识别、图像处理、计算机视觉、人工智能、心理学等学科【l 刁。 红外图像人脸识别是近年来生物识别技术研究的热点，是一具有广泛应用价值和挑 战性的课题。人脸识别问题的关键是识射系统能适应实际应用中千交万化的环境、适应 可变的人脸。在可见光人脸识别领域，人们为了解决这些变化的情况，研究了大量复杂 的算法，但仍远不能满足要求。例如在光照条件变化、人脸姿态变化、人脸表情、化妆、 照片欺诈等条件下就使得可见光图像人脸识别变锝非常困难。另一方藏，通过对红外人 脸图像成像机理的研究发现：红外人脸热图像是由人脸组织与结构如血管和血管分布等 的红外辐射决定的，它们如同指纹一样与人的基因结构有关，具有唯一性，且不受光照 条件等因素的影响人脸皮肤的热辐射系数与周围景物的热辐射系数有明显区别，所以 易与周围的景物区分开来。另外。红外成像具有抗干扰性强、独立于可见光源、防伪装、 防欺诈等优点，可在很大程度上弥补可见光人脸识别技术的不足】。从理论上来说， 红外图像人脸识别可以解决在光照条件变化、人脸伪装等情况下人脸识别困难的问题。 随着红外热像仪性份比的迅速提高，我们相信，在不久的将来，基于红外图像人脸 识别的身份认证技术将得以广泛的推广和应用。但同时我们也应该看到，目前红外图像 人脸识别的研究不够成熟，对许多影响红外国像人脸识别性能的因素我们还不是很清 楚。红外图像人脸识别也有其缺点，如红外线对玻璃的透射性较差，因而对戴眼镜的人 脸不好识别；红外图像人脸识别性能受环境温度变化藕图像采集时间误差的影响较大同 等等。因此在开展红外图像人脸识别研究工作时，很有必要对红外人脸图像的特性和影 响红外图像人脸识别性能的有关因素等进行深入的分析，以探讨和研究提高红外图像人 脸识别性能的有效途径和方法。另外，鉴于人脸识别的复杂性，任何一神人脸识别方法 都不可能是全能的，以及对任何情况和应用环境都最佳。所以有必要研究多种应用环境 下不同的红外图像人脸识别方法，这也是提高红外人脸识别系统性能的一个研究方向 1 5 川。 红外图像人脸识别研究 1 2 红外图像人脸识别概述 1 2 1 人脸识别简介 人脸识别研究已有很长的历史。尤其是近年来，关于人脸识别的研究取得了长足的 进步。目前已研究的人脸识别系统为两类，一种是可见光图像人脸识别，另一种则是红 外图像人脸识别。其中由于可见光图像容易获得，因此可见光图像人脸识别较为常见， 而红外图像入脸识别则研究得较少。 人脸识别系统包括两个主要环节( 如图1 1 所示) ：首先从输入图像中进行人脸检 测及定位，并将人脸从背景中分割出来；其次，对归一化的人脸图像进行特征提取和识 别。 i人脸图像 ! 当匹苎 臣芦 这两个环节相对独立。由于在某些特定的情况下( 如公安系统的罪犯认证) ，人脸 检测问题较为单纯，因而通常对人脸检测与定位的研究较少，而对特征提取和识别的研 究较为深入。归纳起来入脸特征提取与识别方法主要有以下几种【s - 2 5 】： ( 1 ) 基于几何特征的方法 采用几何特征对人脸正面图像的识别是通过提取人眼、鼻、口等重要特征点的位置 和几何形状作为分类特征 1 2 , 1 3 。动态模板法 1 3 - 1 6 是几何特征方法的一种改进，主要思想 是对各个器官分别设计一个能量函数，通过给定的初始参数值，对能量函数进行非线性 优化( 如l e n v e n b e r g m a r q u a r t ) 求使得能量函数最小的参数，从而确定了器官的参数化 几何模型。另外还有主动轮廓法( 也称作s n a k e ) 1 7 , 1 8 】。 ( 2 ) 主分量分析法 主分量分析( p r i n c i p l ec o m p o n e n ta n a l y s i s ，简称p c a ) 【1 9 】是在均方误差最小意义下 的最优线性正交变换，是模式识别领域常用的一种特征提取方法，该方法通过变量变换 保留高维数据空间中的主要特征信息即主分量，除去可能来自于噪声的次要分量，从而 大连理工大学硕士学位论文 达到降维的目的。主分量是通过k a r h u n e n l o e v e 变换( 简称k - l 变换) 求得。如果使 用p c a 提取面部的局部特征，就是局部p c a 法( l o c a lp c a ) 。 s i r o v i c h 和k i r b y ，1 2 0 】研究了通过k - l 变换来表示人脸图像的方法，并提出了特征图 的概念，结果表明任意一幅人脸图像可以通过特征图的加权合成来重建。t u r k 和p e l l d a n d 叫将主分量分析用于人脸检测和识别，并实验了光照、姿态、尺寸对识别的影响。p 础a n d 等人阱l 提出了在特征脸的基础上增加特征眼睛、特征鼻子和特征嘴巴，从而建立组合特 征空间的表示方法这样既描述了入脸的宏观特征，又兼颈了入脸的细节特征。结果表 明这种方法可以得到更加鲁棒的人脸表示和更高的识别率。主分量分析法是一种简单、 快速、实用的人脸识别方法，在许多评测中被用于作为比较的基准算法：但是，这种方 法在本质上依赖于训练集和测试集图像的灰度相关性，而且对尺度、光照，姿态等模式 变化比较敏感。 ( 3 ) 线性判别分析方法 由于主成分分析方法没有考虑到类内、类间的差异，因此并不能获得最好的分类效 果。线往判别分祈( l i n e a rd i s c r i m i n a n ta r 泣t y s i s ，简称l d a ) z 习方法能很好的弥补这个 缺点。该方法假定样本在空间线性可分，基本思想是使样本在所生成的子空间中类内离 散度最小，类间离散度最大，使样本更易于分类。 但是，应用线性判别分析法常常遇到的一个问题是样本的类内离散度矩阵通常是奇 异的，这是因为训练样本的数量大多远小于样本的维数，一种常用的方法是先通过k l 线性变换进行降维，再进行线性判别分析，这样可以保证类内离散度矩阵是非奇异的。 b e l h u m e u r 等人1 2 4 】的人脸识别实验结果表明线性判别分析法要优于主分量分析法。由于 主分量分析侧重于准确她表达原始模式特征，两线性判别分析侧重于反跌不同类模式之 间的差别，s w a t s 和w e n g 2 5 将主分量分析得到的特征称为“最有表现力的特征”，将 线性判别分析得到的特征称为“最有辨别力的特征”，结果表明：“最有辨别力的特征” 与训练图像的绝对次度值没有直接的关系，而是在很大程度上丢弃了与分类无关的因 素，如光照、表情交化等。通过对图像检索的实验表明，“最有辨勇d 力的特征”更有利 于分类。 “) 局部特征分析法 局部特征分析( l o c a f e a m r ea n 宙y s i s , 笱髂l f a ) 1 2 s - 1 0 】是在主分量分析的基础上发 展而来的，主分量分析能够大幅度降低图像模式的维数，但这种方法描述的是图像的全 局特征。局部特征分析将特征与位置关联起来利用统计得到的局都特征和它们的位置 来描述图像。局部特征分析的表示是稀疏分布的，具有较低的维数，这保留了主分量分 析的优点，另夕卜，局部特征分析与主分量分析其有相同的重构误差。局部特征分析作为 红外图像人脸识别研究 商业系统f a c e i t 的核心算法，在f r v t2 0 0 0 p 1 j 和f r v t 2 0 0 2 3 2 】的评测中均取得了最好的 成绩。 ( 5 ) 独立分量分析法 主成分分析和线性判别分析都是基于训练样本集的二阶统计信息，而忽略了高阶统 计信息。而图像的高阶统计信息有时对人脸识别来说也是非常有用的，比如高阶统计信 息包含了像素灰度值间的非线性信息，如边缘信息等。独立分量分析( i n d e p e n d e n t c o m p o n e n ta n a l y s i s ，简称i c a ) 是在所有阶统计意义下的去相关，从而使信号的二阶统 计和高阶统计信息都得到了有效的利用，并且从这个意义上来说，独立分量分析也是主 成分分析的一个推广。在像人脸识别这样的模式识别任务中，像素间的高阶信息包含了 很多有利于分类的信息，因此，1 c a 方法是一种有效的人脸识别方法。 b a r t l e t t 等人【3 3 j 4 】使用了i c a 方法进行了可见光人脸识别研究。并提出了两种提取 人脸图像独立分量的方法，均得到了较好的识别效果。 ( 6 ) 小波变换的方法 小波交换( w a v e l e tt r a n s l a t i o n ) 是一种时闻和频率的局域变换，通过伸缩、平移等运 算对图像作多尺度细化分析，可以有效地从图像中提取信息1 3 5 , 3 6 。其作用原理是使用一 系列不同带宽的滤波函数对图像进行滤波。小波变换中，将图像“主信息”映射成低频 分量，将噪音和细节映射成高频分量，通过对高频分量的舍弃和对低频分量的分析实现 降维和图像滤波。同时过滤掉人脸的表情因素，可以提高识别精度。小波变换的优点是 能同时在时域和频域描述人脸的局部信息，并能逐步聚焦到分析对象的任何细节。同时 对细微的表情不敏感，可以在一定程度上容忍光线和角度的干扰。还可以考虑人脸的局 部细节，保留人脸的空间信息。国内外应用该方法取得了众多的研究成果。 ( 7 ) 弹性图匹配的方法 弹性图匹配饵l a s t i cb u n c hg r a p hm a t c h i n g ，简称e b g m ) 方法采用网格作为模板，将 图像间的比较变为网格问的比较。文献 3 7 1 使用一种基于动态链接结构的弹性匹配法来 定位人脸，并根据人脸数据库进行匹配识别。将人脸用格状的稀疏图形描述，图中的节 点用图像位置的g a b o r 小波分解得到的特征向量标记，记录人脸在该顶点位置的分布信 息，图的边用连接节点的距离向量标记，表示拓扑连接关系。匹配时，首先寻找与输入 图像的最相似的模型图，再对图中的每个节点位置进行最佳匹配，寻找最近的己知图形。 弹性匹配方法提取了人脸图像的局部特征，保留了人脸图像的空间信息，可以在一 定程度上容忍人脸从三维到二维投影引起的变形。因此，对人脸变形和光照变化等具有 较好的适应性，整体识别性能优于特征脸法。但是计算量大，识别速度慢。 一4 一 大连理t 大学硕士学位论文 ( 8 ) 人工神经网络的方法 人工神经网络( a r t i f i c i a ln e u r a ln e t w o r k s ，简称a n n ) p g - 4 0 是以对大脑的生理研究成 果为基础，用机器来模拟大脑的某些机理与机制，实现某方面功能的方法，具有强大的 非线性逼近能力，它既是特征提取器，又是分类器。 神经网络中的神经元是人类大脑神经单元的简化，神经网络以这些具有非线性映射 能力的神经元为节点，神经元之间通过加权系数连接。目前比较有代表性的方法有：b p 神经网络、混合型神经网络、卷积神经网络、基于概率决策的神经网络，主元神经网络 等。与前几类方法比起来，由于对人脸识别的许多规律或规则进行显性的描述相当困难， 而神经网络方法则可以通过学习的过程获得对这些规律和规则的隐性表达，因此它的适 应性更强，一般也比较客易实现。 1 2 2 红外图像人脸识别的研究状况 人眼仅能看到很狭窄的一段波长的电磁辐射，称为可见光谱。而对于波长在0 4 u m 以下或o 7 u m 以上的辐射，人眼则无能为力了。人跟看不到红外辐射，但在整个电磁波 段上，可见光和红外光两个波段都适合于人脸识剔成像。它们既能够保证恰当的成像分 辨率，又对人没有危害。 上文提到的人脸识别技术主要是在可见光下进行的研究，红外图像用于人脸识别是 上世纪九十年代才提出的一种研究思路，其提出的背景是可见光图像人脸识别存在一些 固有的缺陷，如对光照变化、化妆、头的位置等，因而缺乏一定的鲁棒性。这些局限性， 正好又是红外图像人脸识别所能避免的。 迄今为止，已发表的有关红外图像人脸识别的研究成果仍然较少，主要有以下一些 研究成果； 1 9 9 2 年美国专利中( 专利号u sp a t e n t5 ，1 6 3 ，0 9 4 ) 有一个红外图像人脸识别系统 ( t e c h n o l o g yr e c o g n i t i o ns y s t e m ) ，它是以简单的直方图和模板匹配技术为基础的，据 称达到非常高的准确性，甚至可以将一对双胞胎分辨出来然而没有实验结果发表 1 9 9 6 年由美国d o d ( d e p a r t m e n to f d e f e n s e ) 发起的人脸识别计划( f e r e t ) 中， j o s e p hw i l d e r m 等人研究了可见光图像人脸识别与红外图像人脸识别的区别，并给出了 初步结果。他们的初衷是想证明是否可以通过红外图像代替可见光图像进行人脸识别， 就能得到一个稳健、实用的认证系统。为了表明可见光图像与红孙图像人脸识别的比较 结果独立于特定的处理过程，该实验分别利用了三种有显著区别的算法：灰度投影法、 特征脸法和追赶滤波匹配法来进行识别。结果显示，灰度投影法对红外人脸图像性能较 好，而另外两种算法贝h 对可见光圈像性能较好。并且，在只对脸的特征进行处理时。可 红外图像人脸识别研究 见光图像的性能要优于红外图像，而在对眼的特征进行处理时，红外图像的性能优于可 见光图像。然而，由于所用的识别方法均未经优化，所以得到的比较结果并未成定论。 1 9 9 6 年在r o s sc u r l e r 发表的文章中【4 1 1 ，利用特征脸的方法对红外人脸图像进行识 别，该数据库是2 8 人的总共2 8 8 幅图像，其中对正面图像的识别率是9 6 ，4 5 度角的 图像识别率是9 6 ，侧面图像的识别率是1 0 0 。该实验中，图像分辨率为1 6 0x1 2 0 ， 即使在这样的低分辨率下，识别结果仍比可见光图像的识别结果要好。该实验还发现， 通过对可见光图像与红外图像识别结果的等值加权融舍得到的结果，使得识别率有较大 的提高，为9 8 哆扣1 0 0 ( 针对不同的策略) 。可见，融合技术是。个实际可行的方法。 另外，在a n p e a r s 等发表的文章“a p a r a l l e l a p p r o a c h t o f a c e r e c o g n i t i o n u s i n g i r i m a g e s ”中嗍，也提出了红外图像与可见光图像融合的思想，其目的是对眼部等重要器 官区域中的像素密度进行归一化，以消除由光照因索引起的虚假边缘。在较理想的情况 下，几种算法都得到较高的识别率。 近几年来，在一些刊物和学术会议也有研究红外图像人脸识别的成果和文章发表， 如基于小波域统计模型的红外图像人脸识别等方法【4 3 , 4 4 1 。 1 2 3 红外图像人脸识别的特点 人脸皮肤在红外光谱段，特别是在中波红# b ( m w m ，波长3 5 u r n ) 和长波红外 ( l w m ，波长8 1 2 u m ) 这两个谱段能够吸收大量的入射能量，具有很高的发射率。不仅 如此，红外人脸图像还有许多不同予可见光人脸图像的特性。正是由于红外成像与可见 光成像的不同机理以及红外人脸图像的这些特性，使得红外图像人脸识别与可见光人脸 识别相比具有其本身的一些特点。下面我们从红外人脸图像中可用于人脸识别的主要特 征，红外图像人脸识别的优势，红外图像人脸识别的难点及解决途经等几个方面论述红 外图像人脸识别的特点： ( 1 ) 红外人脸图像中可用于人脸识别的主要特征 我们知道每个人脸的组成成分和分布( 如人脸中的血管及其分布) 都是唯一的，就 象人的指纹等生物特征一样，即使是双胞胎也不会相同，这样一来通过红外成像设备产 生的每个人脸的红外图像也将是唯一的。 红外图像人脸识别就是通过提取红外人脸图像中人脸的相关特征进行鉴别从而达 到人脸识别的目的。从解剖学的角度出发，可确定人脸皮肤的组织结构( 如人脸血管的 分布及形状特征等) 是进行人脸识别的主要特征，但这些特征在通过各个红外波段的红 外探测仪器成像后，形成的红外人脸图像具有什么特性以及人脸皮肤的光学和热学特性 对其成像的影响，都直接关系到进行红外图像人脸特征提取和识别时方法的选择。只有 一6 一 大连理工大学硕士学位论文 采用适合这些特性的合理技术途径，才能设计出性能优良的红外图像人脸识别方法和系 统。 不同的人脸具有不同的人脸组织分布，从细节上来说不同人脸在相同的环境下也有 不同的温度分布和红外辐射。温度敏感度较高( 1 ( j = 矧：y ) 时，在该方向上的图像被放大：当0 1 ( i = 柏劬时，在该方上的图像 被缩小。放缩变换公式可以表示为： 00 1 【础，1 】= k v ，1 】l0 0 l ( 2 2 ) 【0 0 1 j 公式( 2 2 ) 表示将u v 平面上的点在水平方向上以0 、在垂直方向上以l 进行放缩 变换t 其中，( u ，v ) 表示放缩之前的图像中的像素坐标，( x ，y ) 表示放缩之后的图像 中的像素坐标，和0 分别表示水平方向上和垂直方向上的放缩比例。在实际的红外人 脸图像放缩变换中水平方向和垂直方向上的缩放比例是一致的，都为标准红外人脸图像 两眼问的距离与原红外入脸图像两眼问的距离的比值。 根据以上的旋转和放缩变换，可以将所有的红外人脸图像变换为两眼在同一条水平 线上，两眼间的距离大小一致的图像。 2 2 。3 图像裁剪 在对红外人脸图像进行旋转、放缩变换之后，就可以根据眼睛坐标的位置对红外人 脸图像进行裁剪，把入脸区域从背景图像中分割出来，作为单独的一幅红外人脸图像进 行处理。这样可以去除图像背景的影响，从而只对人脸区域进行分析、计算。 对于已知眼睛坐标的人脸图像，不同的研究者采取了不同的分割方法来获取人脸部 分图像。采用椭圆模板来覆盖人脸 4 0 3 ，从而去除背景信息的方法是一种比较合理的方法。 但这种方法要动态的计算椭圆的大小和形状，实现起来比较费时，同时计算机中图像的 格式都是矩形的，所以采用椭圆模板将要存储一些不必要的信息，增加计算置。因此这 红外图像人脸识g u 研究 里使用另一种比较流行的分割方法【4 7 棚。该方法的分割比例如图2 2 所示。该方法设两 眼间的水平距离为d ，垂壹方向上，向上取0 5 d ，向下取1 5 d ；水平方向上，以两眼连 线中点为基准，左右各取d 长度。 倍冷 l o l 。 1 - did 一- 1 卜_ 一 图2 2 红外人脸图像剪切比例示意圈 f i g 2 2 s k e t c hm a pf o ri n f r a r e df a c ei m a g e c l i p p i n gs c a l e 这个模型的裁剪比例可以有效的去除头发、颈部的一些干扰，并且合理的分割出了 人脸区域。这一区域包含了眼睛、鼻子、嘴巴和人脸外轮廓等人脸特征，所以用于人脸 识别可以达到很好的识别效果。 2 2 4 灰度级插值 图像经过空间变换以后，交换后图像的一些像素对应于变换前图像上非整数坐标的 位置，使得变换后的图像往往会出现某些像素挤压在一起或分散开的现象。因此在对图 像进行空间变换时通常采用插值的方法求出对应于非整数坐标值的像素的灰度值。常用 的插值方法包括：最近邻插值和双线形插值。 ( 1 ) 最近邻插值 最近邻插值是一种最简单的插值方法，该方法插值输出的像素灰度值是输入图像中 与其最邻近的像素的灰度值。最近邻插值的运算量非常小，但缺点是变换后图像的灰度 值有明显的不连续性，能够放大图像的高频部分，产生明显的块状效应。 ( 2 ) 双线性插值 大连理工大学硕士学位论文 双线性插值的输出像素的灰度值是利用该像素在输入图像中2 x 2 邻域上四个相邻 像素的灰度值在水平方向和垂直方向上作线性插值得到的。 设，( 善，y ) 是以x 和y 为变量的函数，且其在单位正方形硬点的值已知。通过下面的 双线性插值方程可以得到正方形内任意一点的函数值： ，( x ，y - - a x + b y + c x y + d 式中，4 ，6 ，c ，d 四个参数的值由已知得正方形的四个顶点的函数值确定。 所示，插值计算通过三个步骤实现： 图2 3 双线性插值 f i g 2 3b i l i n o a ri n t e r p o l a t i o n 百先对上端的两个顶点进行插值计算： ，( ，o ) = 厂( o ，o ) + x ，( 1 ，o ) 一f ( o ，o ) 然后，对底端的两个顶点进行插值计算： ，( x ，1 ) = ，( o ，1 ) + x ( 1 ，0 - ：( o ，1 ) 最后，做垂直方向的线性插值： ，( 而力= ，( 而o ) + y ( ，1 ) 一仁o ) 一1 5 u ( 2 3 ) 如图2 3 ( 2 4 ) ( 2 5 ) ( 2 。6 ) 红外图像睑识别研究 由式( 2 4 ) 、式( 2 5 ) 、式( 2 6 ) 可得： 厂( 毛y ) = ，( 1 ，o ) 一，( o ，o ) x + 厂( o 1 ) 一厂( o o ) y ，。7 、 + 厂( i ，1 ) + 厂( o ，o ) 一，( o ，l 卜，( 1 ，o ) 砂+ ，( o ，o ) ” 该方法计算量比最近邻域插值算法大，但变换后图像的灰度值没有明显的不连续 性。同时，该方法具有低通滤波的性质，会使高频分量受损，使图像轮廓变得模糊。图 2 。4 为一幅原始红外人脸图像经图像旋转，放缩和裁剪等几何预处理示例： ( a ) 原始红外图像( b ) 图像旋转( c ) 放缩并裁剪 图2 4 红外人脸图像的几何预处理 f i g 2 4 o e o m c t r i cn o r m a l i z a t i o no f i n f r a r e df a c ei m a g e 2 3 红外人脸图像的灰度预处理 红外人脸图像经过几何预处理以后，虽然在几何空间上达到了一致，但在不同的条 件( 如温度、采集时问延迟、传感器类型等) 下采集的红外人脸图像数据灰度变化较大， 而且同一个人的红外人脸图像也会因拍摄条件的不同而表现出很大的差别。为了消除温 度等噪声的影响，红外人脸图像在经过几何预处理之后还要进行灰度预处理，以最大程 度地消除温度等噪声的影响。 本文使用了直方图均衡化法来对红外人脸图像进行灰度预处理。图像的灰度直方图 是一个关于图像灰度值的离散函数，描述的是图像中具有该灰度值的像素的个数，其横 坐标表示像素的灰度级别，纵坐标是该灰度级出现的频率( 像素个数) 。直方图均衡化 ( h i s t o g r a me q u a l i z a t i o n ) 也称灰度均衡化，目的是通过点运算使输入图像转换为在每 一灰度级上都有相同的像素点数的输出图像( 即输出图像的直方图是平的) 嗍。通过直 方图均衡化，把给定图像的直方图分布改变为均匀分布的直方图，增加了图像的对比度。 对比度比较小的图像，其灰度直方图的分布集中在某一较小的范围内，经过直方图均衡 大连理工大学硕士学位论文 化处理以后，图像的所有灰度级出现的概率相同，此时图像的熵最大，图像包含的信息 量最大。灰度直方图是图像的重要统计特征，被认为是图像灰度概率密度函数的近似。 一幅灰度图像中灰度级出现的概率为： b ( ) = 鲁 ( 2 8 ) 其中，| ； ；o ，1 ，l - i ，三为图像中可能的灰度级总数，玎是图像中像素总数，埤是 灰度级为的像素数。这里的b ( ) 代表原始图像第七个灰度级出现的概率。以吒为自 变量，以p ，“) 为函数得到的曲线就是灰度图像直方图。下面的函数将输入图像中灰度 级为t 豹像素映射到输出图像中灰度级为& 的像素上： = r “) = 妻p ，( 。) = j 囊- o j - o 皇 = r “) = 研n ) = ! m ( 2 9 ) 式中，k ；o ，i ，l - 1 ，函数r “) 满足单调递增且o r “) 1 。 为了对变换后的值四舍五入，以按下式计算： & = i n t l ( l - 1 ) s + o 5i ( 2 1 0 ) 图2 5 所示为直方图均衡化示例，其中横坐标为灰度级，纵坐标为像素数。图2 5 ( a ) 和( c ) 为同一对象的两张不同红外人脸图像及其直方图，从中可以看出两张原始 图像的灰度分布范围差别很大，图2 5 ( b ) 和( d ) 为它们经直方图均衡化处理后的红 外人脸图像及其直方图。从中可以看出经直方图均衡化处理后，两张图像的灰度分布变 得非常相似。本文用直方图均衡化方法有效的消除了噪声对热红外图像灰度分布的影 响。 红外图像人脸识别研究 ( a ) 原始图像1 及其直方图( b ) 均衡化图像l 及其直方图 ( c ) 原始图像2 及其直方图( d ) 均衡化图像2 及其直方图 图2 5 红外人脸图像的直方图均衡化 f i g 2 5h i s t o g r a me q u a l i z a t i o no f i n f r a r e df a c ei l i l a g e 2 4 本章小结 本章介绍了红外图像人脸识别之前对红外人脸图像进行的预处理方法。首先进行几 何预处理，通过手动定位眼睛坐标，对红外人脸图像进行旋转、放缩和裁剪变换，为了 消除变换后图像出现的某些像素挤压在一起或分散开来的现象，使用了双线性插值方 法。然后使用直方图均衡化方法对红外人脸图像进行了灰度预处理，有效的消除了噪声 对红外人脸图像灰度分布的影响。论文后面章节所进行的实验都是在本章预处理的基础 上进行的。 大连理工大学硕士学位论文 3 基于p c a + l d a 的红外图像人脸识别 一辐图像可以看作一个由像素值组成的矩阵，也可以扩展开，看成一个矢量，如一 幅n x n 像素的图像可以视为长度为2 的矢量，这样就认为这幅图像是位于2 维空间 中，这种图像的矢量表示就是原始的图像空间，但是这个空间仅是可以表示或者检测图 像的许多个空间中的一个。不管子空间的具体形式如何，这种方法用于图像识别的基本 思想都是一样的，首先选择一个合适的子空间。图像将被投影到这个子空间上，然后利 用对图像的这种投影间的某种度量来确定图像间的相似度，最常见的就是各种距离度 量。 这章中我们主要介绍基于子空闯的红外图像入脸识别方法，主成分分析( p r i n c i p a l c o m p o n e n ta n a l y s i s ，简称p c a ) 和线性鉴别分析( l m e 甜d i s c r i m i n a n ta n a l y s i s ，简称 l d a ) ，并给出了它们的数学来源和详细算法。 3 。1 p c a 红外人脸识别方法 3 1 1k - l 变换原理 p c a 方法是由t u r k 和p e n t l a d 提出来的，它的基础就是k a r h u n e n - l o e v e 变换( 简称 k - l 变换) ，是一种常用的正交交换。下面我们首先对k l 交换作一个简单介绍5 n 。 假设z 为聍维的随机变量，石可以用一个基向量的加权和来表示： 石= 谚 ( 3 1 ) 式中；q 为加权系数，旃为基向量，此式还可以用矩阵的形式表示： z = ( 破，唬，纯) ( q ，口：，) 7 = 舡 ( 3 2 ) 其中， 妒= 翰，唬，戎) ，口= ( q ，) 1 ( 3 3 ) 我们取基向量为正交向量，即 识谚= 嚣z ( 3 4 ， 由正交向量构成，所以矽是正交矩阵，即 矿痧= j ( 3 5 ) 将公式 3 2 ) 两边左乘矿，并考虑到为芷交矩阵，得 红外图像人脸识别研究 口= 彩7 x 口i = 嘏x ( 3 6 ) ( 3 7 ) 我们希望向量口的各个向量问互不相关。那么如何保证口的各个分量互不相关呢? 这取决于选取什么样的正交向量集能 了a 设随机向量的总体自相关矩阵为 r = e x 7 x ( 3 8 ) 将( 3 2 ) 代入上式( 3 8 ) ，得 r = e x 7 r = 占 口锨7 痧7 = 痧e 口口7 ( 3 9 ) 我们要求向量口得各个分量间互不相关，即满足下列关系 e 啊球篙 c s 写成矩阵的形式是： 则 将上式两边右乘矽，得 0 0 五 因为痧是正交矩阵，所以得 r = 挑矿 盂矿= 谚八r 矿 剐= 杈 = a 置力= 乃谚( ，= l ，2 ，