（教育技术学专业论文）基于统计特征的人脸识别系统设计与实现.pdf

、， 硕士擘位论文 m a s t e r st h e s i s | | i i l ii ll l li ii i iu i y 18 9 7 7 7 2 t h e d e s i g n a n d i m p l e m e n t a t i o n o ff a c e r e c o g n i t i o ns y s t e m b a s e do ns t a t i s t i cf e a t u r e s at h e s i s s u b m i t t e di np a r t i a lf u l f i l l m e n to ft h er e q u i r e m e n t fo rt h em a d e g r e ei ne d u c a t i o nt e c h n o l o g y b y z h a oq i a n q i a n p o s t g r a d u a t ep r o g r a m n a t i o n a le n g i n e e r i n gr e s e a r c hc e n t e rf o r e l e a r n i n g c e n t r a lc h i n an o r m a lu n i v e r s i t y s u p e r v i s o r ：z h a og a n g a c a d e m i ct i t l e ：a s s o c i a t ep r o f e s s o r s i g n a t u r e a p p r o v e d m a y 2 0 11 ： 硕士学位论文 m a s t e r st h e s i s 华中师范大学学位论文原创性声明和使用授权说明 原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师指导下，独立进行研究工作 所取得的研究成果。除文中已经标明引用的内容外，本论文不包含任何其他个人或 集体已经发表或撰写过的研究成果。对本文的研究做出贡献的个人和集体，均已在 文中以明确方式标明。本声明的法律结果由本人承担。 作者签名：赵债倩 日期：2 0 l j 年多月3 7 日 学位论文版权使用授权书 学位论文作者完全了解华中师范大学有关保留、使用学位论文的规定，即：研 究生在校攻读学位期间论文工作的知识产权单位属华中师范大学。学校有权保留并 向国家有关部门或机构送交论文的复印件和电子版，允许学位论文被查阅和借阅； 学校可以公布学位论文的全部或部分内容，可以允许采用影印、缩印或其它复制手 段保存、汇编学位论文。( 保密的学位论文在解密后遵守此规定) 保密论文注释：本学位论文属于保密，在年解密后适用本授权书。 非保密论文注释：本学位论文不属于保密范围，适用本授权书。 作者签名：赵情倩 日期：力l | 年多月；1 日 导师签名劬叼 导师签名：够r7 日期：叫阵 月了日 本人已经认真阅读“c a l i s 高校学位论文全文数据库发布章程 ，同意将本人的 学位论文提交“c a l i s 高校学位论文全文数据库 中全文发布，并可按“章程”中的 规定享受相关权益。圃意途塞堡銮蜃澄卮；旦圭生；旦二生；& 竺生筮查! 作者签名：起倩倩 日期1 1 年多月；1 日 导师签名： 川 日期：纠1 年y 月3 日 ： ： 硕士学位论文 m a s t e r st h e s i $ 摘要 人脸识别系统是先从视频序列或一幅图像中检测出其中的人脸区域，然后提取 它的特征，再通过匹配算法与人脸库中已有模型进行匹配来得出识别结果。人脸识 别系统的应用效果主要受人脸特征提取方法与分类方法的影响，本文采用基于统计 特征提取与隐马尔可夫模型建模的人脸识别方法，来设计与实现一个基于视频序列 的人脸识别系统。具体而言，就是先对人脸图像做分块离散余弦变换d c t ，再对变 换系数矩阵作主成分分析p c a ，得到的特征向量作为隐马尔可夫模型h m m 训练的 观察向量。采用这种人脸识别方法有以下优点：第一，这种统计特征提取方法是为 了降低图像的冗余以便提高特征的提取速度；第二，隐马尔可夫模型h m m 有对人 脸精确建模的特点，可以保证识别的高精度；第三，基于h m m 的人脸识别方法采 用的是人脸二维统计特征，对光线、姿态、遮挡物的变化有较强的鲁棒性；最后， 人脸库样本与其模型一一对应，人脸库的添加删除操作较容易，易于维护。 本课题中所研究设计的人脸识别系统在前期进行人脸图像的采集与训练以建 立一个人脸库，在识别时用来与某个人脸图像进行匹配。系统对于输入背景静止的 一段视频序列，采用帧差分法提取其中的运动人体；然后使用a d a b o o s t 算法检测出 人脸的区域，并对此区域进行一系列的预处理操作，包括滤波去噪、二值化等；再 对人脸区域进行分块离散余弦变换，将变换后的系数矩阵作主成分分析，得到特征 向量，即进行了人脸统计特征提取；将提取的特征作为隐马尔可夫模型h m m 的观 察序列；最后将所得的观察序列与库中的人脸h m m 模型进行匹配，即识别，从而 实现一个基于视频序列的人脸识别系统。另外还对系统的识别效果进行测试，先使 用标准库o r l 与自建库来测试系统识别模块的识别率，即以静止图像为输入进行 识别，以比较d c t 与d c t + p c a 两种特征提取法的识别效果；再以视频序列作为 输入，用自建库来测试系统的应用效果。实验表明，该方法在一定场合能够有效地 分割出视频序列中的运动人体并检测出其中的人脸区域，当人脸库采集所用摄像头 与最终应用时的摄像头相同时，或其分辨率高于训练样本采集时的分辨率时能有效 识别人脸，一方面初步实现了实验室的人脸识别功能，另一方面从长远来看也为人 机智能交互、视频监控与身份认证等提供了应用基础。 关键词：视频序列；离散余弦变换d c t ；主成分分析p c a ；统计特征提取；隐马 尔可夫模型h m m ；人脸识别系统 ： 硕士学位论欠 m a s t e r st h e s i s a b s t r a c t n ef a c er e c o g n i t i o ns y s t e mg e n e r a l l yw o r k sa sf o l l o w s ：i ts t a r t sw i t hd e t e c t i n gt h e f a c er e g i o nf r o mv i d e os e q u e n c e so ras t a t i ci m a g e ，a n dt h e ne x t r a c t sf a c i a lf e a t u r e si n t h eo b t a i n e dr e g i o n t h ef a c ei m a g ei sw a t c h e di nc o m p a r i n gt ot h ef a c em o d e li nt h e d a t a b a s et h r o u g h 也ef a c er e c o g n i t i o na l g o r i t h m t h ep e r f o r m a n c eo ff a c er e c o g n i t i o n s y s t e mi sa f f e c t e db yt h ef a c t o r ss u c ha sf a c i a lf e a t u r ee x t r a c t i o nm e t h o d f a c em o d e l i n g a n dc l a s s i f i c a t i o nm e t h o d i nt h i st h e s i s i td e s i g n e da n di m p l e m e n t e daf a c er e c o g n i t i o n s y s t e m st ov i d e os e q u e n c e sb a s e do ns t a t i s t i c a lf e a t u r ee x t r a c t i o na n dh i d d e nm a r k o v m o d e l i n ga p p r o a c h i np a r t i c u l a r f a c ei m a g ew o u l db eb l o c k e dt od i s c r e t ec o s i n e t r a n s f o 册d c ta tf i r s t a n dt h e nt h et r a n s f o r i l lc o e 衢c i e n tm a t r i xc o u l db ed o n ep r i n c i p a l c o m p o n e n ta n a l y s i sp e at oo b t a i nt h e f e a t u r ev e c t o r sw h i c hw o u l db eu s e da st h e o b s e r v a t i o nv e c t o r si nt h et r a i n i n go fh i d d e nm a r k o vm o d e lh m m u s i n gt h i s r e c o g n i t i o nm e t h o dh a s t h ef o l l o w i n ga d v a n t a g e s ：f i r s t l y t h ef e a t u r ee x t r a c t i o nm e t h o di s t or e d u c er e d u n d a n c yi no r d e rt oi m p r o v et h ei m a g ef e a t u r ee x t r a c t i o ns p e e d s e c o n d l y ， t h eh i d d e nm a r k o vm o d e lh m mw h i c hm o d e l st h eh u m a nf a c ea c c u r a t l yc o u l de n s u r e t h ei d e n t i f i c a t i o na c c u r a c y m r d l y h m mf a c er e c o g n i t i o nm e t h o di sr o b u s tt ot h e c h a n g e so fl i g h t ，g e s t u r e ，b l o c k i n gm a t e r i a ld u et ou s i n gt h et w o - d i m e n s i o n a ls t a t i s t i c a l f e a t u r e so ft h ef a c e f i n a l l y ，t h ef a c ed a t a b a s ei se a s yt om a i n t a i nw h i c ht h e f a c e s c o r r e s p o n dw i t ht h es a m p l em o d e ls ot h a tt h ea d d r e m o v eo p e r a t i o ni se a s i e r 砸st h e s i sr e s e a r c h e da n dd e s i g n e daf a c er e c o g n i t i o ns y s t e m a tf i r s th ef a c e i m a g e ss h o u l db ec o l l e c t e da n dt r a i n e dt oc r e a t eaf a c ed a t a b a s ea tf i r s t t h ed a t a b a s ei s u s e di ni d e n t i f y i n gi n d i v i d u a l st om a t c hf a c ei m a g e s w ee n t e rav i d e os e q u e n c e sw i t ht h e s t a t i cb a c k g r o u n d ，a n de x t r a c tt h em o v e m e n th u m a nb o d vu s i n gt h ef r a m ed i f f e r e n c e m e t h o d a n dt h e nw ed e t e c tt h ef a c er e g i o nb yt h ea d a b o o s ta l g o r i t h m ，a n dd oas e r i e so f p r e p r o c e s s i n go p e r a t i o n s ，i n c l u d i n gf i l t e r i n gn o i s er e m o v a l ，b i n a r i z a t i o n ，t ot h i sa r e a b l o c kt h ef a c ei m a g et od i s c r e t ec o s i n et r a n s f o 肋d c ta tf i r s t , a n dt h e nd op r i n c i p a l c o m p o n e n ta n a l y s i sp c a t ot h et r a n s f o r i l lc o e f f i c i e n tm a t r i xt oo b t a i nt h ef e a t u r ev e c t o r s n a m e l y ，h u m a nf a c i a lf e a t u r ee x t r a c t i o n t h ee x t r a c t e df e a t u r e s a r eu s e da s t h e o b s e r v a t i o ns e q u e n c eo fh i d d e nm a r k o vm o d e lh m m ，a n dt h eo b s e r v a t i o ns e q u e n c ei s m a t c h e dw i t ht h ef a c eh m mm o d e li nt h el i b r a r y t h a ti sr e c o 嘶t i o n s oaf a c e r e c o g n i t i o ns y s t e mb a s e do nv i d e os e q u e n c e si sa c h i e v e d o i 也a n df a c ed a t a b a s e e s t a b l i s h e da r eu e s dt ot e s tt h er e c o g n i t i o nm o d u l eo ft h es y s t e m ，t h a ti s ，f e a t u r e e x t r a c t i o ni nd c ta n dd c t + p c aa r ec o n t r a s t e da tt h ei n p u to fs t a t i ci m g e t h e nw e i n p u tt h ev i d e os e q u e n c e st of i n dt h ea p p l i c a t i o ne f f e c to ft h es y s t e mi nt h ec a s eo f e s t a b l i s h e dd a t a b a s e e x p e r i m e n t ss h o wt h a tt h em e t h o dc o u l de f f e c t i v e l ys e g m e n tt h e h u m a nb o d yf r o mt h ev i d e os e q u e n c e sa n dd e t e c tt h ef a c er e g i o nt os o m ee x t e n t i tw o u l d i l r e c o g n i z et h ef a c e sw h e n t h ef i n a la p p l i c a t i o nu s e dt h es a m ec a m e r aw i t hw h i c hu s e di n t h ef a c ed a t a b a s ea c q u i s i t i o n ，o rt h er e s o l u t i o ni sh i g h e rt h a nt h er e s o l u t i o no ft h es a m p l e c o l l e c t i o n o nt h eo n eh a n dt h es y s t e mr e a l i z e df a c er e c o g n i t i o ni nt h et h el a b o r a t o r y i n i t i a l l y ，o nt h eo t h e rh a n di tw o u l dp r o v i d ea p p l i c a t i o nb a s ef o rt h eh u m a n - m a c h i n e i n t e l l i g e n c ei n t e r a c t i o n , v i d e os u r v e i l l a n c ea n di d e n t i t ya u t h e n t i c a t i o ni nt h el o n gr u n k e y w o r d s ：v i d e os e q u e n c e s ；d i s c r e t ec o s i n e t r a n s f o r md c t ；p r i n c i p a lc o m p o n e n t a n a l y s i sp c a ；s t a t i s t i c a l f e a t u r ee x t r a c t i o n ；h i d d e nm a r k o vm o d e lh m m ；f a c e r e c o g n i t i o ns y s t e m i i i ： 硕士学位论文 m a s t e r st h e s i s 摘要 a b s t r a e t 目录 第一章绪论 i i 1 1 1 本文的背景1 1 1 1 人脸识别技术的研究历程与难点1 1 1 2 视频序列中人脸识别技术应用与研究的现状2 1 2 本文的主要工作与组织结构5 1 2 1 本文的主要工作。6 1 2 2 本文的重难点与解决方案7 1 2 3 本文的内容组织与安排7 第二章人脸识别相关理论基础9 2 1 认知心理学9 2 2 关于离散余弦变换d c t 与主成分分析p c a 10 2 3 模式识别1 0 2 3 1 样本训练与数据存储1 0 2 3 2 分类决策1l 2 4 本章小结1 1 第三章视频序列中人脸识别系统设计 3 1 系统整体设计1 2 3 2 系统各结构模块设计1 4 3 2 1 视频序列采集与存储模块1 5 3 2 2 人脸库管理模块1 6 3 2 3 运动人体目标检测模块1 6 3 2 4 图像预处理模块17 3 2 5 人脸检测定位模块17 3 2 6 人脸识别模块17 3 3 本章小结l8 第四章基于统计特征的人脸识别算法研究与设计 1 9 4 1 基于帧差法的运动人体目标检测1 9 4 2a d a b o o s t 人脸检测19 硕士学位论文 m a s t e r st h e s i s 4 3 分块d c t 变换与p c a 特征提取2 0 4 3 1 分块d c t 变换2 0 4 3 2p c a 特征提取2l 4 4h m m 模式识别2 2 4 4 1 人脸h m m 定义2 2 4 4 2 观察序列的生成2 3 4 4 3 人脸隐马尔可夫模型的训练2 4 4 4 4 人脸识别2 5 4 5 本章小结2 5 第五章人脸识别系统的实现与效果测试 2 6 5 1 系统开发环境2 7 5 2 系统各模块的实现2 7 5 2 1 视频序列采集模块2 7 5 2 2 局部预处理模块2 8 5 2 3 人脸库建立3 0 5 2 4 视频序列中运动人体目标检测模块3 2 5 2 5 人脸区域定位模块3 4 5 2 6 人脸特征提取与识别模块3 4 5 3 系统应用实例3 7 5 3 1 系统主界面3 7 5 3 2 人脸库管理3 7 5 3 3 前期检测及定位过程3 9 5 3 4 特征提取与识别过程4 1 5 4 系统测试与评价4 4 5 4 1 测试结果与分析4 5 5 4 2 改进之处与适用范围4 6 5 5 本章小结4 7 第六章总结与展望 6 1 本文的主要工作与技术特色4 8 6 2 本文存在的不足与展望4 8 参考文献。 致谢 硕士擘位论文 m a s t e r st i - 1 e s i s 第一章绪论 1 1 本文的背景 人脸识别( f a c e r e c o g n i t i o n ) 属于生物识别技术，它通过检测与比对人脸图像 来达到识别目的。人脸图像由于年龄、姿态、表情、光照等因素具有一人多面的特 点，因而人脸识别技术具有极大的挑战性。在国家安全、金融、公安、司法、民政、 海关以及安防等领域都需要人脸识别相关技术与产品。目前，我国的8 6 3 计划与自 然科学基金都有拨出专款资助人脸识别的相关研究【l 】【2 1 。国内一些科研机构与相关 院校在人脸识别技术研究方面也取得了很大进展【3 】。人脸识别作为一种新兴的识别 技术，与其他生物特征识别如指纹扫描、虹膜识别与掌形扫描等相比，在应用方面 具有很多优势【4 j ： 其一，用户应用便捷。它使用摄像机获取信息源，采用非接触的方式在用户没 有察觉的情况下进行识别。 其二，直观性好。人的肉眼直接能够判别的信源就是人脸，符合认知规律。 其三，识别精确度高。它的误识率较低。 其四，使用设备较常规。它所使用的设备是一般的计算机、摄像机等设备，不 用添置大量专用设备。 从技术层面上来看人脸识别技术是利用计算机分析与处理人脸图像，从中提取 有效的特征信息来辨识个体身份的一门技术，即对输入人脸图像进行标准化处理 后，使用某种方法与数据库中的人脸样本进行匹配，求解库中人脸与该输入人脸的 相关程度。一般地，人脸识别技术是指一系列的实现人脸识别系统相关技术，包括 图像采集、人脸区域定位、预处理、身份确认等技术。 本文所研究与开发的人脸识别系统正是在这一背景下所展开的，课题依托本校 的数字校园视频监控系统项目。作为其中的一个子系统，其要实现的是使子系统具 备人脸识别功能，目前以本实验小组成员作试验，根据安装在大门上端的摄像头拍 摄的视频图像序列，识别出是进出大门的某个人是否是本小组成员。 1 1 1 人脸识别技术的研究历程与难点 人脸识别在当前属于一项热门的计算机技术研究领域，早在上个世纪六、七十 年代，人脸识别技术就引起了研究者的浓厚兴趣，从九十年代到二十一世纪初，由 ： ： 硕士学位论丈 m a s t e r st h e s i s 于高速度高性能的计算机的出现，人脸识别技术取得了重大进展。国内外对于人脸 识别的研究可以分为三个阶段：机械式的识别阶段、机器自动识别初级阶段与机器 自动识别高级阶段 5 1 。 第一阶段：机械式识别阶段，主要研究人脸的面部特征。如b e r t i l l o n 制作了一 个简单的识别系统将简单语句与库中某张脸联系起来，此阶段的识别过程全部依赖 操作人员。 第二阶段：人机交互式初级阶段，主要是机器自动识别。如g o l d s t i n o 、h a r m o n 等用几何特征参数来表示人脸正面图像并实现了基于这一特征表示法的识别系统。 此阶段也要利用某些先验知识，依然离不开人的操作与处理。 第三阶段：机器自动识别高级阶段，是向实用化和自动化发展的阶段。此阶段 中很多产品已经投入实际应用，主要有i d n e t i x 公司( 原v i s i o n i c s 公司) 的“f a c e l t ” 系统、v i i s a g e 公司的“f a c e l d 系统、c o g n i t e c 公司的“f a c e v a c s 系统1 6 j 以及 h u m a n s c a a 公司的“b i o l d 系统等 7 1 。 人脸识别的优势在于它的自然性和不容易被待测个体察觉的特点，但它也存在 许多困难【引。人脸的外形很不稳定，一是五官的变化会产生多种表情，二是年龄将 改变人的容貌。此外，人脸识别还受光照条件、人脸装饰物如口罩、眼镜等多方面 因素的影响，例如图像对比度的变化、阴影、成像角度的不同将会造成人脸的多姿 态，而图像的获取方法如摄像设备的焦距与成像距离将影响图像的清晰度，这些问 题都加大了在实际环境中成功应用人脸识别技术的难度1 9 j 。 1 1 2 视频序列中人脸识别技术应用与研究的现状 近几年，视频序列中的人脸识别技术随着计算机性能的高速发展和视频监控等 应用需求逐渐成为模式识别和图形图像领域中的一个研究热点，其目的是在视频序 列帧中自动检测、定位和识别人脸。与静态图像相比，基于视频序列的人脸识别提 供了更多特征信息如颜色信息、运动信息等。当前已经存在很多人脸检测和识别算 法，但仍有大量的研究者在研究这项技术，由于人脸是一个动态的目标，其表征形 式具有很大的可变性，使得该技术仍是计算机视觉中的难点。图1 1 是在美国 f r v t 2 0 0 6 人脸识别测试上发表的历年来人脸识别的代表性的性能指标1 1 0 1 。 2 硕士学位论文 m a s t e r st h e s i s l l 1 1 0 i ， l l 0 8 0 ! v - o 。o i 言0 6 0 一 0 f 4 i ，z 霸 ： ：葛0 a o 幽 c 2 0 ；叱 芷 ：u 0 2 0 “ l a o d 1 9 9 31 9 9 7 2 0 0 22 。0 6 。i l( 忠搿蹬器，舳黼 l 枷1 9 蹴) 9 6 ( 呻f r a v r 柏2 0 m 眨出，呻f r 触v t 2 0 嘲0 6c l 图1 1 美国f r v t 2 0 0 6 上发表的人脸识别代表性的性能指标 根据图1 1 可以看出，2 0 0 6 年国际上已达到了在错误接收率为0 1 时，人脸 识别的正确识别率为9 9 。这是一个很高的技术指标，但得到这一高指标的条件是 达到两眼距离为4 5 0 像素的人脸分辨率，同时，还需要可控光照和正面人脸的条件。 然而，在普通监控条件下，所能够获得人脸图像的质量很难达到这样苛刻的条件。 目前人脸识别分为三类，分别是辩识( i d e n t i f i c a t i o n ) 、验证( v e t i f i c a t i o n ) 、监 视目标人识别( w a t c hl i s t ) 又叫监测表。其中，辨识是通过对比输入人脸图像和数 据库中所有人脸图像来确定输入人脸的身份，是一对多的匹配问题。验证是判断输 入的已知身份的人脸图像和数据库中该身份的人脸图像是否是同一个人，是一对一 匹配的问题。监视目标人识别是对于某个未知其身份的待测样本检查其是否在监视 名单上，是一对多的匹配【l 。图1 1 所示的各项指标属于验证的性能指标，而在 f r v t 2 0 0 2 发布的监视目标人识别的各项指标中，成绩最好时虚警率为0 1 时，目 标人排第一名时的正确识别率不到6 0 。当前人脸识别成功应用的场合，如出入境 的护照查验是清晰照片之间的比对；而应用在火车站的治安管理上，被识别人是在 室内规范地站在摄像头前拍摄。图1 2 为人脸识别在2 0 0 8 年北京奥运中的应用实 例【9 】，此种情况是一种验证人脸识别，其人脸拍摄的场景是室内，被识别人站在摄 像机前。因此当前人脸识别的成功应用主要是有条件的人脸识别。其困难在于非主 动性的识别方式与场景的多变性，姿态、光照以及年龄、人脸分辨率等多方面因素 的变化影响了人脸识别效果l l 引。 硕士学位论文 m a s t e r st h e s i s 图1 2 人脸识别在北京2 0 0 8 年奥运会中的应用 以上是从识别评价指标上来说明的，下面将从视频序列中人脸识别的算法角度 来介绍目前应用的一些现状。针对视频序列的人脸检测与识别的研究主要有如下几 种：利用人脸的肤色特征在前期进行人脸位置的大致检测，如k i m 的方法是先去除 背景，再由肤色特征与全局特征确定候选区域，然后采用i c a s v m 进行训练与分 类，最后用卡尔曼滤波跟踪。m a s e 等人先存储一幅背景图像再将序列中的每帧与 背景相差，差值大于一定阈值的认为是人体部分，然后由人体轮廓的特点判断人的 颈部，从而得出人的头部区域【l3 。z h o u 等人讨论了在贝叶斯理论下来解决人脸跟 踪与识别问题，引进时间和空间的信息来把身份变量与运动矢量作为状态变量；采 用序贯重要度采样法来估计状态变量的联合后验概率分布，最后通过边缘化得出身 份变量的概率分布l l 引。 另一方面，由于现有大部分人脸库都是静止图像人脸数据库，如何利用视频序 列中的人脸信息进行识别是需要考虑的问题。从目前的文献中可以看出，解决这类 问题的做法分成以下两类：一类方法通过对输入视频序列中的若干幅人脸采用基于 静止图像的识别方法，利用各种联合规则如多数投票或者概率距离累加等方法进行 识别。这类方法的缺点是规则比较难以定义，并且适用的范围与场合有限。另一类 方法利用视频序列中的时间与空间连续信息进行识别l l 副。这类方法中采用贝叶斯理 论引进时间信息，在一定程度上提高了识别率，但是算法较复杂，计算机内存消耗 较大。 综上所述，视频序列中的人脸识别一般有这两种方案：从视频中选择几帧质 量较好的图像，然后用静止图像的人脸识别方法进行匹配；对所有跟踪帧进行识 别，不断调整识别率。在本课题中，选择的是第一种方案，另外由于背景单一且运 4 ： 硕士学位论文 m a s t e r st h e s i $ 动人体颜色与背景颜色反差较大，所以采用的是运动信息。 1 2 本文的主要工作与组织结构 一般来说人脸识别系统的输入是一张图像或者一段视频序列，以及已建立好的 已知身份的人脸数据库，输出是用匹配算法计算的相似度来表示待识别者身份，具 体过程如图1 3 所示。本课题所设计与实现的基于视频序列的人脸识别是“视频 图像 人脸识别，它是指输入一段视频序列，利用静止图像人脸数据库进行识别。 一一+ 一一、 i 厂 人脸柃测广 特征提取厂 j 人脸识别广l ；i图像序列卜_ 叫人脸区域卜_ 叫特征人脸h 叫 结果 i 一 一 一jl_-_-_一l_-_-_ 图1 3 人脸识别过程 本课题针对视频序列，就人脸识别技术中的核心问题与关键技术进行研究，包 括人脸区域定位法、特征提取法、样本训练法、分类识别法等。在此基础上改进相 关技术使其适用于本课题中的应用场合，并设计一个基于视频序列的人脸识别系统 实现从给定的某段视频序列中检测与定位其中的人脸区域并判断此入的身份。最后 用标准人脸库与自建本项目的实验人员的人脸库分别进行测试，分析所改进技术的 优缺点与适用的范围。具体而言，本课题中的人脸识别是系统对之前检测并提取的 人脸目标进行的。要让系统具有目标识能力，需要对系统进行模型训练即利用已知 的人脸目标特征，此处对人脸图像进行分块d c t 变换，荐对变换系数进行p c a 特 征提取，将p c a 降维后的矩阵作为后续训练的观察向量。当系统检测到一个目标 时将自动与人脸库中已经建立好的模型进行比对，从而对进入实验室大门的人员进 行识别和分类。其过程具体而言分为以下三个部分： 首先是人脸检测：判断输入中是否存在人脸，如果有则定位出人脸的位置并提 取大小信息。 其次是特征提取：将定位得到的人脸区域的经d c t 处理后再进行p c a 变换即 进行了人脸统计特征提取，将变换矩阵作为隐马尔可夫模型的训练参数。 最后是人脸匹配与识别：根据特征提取结果与库中人脸比对，判断该人脸的身 份信息。人脸数据库中预先存放了已训练好的己知人脸图像的h m m 模型，识别的 目的就是将检测出的人脸图像的观察序列与库里h m m 进行比较。与输入为静止图 像的人脸识别相比，从摄像头获取的视频序列有优势也有劣势。优势是可以从多帧 图像序列中检测人脸，对同一个人可以检测出多个属于该人的人脸。劣势是所获取 的视频序列的质量一般不是很好，受光线的影响较大，且人脸距摄像头的位置不定 从而造成人脸区域模糊不清。 ，霄， 硕士学位论文 m a s t e r st h e s i s 1 2 1 本文的主要工作 人脸识别的主要工作是对于输入的图像或者视频序列，首先判断其中是否存在 人脸，如果存在人脸则检测出人脸的位置、大小并依据面部器官的位置信息提取人 脸中所包含的身份特征，将其与人脸库中的已知人脸进行比对来识别人脸的身份。 一个基于视频序列的人脸识别系统的核心组成是人脸检测模块、特征提取模块和人 脸识别模块，下图1 4 是图像模式识别流程图。这三大模块中的待解决问题有：动 态图像序列中的人脸检测；如何对检测到的人脸区域进行特征提取；设计何种分类 器对提取的特征进行分类决策；在分类器的设计过程中样本训练时样本的选取等。 因此，本课题的主要工作是解决这三大模块中存在的问题，使所设计与实现的系统 能应用于本实验室的环境。 图1 4 图像模式识别流程 本课题根据所选择的图像处理中的常用关键技术，针对研究对象实验室大 门口摄像头所拍摄的一组视频序列，对其进行改进使之能适用于本实验室的应用场 合。在人脸检测模块中采用基于a d a b o o s t 的人脸检测来定位视频序列中的运动人 体的人脸区域；对于检测出的人脸区域，如果直接用图像像素点的灰度值作为后面 训练模型时的观察向量则维数太大，不易计算。现采用人脸图像分块d c t 变换系 数的p c a 变换矩阵来构造观察向量，在建立人脸库时作为训练人脸h m m 的依据， 在识别中用来与人脸库中的人脸h m m 做比较得出识别结果；在识别时则是计算待 识别的人脸图像的观察向量与库中人脸图像的h m m 的相似度，即最大似然率。使 用隐马尔可夫模型h m m 的相关算法来计算相似度，并将与库中f i m m 逐次比较得 到相似度存储在专门的数组中，最后对此数组进行排序，排在最前面的相似度所对 应的库中的h m m 即为最像的人，输出此h m m 的资料信息，包括姓名等身份信息。 在测试时所采取的方法是，先使用标准数据库o r l 人脸数据库与自行建立的 人脸库分别测试本系统中所采用的识别算法与未改进前算法的识别效果，以对比两 6 f f = 、 、- 一_ ， 硕士学位论文 m a s t e r st h e s i s 种特征提取法的效率。再用自行建立的人脸库来测试系统的识别效果，目的是看看 此系统是否适用于本实验室的场景以及还需要改进的地方。样本集的图像来源于事 先采集的人脸图像，其大小与灰度被归一化，测试集的图像则是对视频序列进行人 体目标检测后提取的人脸局部区域或其他人脸图像。由本课题中的应用需求所决定 的，在测试时的评价指标是属于监测表这种类型的。先判断从视频序列中提取的人 脸区域图像中的人脸是否属于陌生人，如果不是则比较相似度判断此人是谁。在此 采用识别正确率与识别时间来衡量识别的效果。 1 2 2 本文的重难点与解决方案 由于本课题的主要任务是实现一个人脸识别系统，关键是采取何种方法来进行 有效地识别，而对于识别而言，又涉及到特征提取与模式分类。使用什么形式对目 标识别中的特征进行描述，由于目标识别是在图像视频中辨认指定的物体，对于入 来说可以很轻松地在复杂图像中找到所需要的物体，即使这个物体被部分遮挡，或 形状、大小发生了变化。但对于机器来说，目标识别是一个具有挑战性的难题，难 点在于如何表征物体。文中采用的是先对图像做d c t 变换，再p c a 主成分分析对 变换后的系数矩阵进行统计特征提取，用这种方法来代替原始算法中的直接将d c t 变换系数作为训练人脸模型的观察向量，以利于减小其中的数据冗余，从而对在视 频序列中检测到的人脸区域进行了特征描述。 特征描述子的表现形式是特征矢量，主要用于两幅图像之间的相互匹配。如果 有a 、b 两幅图像，最简单的方法是采用特征矢量的欧氏距离作为两幅图像特征的 相似度判定度量。匹配就是对于图像a 中的某个特征点，找出图像b 中与它欧氏距 离最近的特征点，如果最近距离小于某个阈值，则认为这两个点被匹配。但在本文 中，匹配主要是对于h m m 模型而言的，此处提取出的特征矢量是作为h m m 模型 的观察向量用来训练模型，在匹配时用v i t e r b i 算法来计算待识别人脸图像的观察向 量与库中人脸h m m 的相似或然率。 1 2 3 本文的内容组织与安排 人脸识别技术是一项难度较大并涉及多学科理论方法的智能化技术，在多种因 素的影响下将其转化为一个能够实用的系统在当前仍旧是具有挑战性的研究工作， 此系统不仅要求具有一定的识别性能，而且要具有较小的运算量与较低的存储量。 本文对基于视频序列的人脸识别技术中的核心技术与关键问题做了相关综述，介绍 了目前已有的一些典型的人脸识别系统及其相关原理与应用以及其性能评价标准。 在分析典型方法的基础上改进相关算法处理过程，并设计与实现一个基于视频序列 7 ： 硕士学位论文 m a s t e r st h e s i s 的人脸识别系统，应用于本实验室的人员识别。此外还将系统所采用的特征提取法 与原始提取法进行比较；并建立一个实验室的人脸库，对该系统进行应用功能测试 且对测试结果进行分析。 第一章是本课题的背景介绍，包括人脸识别技术的研究历程与难点、视频序列 中人脸识别技术应用与研究的现状、本文的主要工作与组织结构。主要介绍了视频 序列中人脸检测与识别的研究进展和现状，分析了现有技术的优缺点，总结了研究 中的难点和发展趋势，阐明了本文工作的意义、重难点和主要内容的安排。 第二章介绍了运动人体目标检测与人脸识别相关理论基础，包括认知心理学、 图像离散余弦变换d c t 与p c a 主成分分析、模式识别等，其中模式识别按照处理 的过程又分为特征的提取与样本训练、分类决策等部分。 第三章是对系统进行设计。根据实验