（模式识别与智能系统专业论文）基于多生物特征融合的身份识别技术研究.pdf

。 i j1，湖朋d，+j鄹硒露4孕掣y 。 东南大学学位论文独创性声明 m i l l l l 洲l i l l l m l l i l l l l l l i l l l i i l y 17 6 13 6 2 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究成 果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表 或撰写过的研究成果，也不包含为获得东南大学或其它教育机构的学位或证书而使用过 的材料。与我一同工作的同志对本研究所做的任何贡献均己在论文中作了明确的说明并 表示了谢意。 研究生签名：毯 日期：趁盟兰z 东南大学学位论文使用授权声明 东南大学、中国科学技术信息研究所、国家图书馆有权保留本人所送交学位论文的 复印件和电子文档，可以采用影印、缩印或其他复制手段保存论文。本人电子文档的内 容和纸质论文的内容相一致。除在保密期内的保密论文外，允许论文被查阅和借阅，可 以公布( 包括刊登) 论文的全部或部分内容。论文的公布( 包括刊登) 授权东南大学研 究生院办理。 研究生签名：j 蟛导师签名 摘要 摘要 基于生物特征的身份识别技术已成为信息安全领域中的一项关键技术，具有极高的 学术研究价值和商业应用价值。但是单一的生物特征识别都存在着其自身局限性的问 题，难以满足身份识别的高精度、高性能的要求。基于多种生物特征融合的身份识别是 利用人的多个生理和行为特征的融合对身份进行识别的技术，可有效提高身份识别系统 的性能。 本文以多生物特征的融合为研究方向，以提高身份识别的性能为研究目的，通过研 究人脸、指纹、语音三种特征的识别方法以及多生物特征融合的手段，提出多种融合策 略，并通过实验论证其有效性。主要包括四方面的内容： 首先，利用基于l b p 的人脸识别、基于细节点的指纹识别和基于g 删的说话人识别作 为单一特征识别的方法，并对各自的方法和特点进行了研究。 其次，以生物特征的融合为背景，对多模式信息的融合进行了研究，对在传感器层、 特征层、匹配层和决策层的融合进行了分析和比较，对分类器输出信息的级别以及多分 类器组合的问题进行了深入的研究。 再次，在本实验室采集的多生物特征库上进行了人脸、指纹、语音三种特征融合的 实验。在决策层融合中，采用树形流程，利用分类器输出的排序级信息进行融合，在匹 配得分层融合中，采用并行流程，利用分类器输出的数据级信息进行融合，两个实验均 取得了高于单生物特征系统识别率约1 0 的结果。综合上面两个实验的优势，在得分层 融合中，利用数据级信息的排序性，对得分值进行加权处理，进一步提高了识别率。 最后，在身份注册和识别两部分的框架基础上，设计并搭建了身份识别系统平台。 关键词：多生物特征，特征融合，人脸识别，指纹识别，说话人识别 一一 a b s tr a c t r e c o g n i t i o nb a s e do nb i o m e 们c si sb e c o m i n gak e yt e c t u l o l o g ) ，i ni n f 0 肌a t i o ns e c u r i 哆 d o m a i n i th a se x c e l l e n tv a l u ei nt h ef i e l do fa c a d e m i cr e s e a r c ha n da p p l i c a t i o no fb u s i n e s s b u ts i n g l er e c o g n i t i o nb a s e do nb i o m e t r i c sh a sl o c a l i z a t i o nt h e m s e l v e s r e c o g n i t i o nb a s e do n t h e 如s i o no fb i o m e 仃i c sw h i c hm s i n gp h y s i c a lo rb e h a v i o r a la t t r i b u t e so ft h ei n d i v i d u a lc a n a d v 粕c et 1 1 ec a p a b i l i t ) ， t h e 如s i o no fb i o m e t r i c si st h er e s e a r c hd i r e c t 觚dt h ec a p a b i l i t yi st h er e s e a r c ha i m b y r e s e a r c h i n go nf a c e ，f i n g e 叩r i n t ，s p e e c hr e c o g n i t i o n 粕dm s i o na r i t h m e t i c ，s o m es t r a t e g i e sa r c a d v 锄c e d t h e ya r ed e m o n s 仃a t e db ye x p e r i m e n t s w em a i n l yi n v e s t i g a t eo nt h ec o n t e n t b e l o w ： f i r s to fa l l ，f a c er e c o g n i t i o nb a s e do nl b p ，f i n g e 印r i n tr e c o g n i t i o nb a s e do nm i n u t i a 锄d s p e a k e rr e c o g n i t i o nb a s e do nm f c ca n dg m ma r eu s e di ns i n g l er e c o g n i t i o n i nt h es e c o n d ，a g a i n s tt l l eb a c k g r o u n do fb i o m e t r i c s 亿s i o n ，t h em u l t i - m o d ei n f o m l a t i o nf u s i o n i ss t u d i e d t h ef h s i o ni ns e n s o rl a y e r ，允a t u r el a y e r ，m a t c h i n gs c o r el a y e r 锄dd e c i s i o nl a y e r a r eb e e na n a l y z e da n dc o m p a r e d t h eo u 印u ti n f o n n a t i o na n dc o m b i n a t i o no fc l a s s i f i e r sa r e a l s oi n v e s t i g a t e d i nt h et h i r d ，t h em u l t i - b i o m e t r i c sl i b r a qb u i l tb yo u r l a b o r a t o 巧i su s e di no u re x p e r i m e n t s i n t h e 铆oe x p e r i m e n t s ， s o r t i n gi n f o 册a t i o ni n d e c i s i o n f h s i o nw i t h 仃e ef l o wa n dd a t a i n f o m a t i o ni ns c o r c 如s i o nw i t hp a r a l l e if l o w ，b o t ho b t a i nt h er a t eo f10 h i g h e rt h 锄t h e s i n g l er e c o 印i t i o n i nt h ef i n a l l y ，w en e g r a t et h ea d v a n t a g e so ft h e 觚。粕da d v a n c et h e 陆 f o rm o r e i ns c o r cf h s i o n ，t h es o r t i n go fd a 胁i n f o r n l a t i o ni su s c d 锄dt h es c o r e si sw e i 曲t e d f i n a l l y ，o nm eb a s i so ft 1 1 ef h m e w o r ko fe n r o l l m e n ta 1 1 dr e c o g n i t i o n ，as y s t e mp l a t f o r n lo f r e c o g n i t i o ni sd e s i g n e da n db u i l t k q 啊o r d ：m u l t i - b i o m e t r i c s ，f e 砷r ef u s i o n ，f a c er e c o g n i t i o n ，f i n g e 叩r i n tr e c o g n i t i o n ， s p e a k e rr e c o 印i t i o n i 1 目录 目录 摘要。i a b s t r a c t i i i 第一章绪论l 1 1 课题背景及意义- 。l 1 2 国内外研究状况2 1 3 多生物特征识别系统框架3 1 4 论文的研究内容与结构安排。4 第二章人脸、指纹和说话人识别技术7 2 1 人脸识别技术一7 2 1 1 基于整体图像的人脸识别方法。7 2 1 2 基于局部特征的人脸识别方法8 2 2 基于l b p 图像特征的人脸识别8 2 2 1l b p 简介。8 2 2 2 人脸图像的l b p 特征提取9 2 2 3 基于l b p 特征的识别。1 1 2 3 指纹识别技术1 1 2 4 基于细节点的指纹识别1 2 2 4 1 指纹图像方向图提取1 2 2 4 2 指纹图像二值化13 2 4 3 指纹图像细化1 4 2 4 4 指纹细节点提取1 6 2 4 5 指纹细节点去伪1 7 2 4 6 指纹奇异点提取18 2 4 7 指纹细节点匹配2 0 2 5 说话人识别技术2l 2 6 基于g m m 的说话人识别2 2 2 6 1 语音信号预处理2 3 i 东南大学硕士学位论文 2 6 2 基于m f c c 的特征提取2 4 2 6 3 基于g m m 的识别算法2 6 2 7 本章小结3 0 第三章多生物特征识别系统3 1 3 1 多模式信息融合3 1 3 1 1 传感器层融合3l 3 1 2 特征层融合3 2 3 1 3 匹配层融合3 3 3 1 4 决策层融合3 5 3 1 5 不同层次信息融合的对比3 7 3 2 多分类器组合的问题3 8 3 2 1 单个分类器三种不同级别的输出信息3 8 3 2 2 三种不同类型的多分类器组合问题3 9 3 3 本章小结4 0 第四章人脸、指纹、说话人识别的融合j 4 1 4 1 多生物特征识别的处理流程4 l 4 2 实验设计4 3 4 2 1 生物特征库的设计4 3 4 2 2 实验数据4 5 4 - 3 决策层融合4 6 4 3 1 决策层融合实验：4 7 4 3 2 实验结果分析4 8 4 4 匹配得分层融合4 8 4 4 1 匹配分数值加权求和4 9 4 4 2 线性分类函数5 0 4 5 本章小结5 4 第五章身份识别系统平台的设计。5 5 5 1 设计思路与流程5 5 5 2 身份识别系统平台的搭建5 7 5 3 本章小结5 9 n i 第一章绪论 1 1 课题背景及意义 第一章绪论 现代科技使得人们之间相互交流越来越快捷和便利，在推动了社会的发展的同时也给人们带来 一个新的课题：在信息时代，如何及时、准确并且有效地识别个人的身份，以保障人们的合法权益 和有效性及时打击与遏制各种违法犯罪。近十年来，基于生物特征的身份识别技术成为模式识别研 究的热点领域。基于生物特征的身份识别技术，是指通过计算机利用人体所固有的生理特征( 指纹、 脸像、声纹、虹膜、掌形等) 或行为特征( 步态、签字等) 来进行个人身份识别的技术，相应的一部 分特征如图卜1 所示。 豢佥囤囡圈靴 图卜1 人体生物特征 m 在生物特征识别技术应用之前，传统的身份识别方法主要有三种：基于知识的识别方法 ( k n o w l e d g e - b a s e d ) ，例如密码；基于标志物的识别方法( t o k e n _ b a s e d ) ，例如各种i c 卡、钥匙等； 基于标志物品和特定知识相结合的识别方法，例如银行卡。这些传统的方法在安全性上存在无法解 决的漏洞，例如密码容易被窃取、忘记，i c 卡容易丢失等，已经无法满足社会发展的需求。 和传统的身份识别方法相比，基于生物特征的身份识别技术有很多优越性。主要体现在以下两 点： ( 1 ) 安全性。因为这种方法是对用户本身的特征进行识别，而这些特征又具有独一无二、不容 易被冒充模拟或窃取的特性。 ( 2 ) 便捷性。生物特征“随身携带”，任何情况下都可以使用，所以它不像传统的钥匙等物品容 易被遗忘，使用起来既方便又不需要定期维护。 生物特征识别技术可以分为三部分内容：传感器、算法、系统设计【1 1 。当前的研究集中于几个 难点问题：新的传感器技术；评估新的生物特征识别技术，显著提高现存生物特征识别技术的精确 东南大学硕士学位论文 度；大规模系统的设计。 生物特征识别技术涉及到的许多相关学科，包括模式识别、计算机视觉、信号图像处理、统计 学、电子电气工程、计算机科学、机器学习等等。大多数的出版的专著都假设可以从传感器获得可 靠的生物特征，主要研究的任务就是如何提高识别的精准度以及进行系统的设计。这样，研究的重 点就集中在了针对生物特征信号的模式识别和机器学习算法上。 但是，生物特征识别技术也存在着很多本身固有的、难以克服的问题。首先，生物特征实际存 在着“不普遍性”。特殊人群生物特征缺失、损伤、病变或特征质量较差。以指纹识别为例，许多指 纹系统都出现过“无法录入”的情况，因为指纹可能太过磨损、有疤、太干或太湿。据统计大约有 2 的人口很难提供完好的指纹。其次，生物特征识别系统比较“娇贵”，即使很小的差异也可能影响 到系统的可靠性。再次，这种技术还存在着很大的漏洞。比如实际使用中，只需一张透明的薄膜就 可以复制任何人的指纹，声纹也可能被模拟和冒充，就连目前认为最可靠的眼虹膜识别也有可能被 复制。最后，每种生物特征身份识别系统在准确率、成本、用户接收程度、防欺骗性等都不同，很 难满足不同场合的实际要求，很难通过改善某一种识别技术来提高系统的性能。 在这个背景下，采用包括多种生物特征在内的信息融合身份识别近年来逐渐兴起，并被证明是 一种切实可行的解决方案。所谓多生物特征身份识别技术是指对不同生物特征检测定位、提取特征、 模型识别或判决，同时通过不同层次将各种特征信息进行融合，最终综合推断，得到结果【2 】。相比 较与单一生物特征识别技术，其优越性体现在以下三个方面： ( 1 ) 提高了准确性。多生物特征识别技术利用特征间的信息互补来提高系统准确性，降低了误 识率。 ( 2 ) 提高了稳定性。由于使用了多个传感器，系统的稳定性得以增强，同时也具有更好的防伪 性【l 】o ( 3 ) 提高了普遍性。引入多个生物特征可以有效的避免诸如用户不能提供清晰的指纹这样的问 题给系统和用户带来的不便。对不能提供某些生物特征的人群，可以选择提供另外的生物特征，从 而可以避免将他们拒绝在系统之外。 1 2 国内外研究状况 在单一生物特征识别技术( 如人脸识别、说话人识别、指纹识别) 发展的同时，国际上很多知 名的学者开始致力于多生物特征识别的研究，并且取得了一定的发展。r o b e r t ob r u n e l l i 翻最早提 出了利用多种特征来进行个人身份识别的方法，并在匹配层次上整合了人脸识别和说话人识别，取 2 第一章绪论 得了较好的效果。b i g u n 【4 1 提出了一种用贝叶斯方法在决策层次上整合了不同的生物特征。m a e s 【5 】第 一次实现了一个结合了生物特征( 指纹) 和非生物特征( 密码) 的系统。j a i n 呻肄人于1 9 9 7 提出 融合人脸和指纹的构想，1 9 9 8 年发表论文将指纹和人脸识别的结果融合，并克服了人脸识别和指纹 识别系统的局限性，整合后的系统具有一个可以接受的反应时间。除此之外，这篇文章中提出的决 策层融合使集成了多种生物特征的系统的性能的提高成为可能，在反应时间和准确性方面都得到了 满足。这篇文章给出了多生物特征识别系统的一个例子，科学系统地说明基于指纹和人脸的在决策 层融合的多生物特征系统的构架和原理，并且他们在1 9 9 9 年从理论上证明了多生物特征融合可提高 识别率，在文章中列出了多生物特征识别融合的各种问题，并且检验了是否可以通过融合多生物特 征来提高生物特征识别系统的整体性能。2 0 0 2 年，j a i n 等人又提出确定每个用户的特定参数的方法， 将指纹、脸相和手型的识别结果融合【9 】，分别于2 0 0 1 年和2 0 0 3 年对多生物特征识别作了概述【1 0 。1 1 1 。 在这两篇文章中系统地分析了多生物特征融合的各个层面，以及各种类型的融合，并且以人脸，指 纹和手势相结合为例给以说明。v e r l i n d e r 【1 2 】等人提出用k n n 方法融合声纹和视觉特征。k i t t l e r 【1 3 1 等人提出了融合理论框架，并将其分为三层，同时给出了加法准则和乘法准则在融合中优缺点的分 析。 与此同时，国内的诸多研究人员也在致力于多生物特征识别的研究，比较领先的有中科院自动 化所、清华大学电子工程系、香港理工大学生物特征认证研究中心等研究部门。其中，d a v i dz h a n g 和荆晓远提出基于d c t 和线性分类的人脸和掌纹融合识别系统【1 4 1 ，在这篇文章中，作者融合了在图 像处理和识别领域广泛应用的两种方法d c t 和线性分类，将其用于人脸和掌纹的识别系统，并且获 得了较好的性能，该方法明显的提高了系统的识别率而且大大减少了特征空间的维数。中科院自动 化所的谭铁牛等人提出基于改进的e n n 算法多生物特征融合的身份识别【”】，文中分析了各种生物特 征的自身特点，然后根据声纹和指纹比较容易提取的特点，从传统的k n n 算法入手，做出一定的改 进，提出了基于e n n 改进算法的多生物特征识别系统，经过实验，取得了比较好的性能。 1 3 多生物特征识别系统框架 生物特征的识别过程包括信息获得、特征提取、匹配、分类决策等步骤，最终得到识别结果。 对于多生物特征识别，首要考虑的问题是在哪一层上进行融合。生物特征识别的四个步骤，各自对 应一种层面上的融合：利用传感器获得生物信息后，对应传感器层的融合；对生物信息进行特征提 取后，对应特征层的融合；样本特征和模板特征进行比对，得到匹配分数后，对应匹配得分层的融 合；根据得分判断样本的类别并做出决策之后，对应决策层的融合。选择不同的层面进行融合，其 3 东南大学硕士学位论文 工作量、准确性也不尽相同。图卜2 以两种生物特征为例，给出了多生物特征识别系统的框架。 图卜2 多生物特征识别系统的框架 1 4 论文的研究内容与结构安排 在众多生物特征识别技术中，人脸识别、指纹识别、说话人识别是三种研究的较多、技术相对 成熟，实施起来也比较简单的方法，它们拥有各自的优缺点和应用场合。例如：人脸识别直观性强， 并具有非打扰性，但是对姿态、光照、时间、表情等很敏感，限制条件很多；指纹识别比较成熟、 准确度高，但是对指纹图像的质量要求较高，且在一部分人群中存在不能提取的问题；对于说话人 识别，人的语音会随时间和健康情况发生变化，而且容易模仿。考虑到这些因素，以及人脸、指纹、 语音三种生物特征独立性强的特点，本文利用这三种生物特征，通过信息融合技术，使身份识别系 统的性能比三种特征单独工作时的识别系统的性能均有较大提高。 论文的结构安排如下： 第一章为绪论，概述基于多生物特征融合的身份识别技术的应用背景和研究意义，介绍了这一 课题的国内外研究和发展状况，并从总体上搭建了多生物特征识别系统的框架。 第二章主要研究了人脸、指纹、说话人等三种识别技术的主要方法。利用基于l b p 的方法进行 人脸识别，基于细节点的方法进行指纹识别，基于g 姗的方法进行说话人识别，并利用这些方法对 三种特征进行识别。 第三章以多种模式的信息融合为背景，重点阐述了在传感器层、特征层、匹配层、决策层进行 信息融合的优劣性以及融合的主要方法，并且深入分析了针对单个分类器不同级别输出信息下的多 分类器组合问题，为后续的系统设计和实验奠定了方法基础。 4 第一章绪论 第四章在匹配得分层和决策层，根据不同的融合流程和分类器输出信息级别，分别设计了三种 融合策略，利用本实验室采集的生物特征库中的样本进行实验，比较了三种方法的结果以及多特征 融合与单一特征或两种特征融合的实验结果。 第五章在前面的理论方法和实验结果的基础上，设计并搭建了身份识别系统平台。 第六章是是对本文工作的总结，分析了本文的不足并对实验中发现的问题提出了今后研究的方 向以及方法的设想。 5 第二章人脸、指纹和说话人识别技术 第二章人脸、指纹和说话人识别技术 本文设计的多生物特征识别系统涉及到人脸、指纹、声纹三种生物特征，这三种生物特征是人 体的三种有代表性的生理特征，在身份识别中得到了比较广泛的应用。它们具有比较高的可靠性和 稳定性，也有各自不同的优越性和局限性，且相互之间独立性很强。 2 1 人脸识别技术 人脸是人体中最明显的外部特征，在生物特征识别中得到了广泛的应用，而且具有比较高的可 靠性。因此，本文选取人脸特征作为融合系统的特征之一。 人脸识别技术就是利用计算机分析人脸图像，从中提取出有效的特征信息，用来识别人的身份 的一门技术。人脸识别技术作为生物识别技术中的一种，其优点为图像容易采集，具有友好型和非 打扰性的特点；但人脸图像复杂、识别结果受表情、光照、姿态等影响较大、人脸特征提取比较困 难等。虽然自从9 0 年代以来，人脸识别技术成为了科研热点，但是人脸识别核心算法以及系统实现 的发展的步伐依然缓慢。其中涉及到很多原因：包括特征提取的难度、甚至是模式识别本身的理论 局限的问题。目前人脸识别方法的研究方向主要有两个，如下文所述。 2 1 1 基于整体图像的人脸识别方法 基于整体图像的方法考虑了模式的整体属性，主要方法包括主成分分析( p r i n c i p l ec o m p o n e n t a n a l y s i s ) ，特征脸( e i g e n f a c e ) ，线性判别子空间( l i n e a rd i s c r i m i n a t ea n a l y s i s ) ，支持向量机 ( s u p p o r tv e c t o rm a c h i n e ) ，独立成分分析( i n d e p e n d e n tc o m p o n e n ta n a l y s i s ) 等。下面以p c a 方 法为例简单介绍这类方法。 基于p c a 的人脸识别方法是一种比较经典的算法【1 6 】，这种方法的大致过程可表示为以下两个阶 段： ( 1 ) 在训练阶段，系统根据参加训练的人脸图像产生若干个特征脸图像，特征脸图像和参加训 练的人脸图像的形状和大小一致。 ( 2 ) 在识别阶段，把新的人脸图像表示成这些特征脸的系数，用这些系数来代表人脸。这样， 人脸图像就可以由一个一维的向量来表示，基于整体图像的方法达到了降维的目的。利用这个一维 向量就可以采用简单的方法，如计算欧式距离的方法，来判断新的人脸图像是否属于数据库当中的 人脸图像中的一个或者判断出属于哪一个。 7 东南大学硕士学位论文 这种基于整体图像的识别不仅保留了人脸主要特征部件之间的拓扑关系，而且也保留了各部件 本身的信息。这种方法把整个人脸图像作为识别模式，因而光照、视角以及人脸尺寸会对人脸识别 有很大的影响，因此，如何能够有效地去掉这些干扰是关键问题。 2 1 2 基于局部特征的人脸识别方法 基于局部特征的方法首先提取出人脸一些局部器官的特征，例如眼睛、鼻子、嘴巴等。然后将 这些特征及其位置关系信息、局部统计属性( 例如几何、形状参数或者表象信息) 等作为人脸模式 分类器的输入。这一类方法主要包括基于几何特征的方法、基于局部二值模式( l o c a lb i n a r yp a t t e r n ) 的方法，基于隐马尔可夫模型( h i d d e nm a r k o vm o d e l ) 的方法、弹性图匹配法( e 1 a s t i cb u l l c hg r a p h m a t c h i n g ) 等。这类方法是通过提取出局部轮廓信息及灰度信息来设计具体识别算法。 相比较与基于整体图像的方法，基于局部特征的方法更加直观。它提取并利用了最有用的特征， 如关键点的位置以及部件的形状分析等，对光照、视角以及人脸尺寸等免疫性强，其困难在于如何 建立好的模型来表达识别部件。本文研究的基于l b p 的方法，便是这类方法中有代表性的一种。 2 2 基于l b p 图像特征的人脸识别 2 2 1l b p 简介 局域二值模式( 简称l b p ) 通常作为纹理算子来分析图像纹理特征。l b p 算法一般定义为3 3 的窗口，以窗口中心点的灰度值为阈值对窗口内其它像素做二值化处理。图2 1 表示了这一处理过 程。 黧二国鹜黼一、曩 黟9 9 ；2 孙陀s h 。i d1 一j o = i5 45 48 6 ll 5 71 2 1 3+ o 。o 弋i ” “一， b i n 螂：l l o 。1 0 ll d e c i m a l ：2 0 3 图2 1 应用3 x3 邻域的基本l b p 算子提取纹理特征的过程 对上图的描述简单言之，就是通过定义一个模板，对于原图像中的每个点，使用该模板进行操 作，模板中心点近邻区域对应的图像像素值与中心位置对应的像素值进行比较，且对于不同位置的 比较结果赋予不同的权值，从而，变换图像中对应点的值就由模板对应各位置的比较结果之权和表 不。 为了适应不同尺度的纹理特征。o j a l a 等【1 刀对l b p 算子进行了改进，将3 3 邻域扩展到任意邻 域，并用圆形邻域代替了正方形邻域，采用双线性插值算法计算没有完全落在像素位置的点的灰度 s 第二章人脸、指纹和说话人识别技术 值。此外，改进后的l b p 算子允许在半径为r 的圆形邻域内有任意多个像素点，近邻区域的定义通 常可以由一个值对( p ，r ) 来描述，其中，p 表示区域内包含的采样的像素个数，r 表示近邻区域的 半径大小。如图2 2 所示。 l l | 懈i 幺蠊 j ” l | l i j ； ol 气 ， “ ，|f | 蚁l t l 专o l l一 1 卜 图2 2 圆形近邻区域( 8 ，1 ) ，( 1 6 ，2 ) ，( 8 ，2 ) 根据l b p 的定义，我们发现三绵r 可以产生2 ，种不同输出。以p = 8 ，r = l 为例，三职，。将会生成 2 5 6 种输出( o 2 5 5 ) 。显然，当图像发生旋转时，中心像素点的输出值会有所变化。为了消除图像 旋转产生的影响，o j a l a 等人通过进一步研究认为，这主要是因为具有旋转不变性的厶酣荪输出值 出现的频率差异太大，并由此提出了一种称为u n i f o 珈p a t t e r n ( 均匀模式) 的l b p 描述方式，即如 果模式对应的二进制串0 1 变换的次数小于两次，则该模式就是u n i f o 珈模式，记为三剧晋。这个时候 每个窗口的l b p 的数值不是绝对的二进制码的最终结果，而是计算每个窗口中二进制码中码元的变化 情况，不同的变化情况代表了不同的局部特征，例如0 0 0 0 0 0 0 0 有零个码元变化，0 0 0 1 1 1 1 0 有两个码 元变化。具体的数学描述为： 三峨= ：s = 引矿u 警班2 亿- ， 其中， p l u ( 三b o 卫) = ls ( g p - 。一) i + ls ( g ，一毋) 一s ( 蜀一，一) i 。 ( 2 2 ) f = l 使用均匀模式可以使特征的数量大为减少，如对脚p s ：来说，基本l b p 共有2 l = 2 5 6 种，而其 中的均匀模式只有5 9 种。 2 2 2 人脸图像的l b p 特征提取 用l b p 特征描述人脸的方法分为两步，首先将人脸分成若干区域，提取这些区域的l b p 特征； 然后将这些l b p 特征组合起来，作为整张人脸图像的特征向量。分块效果如图2 3 所示。 9 东南大学硕士学位论文 渊斟斟 图2 3 时人脸区域进行7 7 、5 5 ，3x3 分块的示意图 将一幅图像分为n 块后，对每一子块用l b p 算子计算子块各像素邻域的l b p 码元，然后计算这 些码元中的均匀模式分布的直方图，向量中每一维对应某一种均匀模式出现的频数。每一子块的直 方图表示形式为： 何( f ) = ，( ( x ，y ) = ，) f = o ，l ，万一1 ( 2 3 ) x ， 其中刀为模式特征数，对于三口只：则为5 9 ，厂( x ，y ) 是坐标值为( x ，y ) 的像素点的均匀模式l b p 特征值，( d 即为在子块内某一种均匀模式值为f 的频数。再将n 块的直方图连接起来，即为这幅 图像的特征向量。整幅图像的特征提取过程如图2 - 4 所示。 图2 4 基于l b p 的人脸特征提取过程 此外，文献嘲指出根据心理学研究，人对人脸图像进行识别时，人脸区域中某些特定区域如眼 睛的周围区域，起着格外重要的作用。可以猜测，某些特定区域对不同的人之间的方差有着更多贡 献。根据这一假设，可以对人脸的不同子区域进行加权处理，如图2 5 所示。 l o 第二章人脸、指纹和说话人识别技术 圈函藿糍 2 2 3 基于l b p 特征的识别 在基于l b p 的人脸识别算法中，通常采用基于直方图的相似性度量的最近邻方法来分类。下面 列出了几种直方图的相似性度量【。9 1 ： 1 ) c h i 距离方法： 2 ) 直方图相交方法：。 3 ) 对数似然统计方法： m 肚军错 d ( s ，m ) = m i n ( s ，m ) l ( s ，m ) = 一s1 0 9 m ( 2 4 ) ( 2 5 ) ( 2 6 ) 其中，s 是待识别的图像，m 表示图像库中已标定的人脸图像，s i 表示待识别图像在直方图第 f 区间的概率，m ，是图像库图像的直方图第f 区间的概率。 2 3 指纹识别技术 指纹识别具有悠久的历史，也是目前最流行、最方便以及最可靠的个人身份识别方法之一。这 是因为指纹特征有如下特性： ( 1 ) 唯一性：每个人的指纹是独一无二的，两人之间不存在完全相同的指纹。 ( 2 ) 稳定性：指纹是一种相当稳定的生物特征，不会随着人的年龄的增长或身体健康程度的变 化而变化。 ( 3 ) 方便性：相对于其他生物特征指纹的获取非常方便。指纹采集器的尺寸小，重量轻，成本 也比较低。这使得自动指纹识别具有良好的适应性。 在本文中的多生物特生识别系统中，指纹识别模块起到了基础的作用。主流的指纹识别方法主 要包括基于细节点的方法和以及方向滤波器组的方法。本文中我们选择了基于细节点的指纹识别方 法。所谓细节点，指的是纹线的分叉点和终止点为指纹图像的细节点。方法的主要内容如下： ( 1 ) 指纹图像方向图的提取：指纹图像的方向图反映宏观的指纹方向走向，是指纹识别技术的 东南大学硕士学位论文 基础。 ( 2 ) 指纹图像的二值化：基于指纹方向信息进行有针对性的二值化，从而得到较清晰的指纹纹 线信息。 ( 3 ) 指纹图像的细化：通过对二值指纹图像进行细化，抽象出指纹的纹线信息。 ( 4 ) 指纹细节点的提取：从细化的指纹图像上提取细节点。 ( 5 ) 指纹细节点去伪：从提取的细节点中去除伪点。 ( 6 ) 指纹奇异点提取：通过方向图提取指纹的中心点。 ( 7 ) 指纹细节点匹配：利用中心点和细节点进行匹配。 2 4 基于细节点的指纹识别 2 4 1 指纹图像方向图提取 指纹方向图指的是指纹脊线与纹谷交错平行分布的抽象图，反映了指纹图像纹理结构的本质， 已经被认为是解决指纹识别中的关键技术的一个重要途径。方向图具有以下特点： ( 1 ) 真实性：指纹局部方向图真实地反映了指纹图像本质的纹线特征，再现了指纹的中心花纹、 外围包络线和根基线的形状和走势。 ( 2 ) 渐变性：由于纹线具有渐变性的特点，求出的方向图也不可能发生走向的剧变，利用这一 特性可以对在有噪声情况下求出的方向图进行平滑处理，从而获取效果较好的方向图。 ( 3 ) 抽象性：指纹图像的块方向图是对纹线形状的一种抽象的描述，因此使研究指纹的几何拓 扑结构的问题得以大大简化。 提取方向图的方法【2 0 】利用9 9 的窗口模板计算方向。为估计方向图，在9 9 的窗口上把指纹 脊线的走向分为8 个方向，如图2 6 所示： 2 34 56 l 2 3i56 1 00 素 o0 一 l ， 6s 13 2l 6 s i 3 2 图2 69 9 窗口模板 对于图像的每一个像素，为了确定在该像素处脊线的方向，在以该像素点为中心的9 9 窗口内， 1 2 第二章人脸、指纹和说话人识别技术 分别计算8 个方向上的所有像素点的灰度平均值，即将图2 6 中标有f ( i = o ，1 ，7 分别代表8 个方 向) 的位置的像素灰度值取平均得到g 坍潮【f 】，然后将这8 个平均值按两两垂直的方向分成4 组( 0 和4 一组、l 和5 一组、2 和6 一组、3 和7 一组) ，计算每组中两个平均值的差值。 晰【歹】= 口夙( g 加已册【，卜g m p 册【，+ 4 】) ( ，= o ，1 ，2 ，3 ) ，差值的绝对值最大的两个方向为可能 的脊线方向，若f 缸= 矧朋缸( 晰( 劝) ，则方向饥缸和认缸+ 4 为该像素处可能的脊线方向， 若该像素处的灰度值为g 例，则脊线方向为： 撕：j 妇，矿咖( 帅一锄p 册( 撇) ) 1 6 以后，对5 s 和1 0 s 的语音段，识别性能基本不随m 的增大而提高。对1 s 的测试语音段，识别性能 在m 从1 6 变到3 2 时，仍有一定的提高，当m 3 2 时，这种提高趋势也变得不甚明显。可以得出 这样的结论，在这个例子中，要取得较好的识别效果，至少取m = 1 6 。对较短的语音段，可以提高 模型阶数来获得更好的识别性能。 第二个实验中，在训练时分别取前3 段语音中3 0 s ，6 0 s 和9 0 s 的语音作为训练语音，而分别取 m = 8 ，1 6 ，3 2 进行g 删建模，再对不同长度的语音段进行识别。从实验结果中可以看出，随着训练 数据的增长，识别正确率提高。当训练数据从3 0 s 增加到6 0 s 时，识别率的提高尤其显著。这说明 训练语音的长度对识别结果有很大的影响，在这个例子中，至少取长6 0 s 的训练语音，才能达到比 较好的识别效果。另一方面，对较长的训练语音来说，取m = 1 6 是一个不错的选择，而对较短的训 嬲2 吒吒 一 畔吖 砰丘 r【 = 2 一q 东南大学硕士学位论文 练语音，取过高的模型阶数反而会降低识别性能。 2 6 3 6 识别过程 在说话人识别中，一个s 个说话人的集合s = 1 ，2 ，s ) 由g m m 模型五，五，乃表示。目的 是找到一个说话人的g m m 模型，使对测试语音的后验概率最大。用表达式表示为： = a r g 燃嗽旧= a r g 燃警 ( 2 2 4 ) 第二个等号由贝叶斯条件概率公式得到。当假设说话人出现概率相同( 即p “五) = l s ) 时， 对所有模型来说每一段语音对应的p ( x ) 都相同，所以判别准则可以简化为： s = a 略m a ) c p r ( x i a ) ( 2 2 5 ) l s 七s s 对上式取对数，再考虑将语音段分解成各个独立的语音帧，最终说话人识别系统的判别准则函 数为： = 鹕燃喜l 唧( i 2 7 本章小结 ( 2 2 6 ) 本章研究了人脸识别、指纹识别、说话人识别三种技术。在人脸识别中，采用l b p 为特征，研 究了l b p 特征提取以及基于l b p 的识别的问题。在指纹识别中，对指纹图像进行了方向图提取、二 值化、细化，进行了细节点的提取和去伪以及奇异点的提取，并给出了匹配算法。在说话人识别中， 采用心c c 作为说话人特征，利用g 删训练模型参数并识别。这三种方法作为单一生物特征提取和匹 配的手段在实验中用到，并作为生物特征融合的基础。 第三章多牛物特征识别系统 第三章多生物特征识别系统 多生物特征识别的核心技术在于信息融合，如何将从各个生物特征中提取到的信息最大化地利 用并有效的融合起来成为关键。本章将从这一环节着手，分析不同层次的融合及其优劣性，以及多 分类器组合的问题。 3 1 多模式信息融合 信息融合技术是随着信息处理和指挥自动化系统的发展而形成的，涉及到数学、计算机科学、 自动控制理论、人工智能、通信技术、军事科学、管理科学等多学科的交叉和具体应用。信息融合 可以理解为关于如何协同利用多源信息，以获得对同一事物或目标更客观、更本质认识的综合信息 处理技术【5 3 彤】。本章主要讨论信息融合技术在多生物特征识别中的应用，称为多生物特征融合技术， 即多模式信息融合在生物特征融合中的应用。 多模式信息融合是一个比较新的概念，但是早在8 0 年代初就有学者对此进行了研究【5 6 1 ，多模 式信息融合应用于身份识别的最早描述可见文献【5 7 1 。一般来说，对于生物特征识别而言，应用信息 融合技术主要有以下的几点原因： ( 1 ) 利用互补的信息可以降低错误率。 ( 2 ) 利用多个生物特征可以增加稳定性。 ( 3 ) 从信息获取的角度考虑，多个传感器可以被分离，利用不同角度来获取信息。 人类在日常生活当中不自觉地利用了信息融合的原理。例如：人利用两只眼睛来确定物体的位 置；人同时利用耳朵和眼睛来辨识远处的他人。不仅是人，一些动物也有类似的现象存在。例如： 某些爬行类动物利用红外信息和视觉信息来捕食猎物。根据模式识别的过程，信息融合可分为以下 四种：传感器层的融合、特征层的融合、匹配层的融合、决策层的融合【5 8 l 。 3 1 1 传感器层融合 在传感器层( s e n s o r1 e v e lf u s i o n ) 的融合中，数据在进行适当的预处理之后就马上进行融合。 这个层次的融合一般有以下两种方式： ( 1 )