（计算机应用技术专业论文）人脸识别系统评测方法及实践.pdf

摘要 人脸识别技术近年来一直是图像分析与理解领域的研究重点之一。人脸识别技术 得以迅速发展，主要有三方面的因素起着推动作用：人脸识别算法的进步，大型人脸 图像数据库的获得，以及对人脸识别算法进行综合性能评测的方法【1 0 】。由于人脸识 别技术以大量的图像数据作为研究基础，而现有的人脸图像库在规模、变化条件上都 存在很多不足，因此，建立一个大规模、图像条件丰富的人脸图像数据库将会对人脸 识别技术的发展起到积极的促进作用。综合的性能评测一方面测试了各算法和系统的 综合性能优劣，另一方面也检验了人脸识别技术的总体发展现状，指出了有价值的研 究方向。本文针对人脸图像数据库的设计和创建、人脸识别系统的性能评测两方面问 题开展研究，主要做出了以下贡献： ( 1 ) 设计并创建了c a s p e a l 大规模人脸图像数据库 我们设计和创建的c a s p e a l 人脸库包含了l ，0 4 0 名中国人共9 9 ，4 5 0 幅头肩部图 像。图像条件涵盖了姿态、表情、饰物和光照四种主要变化，部分入脸图像具有背景、 距离和时间跨度的变化。本文详细介绍了c a s p e a l 人脸数据库的创建环境、文件组 织、图片示例等详细情况，并介绍了c a s p e a l 数据库的共享版本c a s p e a l r 1 的 构成。 ( 2 ) 研究了人脸识别算法的性能评测方法 对人脸识别算法和系统进行性能评测，评测方法和评测标准是关系到测试是否能 够达到目的的关键因素。本文中，我们介绍并探讨了人脸识别算法性能评测的基本原 则、评测方法的分类和针对不同识别任务的相关评测指标，为进行大型、综合的性能 评测工作提供了一个理论基础。 ( 3 ) 典型人脸识别算法在c a s p e a l 人脸库上的性能评测 我们对两个人脸识别基准算法( e i g e n f a c e 、c o r r e l a t i o n ) 和两个优秀的人脸识别商 业系统分别进行了实现，并在c a s p e a l 人脸数据库和性能评测方法的基础上，对这 两个识别算法和两个识别系统进行了综合的性能评测。本文详细介绍了对两个基准算 法和两个商业系统的实现和性能评测的过程，详细列举并分析了评测结果。 关键词：人脸识别、人脸图像数据库、性能评测 e v a l u a t i o nm e t h o d o l o g ya n de x p e r i m e n t sf o rf a c er e c o g n i t i o n s y s t e m s z h a n gx i a o h u a ( c o m p u t e ra p p l i c a t i o n ) d i r e c t e db yg a ow e n a b s t r a c t i nt h er e c e n ty e a r s ，f a c er e c o g n i t i o nh a sb e e no n eo ft h ek e yr e s e a r c hp o i n t si nt h e i m a g ea n a l y s i sa n du n d e r s t a n d i n ga r e a t h ed e v e l o p m e n t o ff a c er e c o g n i t i o nt e c h n o l o g yi s d u et ot h r e em a i nf a c t o r s ：t h ed e v e l o p m e n to ff a c er e c o g n i t i o na l g o r i t h m s ，t h ea v a i l a b i l i t yo f l a r g e s c a l e f a c i a l i m a g ed a t a b a s e s ，a n d t h e m e t h o d o l o g y f o rt h ee v a l u a t i o no ff a c e r e c o g n i t i o na l g o r i t h m sa n ds y s t e m s 【1 0 s i n c ef a c er e c o g n i t i o nt e c h n o l o g y b a s e si t s e l fo n l a r g ea m o u n to fi m a g ed a t aa n dt h ee x i s t i n gf a c ed a t a b a s e sa r ed e f i c i e n ti nt h e i rs c a l ea n d v a r i a t i o nc o n d i t i o n s ，t h ec o n s t r u c t i o no fan e wl a r g e s c a l ef a c ed a t a b a s ew i l lg r e a t l y p r o m o t et h ed e v e l o p m e n to f f a c er e c o g n i t i o nt e c h n o l o g y e v a l u a t i n gt h ef a c er e c o g n i t i o n s y s t e m s t e s t st h ep e r f o r m a n c eo f a l g o r i t h m sa n ds y s t e m s o no n eh a n d ，o nt h eo t h e rh a n d ，i t a l s oh a st h ef u n c t i o no f i n s p e c t i n gt h es t a t u so f t h ew h o l et e c h n o l o g ya n dp o i n t i n go u ts o m e v a l u a b l er e s e a r c hi n t e r e s t s i nt h i st h e s i s ，w ef o c u s e do nt h ed e s i g no ff a c i a li m a g ed a t a b a s e a n de v a l u a t i o nm e t h o d sf o rf a c er e c o g n i t i o ns y s t e m s ，a n dm a d et h ef o l l o w i n gc o n t r i b u t i o n s ： 1 ) d e s i g n e d a n dc o n s t r u c t e dc a s p e a l l a r g e s c a l ef a c ei m a g ed a t a b a s e t h ec a s p e a lf a c ed a t a b a s ec o n s i s t so f 9 9 ，4 5 0f a c i a li m a g e so f1 ，0 4 0c h i n e s e i n d i v i d u a l sw i t hf o u rp r i n c i p a lv a r i a t i o n so f p o s e ，e x p r e s s i o n ，a c c e s s o r ya n dl i g h t i n g ， a sw e l la st h r e eo t h e rv a r i a t i o n so fb a c k g r o u n d ，d i s t a n c ea n da g i n g t h i st h e s i s i n t r o d u c e st h ed e t a i li n f o r m a t i o na b o u tt h ec a s p e a l i n c l u d i n g c o n s t r u c t i o n e n v i r o n m e n t ，s t r u c t u r eo ft h ei m a g ef i l e s ，a n ds a m p l e i m a g e si n t h ed a t a b a s e i n a d d i t i o n ，t h et h e s i sd e s c r i b e st h er e l e a s ev e r s i o no f t h ec a s p e a l ：c a s - p e a l r 1 2 1d i s c u s s e dt h em e t h o d o l o g yf o r e v a l u a t i n gf a c er e c o g n i t i o na l g o r i t h m so rs y s t e m s w h e t h e rt h eg o a l so ff a c er e c o g n i t i o ne v a l u a t i o nw o r kc a nb ea c h i e v e dd e p e n d so n t w om a i nf a c t o r s ：e v a l u a t i o nm e t h o d sa n de v a l u a t i o nc r i t e r i o n s t h i st h e s i si n t r o d u c e s a n dd i s c u s s e st h e p r i n c i p l e s o fe v a l u a t i o nd e s i g n ，a sw e l la st h em a i ne v a l u a t i o n m e t h o d sa n dt h er e l e v a n tc r i t e r i o n s 3 1e v a l u a t e ds e v e r a lb a s e l i n ea l g o r i t h m sa n ds y s t e m sb a s e do nc a s p e a l w er e a l i z e dt w ob a s e l i n ef a c er e c o g n i t i o na l g o r i t h m s ( e i g e n f a c ea n dc o r r e l a t i o n ) a n dt w o o u t s t a n d i n gb u s i n e s ss y s t e m s b a s e do n t h ec a s p e a ld a t a b a s e ，w et e s t e dt h e p e r f o r m a n c eo fe a c hs y s t e m t h i st h e s i sr e p o r t st h e e v a l u a t i o n p r o c e s so ft h e t w o b a s e l i n ea l g o r i t h m sa n dt w o s y s t e m si nd e t a i la n da n a l y z e st h ee v a l u a t i o nr e s u l t s k e y w o r d s ：f a c er e c o g n i t i o n ，f a c ei m a g ed a t a b a s e ，p e r f o r m a n c e e v a l u a t i o n 声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取 的研究成果。就我所知，除了文中特别加以标注和致谢的地方外，论文 不包含其他人已经发表或撰写过的研究成果。与我一同工作的同志对本 究所做的任何贡献均己在论文中作了明确的说明并表示了谢意。 作者签名：妖玩乎 日期：砒7 巧 关于论文使用授权的说明 中国科学院计算技术研究所有权处理、保留送交论文的复印件，允许 ：文被查阅和借阅；并可以公布论文的全部或部分内容，可以采用影印、 i 印或其它复制手段保存该论文。 、 亍日期：础7 俗 $。 第一章绪论 第一章绪论 1 1 研究背景 在现代社会中，身份识别已经成为人们日常生活中经常遇到的一个基本问题。人 们几乎时时刻刻都需要鉴别别人的身份和证明自己的身份，以获得对特定资源的使用 权或者控制权同时防止这些权限不会被他人随意的取得。传统的身份识别方法主要基 于身份标识物品( 如证件、卡片) 和身份标识知识( 如用户名、密码) 来识别身份， 这在很长一段时期里是非常可靠和方便的识别方法。得到了广泛的应用。但是，随着 网络、通信、交通等技术的飞速发展，人们活动的现实空间和虚拟空间不断扩大，需 要身份认证的场合也变得无处不在。人们需要携带的身份标识物品越来越多，身份标 识知识也变得越来越复杂和冗长。在这种情况下，传统身份识别方式的弊端日益彰显。 身份标识物品容易被丢失和伪造，身份标识知识容易被遗忘、窃取和破解，雨身份标 识的重要性又使得一旦失去了身份标识，会给标识的所有者甚至整个社会带来重大的 甚至难以弥补的损失。在美国，每年约有上亿元的福利款被人以假冒的身份领取；每 年发生的信用卡、a t m 、移动电话和冒领支票等造成的损失达数百亿美元h 0 。 面临着这样的状况，人们对身份识别的安全性、可靠性、准确性和实用性提出了 更高的要求，必须寻求身份识别的新途径。于是，根据人体生理特征和行为特征来识 别身份的生物特征识别兴起了。生理特征与生俱来，多为先天性的，如指纹、眼睛虹 膜、脸像等；行为特征则是习惯使然，多为后天性的如笔迹、步态等。生物识别因 此包括指纹识别、虹膜识别、人脸识别、掌纹识别、声音识别、签名识别、笔迹识别、 手形识别、步态识别及多种生物特征融合识别等诸多种类。生物特征对每个人来说几 乎是唯一的，不可伪造的，且很多特征具有终身不变的特性，因此，生物特征具有传 统的身份识别方法无法比拟的方便性和可靠性。生物特征的识别技术从二十世纪六七 十年代以来一直受到广泛的重视 3 s ，3 9 ，4 0 。 通常情况下，一个理想的生物特征识别系统应该具备以下几个要素【1 ： 1 所有使用系统的用户应该具有系统能够识别的生物信息： 2 每个人所具有的生物信息在所有人群中应当是独一无二的： 3 生物信息不会随着获取信息的环境的变化而变化： 4 对于针对生物信息的伪装策略，系统能够进行判定并抵御。 目前为止，虹膜和指纹识别被公认为最可靠的两种生物识别，并且已经有不少指 纹识别和虹膜识别系统被开发出来并投入了实际应用。但是，由于指纹和虹膜两种生 物特征的特点，对指纹和虹膜图像的提取需要在用户与系统设备密切的配合下方能完 成，这一点极大的限制了这两种系统的应用范围和应用场合 2 】。与此同时。另一种生 物特征一人脸引起了研究人员的注意。人的面部特征是与生俱来的生理特征，且在一段 1 人脸识别系统评测方法及实践 较长的时间内不会有较大变化。人脸时刻暴露在人们的视觉范围内，一个人出现在任 何场合，他的面部都不可避免地被观察到。随着高清晰度摄像头的普及和监控设施的 大量应用。识别系统不需要用户的刻意配合即可通过随处布黄的摄像头轻易地获取到 人的面部图像进行处理。人脸这种生物特征的这些特点对于很多需要身份识别但条件 却不允许人们配合的场合意义重大【2 】。因而，对人脸识别技术的研究越来越受到重视。 表l 入脸识别技术广泛的应用领域【2 应用领域 应用项目 驾驶执照、授权项目 生物信息 移民证、身份证、护照 福利证明、保险证明 电脑登录 信息安全 应用软件加密、文件加密、数据库加密 网络安全、联网病历纪录 商业贸易终端 法律应用 高级视频监控、闭路电视控制 与监控 门禁系统 商场防盗、疑犯跟踪与调查 智能卡 储值卡、用户认证卡 访问控制 设备访问控制、交通工具访闯控制 尽管人脸识别有着广泛的前景，但应用过程中出现的问题也随之而来。由于人脸 图像获取的便利性和随意性，在实际应用中所获取的人脸图像存在大量的面部姿态、 面部表情、面部饰物、面部光照、面部图像的背景、人脸与摄像头之间的远近距离的 变化。这些变化给人脸识别技术的进步带来了巨大的障碍。同时，人脸识别技术的准 确率还比较低，目前的应用还停留在一些比较初级的阶段。 “9 1 1 ”事件之后，生物识别技术受到了各个国家更大的关注，生物特征识别， 尤其是人脸识别技术，已经被全球各大研究机构和跨国公司作为下一代的战略制高点 加以重点投资和研究。 1 2 人脸识别技术的发展现状 人脸识别的研究工作自2 0 世纪7 0 年代开始以来，经历了近四十年的发展，已成 为图像分析和理解领域最热门的研究内容之一。目前，人脸识别技术已经从实验室中 的原型系统逐渐走向了商用，出现了出了大量的识别算法和若干杰出的商业系统。目 前常见的识别算法有： e i g e n f a c e 算法【3 ，5 】：e i g e n f a c e 算法由m a t t h e wn 盯k 和a l e xp e n t l a n d 于1 9 9 1 年首 次提出。它基于对人脸图像进行主成分分析( p r i n c i p a lc o m p o n e n t a n a l y s i s ) ，得到出一 2 第一章绪论 组特征人脸( e i g e n f a c e ) 张成的子空间来描述人脸图像。并通过将新的人脸图像向该 予空间进行投影得到的人脸图像对应于特征人脸的权值向量，以权值向量之间的距离 作为判定人脸图像之间相似程度的依据。作为人脸识别领域的基准算法之一，e i g e n f a c e 算法受饰物、光照、表情等变化的影响很大。但由于e i g e n f a c e 算法简单有效，研究者 对其进行了大量的改进和扩展，目前仍然是人脸识别领域流行的算法之- - 2 4 ，2 5 ，2 6 ， 2 7 ，3 3 】。 模板匹配算法【4 ，5 ：模板匹配( c o r r e l a t i o n ) 算法通过直接计算人脸图像向量之间 的夹角余弦值来计算人脸图像之间的相似程度，是人脸识别的又一个基准算法，同样， 受面部饰物、光照、表情等变化因素的影响很大。 弹性图匹配算法 6 ，2 8 ：弹性图匹配算法( e l a s t i cb u n c hg r a p hm a t c h i n g ) 由l a u r e n z w i s k o t t 等人予1 9 9 9 年提出。弹性图匹配算法基于对人脸图像的几何特征和灰度分布 进行小波纹理分析，较好地利用了人脸的结构和灰度分布信息，具有较好的识别效果。 但由于该算法对图像进行小波分析，因而时间复杂度较高。 除了人脸识别的算法之外，目前还有很多优秀的人脸识别商用系统，这些商用系 统大多整合了人脸检测、人脸识别等功能，应用了一种或多种图像处理技术，因此其 识别效果、鲁棒性等性能指标都大大优于识别算法。常见的优秀商业识别系统有： f a e e h ：f a c e l t 系统是由美国i d e n t i x 公司开发的综合人脸识别系统，目前最新版本 称为f a c e l t a r g u s 。f a c e i t a r g u s 系统提供了监控、人脸检测、人脸识别、活性判 别等功能，可以应用于机场、港口等多种场合。f a c e i t 系统的识别性能在f r 、，t 2 0 0 0 评测中表现优异，在f r v t 2 0 0 2 评测中更是遥遥领先大多数参评系统【7 ，8 ，9 】。 f a c c v a c s ：f a c e v a c s 系统由德国的c o g n i t e c 公司开发，目前最新版本为2 3 。 f a c e v a c s 系统的识别性能在f r v t 2 0 0 2 评测中也占据了领先的地位，与f a c e n 系统 的性能不相上下【9 ，2 9 。 人脸识别技术的不断进步使得新的算法和系统层出不穷，由于篇幅所限，本文中 不再一一列举【2 ，3 0 ，3 l ，3 2 ，3 3 ，3 4 1 。 但是，光照、面部饰物、姿态变化等给人脸图像造成很大影响的外部条件对于人 脸识别来说却仍然不能得到解决。f e r e t 测试首先反映了光照和姿态变化对人脸识别 造成的影响，随后在2 0 0 0 年和2 0 0 2 年，f r v t 测试更加全面地测试了各种变化对识 别效果的影响。测试结果都表明，在图像条件变化的情况下，人脸识别算法和系统的 识别性能显著下降，对于图像条件变化的识别问题，尽管长期以来为研究者们所关注， 但是至今一直没有得到很好地解决【8 ，9 ，l o 。 3 人脸识别系统评测方法及实践 图1f r v t 2 0 0 2 测试中使用的室内光照图片和室外光照图片【9 】。 l r d 蛘l 蛔h wo 搿o 幽r t r a m d 哪0 _ “h 棚e 酬“喇删删 q q h h 岫 图2f r v t 2 0 0 2 测试中对室内图像和室外图像进行认证测试的测试结果。可以看到，对于 室外光照图像( o u t d o o r ) ，各个系统的性能都有很大的下降【9 】。 1 3 研究目的和研究意义 人脸识别技术得以迅速的发展，主要归功于以下三个因素：人脸识别算法的发展、 大规模人脸图像数据库的获得、以及对识别算法进行综合性能评测的方法 1 0 】。本文 主要针对后两个因素展开工作。 1 3 1 大型综合人脸图像数据库 人脸识别技术作为图像识别领域的应用之一，一直是以大量的图像数据作为研究 基础的。在人脸识别技术发展的初期，各个研究机构就纷纷建立了自己的人脸图像数 据库，f e r e t 项目进一步建立了一个大型的综合人脸图像数据库【9 ，1 0 ，1 1 。人脸识别 技术发展至今，尽管f e r e t 这样的大型人脸数据库给人脸识别技术的发展起到了非 常积极的作用，但是，对于多姿态、多饰物、多光照等条件下的人脸图像数据仍然缺 乏。究其原因，是因为各个研究机构的人脸数据库大多是根据自己的研究重点需要建 立的，规模和图像变化也相对较少。对于国内研究人员来说，目前所使用的人脸数据 库多以西方人脸为主，由于东西方人在面部特征上存在一定的差异，使用西方人的面 部图像进行识别系统的研究可能会给我们所开发的技术在国内的应用带来不利因素。 因此建立一个大规模、多样化的东方人脸数据库对国内人脸识别技术的发展将会有 极大的推动作用 1 2 1 。 c a s p e a l 人脸数据库正是基于上述考虑而创建的大规模、多变化的东方人脸数 4 oqe害，e e鼍j萋 第一章绪论 据库。该数据库的建立是国家“8 6 3 ”课题一“中文平台总体技术研究与基础数据库 建设”的一部分，同时得到国家自然科学基金项目和“8 6 3 ”计划项目的资助，由中国 科学院计算技术研究所银晨科技面像识别联合实验室负责建立。建库工作开始于2 0 0 2 年8 月，2 0 0 3 年4 月最终完成，共采集并整理了1 , 0 4 0 位志愿者( 其中5 9 5 位男性， 4 4 5 位女性) 的共9 9 ，4 5 0 幅人脸图片。c a s p e a l 人脸数据库中的所有图片分为姿态 变化、表情变化、饰物变化、光照变化、背景变化、距离变化、时问跨度变化等7 种 变化模式子库，这7 个变化模式中中又以姿态( p o s e ) 、表情( e x p m s s i o n ) 、饰物 ( a c c e s s o r y ) 和光照( l i g h t i n g ) 4 种变化为主( 故简称为p e a l ) 。各个变化模式予 库均可以与姿态变化子库进行组合，以满足研究工作中的不同要求 1 3 。 1 3 2 人脸识别算法的性能评测 对人脸识别算法和系统功能的综合评测是推动人脸识别技术进步的另一个动力 1 0 】。通过综合的评测，各研究机构和开发商能够发现自身技术的不足，并通过观察 参加综合性能评测各个系统的表现，发现有价值的研究方向，寻求技术上的突破口， 从而推动人脸识别技术的总体进步。尽管各个研究机构在开发新的算法和系统的时候 无时不在对自己的算法和系统进行测试，以找到与其他算法和系统的差距，但是这些 由各个研究机构甚至研究者自己进行的测试往往具有以下几个缺陷： 1 片面性。研究机构的测试通常侧重于新算法在某一方面的性能，得出的结果往 往显示算法在某种条件下的识别性能高于同类算法，而实际上测试结果却没有 显示在其他条件下的识别性能该算法比其他算法落后的可能性。 2 规模小。研究机构受研究时间和规模所限，一般只使用自己创建的人脸数据库 或者其他人脸数据库的一部分进行算法测试，某些时候测试结果的统计效果并 不明显，测试结果不足以说明问题。 3 缺乏完整的评测协议。某些研究机构和研究者进行的算法测试在数据选择、测 试方法和评价标准等方面不够全面和系统，这容易导致测试所用的数据不准 确，测试方法不严谨等问题，而使得测试结果缺乏意义。 4 测试结果不具备权威性。大型的测试如f e r e t 和f r v t 都由第三方机构或者 政府机构监督进行，这样的测试结果具有权威性，能够让入信服。而开发识别 算法的研究机构对自己开发的算法进行的测试，这种来自于开发者自己对自己 的评价结果不足以让人信服。 针对这些情况，我们基于c a s p e a l 人脸数据库提出了j d l 评测协议，建立了一 个基本的大型评测平台，并对两种人脸识别的基准算法和两个国际优秀的人脸识别系 统进行了测试，一方面检验这两种算法和系统在c a s p e a l 各子集上的识别性能，另 一方面也检验我们的评测协议是否达到对识别系统进行全面、大规模、权威的评测的 要求，为国内入脸识别技术的发展提供帮助。 5 人脸识别系统评测方法及实践 1 4 本文的主要工作 大型人脸数据库以及基于数据库的综合评测协议是本文的主要工作。本文将在第 二章利用大量的图片示例详细介绍人脸数据库的发展现状和c a s p e a l 人脸数据库 的创建环境和库中图片的特色，并介绍了c a s - p e a l 数据库的共享版本c a s - p e a l - r i 的情况。第三章中本文将从理论上详细阐述在评测人脸识别系统时应注意的原则，评 测方法的分类，和相应的对人脸识别算法性能的评测指标，以求为人脸识别性能评测 建立一个较为完整的理论基础。第四章则基于c a s p e a l - r 1 人脸数据库和性能评测 的理论基础，介绍了我们制定并实验的j d l 评测协议以及我们对两个人脸识别基准算 法和两个国外的人脸识别商用系统进行实现并测试的结果。最后第五章对我们的工作 进行总结。指出了有待改进之处和今后的工作方向。 6 第二章c a s p e a l 大型人脸数据库 第二章c a s p e a l 大型人脸数据库 人脸图像数据库是进行人脸识别算法研究、开发和评测的数据基础，一直以来受 到各研究机构的极大重视。本章将分节介绍人脸数据库的发展现状，c a s p e a l 大型 人脸数据库的采集环境、文件命名规则、多种变化模式的图片和c a s p e a l 的共享数 据库c a s - p e a l - r i 的详细情况。 2 1 人脸数据库的发展现状 人脸识别技术发展至今，国际上已经创建了很多优秀的综合人脸数据库，部分人 脸数据库给人脸识别领域带来了深远的影响。目前国际上常用的人脸数据库有： 1 f e r e t 人脸数据库 1 0 1 1 由f e r e t 项目创建，包含1 4 ，0 5 1 张多姿态、光照的灰度人脸图像，是人脸识别 领域应用最广泛的人脸数据库之一。但其中的多数人是西方人，且每个人所包含的人 脸图像的变化比较单一。f e r e t 数据库自f e r e t 以来，在很多研究工作中被研究者 采用。 圈3f e r e t 人脸图像数据库 2 m i t 人脸数据库 3 由麻省理工大学媒体实验室创建，包含1 6 位志愿者的2 , 5 9 2 张不同姿态、光照和 大小的面部图像。 图4 m r r 人脸图像数据库 3 y a l e 人脸数据库 5 】 由耶鲁大学计算视觉与控制中心创建，包含1 5 位志愿者的1 6 5 张图片，包含光照、 表情和姿态的变化。 7 人脸识别系统评测方法及实践 图5 y a l e 人脸图像数据库 4 y a i e 人脸数据库b ( 1 4 包含了l o 个人的5 ，8 5 0 幅多姿态、多光照的图像。其中的姿态和光照变化的图像 都是在严格控制的条件下采集的，主要用于光照和姿态问题的建模与分析。由于采集 人数较少。该数据库的进一步应用受到了比较大的限制。 5 p i e 人脸数据库 1 5 由美国卡耐基梅隆大学创建，包含6 8 位志愿者的4 1 ，3 6 8 张多姿态、光照和表情的 面部图像。其中的姿态和光照变化图像也是在严格控制的条件下采集的。目前已经逐 渐成为人脸识别领域的一个重要的测试集合。 图6 p i e 人脸躅像数据库 6 0 r l 人脸数据库 1 6 由剑桥大学a t & t 实验室创建，包含4 0 人共4 0 0 张面部图像部分志愿老的图像 包括了姿态、表情和面部饰物的变化。该人脸库在人腧识别研究的早期经常被人们采 用，但由于变化模式较少，多数系统的识别率均可以达到9 0 * 以上，因此进一步利用 的价值已经不大。 8 第二章c a s 巾e a l 大型人脸数据库 图7 0 r l 人脸图像数据库 7 p f 0 1 人脸数据库 1 7 由韩国浦项科技大学创建，包含1 0 3 人的1 , 7 5 1 张不同光照、姿态、表情的面部图 像，志愿者以韩国人为主。 图8 p f 0 1 人脸图像数据库 8 。a r 人脸数据库 1 8 】 由西班牙巴塞罗那计算机视觉中心建立，包含1 1 6 人的3 , 2 8 8 幅图像。采集环境中 的摄像机参数、光照环境、摄像机距离等都是严格控制的。 图9 a r 人脸图像数据库 人脸识别系统评测方法及实践 9 b a n c a 人脸数据库 1 9 1 该数据库是欧洲b a n c a 计划的一部分，包含了2 0 8 人，每人1 2 幅不同时间段的 面部图像。 图1 0b a n c a 人脸图像数据库 1 0 k f d b 人脸数据库 2 0 3 包含了1 , 0 0 0 人，共5 2 ，0 0 0 幅多姿态、多光照、多表情的面部图像，其中姿态和 光照变化的图像是在严格控制的条件下采集的。志愿者以韩国人为主。 图1 1k p d b 人脸图像数据库 1 1 m p l 人脸数据库 2 1 该人脸数据库包含了2 0 0 人的头部3 维结构数据和1 , 4 0 0 幅多姿态的人脸图像。 + 9 0 。+ 6 矿+ 9 0 0 + 0 旷 一3 矿一6 0 0一9 0 。 图1 2 m p l 人脸图像数据库 12 x m 2 v t s 人脸数据库 2 2 包含了2 9 5 人在4 个不同时间段的图像和语音视频片断。在每个时间段，每人被 l m 第二章c a s - p e a l 大型人脸数据库 记录了2 个头部旋转的视频片断和6 个语音视频片断。此外，其中的2 9 3 人的3 维模 型也可得到。 人脸图像库在提供标准的人脸图像训练、测试集合的同时，还应该能对影响人脸 识别性能的不同情况进行模拟，以方便研究人员针对不同的关键问题进行重点研究。 但是，现有的人脸数据库大多存在数据量较小或者图像变化情况比较单一的缺陷。此 外，现有的人脸数据库中提供面部图像的志愿者多为西方人，由于东西方人在面部特 征上存在一定的差异，使用西方人的面部图像进行识别系统的研究可能会给我们所开 发的技术在国内的应用带来不利因素。因此，建立一个大规模、多样化的东方人脸数 据库对国内人脸识别技术的发展将会有极大的推动作用。为了改善这种状况，我们建 立了c a s p e a l 大型中国人脸图像数据库。c a s p e a l 人脸数据库在计划之初即是以 大规模、多模式作为建库的目标，在采集环境的设计，数据库采集协议、采集程序和 采集步骤等多方面始终贯彻了这个目标。接下来的几节，我们将一一进行介绍。 2 2 c a s - p e a l 人脸数据库的采集环境 人脸数据库的采集环境是创建人脸数据库的基本硬件条件，主要包括采集摄像头 和控制设备的布局、光照环境的布局等等。这些硬件的组织和应用直接决定了人脸数 据库的特性和质量的高低。在建立c a s p e a l 人脸数据库之前，我们对采集环境进行 了精心地设计和布景，以求在现有的硬件条件下达到最佳的采集效果f 1 3 】。 2 2 1 多角度摄像头分布环境 为了获得严格控制下的多角度多姿态的人脸面部图像，我们设计了多摄像头的布 置方案。编号从o 一8 的9 个摄像头在半圆形框架上成等角度分布，摄像头的分布示意 图如图1 3 所示： 圈1 3 摄像头在水平面的分布示意图 被采集者坐在半圆形摄影架的圆心位置，调整高度以对准c 4 摄像头的中心。9 个 摄像头用u s b 连线连接到p c 机，由程序统一控制9 个摄像头进行拍摄。每次拍摄， 摄像头在大约2 秒的延迟时间内，从c o c 8 号依次抓取一幅图像，并按照统一的命名 规则保存。 人脸识剐系统评测方法及实践 图1 4 采集控制程序界面 2 2 2 多光源分布环境 为模拟不同的光照条件，获取多光照条件下的面部图片，我们设计并布置了3 个 垂直方向( 上、中、下) 和每种垂直方向上的5 个水平方向共1 5 种方向光源，并分别 进行了编号控制。光源分布示意图如图1 5 所示： 图1 5 光照设备分布示意图 在拍摄自然环境光照下的图片时，为了获取一致均匀的自然环境光，同时也为了 便于控制，我们完全遮挡了室外光线，用太阳灯照射不光滑的白色墙壁，利用其反射 光来模拟自然环境光。 在拍摄光照变化条件下的图像时，关闭其它所有光源，依次打开每个方向光源进 行拍摄，每次光照变化，c 0 - c 8 摄像头都同时采集共9 幅不同角度的面部图像。 2 2 3 多饰物的选择 我们预备了3 种不同样式的眼镜和3 种不同样式的帽子，被采集者依次佩戴这6 种饰物进行拍摄。每次更换饰物9 个摄像头均同时工作拍摄不同视角的图像。 2 2 4 背景变化 很多情况下，进行人脸识别时所用的摄像头大多被打开了自动白平衡功能。在遇 到背景颜色变化的情况时，由于摄像头的白平衡功能，所摄取的图片会有较大的色彩 变化。因此我们在采集环境中设置了5 种不同颜色的背景。默认的拍摄背景为蓝色， 1 2 第二章c a s - p e a l 大型人脸数据库 此外在红色、黑色、黄色、白色背景条件下各进行了一次环境光照图像的拍摄。在光 照变化的拍摄情况下，我们也采用了白色背景。同样的每次变换背景，9 个摄像头同 时拍摄不同视角图像。 图1 6c a s - p e a l 采集环境 2 3 c a s - p e a l 人脸数据库命名规则 c a s - p e a l 人脸数据库中的图片按照如下的规则进行命名b 3 ： x x _ n n n n n n _ i x x 士n n _ p x + n ne x a n d n - - t 啦x m n r n s n 1234 5678 91 0l l1 2 在我们的命名规则中，每个文件名分1 2 个区域共有4 6 个字符，标识了该图片的 所有采集条件。其中符号“x ”和符号“1 1 ”分别表示文件名中的字母和数字，随图片 的不同而不同。每个区域以及字母和数字的含义如下： 1 性别和年龄段 性别和年龄段各由一个字母进行如下标识： i “x x ”i f yf 】 f om ym mm o 含义 i 女性，青年 女性，中年女性，老年 男性，青年男性，中年男性，老年 2 身份识别号 每位被采集者都有唯一的一个采集序列号，同时也是该被采集者的身份识别 号，用6 位数字表示。c a s p e a l 人脸数据库麸采集了1 0 4 0 人的人脸图像数据， 身份识别号的变化范围从0 0 0 0 0 1 到0 0 1 0 4 2 ( 其中0 0 0 8 3 3 和0 0 0 8 4 4 号缺失) 。 3 光照变化情况 字母“i ”表示光照变化，其后的第一个字母“x ”表示光源性质( e 、f 、l ) ， 第二个字母“x ”表示光源的垂直位置( u 、m 、d ) ；数字“4 - 1 1 1 1 ”表示光源在水 平面上的偏转角度，光源性质和垂直位置如下所示 符号ef lumd 含义环境光荧光白炽光 仰角+ 4 5 0仰角0 0仰角_ 4 5 0 4 姿态变化情况 字母“p ”表示姿态变化，其后的字母x 表示俯仰姿态( u 、m 、d ) ，数 1 3 人脸识别系统评测方法及实践 字“4 - 1 1 1 1 ”表示水平姿态的偏转角度，俯仰姿态如下所示 字母“e ”表示表情变化，其后的字母“x ”取n 、l 、s 、o 、c 、f 五个字母 之一，表示五种不同的表情，如下所示： 符号n lf sc o 含义 中性表情笑 皱眉惊讶闭眼 张嘴 6 饰物变化情况 字母“a ”表示饰物变化，其后的数字取0 - 6 七个数值之一，分别表示7 种不 同的饰物： i 数字 o12 345 6 含义无饰物帽子1帽子2帽子3眼镜1眼镜2 眼镜3i 7 距离变化情况 字母“d ”表示距离变化。其后的数字取0 - 2 的三个数值之一，分别表示被采 集者与c a 摄像头之间的三种距离。 8 时间跨度变化 字母“t ”表示时间跨度变化，其后的数字从0 2 变化，表示3 次不同的采集 时间： 数字o1 2 含义第一次拍摄3 个月以后 6 个月以后 9 背景变化 字母“b ”表示背景变化。其后的5 个字母分别表示五种不同的背景颜色： 符号brdy w 含义。蓝色红色 黑色黄色 白色 l o 预留位 1 1 公布许可位 c a s p e a l 人脸数据库中的图片除了应用于科学研究之外，部分图片在志愿 者允许的情况下，可以由研究者发表在相关文献中。字母“r ”表示该位为公布许 可位，其后的数字表示志愿者是否同意该图片公开发表在文献中： 数字o l 含义 图片不能发表。仅用于实验 图片可以发表 1 4 第二章c a s p e a l 大型人脸数据库 1 2 分辨率 字母“s ”为分辨率标识位，其后的数字表示该图像的分辨率 数字 0 l 含义 分辨率6 4 0 x 4 8 0 分辨率3 2 0 x 2 4 0 在上述的命名规则之下，c a s p e a l 人脸数据库中的所有图片可以被很好的组织 起来，极大地方便了研究者根据需要进行选择。 2 。4 c a s - p e a l 人脸数据库的图片示例 c a s - p e a l 人脸数据库共包含了l ，0 4 0 人，共9 9 4 5 0 幅面部图像，分为姿态、表 情、饰物、光照、背景、距离、时间跨度7 个子库。下面我们一一介绍 1 2 】。 2 4 1 姿态予库 在环境光照条件下，志愿者被要求变换平视、抬头、低头三种俯仰姿态分别进行 拍摄，每次俯仰姿态变化都获得9 幅水平深度旋转姿态变化的图像。因此，每个志愿 者有2 7 幅环境光照下的标准姿态变化图像。 图1 7 每人的2 7 幅姿态图像。分别为低头、平视、抬头三种俯仰姿态变化。9 个摄像头在水 平面上等角度分布，一次拍摄可同时获得同一俯仰姿态下的9 幅不同水平姿态的图像。 2 4 2 表情子库 志愿者被要求做出笑、皱眉、惊讶、闭眼、张嘴5 种表情，这五种都是造成面部 特征变化比较大的表情，有利于研究识别算法对表情变化的鲁棒性。 圈1 8 表情子库中五种不同的表情( 笑、皱眉、惊讶、闭眼、张嘴) 2 4 3 饰物子库 志愿者佩戴3 种不同的帽子和3 种不同的眼镜，如图1 9 所示： 图1 9 饰物子库中的三种帽子、三种眼镜饰物 1 5 人脸识别系统评测方法及实践 2 4 4 光照子库 采集光照予库图片时，环境光关闭，分别打开各个方向光源进行图片采集，如图 2 0 所示： 图2 0 光照子库中的1 5 种方向光 2 4 5 背景予库 5 种不同的背景颜色包括蓝、红、黑、白、黄。由于摄像头的白平衡功能，面部光 照的分布在每种背景条件下均有不同，如图2 l 所示： 图2 l 背景予库中的蓝、红、黑、白、黄5 种背荣 2 4 6 距离子库 改变志愿者与摄像头的相对距离，获取到子库中每个志愿者的3 种不同距离的面 部图像，如图2 2 所示： 图2 2 距离子库中三种不同的距离下的图片 2 4 7 时间跨度子库 随着时间的改变，人的面部特征会有一定的变化。在我们的人脸数据库中，我们 引入了时间跨度子库，子库中的志愿者图片距离他们第一次采集有6 - i 、, e i 的时间跨度 如图2 3 所示： 1 6 第二章c a s p e a l 大型人脸数据库 图2 3 时间子库，第二行的图像为第一次采集6 个月后再次拍摄的图像 2 4 8 组合子库 由于c a s - p e a l 人脸数据库使用了多角度摄像头的采集环境，每一次变换采集条 件，9 个摄像头都同时工作，采集9 幅图片。因此，每一种采集条件的变化都对应了 同样条件下的多姿态水平深度旋转变化。 图2 4 表情、饰物、光照与水平姿态组合的图像 2 5 人脸特征点的标注 对于自动人脸识别技术来说，在将图片输入到识别算法或者系统进行识别阶段之 前，对人脸面部特征点的检测定位是识别过程中的一个重要环节，特征点检测的误差 大小直接影响到后续识别算法识别效果的好坏。因此人脸图像库在提供人脸图像的同 时，应该提供手工标注好的人脸特征点，以使研究者在使用该图像时有一个正确特征 点位置的参照，也为研究特征点检测算法的研究者提供必要的正确数据