（信号与信息处理专业论文）基于多目视觉的适境计算研究.pdf

中文摘要 摘要：目前在人机交互中鲁棒性不高的主要因素之一在很大程度上是人必须适应 计算机，而计算机没有适应环境的能力，如光照、视角不满足计算机的要求时就 会丢失部分信息，或增加了判决的不确定性，使得在复杂环境下的交互带来困难。 在人脸识别技术实际应用中，外部环境因素，如光照、姿态等会在不同程度上影 响系统的识别率，导致识别效果变差。本文从姿态变化对人脸识别的影响出发， 提出在多目感知的模型下研究“适境计算”的理论框架和实现方法，以解决计算 的鲁棒性问题，运算量小、计算过程简单，实验仿真结果表明，本文提出的相关 概念和算法是正确的、可行的。现将本文研究工作总结如下： 第一，提出在人脸识别系统中使用多目视觉即多摄像机系统解决感知问题。传 统的单目、双目视觉感知是集中在中心投影摄像机模型指导下的感知研究，在该 模型下解决人脸识别问题有很多难以解决的限制。因此，本文提出将多目视觉应 用在人脸识别系统中，通过无重叠配置实现从感知阶段最大限度的解决由于遮挡、 姿态等复杂环境带来的难点，进而提高感知的精确性。 第二，适境计算概念的提出。本文在多目视觉的前提下提出了适境计算的概念， 适境即计算机主动适应外部环境变化的过程，该过程通过关键因素检测、计算， 并根据一定的决策做出适境判决、选择，减小外部环境对人脸识别产生的影响。 第三，提出基于适境计算框架的信息融合算法。本文提出了将广义回归神经网 络( g e n e r a lr e g r e s s i o nn e u r a ln e t w o r k ，g r n n ) 和d e m p s t e rs h a f e r ( d s ) 证据 理论相结合的决策级信息融合方法，利用g r n n 神经网络对每个摄像机所拍摄到 的图像进行基本概率分配，得出单个摄像机对目标的判决，然后利用d s 证据理论 的组合规则和本文使用的决策规则，得出融合后对目标的整体判决，提高判决的 正确性。 关键词：姿态变化；多目视觉；适境计算；广义回归神经网络；证据理论；决策 级 分类号：t p 3 9 1 4 j e 塞銮逼太堂亟堂僮论塞旦墨至b g ! a bs t r a c t a b s t r a c t ：o n eo ft h em a i nf a c t o r sw h i c hl e a d st oal o wr o b u s t n e s s i n h u m a n c o m p u t e ri n t e r a c t i o ni s t h a th u m a nm u s ta d a p tt h e m s e l v e st oc o m p u t e r s ，a n d c o m p u t e r sh a v en oa b i l i t y t oa d j u s tt oe n v i r o n m e n t f o re x a m p l e ，w h e nl i g h ta n d p e r s p e c t i v ed o n tm e e tt h er e q u i r e m e n to ft h ec o m p u t e r , i tw i l l l o s ei n f o r m a t i o no r i n c r e a s et h eu n c e r t a i n t yo fj u d g m e n t i nt h ea p p l i c a t i o no ff a c er e c o g n i t i o n ，l i g h t , p o s t u r ea n do t h e rf a c t o r sw i l la f f e c tt h er e c o g n i t i o n r a t eo ft h es y s t e mi nc e r t a i nd e g r e e ， w h i c hl e a dt oab a dr e s u l t t oa v o i dt h eb a di n f l u e n c ec a u s e db yp o s t u r ec h a n g ei nf a c e r e c o g n i t i o n ，a c c l i m a t i z a t i o nc a l c u l a t i o nf r a m e w o r k i sp r e s e n t e di nt h i sp a p e rt oi n c r e a s e t h er o b u s t n e s so fc o m p u t i n g ，i th a sas m a l la m o u n to fc o m p u t i n ga n das i m p l e c a l c u l a t i o np r o c e s s s i m u l a t i o nr e s u l t ss h o wt h a tt h ep r e s e n t e dc o n c e p t sa n dm e t h o di n t h i sp a p e ra r ec o r r e c ta n dp r a c t i c a l t h ew o r ko ft h i sd i s s e r t a t i o nc a nb es u m m a r i z e da s b e l o w ： f i r s t ，m u l t i p l es t e r e o v i s i o nm e t h o di sp r e s e n t e dt os o l v et h ep r o b l e mo fp e r c e p t i o n i nf a c er e c o g n i t i o n t r a d i t i o n a lm o n o c u l a ra n db i n o c u l a rv i s i o na r er e s e a r c h e sc e n t e r e d i nc e n t r a lp r o j e c t e dc a m e r am o d e l u n d e rw h i c ht h e r ea r es t i l l1 i m i t a t i o n sf o rf a c e r e c o g n i t i o n s o ，w ep r o p o s et ot a k em u l t i p l es t e r e o v i s i o n si nf a c er e c o g n i t i o ns y s t e m ， b yc o n f i g u r i n gw i t h o u to v e r l a p p i n g t os o l v et h ep r o b l e mc a u s e db yp o s t u r ec h a n g eo r o t h e rc o m p l e xe n v i r o n m e n ta n di n c r e a s et h ea c c u r a c yo f p e r c e p t i o n s e c o n d an e wi d e ao fc o n c e p ta c c l i m a t i z a t i o ni sp u tf o r w a r d a c c l i m a t i z a t i o ni s d e f i n e da st h ep r o c e s so fc o m p u t e r sa d j u s tt h e m s e l v e st oc h a n g i n ge n v i r o n m e n t , i tt a k e s k e yf a c t o rd e t e c t i o n ，c o m p u t i n ga n dm a k es e l e c t i o nb a s e do nc e r t a i nd e c i s i o nt or e d u c e t h ei n f l u e n c ec a u s e db yc i r c u m s t a n c e t h i r d ，an e wi n f o r m a t i o nf u s i o nm e t h o db a s e do na c c l i m a t i z a t i o n c a l c u l a t i o n f r a m e w o r ki sp r o p o s e d i nt h i sp a p e r , d e c i s i o nl e v e lf u s i o nm e t h o di s o n ew h i c h c o m b i n e sg e n e r a lr e g r e s s i o nn e u r a ln e t w o r ka n dd e m p s t e rs h a f e re v i d e n c et h e o r y g e n e r a lr e g r e s s i o nn e u r a ln e t w o r ki su s e dt oa s s i g nt h eb a s i cp r o b a b i l i t yo fi m a g e s o b t a i n e db yc a m e r a s ，t h e naj u d g m e n ta b o u tt h es a m et a r g e tc a nb ec o m p u t e df o re a c h c a m e r a , f i n a l l y , d e m p s t e rs h a f e re v i d e n c et h e o r ya n dd e c i s i o nr u l ep r e s e n t e di no u r p a p e ra r et a k e nt om a k ea no v e r a l lj u d g m e n to f t h eg o a l k e y w o r d s ：p o s t u r ec h a n g e ；m u l t i p l es t e r e o v i s i o n ；a c c l i m a t i z a t i o nc a l c u l a t i o n ； g e n e r a lr e g r e s s i o nn e u r a ln e t w o r k ；d e m p s t e rs h a f e re v i d e n c et h e o r y ；d e c i s i o n j 匕京交通太堂亟堂僮i 金塞旦s 至i l e v e l c l a s s n o ：t p 3 9 1 4 致谢 本论文的工作是在我的导师阮秋琦教授的悉心指导下完成的，阮秋琦教授有 着严谨的治学态度和科学的工作方法，阮秋琦老师对待科研工作认真、负责的态 度都给了我极大的帮助和影响。从论文开题到毕业论文顺利完成，阮秋琦老师多 次对我进行指导，帮助我找到正确的研究方向，指导我如何阅读科技文献、如何 更好地写好论文，在此我要衷心地感谢两年来阮秋琦老师对我的关心和指导。 同时，在实验室工作及撰写论文期间，李小利、阮成雄、万军、高立宁、朱 延飞等同学对我论文中的人脸定位、姿态估计等研究工作也给予了热情帮助，在 此向他们表达我的感激之情。 另外也感谢我的家人、朋友，是他们的理解和支持使我能够在学校专心完成 我的学业。 序 人脸识别作为数字图像处理、模式识别、人工智能、计算机视觉、智能人机 交互、神经网络等多学科的研究内容以及其在各领域的广泛应用，使得对人脸识 别具有非常重要的研究意义。 虽然通过人类视觉较容易通过人脸来辨识身份，但是利用计算机进行实时人 机交互和实际环境下应用仍有许多限制，如大多数人脸识别系统只有在特定环境 下才会取得令人满意的结果，外部环境如光照、姿态、角度等发生变化，就会严 重影响系统的识别效果。而传统的单目、双目视觉虽然可以采用方法在一定程度 上解决视角不满足给系统识别带来的影响，但这些方法均是建立在大量计算、复 杂模型的构建基础之上的，耗时多，在这种感知模型下解决该类问题仍有许多难 以解决的限制。 因此，本文提出利用多目视觉以及单目视觉中针对姿态变化的优秀算法相结 合的方法解决视角不满足、姿态变化等人脸识别中的难点，简化运算的同时加快 处理速度，提高了系统的实时性、鲁棒性，实验结果也表明了本文提出方法的正 确性。 本课题属于国家自然科学基金项目的子项目，受国家自然科学基金支持。 1 综述 1 1 选题背景及研究意义 生物识别技术是结合了声学、计算机光学、生物传感器以及统计学原理等手 段的识别技术，利用的人体特性有指纹、虹膜、笔迹、声音、步态等，相对应的 生物特征识别技术有指纹识别、签名识别、d n a 识别技术、虹膜识别技术、语音 识别技术和人脸识别技术等，如表1 1 所示。生物特征识别技术广泛应用在个人身 份鉴定、政府、银行、军队、电子商务、国家安全等方面，图1 1 给出了各种生物 识别方式的市场占有率。 表1 1 各种生物识别技术比较 t a b l e1 1c o m p a r i s o no fs o m eb i o l o g i c a lr e c o g n i t i o nt e c h n o l o g y 识别方法主要应用优点缺点 指纹识别安全系统、指纹识别考较高的唯一性，扫指纹采集头上的指纹， 勤、指纹a t m 系统描速度快有被复制的可能性 声音识别声控系统、手机语音智采集方便传感器和人的声音可 能应用变性很大 虹膜识别自动取款、网上购物唯一性高、抗欺骗采集设备价格昂贵、对 性强，可采集性强光源有要求 签名识别身份识别易于被大众接受变化性大 d n a 识基因身份证唯一性很高无法做到实时取样和 别迅速鉴定 人脸识别行人跟踪、犯罪嫌疑人易于使用，适合隐姿态、光照等环境变化 识别、视频监控、交通蔽进行图像采集影响系统精确性 管理 步态识别视频监控在远距离或低视拍摄角度、携带东西、 频质量下仍可以衣着不同均影响提取 识别效果 掌纹识别身份鉴定性能好、使用方便形态复杂、识别有限制 e巫銮迪厶鲎亟：羔位迨塞红 述 多种融 签名1 指纹 幂缄 图1 1 各生物特征麻州比例 f i g u r e1 1a p p l i c a t i o nr a t i o so fb i o l o g i c a lf e a t u r e s 较传统的身份鉴定方法( 如钥匙、证件、a t m 卡等) 而吉，生物特征识别技 术具有彳i 易伪造、不易丢失、防伪性能好等优点，同时由于生物特征是人的内在 属性，具有不可复制的唯一性，不同个体的生物特征具有很强的个体差异性，利 用其进行身份认定安全、可靠、准确，这些优点都使得生物特征识别成为身份鉴 别最重要的方法。与其他生物特征识别技术相比，人脸识别在可用性方面具有独 特的技术优势，主要表现在： 1 1 硬件设备要求不高，图像采集成本低 2 ) 不需要和设备直接接触，没有侵犯性，容易被人们接受。 3 ) 操作隐蔽 4 ) 方便、直接、友好，更符合人类习惯，更适用于人机交互。 目6 ，j 人脸识别技术已广泛用于安全防务、电子商务、政府、军队、银行、社 会福利保障等领域： l 、居民住宿安全、企业安全管理等。如人脸识别防盗门，人脸识别考勤系统等。 2 、电了护照及身份证。 3 、公安、司法和刑侦。利用人脸识别系统和网络，存储罪犯照片，利用采集图像 与库中图像对比进行识别，搜捕逃犯。 4 、自助金融服务。如银行a t m 提款机。 5 、信息安全。如电子商务、计算机登录服务。对网络商务当事人使用生物特征识 别技术，尤其是人脸识别技术，就可以达到其虚拟身份和真实身份的统一，加大 交易的安全性、可靠性。 6 、视频监控。在银行、公司、超市等场所设置视频监控，可以实时观察场所内人 员情况，对突发状况可以尽快处理并有据可查，保障公共安全。 人脸识别除作为生物特征识别技术而具有巨大应用前景外，人脸识别还具有 重要的研究意义，突出表现在它对其他学科发展的贡献【l 】，它为数字图像处理、模 式识别、人工智能、计算机视觉、智能人机交互、神经网络、计算机图形学、认 知科学、生理学，心理学等多学科提供了很好的应用，有利于促进这些学科领域 在理论和实践上不断创新，同时，这些学科的发展也能不断促进人脸识别技术的 进步和飞跃。 1 2 人脸识别研究现状 人脸识别的研究始于二十世纪六十年代中后期，最早见于文献【2 ，随着计算 机科学、信息技术、人工智能等技术的发展，人脸识别技术也经过了三个阶段的 发展：非自动识别阶段、智能人机交互阶段、自动识别阶段，研究技术的不断创 新、发展使得人脸识别技术应用更加广泛，成为多学科重要的研究课题。 人脸识别就是通过计算机对机器获取的人脸图像进行分析，进而提取出关于 输入图像中有关个体身份的识别信息，进行身份鉴别。通常情况下，人脸识别流 程如图1 2 所示。 图1 2 人脸识别流程图 f i g u r e1 2f l o wc h a r to ff a c er e c o g n i t i o n 1 2 1国内外研究现状 人脸识别的研究最早起源于国外，相应的，对人脸识别问题的研究也较多， 也比较全面，其中比较有代表性的研究人脸识别的国外大学有m i t ，y a l e ，c m u 等，这些大学在研究人脸识别技术的同时，也发布了在人脸识别领域很多重要的 人脸库，为研究人脸识别提供了重要依据，著名的人脸库有剑桥大学a t & t 实验 室的o r l 人脸数据库，卡耐基梅隆大学的p i e 人脸数据库，麻省理工大学媒体实 验室的m r r 人脸数据库等；代表性项目有f e r e t 以及人脸识别中重要的测试项目 f r v t ( f a c er e c o g n i t i o nv e n d o rt e s t s ) ，f r v t 是由美国国家标准与技术中心组织 的。另外，国外也有很多公司研究人脸识别，如德国的c o g n i t e cs y s t e mg m b h ， 美国的i n d e n t i xi n c 、v i i s a g e 、n e v c n v i s o n ，韩国的三星公司，日本的东芝公司等， 这些公司对人脸识别的研究，均带动了人脸识别相关产品的发展。 国内对人脸识别概念的提出是在2 0 世纪8 0 年代，最早对人脸识别进行研究 的是哈工大的联合面像实验室，代表教师有高文、陈熙林、山世光教授。其他高 校如中科院生物识别研究所、清华大学等也从事了大量人脸识别方面的研究。关 于国内人脸识别产品，最出色的当属汉王科技，其人脸识别门禁和考勤系统在国 内市场有很高的占有率，带动了其他公司公司自主研发人脸识别产品。 1 2 2 人脸识别主要难点 虽然通过人类视觉较容易通过人脸来辨识身份，但是利用计算机进行实时人 机交互和实际环境下应用仍有许多限制，如大多数人脸识别系统只有在特定环境 下才会取得令人满意的结梨3 ，4 】，对没有任何约束条件下的人脸进行识别是一项极 具挑战性的工作，人脸识别技术的限制主要体现在以下几个方面： ( 1 ) 光照、视角等外部环境的变化 在人脸识别中，最基本的一步是图像的采集，而光照强弱、光照变化、视角、 距离等外部环境都会不同程度的影响机器感知的效果，进而影响后续处理的结果， 导致系统不够稳定、识别性能较低、系统鲁棒性差。 ( 2 ) 姿态变化、遮挡 人脸姿态角度的变化可能导致图像的灰度畸变、角度旋转等，降低了图像质 量，增大了识别难度。同时，角度的变化可能会引起人脸部分特征点被遮挡，导 致误定位、误识别等。 ( 3 ) 表情复杂 人脸不同面部表情会导致人脸特征的改变，造成识别困难。 ( 4 ) 修饰物 当人脸有修饰物如口罩、眼镜、胡须、发型等，也加大了识别难度。 ( 5 ) 稳定性较差 人脸的外形很不稳定，会随着年龄、心理等有很大的变化，同时，化妆、整 4 容等也会导致面部皮肤特性改变。 ( 6 ) 可靠性不高 虽然不同个体面像并不相同，但是所有人的人脸结构是相似的，甚至人脸器 官的结构外形都很相似，不同人之间面像的差别是非常微妙的，技术上实现完全 安全可靠的认证有相当难度。 除了以上限制，由于人脸识别还涉及模式识别、计算机视觉、图像处理、生 理学等方面的知识，诸多因素需要考虑使得人脸识别至今仍有许多问题亟待解决， 如何将其成功地应用到实际环境中也成为一个非常具有挑战性的课题。 1 3 人脸识别主要研究方法 本文主要研究人脸识别中如何减小姿态变化这个外部环境因素变化对人脸识 别的影响，而针对单目视觉条件下姿态变化给人脸识别率带来较大影响的问题， 总结的多数研究使用的方法有： ( 1 ) 基于几何特征方法。基于几何特征方法主要指不变特征法。不变特征法 即对人脸图像提取对姿态变化不敏感或敏感度较小的特征。这类方法的突出优点 是需要的图像样本数量不大，只需少量的人脸图像样本即可进行识别，该方法对 姿态变化的人脸图像有一定的鲁棒性，然而往往这类方法需要大量的计算，过程 复杂，且参数选择没有确定的标准。 ( 2 ) 多角度法。多视角法进行人脸识别的方法的基本思路为：在训练集中保 存每个对象不同姿势下的若干张图像，需要对目标进行识别时，对比待识别人脸 图像与训练集中相近人脸样本图像，根据一定的决策规则，将待识别图像识别为 与其最接近的训练样本类别。多角度方法的已知优点是可以采集不同姿态的多张 图片，作为数量足够大的训练集。但同时，由于若对每个对象都采集多种姿势下 的图像，训练样本集的采集任务量大，且在比较识别的过程中，计算量也比较大。 多视角法又可以分为基于模板的方法和基于模型的方法。基于模板的方法可 以分为基于相关匹配的方法、特征脸方法、神经网络方法、支持向量机法【5 ，6 】、线 性判别分析方法等。多视角识别的方法最早是由b e y m e r 等人提出的【7 l ，随后t u r k 等人提出了多视角特征脸法【8 】，对每种姿势的人脸图像均训练处一组特征脸，然后 进行人脸识别。梁路宏【9 】等提出了一种基于仿射模板匹配的多角度单人脸定位算 法，用平均脸作为基模板，经由不同的伸缩比例和旋转角度构成的仿射变换生成 各种姿态的模板。周志华等 1 0 】提出了一种将多视角方法和神经网络相结合识别方 法，对每个角度的图像特征均训练建立一个神经网络，该方法进行识别时，偏转 角度不需预处理操作，且角度信息也可以作为识别结果的一部分给出。基于模型 的方法则有主动形状模型、主动外观模型等。a s m ( 主动形状模型) 算法【1 1 1 是一 种基于统计模型的方法，它利用全局形状统计模型来约束局部纹理的匹配，从而 既快又好地确定标志点位置。a s m 算法具有计算速度快，定位精度高，能够对模 型整体形状加以限制，对不同姿势、遮挡都有一定的鲁棒性。但传统a s m 算法会 使部分( 如眼睛) 在全局模型作用下偏离迭代过程中已经确定的特征点，使得最 终的定位结果出现偏差，并且a a m 算法只考虑了形状信息，使得特征点定位准确 性不高；a a m ( 主动表观模型) 【1 2 】算法。a a m 算法的基础是a s m ，但与a s m 不同的，a a m 不仅利用了对象的形状信息，而且利用了对象的纹理信息，将形状 与纹理结合起来建模，这使得a a m 对人脸内部各个特征点的定位更加准确。对每 个人脸的不同姿势建立多角度模型，针对每种姿势训练一套不同的参数。待识别 图像给出后，将每种姿势下的模型与待识别图像分别进行拟合，取拟合误差最小 的模型对待识别人脸进行旋转角度的估计。田春娜等【1 3 】等也提出基于视角流行建 模的多姿态人脸识别算法等。 ( 3 ) 基于三维模型的方法。基于三维模型的方法是近年来新出现的人脸识别 算法，要求将标准正面人脸转换成3 d 人脸，然后虚拟出各种不同角度的人脸，最 后基于这些虚拟的多角度人脸进行识别。其突出优点是可以通过三维空间内的模 型变化解决姿势变化的问题，避免了在二维空间中处理非线性形变，如姜大龙等 1 4 1 提出的高效3 d 重建的人脸识别方法。但是这种方法往往需要计算很多参数，过程 复杂，并且通常要用迭代方法进行模型匹配，需要考虑算法收敛的问题。 我们从以上方法可以看出，虽然在单目视觉下，可以采用方法在一定程度上解 决视角不满足给系统识别带来的影响，但这些方法均是建立在大量计算、复杂模 型的构建基础之上的，耗时多，在单目、双目的感知模型下解决该类问题仍有许 多难以解决的限制。因此，尝试利用多目视觉以及单目视觉中针对姿态变化的优 秀算法相结合的方法解决视角不满足、姿态变化等问题是可行的，同时可以简化 运算，加快处理速度，提高系统实时性。 1 4 本文研究内容 本文在阐述人脸识别相关发展的基础上，重点讨论和研究外部环境变化对人 脸识别的影响，以人脸识别实用化、系统化为目标，对姿态变化对人脸识别产生 影响方面提出了相关概念和相关方法。本文研究工作主要分为以下几个部分： ( 1 ) 提出将多目视觉应用于人脸识别系统 传统的单目、双目视觉感知是集中在中心投影摄像机模型指导下的感知研究， 在该模型下解决人脸识别问题有很多难以解决的限制。因此，本文提出采用多目 6 视觉即多摄像机系统解决感知问题，通过无重叠配置实现从感知阶段从感知阶段 最大限度的解决由于遮挡、姿态等复杂环境带来的难点，进而提高感知的精确性。 ( 2 ) 提出了适境计算的概念并探讨其技术实现方法 本文在多目视觉的前提下提出了适境计算的概念，适境即计算机主动适应外 部环境变化的过程，该过程通过关键因素检测、计算，并根据一定的决策做出适 境判决、选择，减小外部环境对人脸识别产生的影响。为待识别目标的多角度人 脸图像建立主动形状模型( a c t i v es h a p em o d e l ，a s m ) 进行特征点定位，根据定 位出的五个特征点左眼的外部眼角只。、右眼的外部眼角r 。、鼻尖位置氏、嘴部 左外角吃、嘴部右外角估计人脸偏转角度( 缈，y ，口) 。根据一定的适境决策选择 输入图像，进行后续融合、识别。 ( 3 ) 提出基于适境计算框架的信息融合算法 通过仔细研究d e m p s t e rs h a f e r 证据理论，提出了将广义回归神经网络( g e n e r a l r e g r e s s i o nn e u r a ln e t w o r k ，g r n n ) 和d e m p s t e rs h a f e r ( d s ) 证据理论相结合的 决策级信息融合方法，利用g r n n 神经网络对每个摄像机所拍摄到的图像进行基 本概率分配，根据基本概率值( b a s i cp r o b a b i l i t y a s s i g n m e n t ，b p a ) 得出单个摄像 机对目标的判决，然后利用d s 证据理论的组合规则和本文使用的决策规则，得出 融合后对目标的整体判决。实验仿真与系统运行实际结果证明了本文所提方法的 正确性。 1 5 文章结构安排 本文共分为六章，第一章从生物识别角度出发，论述人脸识别得以广泛的原因 和优势，同时，阐述了人脸识别的发展、应用和难点。 第二章介绍多目视觉。提出将多目视觉应用在实际的人脸识别系统中来解决 人脸识别的诸多限制，从多目视觉的原理出发，阐述多目视觉相比较单目视觉和 双目视觉的优点，然后集中概括了现有的关于多目视觉的研究内容、研究方向和 研究方法。 第三章提出适境计算。首先提出适境计算概念，然后给出多目视觉下适境计 算的框架，以及适境计算各部分的技术实现。 第四章详细阐述基于适境计算框架的信息融合算法。提出将g r n n 与d s 证 据理论相结合的决策级融合方法，提高系统的识别率。 第五章是实验仿真和系统设计。将本文提出的概念和方法做了仿真，并加以 实现。 最后一章是总结与展望。在总结本文工作的基础上，针对人脸识别发展的难 点、人脸识别研究方法、信息融合方法、系统搭建等方面提出了相关展望。 2 多目立体视党 2 1 多目立体视觉 人类视觉可以看作是从感知外部世界到得到对事物认知的过程，而计算机视觉 即是结合多种学科技术和研究内容，用机器模拟人眼的视觉功能。获得对物体位 置、大小、形状等方面的信息。依据视觉传感器的个数进行分类，计算机视觉系 统u 5 j 可以分为：单目视觉系统、双目视觉系统和多目视觉系统 双目立体视觉( b i n o c u l a rs t e r e ov i s i o n ) 是机器视觉的一种重要形式，采用的是 视差原理，系统成像设备从目标的不同角度位置获取待测目标的一组即两幅图像， 计算出同一日标两幅图像相互对应的点之间的位置偏差，继而得出物体的三维空 间里的几何信息。在双目视觉系统中，有一个视差( d i s p a r i t y ) 虱像的概念，视差图 像即两眼获得的关于同一目标的两幅图像之间相同物理特征点之间的差别。一般 情况下，双目立体视觉系统由左、右摄像机组成。如图2 1 所示，图中，左右摄像 机的相关参数分别以下标，和，标注。点口，( 甜，m ) 和口，( “，匕) 是三维空间里的点 a ( x ，y ，z ) 在左右摄像机成像面q 和c r 上的像点，我们称之为“共轭点”，分别作 点口，( “，u ) 和a r ( “，v r ) 与各自相机光心q 和d r 的连线，即投影线qd f 和a , q ，两 条投影线的交点即为三维空间中的对象点a ( x ，y ，z ) ，这就是双目立体视觉的基本 原理。 图2 1 双目立体视觉的基本原理 f i g u r e2 1b a s i cp r i n c i p l eo fb i n o c u l a rs t e r e ov i s i o n 通常，一个具有恢复场景3 d 信息的立体视觉系统通常包含六个模块：图像获 取( i m a g ea c q u i s i t i o n ) 、摄像机标定( c a m e r ac a l i b r a t i o n ) 、特征提取( f e a t u r e 9 a c q u i s i t i o n ) 、立体匹配( i m a g em a t c h i n g ) 、三维恢复( 3 dr e c o n s t r u c t i o n ) 和视频 分析( d e oa n a l y s i s ) ( 包括运动检测、运动跟踪、规则判断、报警处理等) 。 在立体视觉的图像获取阶段，若采用多目的立体视觉图像，则该视觉系统为 多目立体视觉，多目立体视觉的多目图像可通过多个角度的摄像机同步获得，也 可使用一台摄像机在一定范围内旋转一定间隔获得，如图2 2 所示。多目立体视觉 的理论基础与双目视觉相同，可以看成是多组双目立体视觉，但摄像机的个数的 增加，导致增加了几何约束，使得多目视觉减少了双目视觉立体匹配的困难。同 时，计算机系统所处的外部环境变化复杂，如光照变化、遮挡、姿态角度变化等， 使得传统的单目、双目视觉集中在中心投影摄像机模型指导下的研究解决感知问 题尚有诸多难以解决的限制，而多目视觉可以通过对多个摄像机位置进行合理配 置、规划，使待识别人脸目标位于多个摄像机的重叠区域范围内，实现从感知阶 段最大限度的解决由于姿态、光照、遮挡等复杂环境带来的难点，获得比单目视 觉检测技术更多的图像信息，降低后继处理的复杂程度，提高检测系统的测量精 度、抗干扰能力以及测量效率。同时我们还可以通过有效的信息融合方法，有效 利用冗余数据，更好地提高系统感知的正确性。 图2 2 多目立体视觉 f i g u r e2 2m u l t i p l es t e r e ov i s i o n s 2 2 多目视觉的研究内容 关于多目视觉，现有的主要研究方向有： ( 1 ) 多目视觉有效测量域的计算1 6 】。在多目视觉测量过程中，为使测量结果 更加准确、有效，待测物体必须被置于有效的视野空间范围内17 1 ，这样才能保证 被测物体被所有方向的摄像机观测到，图2 _ 3 所示给出个单个摄像机的视见体，对 1 0 应于实际拍摄过程，每个摄像机所能拍摄到的范围都可以看作是一个视见体，它 在线性成像模型下表现为一个四棱锥体，而整个多目视觉系统最终的有效测量域 则是系统中所有摄像机视见体的交集。 图2 3 单个撮像机的测量域 f i g u r e2 3m e a s u r e m e n td o m a i no fc a m e r a ( 2 ) 多摄像机的位置规划问题【1 8 】。为获得高精度的空间位置，或从提高三维 场景重建的精度出发，若对多目视觉系统中多个摄像机的位置进行合理规划，定 量地计算出各摄像机的有效视野范围、传感器结构参数之间的关系、最佳位置分 布情况及其相应的定位精度，则可以求得各传感器的最优位置布局，使测量精度 提高。研究表明，摄像机的位置规划问题属于传感器规划的一部分，研究此类问 题通常包含许多相互约束性的条件，复杂性较高。y i e l 9 】证明了传感器规划问题的 复杂性属于n p 完全问题，并且采用了遗传算法和组合优化方法解决多摄像机规 划。 图2 4 双目视觉景深 f i g u r e2 4b i n o c u l a rs t e r v o v i s i o n sd e p t ho ff i d d ( 3 ) 多目视觉中的匹配问题【2 0 】。本文前面已述，多目视觉系统中摄像机个数 的增加使得立体匹配的困难较双目视觉系统降低，由于空间立体三维场景投影在 二维平面上时，不同角度下的同一特征点会发生很大的变化，如何克服外界环境、 摄像机畸变、噪声干扰等因素，恢复出正确的目标图像即是立体匹配的研究内容。 ( 4 ) 多摄像机目标跟踪。多摄像机协同运动目标跟踪 2 1 】就是使用多摄像机有 效解决遮挡、光照突变、场景混乱等复杂情况下的运动目标跟踪等问题，实现目 标跟踪，图2 5 给出了多个摄像机同一时问拍摄到的同一目标监控区域的视频图 像。多摄像机协同目标跟踪问题又可以分解为多个子问题，例如如何使在跟踪过 程中实现跟踪窗口的自适应变化，如何使跟踪过程中的特征随场景、时问变化自 动更新等。 图2 5多摄像机运动目标跟踪 f i g u r e2 5m o v i n gt a r g e tt r a c i n gb a s e do nm u l t i p l ec a m e r a s ( 5 ) 多a g e n t 通信、协商【2 2 之4 1 。a g e n t 是具有自主知识、信念、意图的一个 实体，具有自主性与交互性等特点，可以感知环境变化，并对环境变化作出自适 应反应。通常，我们用b d i 模型b ( b e l i e f ) 、d ( d e s i r e ) 、i ( i n t e n s i o n ) 表示 a g e n t 的思维状态，如图2 6 所示。任何具有自治性、反应性及能动性的硬件或软 件，都可以称为a g e n t ，在多目视觉系统中，每个摄像机都可以看作一个a g e n t 。 而m u l t i a g e n ts y s t e m ( m a s ) ， ! f 】多a g e n t 系统是由多个a g e n t 未完成某一个特 定任务目标而组成的集合，m a s 中的各a g e n t 之间既相互独立又相互依存，通过 与其他a g e n t 问的通信、协商，最终做出决策行为。在多目视觉系统中，多个图 像传感器构成一个m a s ，可以利用a g e n t 阳j 的相互合作共同达到系统要求，提高 系统自主性、智能性。 幽2 6a g e n t 的b d i 模型 f i g u r e2 6b d im o d e lo f a g e n t ( 6 ) 多传感器图像数据融合【2 5 1 。多传感器图像融合是图像理解和计算机视 觉领域中一项重要而有用的技术，这里的多传感器不仅包括多个相同类型的传感 器，也可以指各种不同类型的图像传感器，多传感器图像融合就是采用一定的算 法，把两幅或多幅具有互补特性的同一目标的源图像融合成一幅新的图像，从而 使融合后的图像具有更高的可信度和清晰度、更好的理解性，可以。在外界环境 条件不利情况下( 如光照变化、运动、遮挡、视角不足等) 或者当一个图像传感 器不足以提供用于目标识别或场景描述的足够信息时，就需要通过图像融合来获 得较满意的效果，融合后的图像，可以为进一步的图像处理提供更有效的信息， 如图像分类、图像分割、目标检测、目标识别、故障检测等。 2 3 本章小结 传统的单目和双目视觉感知在计算机视觉中已有多年的研究，是主要集中在 中心投影摄像机模型指导下的感知研究，在该模型下解决人脸识别感知问题尚有 诸多难以解决的限制。因此，本研究提出利用多摄像机系统解决感知问题，通过 无重叠配置多摄像机，从感知阶段最大限度的解决由于遮挡、姿态等复杂环境带 来的难点，进而提高感知的精确性。 本章在分析单目、双目视觉系统在处理复杂环境变化下的人脸识别方面的限 制后，提出利用多目立体视觉解决计算机系统中机器感知的难点，如姿态变化、 光照变化、遮挡等问题。然后根据双目视觉的基本原理引申出多目视觉的基本构 成原理，即多目视觉系统可看成多组双目视觉组成的系统，它的有效测量范围是 多个双目视觉的重叠区域，最后，本文通过仔细阅读相关文献，总结了关于多目 视觉的几个主要研究方向和研究内容，为系统、全面地研究多目视觉提供了有利 参考。 3 多目视觉下的适境计算 3 1 适境计算概念及框架 目前在人机交互中鲁棒性不高的主要因素之一在很大程度上是人必须适应计 算机，而计算机没有适应环境的能力，如光照、视角不满足计算机的要求是就会 丢失部分信息，或增加了判决的不确定性，使得在复杂环境下的交互带来困难。 本文提出一个新的概念适境，即计算机通过关键因素的检测，自动调整系统参数， 从而适应外部客观条件来提高系统的鲁棒性的过程，是一种类自适应机制。 本文前一章提出使用多目视觉解决姿态变化对人脸识别的影响，在多目视觉 条件下，如何对系统获得的多目图像进行适境选择即适境计算的实现是本文提出 的一个重要理论。图3 1 给出了多目视觉条件下针对姿态变化的适境计算的框架， 适境计算的框架主要分为3 个部分，图像输入、姿态估计、适境选择，其中，在 姿态估计部分，本文利用的方法是由人脸的五个特征点左眼的外部眼角只，、右眼 的外部眼角、鼻尖位置、嘴部左外角气、嘴部右外角进行人脸姿态估 计。 塑乎堂砸引嬲， 角度检 涓、计算 适境判决 图3 1多目视觉下适境计算理论框架 f i g u r e3 1a c c l i m a t i z a t i o nc a l c u l a t i o nf r a m e w o r kb a s e do nm u l t i p l es t e r e o v i s i o n s 3 2 人脸特征点定位 从图2 1 所示的多目视觉条件下的适境计算理论框架中可以看出，针对姿态 变化的适境计算框架有两个主要部分：姿态估计和适境选择。而本文中的人脸姿 态估计则是根据a s m 算法定位人脸5 个特征点一左眼的外部眼角吃、右眼的外部 眼角气、鼻尖位置、嘴部左外角p 、嘴部右外角估计人脸旋转角度。下 1 4 索一 面将对a s m 模型进行简要叙述。 3 2 1a s m 模型 a s m ( a c t i v es h a p em o d e l ) 是t i mc o o t s 和c h r i st a y l o r 于19 9 5 年提出的【2 6 】， 该模型是关于物体形状的统计模型，通过迭代方法使得形状匹配新图像中的目标 形状。a s m 模型由点分布模型p d m ( p o i n td i s t r i b u t i o nm o d e l ) 约束，能够既快又好 地确定标志点位置。同时我们可以通过变换a s m 模型的形状参数，以获得更好的 定位效果。a s m 算法具有定位精度准确、计算速度快等特点，对姿势变化有一定 的鲁棒性。a s m 算法主要分为模型建立阶段和形状匹配阶段两个阶段，分别如图 3 2 ( a ) 、3 2 ( b ) 所示，下面将对a s m 建立的全部过程进行概要介绍。图3 3 给出 了a s m 算法定位的6 8 个特征点图像。 谰练藁孛每幅人蕤 葶动括证辨特薤点 i 形状对莠删) l l 麟方法建立 人箍统计形获筷蘩 图3 2 ( a ) 建立模型 f i g u r e3 2 ( a ) m o d e lb u i l d i n g e 巫銮迪厶堂亟：! ：堂位迨塞墨目塑鲎e 的适缝盐簋 图3 2 ( b ) 特征点定位 f i g u r e3 2 ( b ) f e a t u r ep o i n tl o c a t i o n 图3 3a s m 算法6 8 个特征点定位图像 f i g u r e3 3l o c a t i o ni m a g eo f6 8f e a t u r ep o i n t s ( 一) 标记特征点和计算权值 在a s m 算法中，使用一系列特征点来建立目标物体的形状模型，我们把这些 特征点构成的模型称为点分布模型( p o i n td i s t r i b u t i o nm o d e l ，p d m ) ，p d m 模型 是a s m 建模的基础和前提。为建立p d m 模型，需要对训练集样本进行手动标记 特征点，设训练集中共有m 个人脸样本，每个人脸样本选取j v 个特征点，个特 征点组成的形状向量可用式( 3 一1 ) 表示： s = 【x l ，少l ，x 2 ，y 2 ，x ，y 女，x 】