毕业设计-在Ycbcr空间中的基于肤色的人脸检测

武汉理工大学毕业设计〔论文〕基于视频的人脸检测研究学院〔系〕：机电工程学院专业班级：学生姓名：指导教师：学位论文原创性声明本人郑重声明：所呈交的论文是本人在导师的指导下独立进行研究所取得的研究成果。除了文中特别加以标注引用的内容外，本论文不包括任何其他个人或集体已经发表或撰写的成果作品。本人完全意识到本声明的法律后果由本人承当。作者签名：年月日学位论文版权使用授权书本学位论文作者完全了解学校有关保障、使用学位论文的规定，同意学校保存并向有关学位论文管理部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本人授权省级优秀学士论文评选机构将本学位论文的全部或局部内容编入有关数据进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。本学位论文属于1、保密囗，在年解密后适用本授权书2、不保密囗。〔请在以上相应方框内打“√”〕作者签名：年月日导师签名：年月日目录TOC\o"1-2"\h\z\u摘要IAbstractII1绪论11.1课题背景及研究意义11.2国内外研究开展现状21.3本文的主要内容32人脸检测技术简介42．1基于先验知识的方法42．2基于特征的方法52．3基于模板匹配的方法62．4基于统计模型的方法62．5本文算法方案的提出93算法设计与matlab实现103．1常见的颜色空间103．2颜色空间地选择143．3肤色模型的建立143.4肤色的提取153.5人脸区域形态学处理163．6人脸区域的筛选与标记173.7误检分析224结论及展望24参考文献25致谢26摘要人脸识别技术属于生物验证的一种，在身份验证领域日益发挥重要作用，具有十分广泛的应用前景。人脸检测和定位问题是人脸识别技术首先要解决的问题。人脸检测算法是一个高效的、自动的人脸识别系统中的关键技术之一。如今人脸检测问题已成为一个热门研究领域，新的算法不断被提出，不过由于人脸的复杂性，目前尚不能找到一个完美的算法。在不同应用环境下，有不同的算法，本文针对应用于视频中人脸检测问题进行了研究，论文的主要工作如下：本文首先对当下流行的几种人脸检测算法进行分析并比拟各自在视频人脸识别中的适用性。结合其实现难度，提出一个能适应视频人脸识别的在YCbCr色彩空间中基于肤色的人脸检测算法，由于肤色在YCbCr空间受亮度信息的影响较小，本算法直接考虑YCbCr空间的CbCr分量，映射为两维独立分布的CbCr空间。在CbCr空间下，肤色类聚性好，利用人工阈值法将肤色与非肤色区域分开，形成二值图像。非肤色区域中依然有可能有局部区域颜色与肤色相近，所以阈值分割后的图像依然存有局部假肤色区域，经过形态学处理和限制长宽比之后，可得到人脸区域。在确定人脸区域后，我们需要在原图上对人脸区域进行标记，这里可通过找到一些关键点，作出矩形框标记人脸区域。关键词：YCbCr色彩空间；肤色分割；人脸检测。AbstractFacerecognitiontechnologyisakindofbiologicalvalidation,inauthenticationrealm，playanincreasinglyimportantrole,withaverywiderangeofapplications.Facedetectionisthefirstproblemtobesolved.Facedetectionalgorithmisoneofthekeystechnologiesofanefficient,automatedfacerecognitionsystem.Today,facedetectionhasbecomeahotresearchfield,newalgorithmscontinuetobemade​​,butbecauseofthecomplexityoftheface,itisnotyetfoundaperfectalgorithm.Indifferentapplicationenvironment,therearedifferentalgorithms,thispaperstudiedappliestohumanfacedetectionvideo,thepaper'smainworkisasfollows:Thisarticleanalyzeseveralcurrentpopularfacedetectionalgorithmfirstandthencomparetheirapplicabilityinthefacerecognitionforvideo.Combinedwithitsimplementationdifficulty,proposeanadaptivefacerecognitionforvideointheYCbCrcolorspace,color-basedfacedetectionalgorithm,asintheYCbCrcolorspacelessaffectedbythebrightnessinformation,theproposedalgorithmdirectlyconsiderCbCrcomponentYCbCrspace,two-dimensionaldistributionmapofCbCrspaceindependent.InCbCrSpace,colorclusteringisgood,theuseofartificialthresholdmethodtoseparatetheskinandnon-skinregion,formedabinaryimage.Innon-skinregion,therearestillsomeareasmayhavesimilarcolorandskincolor,soafterthresholdingtheimagestillexistsomefalsecolorregion,throughmorphologicalprocessingandconstraintheaspectratio,theobtainedfaceregion.Indeterminingthefaceregion,weneedtomarkthefaceregionontheoriginalpicture,Byfindingsomekeypointsthe​​rectanglelabeledhumanfaceregioncouldbemade.Keywords:YCbCrcolorSpace;skincolorsegmentation;humanfacedetection.1绪论1.1课题背景及研究意义1.1.1课题背景自古以来，有关身份验证的研究就一直没有停止过，古代主要通过印章来验证身份，此法沿用至今，到现代，随着计算机和信息技术的开展，人类通过密码、ID卡、IC卡等来验证身份，目前，人们还有通过人类的生物特征来验证身份，比方说大家熟知的指纹验证、精确度更高的虹膜验证、掌纹验证、人脸识别〔facerecognition〕验证等，其中，人脸识别验证是难度最大的。近年来随着人工智能和电子商务迅速开展，人脸识别技术成为最有潜力的生物识别技术和人类生物特征验证手段。利用计算机处理人脸图像，从中提取出有效的面部信息并以此来辩识该人的身份的技术，便为人脸识别技术。相对于其他身份识别技术，人脸识别技术具有友好，使用方便，受限小等优点。人脸识别技术可以被应用在多种不同的需要身份验证的领域，如金融、证券、公安部门的刑侦等领域。随着网络技术的开展和其日益广泛的应用，信息平安也成为非常重要的一个方面，如果将人脸识别应用到计算机的登录上，那么相对于密码登录，能更加高效地保证计算机被使用时的平安性。在人脸识别系统中，对于人脸的检测与定位是人脸能实现有效识别的先决条件和关键技术，在人脸识别技术的早期，都是认为人脸是已经得到并已实现定位的假设下进行的，但随着技术的应用日益广泛，此项假设已经不能满足需求，这便提出了人脸检测〔facedetection〕技术。对于人脸检测技术，主要涉及以下几个问题的研究：人脸特征的描述：即如何描述一张人脸的典型特征，比方说相对固定的几何外形，都有眼睛和嘴巴，对于同一人种，肤色大家都差不多，也就是肤色具有类聚的特征，对于不同的特征描述方式，我们就会提出不同的检测方法，可以这样说，选择一个较好的人脸特征描述方式，那我们就会事半功倍，取得较好的效果。尺度：对于不同的人脸照片，人脸的大小会有所不同，在同一张相片中，也可能有大小不一的人脸，这对于在对人脸的大小特征描述是一个比拟大的挑战。搜索策略：在描述了人脸特征之后，如何搜索到这些特征点便要用到适宜的搜索策略。速度和精度：任何一个实现判断功能的系统，其精度和速度都是十分重要的指标。人脸检测也不例外，在我们选择特征描述和搜索策略时，要在满足精度和速度要求下进行[1-2]。人脸检测的难点主要有一下几项：(1)如何判断图像中是否存在人脸，如何区别人脸和类似人脸的非人脸图像，这是人脸检测不同于人脸识别的地方。(2)人脸具有复杂的细节变化，脸形、肤色等特征的个体差异比拟明显，即使同一个人也会有不同的表情和姿态等，当侧脸时有面部器官的缺失，这些都使人脸的变化复杂，增加了很大的难度。(3)某些外部物品可能会遮挡人脸，如头发、眼镜、帽子等。(4)由于不同的成像角度会造成人脸的不同姿态，如平面内旋转、深度旋转以及上下旋转，其中深度旋转影响较大。(5)光照的影响，如图像中的亮度、比照度的变化和阴影等。(6)图像的成像条件，如摄像设备的焦距、成像距离、图像获得的途径。由此可见，人脸检测涉及的问题十分广泛，它是一个复杂的具有挑战性的问题。解决此问题具有重要的学术价值，可以为其它类似的复杂模式检测问题提供重要启示，因此人们对人脸检测进行了大量的研究工作。1.1.2课题研究的意义研究人脸识别在理论和技术上都有重要的意义：一是可以推进对人类视觉系统本身的认识；二是可以满足人工智能应用的需要。采用人脸识别技术，建立自动人脸识别系统，用计算机实现对人脸图像的自动识别有着广阔的应用领域和诱人的应用前景。同时人脸识别作为一种生物体征识别与其它较成熟的识别方法〔如指纹、虹膜、DAN检测等〕[3]相比有以下几个优点：①无侵犯性，人脸图像的获取不需要被检测人发生身体接触，可以在不惊动被检测人的情况下进行；②低本钱、易安装，人脸识别系统只需要采用普通的摄像头、数码摄像机或上的嵌入式摄像头等被广泛使用的摄像设备即可，对用户来说也没有特别的安装要求；③无人工参与，整个人脸识别过程不需要用户或被检测人的主动参与，计算机可以根据用户预先的设置自动进行。由于具有以上优点，近几年来，人脸识别技术引起了越来越多科研人员的关注。人脸检测研究具有重要的学术价值。人脸是一类具有相当复杂的细节变化的自然结构目标,此类目标的检测问题的挑战性在于:①人脸由于外貌、表情、肤色等不同,具有模式的可变性;②一般可能存在眼镜、胡须等附属物;③作为三维物体的人脸的影像不可防止地受由光照产生的阴影的影响；因此,如果能够找到解决这些问题的方法,成功构造出人脸检测与跟踪系统,将为解决其它类似的复杂模式检测问题提供重要的启示。1.2国内外研究开展现状人脸检测问题是计算机视觉领域中的重要问题，最初作为人脸自动识别系统的定位环节被提出，近年来由于其在平安访问控制、视觉监测和新一代人机界面等领域的应用价值，开始作为一个独立的课题受到研究者的重视。人脸检测问题在近十年中得到了深入的研究并取得了长足的开展，国内外的很多学者提出了许多不同的方法，在不同的领域都取得了不同的成果，但是要寻找一种准确率很高的、能普遍适用于各种复杂情况的人脸检测算法，还有一定的距离。国外的主要研究单位有美国的麻省理工媒体实验室〔MITMedialab〕、卡耐基梅隆大学的人机交互学院〔Humancomputerinterfaceinstitute〕、微软研究院的视觉技术研究组〔VisionTechnologyGroup〕、英国剑桥大学工程系〔DepartmentofEngineering〕等，国内的微软亚洲研究院、中科院自动化研究所、清华大学、北京工业大学等都有专业人员从事人脸检测的相关研究[4]。而且，MPEG7标准组织已经建立了人脸识别草案小组，人脸检测算法也是一项征集的内容。此外，随着人脸检测研究的深入，国际上发表的有关论文数量也大幅度增长，如IEEE的FG、ICIP、CVPR等重要的国际会议上每年都有大量的关于人脸检测的论文，占有关人脸研究论文的1/3之多细化。其中提出了许多当下流行的算法,Yang和Huang提出了Mosaic方法[5]；Zabrodshky提出连续对称性检测方法，检测一个圆形区域的对称性，从而确定是否为人脸[6]；Riesfield提出广义对称变换方法检测局部对称性强的点来进行人脸器官定位[7]；卢春雨定义方向对称变换，分别在不同方向上考察对称性，不仅能用来寻找强对称点，而且还可以描述强对称性物体的形状信息，这样的变换对人脸偏转、脸部表情变换、光照等因素都不敏感，使人脸器官定位更为有效[8]。细化国内很多研究机构、大学以及科技公司都对此区域进行了深入的研究。清华大学、北京工业大学、南京理工大学、四川大学、上海交通大学、中国科学院计算技术研究所和中国科学自动化研究所等都有人员从事人脸检测方面的相关研究。为了促进这项技术的开展，很多知名的国际会议、期刊都设立了人脸检测技术专题，其中包括CVPR、ICPR、IEEE等，方便研究人员间的技术交流与学习。只不过就目前国内外对人脸检测研究的现状来看，虽然针对人脸检测已经提出了多种算法，也取得了一定的成果。整体来看，人脸检测研究涉及计算机视觉、数字图像处理、人工智能等多个学科领域，同时这项研究还满足了现代计算机网络和通信系统高速开展的需求，无论从实用性还是从学术性来看，均具有很高的研究价值。随着计算机网络的普及，图像、视频等多媒体信息在计算机信息中比重的加大，这一研究必然会得到更快、更长远的开展。1.3本文的主要内容本文主要利用肤色的聚类特性，实现了一个复杂背景下的人脸检测，本文的主要内容为第一章．。。：第一章．。。第一章介绍了研究本课题的课题背景、学术意义和应用意义，简要介绍了人脸检测的国内外研究和开展现况，并对本文的主要内容作了简要说明。第二章为人脸检测技术简介，通过比拟目前比拟常用的人脸检测方法，对它们的优劣和实现难度等指标进行评估，提出适合在视频中应用的人脸检测算法，也是本文主要研究的算法-在YCbCr色彩空间中的基于肤色的人脸检测。第三章针对提出的算法进行了算法的实现，并在matlab平台上进行了计算机仿真，对局部仿真结果进行了分析，对算法的应用场合和实用性进行评估。对误检结果进行了分析，并将其作为未来使用中的参考。2人脸检测技术简介人脸检测是指在输入图像中确定所有人脸〔如果存在〕的位置、大小、位姿的过程。人脸检测作为人脸信息处理中的一项关键技术，近年来成为模式识别与计算机视觉领域内一项受到普遍重视、研究十分活泼的课题。人脸检测问题来源于人脸识别问题。人脸检测是对给定的图像，判断其中是否有人脸，假设有，将所有人脸从背景中分割提取出来，并确定每个人脸在图像中的位置和大小。人脸检测技术可以应用于人脸识别、视频会议、图像与视频检索、刑侦破案和证件验证等领域。人脸检测是对于输入的人脸图像或视频，首先判断其中是否存在人脸，如果存在人脸，那么进一步给出每个人脸的位置、大小以及各个主要面部器官的位置信息，并依据这些信息，进一步提取每个人脸中所蕴含的特征，并将其与人脸库中的人脸图像进行比照，从而得到识别结果。由此可见，一个完整的人脸识别过程应包括人脸检测与人脸识别两大局部。人脸识别由两局部工作组成：(l)人脸检测：在标点符号用中文输入的图像或视频画面当中确定存在的人脸位置、尺寸等的过程，这是识别工作的根底课题，在减少算法复杂度等方面对识别工作有关键性影响。标点符号用中文(2)人脸识别：通过与计算机相连的摄像头动态捕捉人的面部信息，并把捕捉到的人脸与预先录入的人脸数据库中存储的人脸进行比拟识别。人脸检测的根本思想是建立人脸模型，比拟所有可能的待检测区域与人脸模型的匹配程度，从而得到可能存在人脸的区域。本章主要对常用的人脸检测方法进行总结、分析，得出自己的算法依据。近几年，人脸检测技术开展迅猛，研究人员提出很多人脸检测的方法，但是由于人脸检测问题的复杂性，实现通用的人脸检测方法还不实际，因此解决特定约束条件下或某种应用背景下的人脸检测问题仍将是该领域研究的主要课题。对人脸进行检测之前，需要对人脸的特征进行适宜的描述，人脸的特征有许多，大体可分为生物特征和外形特征，生物特征有肤色，人类固有的眼、鼻、口等。外形特征有相对固定的长宽比，相对固定的形状，以及面部器官的几何关系等。针对不同的人脸特征描述方式，就可以提出不同的人脸检测方案。从目前来看，人脸检测方法大致可分为以下四类。2．1基于先验知识的方法这种方法是利用对人脸的先验知识给出检测规那么来进行人脸检测。人脸局部特征的分布总是存在着一定的规那么，如图像中出现的人脸通常会有几个位置和数量相对固定的面部器官，如鼻子、眼睛、嘴巴等。在一幅人脸图像中，面部的这些特征将首先被提取出来，然后基于检测规那么将候选的脸部区域区分出来。2.1.1器官分布法格式格式虽然人脸在外观上变化很大，但五官的空间分布大致符合一些普遍的规律，器官分布法检测人脸即是检测图像中是否存在满足器官分布规那么的图像块。这种方法一般有两种思路：一种思路是“从上至下”，其中最为简单有效的是Mosaic方法，它给出了基于人脸区域灰度分布的规那么，依据这些规那么对图像从粗分辨率到高分辨率进行筛选，以满足这些规那么的程度作为检测的判据。这种方法的吸引之处在于使用从粗到细的策略减少了计算量。另一种思路那么是“从下至上”，先直接检测几个器官可能分布的位置，然后将这些位置点分别组合，利用器官分布的几何关系准那么进行筛选，找到可能存在的人脸。2.1.2投影法这是一种利用图像的投影快速定位人脸边界和脸部特征的方法。在处理一幅输入图像时，首先获得其水平投影，然后通过检测其图像的急剧变化处得到两个局部最小值，这两个值对应头部的左右轮廓线。类似地，通过检测垂直投影的局部最小值，检测出人脸的嘴唇、鼻尖和眼睛。这种方法的缺陷在于无法有效检测出有多张人脸的图像以及在复杂背景中的人脸。2.1.3对称法人脸具有一定的轴对称性，各个器官也具有很强的点对称性。连续对称性检测方法，检测一个圆形区域的对称性，从而确定是否为人脸；广义对称变换方法检测局部对称性强的点来进行人脸器官定位；卢春雨定义方向对称变换，分别在不同方向上考察对称性，不仅能用来寻找强对称点，而且还可以描述强对称性物体的形状信息，这样的变换对人脸偏转、脸部表情变换、光照等因素都不敏感，使人脸器官定位更为有效[8]。该方法对图像要求很高，并且受姿态、表情、光照等因素的影响较大。其中器官分布法、对称法准确率较高，但运算量大；而投影法虽然准确率不高，但运算量小。2．2基于特征的方法基于特征的方法试图先找出人脸的稳定特征，再利用其它信息进一步检测人脸。人脸的稳定特征是指在外界环境有所改变时相对不变的特征，比方人的脸部特征、肤色、纹理以及它它们的综合特征等。2.2.1脸部特征首先我们要提出一些可靠有效的方法来检测脸部特征，然后推断是否有人脸存在。至于人的脸部特征，往往使用边缘检测来获得，如眼睛、眉毛、嘴巴、鼻子等。基于这些特征，我们可以建立起描述特征之间的统计模型，然后去校验是否有人脸存在。当然，这种方法也存在缺陷，此种方法的缺陷在于表情、光照、噪声等因素会造成脸部特征边界弱化，这样就影响到人脸检测结果的准确性。2.2.2纹理特征人脸的纹理特征可以分为三类，即皮肤、毛发和其它类，这些人类特有的纹理可以被用来区别其它物体。这种方法的优点是在对于“不干净”的人脸检测上，如有胡须、眼镜等附属物存在时，检测结果仍然比拟准确。2.2.3肤色特征研究说明，人类肤色在去除亮度的色度空间〔如YCbCr空间〕具有聚类性，颜色信息在一定程度上可以将人脸同大局部背景区分开来，因此可以利用肤色模型有效地检测人脸。利用肤色信息检测人脸的方法具有计算量小，方法相对简单，易于实时性处理及适合复杂背景下的人脸检测定位等特点。在设计了肤色模型表征人脸颜色之后，利用感光模型进行复杂背景下人脸及器官的检测与分割。该方法对图像要求较高，但运算量小。其最大的优点在于受人脸姿态、表情、光照等因素的影响小。2．3基于模板匹配的方法基于模板匹配的方法也可以用来检测人脸，首先设定一些不同标准的、描述人脸的整体特征或局部特征的模板，然后根据模板与图待检测图像的相似度进行匹配检测。2.3.1预定模板匹配法根据人脸的先验知识，我们可以制作出描述人脸轮廓特征的模板，通过计算图像区域和人脸轮廓模板的相关性参数可检测出候选人脸区域，然后利用器官特征子模板筛选上一步检测出的候选人脸区域。在早期研究人员使用了眼睛、鼻子、嘴巴、脸部轮廓的子模板建立起人脸模型。Craw等人首先使用一个Sobel滤波器来提取边缘，然后将这些边缘集合起来搜索基于几个约束条件的人脸模板。[9]2.3.2变形模板法其主要思想是定义一个具有参数的可变模板和一个能量函数来描述人脸特征，通过一个非线性最优化方法求出各个模板对应的能量函数。能使能量函数最小的参数模板即被认为是所求特征的描述。此方法充分考虑到人脸是变形体的特点，稳定可靠，且与姿态和光照无关，但仍然存在难以适应一般情况和计算量巨大的问题。并且该方法必须是在待检测的人脸附近，变形模板必须被初始化。2.3.3动态轮廓法又称Snakes模型法。Kass等人提出在不需要更多先验知识或高层处理结果指导的情况下实现自追迹以得到目标的闭合、光滑、连续的轮廓线，该方法具有较强的抗噪能力[10]。Snakes模型通过对一条初始给定的连续闭合曲线计算初始能量函数，然后通过变分方法求取能量函数的最小化，以得到人脸的轮廓曲线[11]。该方法对图像要求高，运算量大，并且受姿态、表情、光照等因素的影响大，但其优点是准确率高。2．4基于统计模型的方法由于人脸图像的复杂性，一般地描述人脸特征具有一定困难，因此另一类方法，即基于统计模型的方法越来越受到重视。此方法将人脸区域看作一类模式，即模板特征，使用大量的“人脸”与“非人脸”样本训练、构造分类器，通过分类器对图像中所有可能区域进行“人脸”与“非人脸”的划分。实际上此方法将人脸检测问题转化为统计模式识别的二分类问题，即判断区域是否为人脸。统计识别方法可分为四大类：基于特征空间的格式方法、基于人工神经网络的方法、基于概率模型的方法和基于支撑向量机的方法。格式2．4．1基于特征空间的方法此类方法将人脸区域图像变换到某一特征空间，根据其在特征空间中的分布规律划分为“人脸”与“非入脸”两类模式。特征脸方法是一种常用的方法。它根据图像的统计特性进行正交变换(K-L变换)，以消除原有向量各个分量问的相关性。变换得到对应特征值依次递减的特征向量。人脸在特征脸空间的投影聚集比拟紧密因此利用前假设干张特征脸将人脸向量投影到主元子空间F和与其正交的补空间F，相应的距离度量分别称为DIFS(DistanceInFeatureSpace)和DFFS(DistanceFromFeatureSpace)。对于人脸检测问题，由于没有考虑“非人脸”样本的分布，需要同时使用DIFS和DFFS才能取得较好的效果。Sung等人将样本经预处理后按行列顺序展开为样本向量进行主分量分解。采用均值聚类方法在特征空间中建立6个“人脸”〔CluSterS)，同时建立包围“人脸”簇的6个“非人脸”簇，以使“人脸”与“非人脸”模式的边界更为清晰。并使用“自举”(bootstrap)方法加以解决了非人脸样本选区的问题：首先建立一个仅使用“人脸”簇的初始分类器对一组图像进行检测，将所有的错误报警(不是人脸而被错检为“人脸”的结果)参加“非人脸”样本库，构造新的使用“人脸”与“非人脸”簇的分类器重新检测。以上过程不断迭代，直到收集了足够的“非人脸”样本。属于特征空间方法的还有因子分解方法(FactorAnalysis)和Fisher准那么方法。Yang等在混合线性子空间(mixturesoflinearsubspaces)中对“人脸”和“非人脸”样本的分布进行建模，分别使用基于EM算法的扩展FA方法和基于自组织映射的FLD方法构造检测器。2．4．2基于神经网络的方法人工神经网(ANN)方法是把模式的统计特性隐含在ANN的结构和参数之中，对于人脸这类复杂的、难以显式描述的模式，基于ANN的方法具有独特的优势。CMU的Rowley等使用了多个ANN检测多姿态的人脸，算法显示了两类ANN：1个位姿检测器(poseestimator)用于估计输入窗口中人脸的位姿、3个检测器(detector)分别检测正面(frontal)、半侧面(half-profile)和侧面(profile)的人脸。使用经过对准和预处理的“人脸”样本以及采用“自举”(bootstrap)方法收集分类器错分的样本作为“非人脸”样本训练各个ANN，进一步修正分类器。检测时对输入图像中所有可能位置和尺度的区域首先使用位姿检测器估计人脸位姿，经校准和预处理后送入3个检测器中，最后对检测器的分类结果进行仲裁。Rowley等对正面端正人脸和正面旋转人脸的检测单独进行了研究。对于正面端正的人脸，仅使用了正面入脸检测ANN，是一种三层前向网：输入层对应20×20像素的图像区域；隐层节点分为对应不同人脸区域的假设干组，与输入层局部连接；ANN输出1到．1区间的值表示这个区域是否为人脸。Rowley等使用相同的“人脸”样本和不同“自举”过程收集的“非人脸”样本训练了多个正面人脸检测ANN，对它们的检测结果进行仲裁，以进一步减少错误报警。对于正面旋转人脸的检测使用了旋转角度检测器及正面人脸检测ANN，并使用相似的多ANN仲裁方法降低错误报警。基于人工神经网的方法还有Jue等和Kouzani等提出的基于人脸器官检测的多级网络方法、Anifantis等提出的双输出人工神经网的检测算法等。神经网络方法在人脸检测与识别上比其它类型的方法有其独到的优势，即它防止了复杂的特征提取工作，可以通过学习的过程获得其它方法难以实现的关于人脸识别的规律和规那么的隐性表达。2．4．3基于支持向量机的方法支持向量机法是在统计学习理论的根底上开展出一种新的模式识别方法，它是基于结构风险最小化原理的方法，较之于基于经验风险最小化的人工神经网络，一些难以逾越的问题，如：模型选择和过学习问题、非线性和维数灾难问题、局部极小点问题等都得到了很大程度上的解决。但是直接使用SVM方法进行人脸检测有两个方面的困难：①训练SVM需要求解二次规划问题，计算复杂度高，内存需求量巨大；②在非人脸样本不受限制时，需要极大规模的训练集合，得到的支持矢量会很多，使得分类器的计算量过高。Platt提出的SMO算法有效地解决了第一个问题。Osuna等人首先将SVM方法用于人脸检测问题，在训练中使用了大量人脸样本，采用“自举”的方法收集“非人脸”样本，并使用逼近优化的方法减少支持矢量的数量，在一定程度上解决了第二个问题；梁路宏等采用模板匹配与SVM方法相结合的人脸检测算法，在模板匹配限定的子空间内采用自举的方法收集“非人脸样本”，训练SVM，降低了训练的难度和最终得到的支持矢量的规模，使得检测速度比单纯的SVM检测器提高了20倍，得到了与CMU的神经网络方法可比拟的结果。[12]Richman等提出用人脸中的鼻子区域训练SVM，减少了训练数据，且不用考虑SVM对发型、眼镜等饰物敏感，采集图像时也不要求人脸必须定位。该方法为柯达公司设计出了针对顾客图像的实用人脸检测系统。2．4．4基于概率模型的方法基于概率模型的一种思路是利用贝叶斯原理计算输入图像区域属于人脸区域的后验概率。CMU的Schneiderman等提出一种基于后验概率的检侧方法。将难以估计的先验概率P(object)用一个比率参数入代替，作为调节检测器敏感度的参量。在学习过程中得到“人脸”和“非人脸”两种模式的概率分布。通过对敏感度的调节，到达检测的效果。另一种应用较多的概率模型是用于描述信号统计特性的隐马尔可夫模型(HiddenMarkovModels，HMM)，目前也被应用于人脸检测与识别。Nefian根据正面人脸由上到下各个区域(头发、额头、双眼、鼻子、嘴)具有自然不变的顺序这一事实，使用一个包含五个状态的一维连续HMM加以表示。将头部图像按照这五个区域划分为互有重叠的条块，对各块进行K．L变换，选取前假设干个变换系数作为观测向量训练HMM。[11]Nefian还提出了基于嵌入式HM的人脸检测方法。该方法同时考虑到人脸由左到有各个特征的自然顺序，使用了二维HMM，并且采用二维DCT变换的系数作为观察向量。此外还有Meng使用HMM描述人脸的小波特征中不同级间的相关性等方法。基于HMM的方法一般只使用“人脸”样本进行训练，主要针对用于人脸识别的头肩部图像。该算法对图像要求较低，受姿态、表情、光照等因素的影响较小，识别率高，但运算量相当大。2．5本文算法方案的提出在四类常见的人脸检测算法中，使用场合各异，优势和劣势并存，在视频的人脸检测中，没有完美的算法，不过综合这几种算法，可以提出一个适合于视频应用的算法。基于先验知识的算法由于对人脸的姿态和背景有要求，如器官分布法对背景有一定要求，且对非正脸的检测效果不好，投影法对背景要求较高，对称法运算量大，且对非正脸的检测效果也不好。基于特征的算法中主要分为基于肤色、基于脸部特征和基于纹理，基于肤色具有简单，快速的优点，且对脸的姿态要求不高，基于纹理的算法要求图像能反映毛发等信息，对图像的要求较高。基于脸部特征的算法对脸的姿态有要求。对于模板的人脸检测方法，计算量大，速度比拟慢。在视频应用中假设计算机运算速度不够快的话，实时性较差。对于统计模型的人脸检测，优点在于将人脸检测问题化成了二分类问题，难点在于分类器的构造，分类器的优劣直接影响到了算法的优劣，在视频中，图像块变化繁复，这对于构造一个高效高速的分类器来说是一个不小的挑战。总的来说，基于肤色的人脸检测由于其简单快速、适应性较广、对图像质量要求不高，适合在视频中用于快速人脸检测，并且在YCbCr空间中肤色的类聚性较好，加强了其抗干扰的能力，因此本文选择在YCbCr空间中基于肤色的人脸检测。此算法首先要将图像转换到YCbCr空间中，提取Cb和Cr分量之后，利用人工阈值法二值化，提取肤色，然后进行形态学处理；对候选区进行限定长宽比，筛选出人脸，最后在原图上画框标记人脸。3算法设计与matlab实现对于复杂背景的彩色图像，肤色是人体外表最为显著的特征之一，是人脸的重要信息，不依赖于面部的细节特征，对于旋转、表情的变化等情况都能适用，具有较高的稳定性，并且计算机能将肤色与大多数背景物体的颜色相区别。因此肤色特征在人脸检测中是最常用的一种特征。肤色特征主要由肤色模型描述，基于肤色的人脸检测方法通常分为颜色空间的选择、肤色区域分割和人脸检测三大步。在确定肤色模型之后，首先可以进行肤色检测，在检测出肤色像素后，需要根据它们在色度空间内的相似性和位置上的相关性分割出可能的人脸区域，同时利用区域的几何特征或是灰度特征进行是否是人脸的验证，以排除其它色彩类似肤色的物体，区域分割与验证在很多方法中是密切结合统一考虑的。通常为了消除光照对人脸肤色的影响，在肤色区域分割前会对图像进行光照校正，以消除色彩偏移。在提取肤色之前，对人脸图像的预处理必不可少，这其中包括图像的噪声滤除，图片的亮度平衡等；图像的噪声处理可用图像平滑来实现。图像平滑是指用于突出图像的宽大区域、低频成分、主干局部或抑制图像噪声和干扰高频成分，使图像亮度平缓渐变，减小突变梯度，改善图像质量的图像处理方法。对于图像的亮度，假设要一张图像实现亮度平衡，可通过均衡RGB三个分量的直方图来实现，不过，对于人脸检测，我们可以抛开亮度信息，即将图像转化到YCbCr空间。3．1常见的颜色空间光在频谱分布中的不同位置表达了各种颜色，颜色是人对光谱中可见光的感知结果。根据光度学和色度学原理，所有颜色都可以用相互独立的三种根本颜色混合得到，这三种颜色被称为三基色，由此就构成了色彩空间。著名的格拉曼定律反映了视觉对颜色的反响取决于红、绿、蓝三种颜色在输入量中的代数和之一事实。格拉曼定律包括如下四个方面的内容：(1)所有颜色都可以用互相独立的三基色混合而得到；(2)假设三基色的混合比相等，那么色调和色饱和度也相等；(3)任意两种颜色相混合产生的新颜色与采用三基色分别合成这两种颜色的各自成份再混合起来得到的结果相同；(4)混合色的光亮度是原来各分量光亮度的总和；这里色调、色饱和度、亮度是表示色觉程度的。色调表示各种颜色，色饱和度表示颜色深浅。以三基色为根底的格拉曼定律可以用式3-1来表示：(3-1)根据计算机色彩理论，对于同一种颜色而言，在计算机中有不同的表达方式，这样就形成了各种不同的色彩空间。每一种色彩空间都有其各自的产生背景及应用领域。数字图像中的一个象素点的颜色可以有很多种方法来表示，其中最直接的表示方法是我们所熟知的由红、绿、蓝三基色构成的色彩空间。下面我们具体介绍一些常用于肤色提取的色彩空间，通过比拟肤色在各颜色空间的聚类效果的好坏来选择适宜的颜色空间。RGB色彩空间RGB色彩空间也称为红、绿、蓝基色模型。为标准化起见，CEI(国际照明委员会)在年选择红色(波长i=700nm)，绿色(波长z=546nm)，蓝色(波长z=435nm)三种单色光作为表色系统得三基色，这就是色彩空间，它也是最常见的色彩空间。由于彩色图像是多光谱图像的一种特殊情况，对应于人类视觉的三基色，即红、绿、蓝三个波段，是对人眼的光谱量化性质的近似[13]。因此，利用R、G、B三基色这三个分量来表征颜色是很自然的一种格式。而且多数的图像采集设备都直接感知色彩的三个分量，这也使得模型成为图像成像、显示、打印等设备的根底，具有十分重要的作用。在色彩空间中，每一个数字图像中象素点的颜色都可以用三维空间中的第一象限中的一个点来表示。如所示的为彩色立方体。色彩空问的原点表示在任何颜色分量上的亮度都为零，因此它表示黑色。当三个分量亮度都到达最大时为白色。而当三个分量相等时产生的就是灰度象素点。除了黑白两色位于立方体的顶点外，立方体的另外三个顶点对应于三基色红、绿、蓝，剩下的那么对应于黄、青以及紫色。如图3.1所示。图3.1RGB色彩空间一般情况下，都是以色彩空间为根底来描述其它类型的色彩空间，将其它色彩空间的基色描述为三基色的线性或非线性函数。但是，RGB存在一些缺乏：(1)RGB空间用红、绿、蓝三原色的混合比例定义不同的色彩，因而不同的色彩很难用准确的数值来表示，即对色彩的定量分析比拟困难；(2)RGB彩色空间中，彩色通道之间的相关性很高，合成的图像存在饱和度偏低、色调变化较小、视觉效果较差等问题。(3)人眼只能够通过感知颜色的色调、亮度以及饱和度来区分物体，不能够直接感觉红、绿、蓝三种颜色的比例，并且色调、饱和度与红、绿、蓝是非线性关系，并且肤色在此空间中的类聚特性不是很好，如图3.2所示。故RGB空间中对图像的色彩信息进行分析与处理，难以控制其结果。图3.2肤色在RGB空间中的类聚特性3．1．2归一化色彩空间如果在色彩空间中有两个像素点[R1，G1，Bl]和[R2，G2，B2]存在如式3-2所示的关系：(3-2)这两个点具有相同的色彩、不同的亮度。人脸图像中不同区域的肤色差异主要存在于亮度上，通过色彩的亮度归一化，可缩小肤色差异。相当于将三维的GRB空间降低成为二维的r-g空间[14]。归一化可用式3-3简单得到：〔3-3〕3．1．3HIS色彩空间HIS色彩空间也称为色度、饱和度、亮度模型。这是由提出的色彩系统模型，经常为艺术家所使用。H(Hue)表示色度，I(Intensity)表示亮度，S(Saturation)表示饱和度。这种色彩空间反映了人类观察色彩的方式，同时也有利于图像处理。在这种颜色表示方法中，尽管在计算均值的时候三个颜色分量的权重并不一样，但I是RGB三基色分量的平均值。I的值仅仅表示了像素的亮度，而不包含颜色信息。在从彩色图像到灰度图像的转换时，就可以通过计算I值从而抛弃颜色信息。H和S代表了像素点的颜色，图3.3对这两个参数进行了说明。颜色的色度指与它最接近的频谱波长，当色度为0时为红色，120时为绿色，240时为蓝色。色度在O至240之间的时候代表可见频谱光，240与360之间的是非频谱光(紫色就属于这一区域)。饱和度参数是图中点与颜色圆圆心之间的距离。对圆周上的点，其饱和度参数为l，而在圆心处饱和度为0。饱和度的概念可以这样解释：一幅亮度很强的红色图像的色度为0，而饱和度为1。如果往里面掺入白色，那么红色变淡了，饱和度变小了，可是图像的亮度并没有变化。相反，如果参加黑色，图像的亮度减小，可是色度和饱和度都没有变化。HIS是一个圆柱体形的色彩空间。图3.3HIS色彩空间灰度像素点在圆柱体的中轴线上，底端对应黑色点，顶端对应白色点。亮度最高且饱和度最大的点在圆柱体顶层的外围圆周上。HIS色彩空间的优点在于它将亮度(I)与反映色彩本质特性的两个参数色度(H)和饱和度(S)别离开。[15]我们在提取一类物体在色彩方面的特性时，比方说人脸。经常需要了解其在某一色彩空间的聚类特性，这一聚类特性往往表达在色彩的本质特性上，而又经常受到光照明暗等条件的干扰影响。光照明给物体颜色带来的直接影响就是亮度分量(I)，所以假设能将亮度分量从色彩中提取出去，而只用反映色彩本质特性的色度、饱和度来进行聚类分析，会获得比拟好的结果。从RGB色彩空间到HIS色彩空间可用式3-4，式3-5，式3-6和式3-7得到：(3-4)(3-5)(3-6)(3-7)3.1.4YCbCr颜色空间YCbCr这种色彩空间是以演播室质量标准为目标的CCIR601编码方案中采用的彩色表示模型，被广泛应用到电视的色彩显示等领域中，它具有将亮度分量别离的优点，且可以直接有RGB色彩空间经过线性变换得到，所以可以直接应用于物体的色彩聚类分析中。它与RGB色彩空间的转换公式如式3-8所示。〔3-8〕在此空间中，肤色的类聚性良好，如图3.4所示：图3.4肤色在YCbCr色彩空间中的类聚特性3．2颜色空间地选择在彩色人脸分割算法中，为了把人脸区域从复杂背景中别离出来，需要使用适合不同光照条件下可靠的肤色模型。研究说明，尽管不同民族、不同年龄、不同性别的人脸肤色看上去不同，但是这种不同主要集中在亮度上，在去除亮度的某些色彩空间中，不同人脸的肤色分布是一致的，而且集中在一个较小的区域里，即具有聚类性。肤色模型的建立与选用的色彩空间密切相关。一般来说，色彩空间的选用原那么是：(1)肤色在该色彩空间中具有良好的聚类特性；(2)肤色模型能够把“肤色”和“非肤色”充分区分开，即在该颜色空间中，“肤色”与“非色”重叠区域尽量小。大多数彩色录像机、数码相机等图像采集设备都采用RGB模型来表示颜色，而RGB色彩空间表达中，色度信息与亮度信息是混合在一起的。由于周围环境光照的改变，亮度可能使人脸的检测变得更加复杂，使肤色分割的结果不可靠，因此RGB色彩空间并不是理想之选。为了充分利用肤色在色度空间中的聚类特性，需要把颜色表达式中的色度信息与亮度信息分开，所以必须将RGB色彩空间进行转换以到达该目的。研究发现：在YCbCr色彩空间中Cb和Cr分别代表蓝色和红色分量，能将亮度和色度别离，肤色在该色彩空间中聚集在一个很小的范围内，并且YCbCr空间既能充分表达人脸肤色，又能在很大程度上消除了亮度影响，降低了色彩空间的维数，减少了计算复杂度。3．3肤色模型的建立肤色模型就是在一定的颜色空间描述肤色分布规律的数学模型，它是肤色检测的前提。本文在颜色空间YCbCr上建立了亮度、蓝色色度分量和红色色分量度信息联合进行肤色区域检测的模型，在此根底上提出了一种快速的阈值分割的方法。统计说明不同人种的肤色区别主要受亮度信息影响，而受色度信息的影响较小，所以直接考虑YCbCr空间的CbCr分量，映射为YCbCr空间，在YCbCr空间下，受亮度变化的影响少，且是两维独立分布。通过实践，选取大量肤色样本进行统计，发现肤色在CbCr空间的分布呈现良好的聚类特性。统计分布满足77≤Cb≤127并且满足133≤Cr≤173。故本人脸检测系统主要利用高斯肤色的归一化概率模型，将静态图像中的每一个像素限定在0到1的范围内。利用人工阈值法将肤色与非肤色区域分开，形成二值图像。3.4肤色的提取肤色的提取有两局部组成，首先将原图从RGB色彩空间转换到YCbCr空间，在matlab中有专门的命令实现此功能，即rgb2yCbCr()，其中括号中的参数是待转换的图像矩阵。然后提取cb和cr分量，通过限制条件直接得到二值图像。代码如下：clear；%去除变量I=imread(‘2.jpg’);%读取图像figure,imshow(I);%显示图像I_yCbCr=rgb2yCbCr(I);%将原图从rgb色彩空间转换到YCbCr空间I_cb=I_yCbCr(:,:,2);%提取cb分量I_cr=I_yCbCr(:,:,3);%提取cr分量U=(I_cb>=77)&(I_cb<=127)&(I_cr>=133)&(I_cr<=173);%提取肤色，得二值图像figure,imshow(U);%显示结果对多张图片的实验结果如图3.5所示：〔a〕〔b〕〔c〕图3.5YCbCr算法的肤色提取结果3.5人脸区域形态学处理从上述结果可以看出，在YCbCr空间中的肤色提取会产生假脸，所谓假脸，就是指并非人脸却依然被计算机提取出来的区域，主要是因为人裸露的肤色有时不只有人脸，可能有手、手臂、腿和脖子等，甚至与肤色较为相近的背景也会成为干扰因素，剔除这些假脸主要通过图像的形态学处理和滤波去噪来完成。形态学处理主要有图像的开运算、闭运算、膨胀、腐蚀和填洞操作，滤波有中值滤波等。膨胀和腐蚀互为逆运算，膨胀将图像区域扩张大，而腐蚀那么是缩小，开运算一般使对象的轮廓变得光滑，可断开狭窄的间断和消除细小的突出物。闭运算同样可使轮廓线更为光滑，但与开运算相反的是，它通常消除狭窄的间断和长细的鸿沟，消除小的空洞，并填补轮廓线中的断裂。通过上面的分析可知，形态学的腐蚀操作能够使图像的区域缩小．并能够消除颗粒噪音，开运算能够使图像的轮廓变的更光滑。研究中利用闭运算和开运算对二值化的图像进行处理。可以滤除由噪声或其他原因引入的不可能为人脸的类肤色区域，可以减少候选区域的判断，提高检测速度。代码如下：se=strel('square',3);%构造结构元素U=imopen(U,se);%开运算U=imclose(U,se);%闭运算U=imfill(U,'hole');%填洞figure,imshow(U);%显示形态学处理结果se1=strel('square',8);U=imerode(U,se1);U=imdilate(U,se1);%区域连通figure,imshow(U);%显示结果样本测试结果如图3.6所示：图3.6形态学处理例如3．6人脸区域的筛选与标记经过基于数学形态学的滤波方法处理后，图像中的小块噪声大多数被去除。但是由于背景十分复杂，影响因素较多，某些较小或较大的类肤色区域仍存在其中。为了删除假人脸区域，还要对形态学处理后的图像进行一下操作：(1)首先对处理后的二值化图像进行顺序扫描的标记，可以准确的标记出二值化图像中各种形状的连通区域；(2)计算每个连通区域的长轴、短轴，确定该候选区域的外接矩形：(3)判断矩形框的长宽之比，由于人睑的长宽之比在1.2到1.8之间，舍弃不满足条件的标记区域。(4)对满足条件的标记区域，用其矩形框在图像上标出，作为人脸区域。代码如下：[L,num]=bwlabel(U,4);sum=0;fori=1:num;[r,c]=find(L==i);r_temp=max(r)-min(r);%脸部区域长度c_temp=max(c)-min(c);%脸部区域宽度temp=size(r);sum=sum+temp;if(r_temp/c_temp<1.2)|(r_temp/c_temp>1.8);%判断是否符合长宽比范围fork=1:temp;L(r(k),c(k))=0;%非人脸剔除endelsecontinue;%继续for循环endendfigure,imshow(U);%显示结果sr=strel('disk',6);C=imclose(U,sr);L=bwlabel(C);B=regionprops(L,'area');Se=[B.Area];Sm=max(Se);ifSm>m*n/27B1=bwareaopen(C,Sm);k_y1=m;k2=m;l2=n;%初始化fori=1:mifany(B1(i,:))==1k_y1=i;breakendend%找出上边界点fori=k_y1:mifB1(i,:)==0k2=i;breakendend%找出下边界点forj=1:nifany(B1(:,j))==1l_y1=j;breakendend%找出左边界点forj=l_y1:nifB1(:,j)==0l2=j;breakendend%找出右边界点k_y=k2-k_y1;l=l2-l_y1;ifk_y>1.2*l&&k_y<1.8*l%限定长宽比I1=imcrop(B1,[l_y1k_y1l.4*k_y]);[n1m1]=size(I1);L1=bwlabel(I1);E=regionprops(L1,'area');Si=[E.Area];Sm=max(Si);ifSm/(n1*m1)>0.3B2=bwareaopen(I1,floor(.5*Sm));g_y1=m1;g2=m1;forj=1:m1ifany(B2(:,j))==1g_y1=j;breakendendforj=g_y1:m1ifB2(:,j)==0;g2=j;breakendendg=g2-g_y1;figure;imshow(I);holdonh1=line([l_y1+g_y1,l_y1+g_y1+g],[k_y1,k_y1]);h2=line([l_y1+g_y1+g,l_y1+g_y1+g],[k_y1,k_y1+1.1*g]);h3=line([l_y1+g_y1+g,l_y1+g_y1],[k_y1+1.1*g,k_y1+1.1*g]);h4=line([l_y1+g_y1,l_y1+g_y1],[k_y1+1.1*g,k_y1]);h=[h1h2h3h4];set(h,'Color',[100],'LineWidth',2);%划线标记elsefigure;imshow(I);endelsefigure;imshow(I);endelsefigure;imshow(I);%显示结果end局部测试结果如图3.7所示：(a)(b)(c)(d)(e)图3.7人脸检测结果例如3.7误检分析本课题选了一些众多图片做实验，除了以上得到的局部较理想结果以外，还有一些图片出现了误检的情况，误检虽在所难免，但误检却可以说明算法的劣势所在，为以后的应用提供参考。误检结果中具有代表性的如图3.8所示。(a)(b)(c)(d)图3.7误检结果例如从上面的结果可以看出，本算法对于某些图片还是有比拟好的效果，对于肤色与背景有明显差距效果尤佳，经测试，计算速度很快，适宜在对速度要求较高而对精度要求不高的场合使用，其最大缺陷在于当背景与肤色比拟接近时，或者是对象的裸露肤色太多时，结果也会有一定的不确定性，我认为，会产生这样的结果，主要的原因有那么几个；一是在YCbCr空间中，当肤色与背景较接近时，会产生很多假脸信息，这些假脸处理起来有些困难；二是人的肤色在化装后会有一定的变化，脱离本来肤色应该有的分布特征。4结论及展望人脸检测是指在图像或视频流中确定人脸位置、大小的过程，其应用背景远远超出了人脸识别系统的范畴，近年来，由于人脸检测在平安监视、基于内容的图像检索等领域的潜在应用价值，人脸检测已成为一个独立课题并受到众多研究者的普遍重视。本文首先全面概述了人脸检测技术及其开展方向、应用背景和研究意义，重点描述了人脸检测的研究内容和方法；然后采用了YCbCr颜色空间来研究肤色模型，以及各