肤色分割在人脸检测中的应用

摘要目前，在人脸识别领域的信息处置中，包括有人脸识别、人脸跟踪、姿态估量、表情识别等多个研究方向，在这些方向中，都涉及到一个问题——人脸的标识和定位,即必需明白人脸在图像中的位置和尺寸，这确实是人脸检测技术。关于一个完整的、自动的人脸识别系统来讲，人脸检测处置是必不可少的。人脸检测算法的研究已经开展了二十连年，可是，由于人脸检测问题本身的复杂性，截止目前，仍旧未能完全解决实际操作中碰到的所有问题。本文对肤色分割在彩色图像人脸检测中的应用做了一些探讨。要紧探讨了基于RGB和HSI色彩空间思想的肤色区域分割算法，从而提高人脸检测系统的执行效率和整体性能。关键词：人脸检测、肤色分割、肤色模型、色彩空间AbstractImagescontainingfacesareessentialtointelligentvision-basedhumancomputerinteraction,andresearchefortsinfaceprocessingincludefacerecognition,facetracking，poseestimation，andexpression，alloftheseresearchingdirectionsinvolveinone，problem--facedetectionandlocation.Inotherwords,beforethisfaceprocessing,wemustknowfaceslocationsandscales.Consequently,tobuildanautomatedfaceprocessingsystemwhichanalyzestheinformationcontainedinfaceimages,robustandefficientfacedetectionalgorithmsarerequire.Theresearchonfacedetectionhaslastedformorethantwentyyears.But,uptonow,duetothecomplexityofthepurposesuchasthediversityoffacepaterns,variablelightingconditionandsoon,manyresearchescannotresolvetheproblemcompletelyeveniftheyhavestudieditforlongtime.ThisarticlehasdonesomeresearchonskincolorsegmentationinFaceDetection,itmainlyincludesthatInvestigatetheColorsegmentationalgorithmwhichwasbasedonRGBandHRIcolorspace,therebytoimprovetheefficiencyandoverallperformanceofthisFaceDetectionsystem.Keywords:facedetection,skincolorsegmentation,skincolormodel,colorspace.目录第一章概述 1研究背景与意义 1要紧应用范围 2国内外研究现状 3人脸检测的难点 4第二章人脸检测算法概述 5图像预处置 5图像大小的调整 5光照补偿 5人脸特点及提取 7灰度特点 8肤色特点 9常见人脸检测方式概述 9肤色区域分割与人脸验证方式 9基于统计模型的方式 10基于启发式模型的方式 13本章末节 14第三章肤色分割与人脸区域的选取 16色彩空间简介 16RGB格式色彩空间 16HSV格式色彩空间 17肤色模型 19基于RGB色彩空间肤色模型的思想 19基于HSV色彩空间肤色模型的思想 20基于两种思想的优化组合 20肤色分割 20基于RGB色彩空间思想的肤色分割 21基于H值的肤色分割 21二值图的形态学滤波处置 23侵蚀（Erosion） 24膨胀（Dilation） 25开运算和闭运算 25人脸候选区域的挑选 26区域的长宽比 27区域的面积 27区域的中心 27算法实验结果 28本章小结 28结束语 29致谢 30参考文献 31第一章概述人脸检测（facedetection）是指确信输入图像中人脸的位置与大小。人脸检测系统是既能够检测输入图像中是不是包括人脸图像，又能够对图像进行提取的系统。随着电子信息产业的进展，人脸识别技术在愈来愈多的场合取得应用，作为人脸识别系统的第一步，人脸检测也愈来愈受到关注。研究背景与意义最近几年来，以生物特点识别技术为核心的技术和产品进展专门快。国际上，西方各国都在大力推动生物特点识别技术的研究。“911”以后，美国政府持续签署了3个国家平安法案要求采纳生物识别技术。2003年6月，联合国国际民用航空组织发布了生物技术的应用计划。计划提出，将在个人护照中加入生物特点（指纹、虹膜和人脸），并在进入各个国家边境时进行个人身份的确认。目前此计划已在美国、欧盟、澳大利亚、日本、韩国、南非等国家和地域通过，并已经在部份国家慢慢实施推行。2004年11月5日，美国以爱惜国土平安为由，开始在美115个机场和14个要紧海口岸岸实施“美国访客和移民身份显示技术”（US－VISIT）系统。该系统借助数字仪器提取申请签证入境美国者的指纹和照片，通过和关注对象数据库进行生物特点比对以确认来访者是不是符合美入境条件。依照美国政府的说法，US-VISIT打算是美国政府从海外即开始进行的平安方法的延续。英国伦敦早在1999年就开始在城市中重要部位安装了290个具有人脸识别功能的监控摄像机，其壮大作用和对犯法行为人的庞大威慑力专门快就显现出来，伦敦昔时的街头发案率降低了30%。2005年7月7日，伦敦地铁发生恐怖爆炸，当场伤亡700多人，警方利用遍及城市的数以万计的智能监控设备的记录数据，在案发后短时刻就锁定并发布了恐怖攻击者的脸部照片，第四天就侦破抓捕了案犯，有力地冲击了恐怖分子的嚣张气焰。人脸识别是人类视觉系统的大体功能，也是人类相互辨识的最直接手腕，因此它是生物特点识别中的重要研究内容。人脸检测是自动人脸识别系统中的一个重要环节，可是初期的人脸识别研究要紧针对具有较强约束条件的人脸图像(如无背景的图像)，往往假设人脸位置已知或很容易取得，因这人脸检测问题并未受到重视。近几年随着电子商务等应用的进展，人脸识别成为最有潜力的生物身份验证手腕，这种应用背景要求自动人脸识别系统能够对一样环境图像具有必然的适应能力，由此所面临的一系列问题使得人脸检测开始作为一个独立的课题受到研究并取得重视。今天，人脸检测的应用背景已经远远超出了人脸识别系统的范围，在基于内容的检索、数字视频处置、视觉监测等方面有着重要的应用价值。要紧应用范围每一个人都有自己的相貌，而且是一个人最重要的外貌特点。随着多媒体和人工智能在平安、信息等各个领域的应用日趋普遍，人脸作为关注的核心在方方面面的检测需求也日趋增多。其中，最多见的应用有以下几个方面：一、身份认证与平安防护通过识别利用者的脸部信息以确信是不是为正常的授权访问；在金融机构、机关办公大楼、运动场馆或重要的施工地，都能够利用基于人脸识别的门禁系统，以提高平安性；电话、电脑等个人电子产品在开机时也能够设置人脸识别功能。二、改善视频通信成效在视频会议中，人脸部份的图像/视频相关于背景画面有着更大的意义。MPEG-4标准提供了人脸动画的单独编码的可能。系统如能够定位人脸并为这部份提供更多的带宽或支持“talkinghead”模式来传输人脸姿态，那么可为人们提供更高质量的视频成效。3、改良人机对话方式随着运算机在日常生活中更为普遍的应用，人机界面愈来愈成为人们日常生活的一个重要部份，在计算、交流、显示等方面将发挥愈来愈大的作用。现有的人机交互界面主若是基于机械式模型的方式，如键盘、鼠标等。它们阻碍了人机交互的速度和自然性，在一些新的显示模式下（如虚拟现实技术），这种限制显得尤其突出。因此，需要人们大力进展新的交互界面。目前在人机界面的研究中，已经取得较大功效的是自然语言接口，如持续语言处置、语音识别、语义分析等。接下来就应该是对非口头表示接口，如人脸表情分析、姿态分析等的研究进展。而这些研究中如凝望、唇读、头部跟踪等都必需以人脸检测、识别作为基础。4、智能监控系统随着监控系统的形式由模拟走向数字，人们对监控系统的功能提出了更多的要求。一个好的监控系统不单单能够录像，还应该能够做出智能判定，并实现一些模拟监控所不能实现的功能。通常监控对象中人占了较大的比例，比如边境监控、小区监控等。其中被监控人的脸部作为一个重要部份，不管是在前期作为对摄像头的自动操纵和后期处置人脸的监测都是一个重要的基础环节。国内外研究现状目前，国内外对人脸检测问题的研究者很多。1994年Yang等提出了基于知识的人脸检测算法，随后卢春雨、姜军等人进一步进展了该算法。Sirohey提出了从复杂的背景中分割人脸进行人脸识别的定位方式，Graf等人提出定位灰度图像的脸部特点和人脸的检测方式，Leung等人提出一种基于局部特点检测器和任用意匹配的概率方式，在复杂场景中定位人脸。863打算、国家科技支撑打算、自然科学基金都拨出专款资助人脸识别的相关研究。国家“十一五“科技进展计划中也将人脸识别技术的研究与进展列入其中。在这种情形下，国内一些科研院所和院校在人脸识别技术方面取得了专门大进展。如中科院自动化所，清华大学，中科院运算机所自主开发的人脸识别技术已经达到了国际先进的水平。由于人脸的复杂性，单纯的利用某种特点(如颜色、轮廓)的提取作为检测方式都无法适应环境所有的环境，故经常使用综合各类特点的方式尽可能的适应环境的需要，目前较流行的综合算法为：一、肤色区域分割与人脸特点验证结合：经常使用于彩色图片，通过利用肤色分割取得待选区域，然后通过其他的如轮廓灰度散布等特点进行验证挑选。二、基于启发式的模型：基于启发式模型的方式第一抽取几何形状、灰度、纹理等特点，然后查验它们是不是符合人脸的先验知识。经常使用的有变形模板、镶嵌图等。3、基于统计模型的方式：此类方式将人脸区域看做一类模式，即模板特点，利用大量的“人脸”与“非人脸”样本训练，构造分类器，通过判别图像中所有可能区域属于哪类模式的方式实现人脸的检测。事实上，人脸检测问题被转化为统计模式识别的二分类问题。具体可分为基于特点空间的方式、基于神经网络的方式、基于概率模型的方式、基于支持向量机的方式等4类。尽管通过十几年的进展，人脸识别算法己经取得了专门大的进展，可是目前的算法一样多基于人脸正面的检测，多姿态的人脸检测（如侧面、遮挡脸）还存在困难，有效的解决方式不多，这也是人脸检测的一个重点。人脸检测的难点人脸是人类自身再熟悉只是的一个组成部份，人脸检测涉及到模式识别、图像处置、人工智能等多学科的知识，故尽管在近十几年中取得了普遍的关注和长足的进展，国内外的研究人士也提出了很多方式，在不同的领域取得了必然的功效。可是想要寻觅一种能够普遍适用于各类复杂情形的准确率很高的检测算法，还有专门大的探讨空间。其挑战性要紧表此刻：一、第一人脸是一个包括五官、毛发等的极不规那么的复杂的待测目标，不同的人其人脸在形状、大小、颜色、质地等方面都有专门大的转变，具有模式的可变性。二、通常一样意义下的人脸，存在着诸如眼镜、胡须乃至墨镜等附属物，它们在人脸检测进程中必然形成干扰，专门是能对人脸检测中基于灰度的检测方式造成较大干扰(如对人脸的灰度散布统计、灰度梯度计算等)。3、为了实现检测方式的鲁棒性，设计的检测算法必需考虑人脸在各类复杂的背景中，不同的方向、角度、尺度等情形下所展现出来的不同表象，即要考虑背景可能造成的干扰。4、人脸图像搜集条件专门是光照条件包括光源的方向、明暗、色彩等都会对成像成效产生专门大的阻碍，由于人脸是一个三维物体，其不可幸免的会因为光照而产生阴影，增加检测的难度。五、检测速度与正确率始终是一对矛盾。

第二章人脸检测算法概述图像预处置图像在获取以后，若是所需的特点不明显，或图像尺寸不适合，那么需要必然的技术手腕对其进行初步的处置，以使图像更利于后期处置。图像大小的调整为了增强人脸检测的能力和范围，通常咱们不限制图像的大小。可是，若是图像太大，它会增大读取和计算的时刻，降低检测的速度。当检测的速度太慢进而阻碍到有效性和实时性时，人脸检测在实际应用中就没有了意义。因此，咱们在图像读入后第一需要对图像的大小加以限制，以保证检测的速度和成效。在那个地址，咱们讨论的对图像的限制并非是要把其调整为必然的大小。通常大图像才有可能阻碍到检测的速度，因此对小图像咱们没有必要再将其放大。也确实是说，咱们只需概念图形大小的上限，关于大于上限的图片，咱们能够采纳采样或插值缩小的方式对图像按比例缩小，以达到规定的要求。固然，图片大小的上限标准，不必然是恒定的，应依如实际需要设定。若是上限概念相对某些图片过小，必然会使图片中相对较小的人脸漏检或误检。本文的算法实现时将图像的上限概念在图像的长或宽最大值不超过500。光照补偿对图像进行预处置时，咱们通常需要考虑光线强弱，照射方向等对图像造成的阻碍，光照补偿方式的提出主若是考虑到肤色等色彩信息通常会受到光源颜色、图像搜集设备的色彩误差等因素的阻碍，在整体上随着亮度的转变偏离本质色彩而向不同方向移动，即咱们通常所说的色彩偏冷、偏暖，照片偏黄、偏蓝等等，能够借鉴电视机原理的说法称这种现象为亮平稳、暗平稳不良，亮平稳在艺术照片中更为常见，而暗平稳人眼一样不易觉察到，但它却阻碍着人脸检测工作。一、亮平稳的校正亮平稳不良亮平稳不良是指在彩色图像中较亮的区域图像偏色。Anil等提出，为了抵消整个图像中在较亮区域存在着的色彩误差（亮平稳不良），可将整个图像中所有像素的亮度（是通过了非线性γ-校正后的亮度）从高到低进行排列，取前5%的像素，若是这些像素的数量足够多（例如大于100），咱们就将它们的亮度作为参考白（ReferenceWhite），即将它们的色彩的R、G、B分量值都调整为最大的255。整幅图像的其他像素点的色彩值也都按此调整尺度进行变换。关于这一亮平稳的校正方式的合理性咱们能够从两个角度进行考察：一方面，大部份的图像中都包括有纯白色，专门是包括人脸在内的图像中，在眼球外围等处通常确实是纯白色，因此将具有最大亮度的像素的色彩值调整为纯白色是合理的；另一方面，存在色彩误差的图像在原先是白色的区域有着明显、直观的表现，因此依照这些区域的调整方式对整个图像进行亮平稳调整是比较合理和有效的。图2-1是亮平稳调剂前后对照亮平衡后亮平衡前亮平衡后亮平衡前图2-1亮平衡前后对比图2-1亮平衡前后对比二、暗平稳校正相关于亮平稳不良，暗平稳不良是指彩色图像中较暗的区域图像偏色。为了抵消较暗区域的色彩误差，将整个图像中所有像素的亮度从低到高排列，取其前1%像素，假设其数量足够多（如大于40），就将它们的亮度作为参考白，即将它们的色彩的R、G、B分量都调整为0。其他像素点的色彩值也按序尺度进行变换。这种暗平稳校正方式的合理性在于：大部份的图像中都包括有纯黑色，专门是包括人脸在内的图像中，在眼球内部、鼻孔、头发等处通常确实是纯黑色，因此将具有最小亮度的像素的色彩值调整为纯黑色是合理的。成效如图2-2所示。暗平衡后的图片原始图片暗平衡后的图片原始图片图2-2暗平衡调整图2-2暗平衡调整通过以上对照可知，脸部颜色散布更趋于合理，由于光照等因素造成的偏色取得初步解决，为进一步的处置打好了基础。人脸特点及提取人脸所包括的特点超级多，如图2-3所示。如何选择适合的模式特点，是人脸检测的一个重要问题，一样来讲，人脸模式的要紧特点有肤色特点和灰度特点，前者适合构造快速的人脸检测和人脸跟踪算法；后者那么利用了人脸区别于其他物体的更本质的特点，是人脸检测领域的重点。

图2-3常用的人脸特征图2-3常用的人脸特征灰度特点灰度特点包括人脸灰度散布特点、器官特点、人脸轮廓特点、模板特点等。轮廓是人们头部的重要特点。Craw等第一在低分辨率图像中利用一个轮廓模板匹配出人脸的大致范围，然后在高分辨率图像中利用sobel算子取得边缘的位置和方向，并取得完整的人脸轮廓。Wang等提取边缘特点然后依照广义Hough变换抽取椭圆形状信息。人脸的核心区域（眼睛、鼻子、嘴区域）具有独特的灰度散布特点。Yang等第一提出了人脸的镶嵌图（Mosaicimage又称为马赛克图）特点。所谓镶嵌图是指将图像划分为一组大小相同的方格：每一个方格的灰度为格中各个像素的平均值。镶嵌图特点是指这些块的值应知足的某种约束规那么。Lu等依据人脸的左右对称性，通过提取投影直方图特点来检测人脸的旋转角度，再提取镶嵌图特点。Dai等提取空间灰度共现矩阵（SGLD）特点等等。人脸区域内的各个器官（如嘴、鼻子、等）是人脸的重要特点。Kouzani等利用人工神经网别离检测鼻子、眼睛、嘴和人脸的整体特点。人脸区域的灰度值本身也能够作为模板特点，通常仅取包括双眼、鼻子和嘴的脸部中心区域作为共性的人脸模板特点，排除掉头发、脸颊双侧转变专门大的部份，此方式被普遍地用于基于统计学习的人脸检测中。肤色特点肤色是人的重要信息，不同的个体拥有不依托于脸部特点的肤色，关于旋转、表情等转变情形都能适用，具有相对稳固性，而且和大部份背景色相异。因此，肤色特点是人脸检测中比较经常使用的一种特点。肤色特点要紧由肤色模型描述。适用哪一种形式的肤色模型与色度空间的选择紧密相关。通常能够从两个方面考察某种特定的色度空间：（1）是不是能在该色度空间用给定的模型描述“肤色”区域的散布（2）色度空间中“非肤色”与“肤色”区域的重叠有多少。人脸检测经常使用的色度空间要紧有HIS（色调、饱和度、亮度）、RGB（红绿蓝三原色）、rgb（归一化后的三原色）、YIQ（NTSC制式的光亮度和色度模型）、YUV（PLA制式的光亮度和色度模型）YcbCr（CCIR601）编码方式的色度模型，与YUV在数学上具有等价性、CIEL（国际照明委员会提出的基于色度学的彩色模型）等。人脸检测经常使用的肤色模型有高斯模型、混合高斯模型、直方图模型、几何参数描述肤色散布模型、三维投影模型、基于神经网络肤色模型和贝叶斯方式的模型等方式。常见人脸检测方式概述肤色区域分割与人脸验证方式在彩色图像中，肤色是人最为显著的特点之一，利用肤色检测人脸是很有效的方式。Yang等在考察了不同种族、不同个体的肤色后以为人类的肤色能在颜色空间中聚成单独的一类，而阻碍肤色值转变最大的是亮度转变。基于此考虑，他们采纳普遍利用的RGB颜色空间，在滤去亮度值的图像中通过比较像素点的r,g值与肤色范围来推断该像素点及其相邻区域是不是属于人脸区域。除RGB颜色空间外，还有诸如HIS、LUV、GLHS、YCbCr等其他颜色空间被人们利用。对彩色图像来讲，在确信了肤色模型以后，第一能够进行肤色检测。检测出肤色像素后，依照它们在色度上的相似性和空间上的相关性分割出可能的人脸。寻觅到肤色区域后，必需进行验证，排除类肤色区域Ｙoo等利用肤色像素的连通性分割出区域，再利用椭圆拟合各个区域，然后依照椭圆长短轴的比率判定是不是为人脸。依照“位置相邻”、“颜色相近”、“尺度相近”等规那么进行类肤色区域归并，最后用模板匹配、神经网络验证等手腕确信该区域是不是为人脸。基于统计模型的方式人脸具有复杂性，不同的人脸表现出不同的特点，显式的描述人脸具有必然的困难，可是人脸特点中包括有共性的部份，因此另一类方式——基于统计模型的方式愈来愈受到重视。该方式将人脸区域看做一类模式，即模板特点，利用大量的“人脸”与“非人脸”样本训练，构造分类器。通过判定图像中所有区域属于哪类模式来实现人脸检测。事实上，人脸检测问题被转化为统计模式识别的二分类问题，即判别区域是不是为人脸。统计判别方式可分为四类：（Ⅰ）基于人工神经网络的方式（Ⅱ）基于概率模型的方式（Ⅲ）基于支撑向量机的方式（Ⅳ）基于特点空间的方式。基于人工神经网络的方式人工神经网（ANN）是把模式的统计特性隐含在ANN的结构和参数当中,对人脸这种复杂的、难以显式描述的模式，基于ANN的方式具有其独特的优势。CMU的Rowley等利用了多个ANN检测多姿态的人脸,算法显示了两类ANN:1个位姿检测器（poseestimator）用来估量输入窗口中人脸的位姿、3个检测器（detector）别离用来检测正面（frontal）、半侧面（halfprofile）和侧面（profile）的人脸。利用通过对准和预处置的“人脸”样本及采纳“自举”（bootstrap）方式搜集分类器错分的样本作为“非人脸”样本训练各个ANN，并进一步修正分类器。检测时对输入图像中所有可能位置第一利用位姿检测器以估量人脸位姿，经校准和预处置后再送入3个检测器中，最后对检测器的分类结果进行仲裁。Rowley等对正面端正人脸和正面旋转人脸的检测单独进行了研究。关于正面端正的人脸，仅利用了正面人脸检测ANN，是一种三层前向网：输入层对应20×20像素的图像区域；隐层节点分为对应不同人脸区域的假设干组，与输入层部份连接；ANN输出1到-1区间的值表示那个区域是不是为人脸。Rowley等利用相同的“人脸”样本和不同“自举”进程搜集的“非人脸”样本训练了多个正面人脸检测ANN，对它们的检测结果进行仲裁，以进一步减少错误报警。关于正面旋转人脸的检测利用了旋转角度检测器及正面人脸检测ANN，并利用相似的多ANN仲裁方式降低错误报警。基于人工神经网的方式还有Juell和Kouzani等提出的基于人脸器官检测的多级网络方式、Anifantis等提出的双输出人工神经网的检测算法等。神经网络方式在人脸检测与识别上与其他类型的方式相较有其独到的优势，它幸免了复杂的特点提取工作，能通过学习的进程取得其它方式难以实现的关于人脸识别的规律和规那么的隐性表达。基于支持向量机的方式1992-1995年，在统计学习理论的基础上进展出了一种新的模式识别方式——支持向量机（SupportVectorMachine，简称SVM），它基于结构风险最小化原理和基于体会风险最小化的人工神经网络相较，对一些难以逾越的问题如：非线性和维数灾难问题，模型选择和过学习问题，局部极小点问题等都取得了专门大程度的解决。可是，直接利用SVM方式进行人脸识别有有两个方面的困难：①训练SVM需计算二次计划问题，计算复杂度高，内存需求量大；②在非人脸样本不受限制时，需要大规模的训练集合，取得的支持矢量会很多，使得分类器的计算量太高。Platt提出了SMO算法（SequencialMinimolOptimization）有效地解决了第一个问题。Osuna等人第一将SVM方式用于人脸检测问题，在训练中利用了大量人脸样本，采纳“自举”的方式搜集“非人脸”样本，并利用了逼近优化的方式减少了支持矢量的数量，在必然程度上解决了第二个问题；梁路宏等人采纳模板匹配与SVM方式相结合的人脸检测算法，在模板匹配限定的子空间内采纳自举的方式搜集“非人脸样本”训练SVM，降低了训练的难度和最终取得的支持矢量的规模，使得检测速度比单纯的SVM检测器提高了20倍，取得了可与CMU的神经网络方式比较的结果。Richman等提出用人脸中的鼻子区域训练SVM，减少了训练数据，且不用考虑SVM对发型、眼镜等饰物灵敏，搜集图像时也不要求人脸必需定位。柯达公司利用该方式设计出了针对顾客图像的有效人脸检测系统。基于支持特点空间的方式这种方式将人脸区域图像变换到某一特点空间，依照它在特点空间中的散布规律划分“人脸”与“非人脸”两类模式。主分量分析（Principal-ComponentAnalysis,PCA）是一种经常使用的方式。它依据图像的统计特性进行正交变换(K-L变换)，以排除原有向量各个分量间的相关性。变换取得对应特点值呈依次递减趋势的特点向量，即特点脸方式（Eigenface）。Moghaddam等发觉人脸在特点脸空间的投影聚集比较紧密,因此利用前假设干张特点脸将人脸向量投影到主元子空间F和与其正交的补空间，相应的距离气宇别离称为DIFS（DistanceInFeatureSpace）和DFFS（DistanceFromFeatureSpace）。关于人脸检测问题，由于没有考虑“非人脸”样本的散布，需同时利用DIFS和DFFS才能取得较好的成效。Sung等将样本经预处置后按行列顺序展开为样本向量进行主分量分解。采纳k-均值聚类方式在特点空间中成立6个“人脸”簇（Clusters），同时成立包围“人脸”簇的6个“非人脸”簇，以使“人脸”与“非人脸”模式的边界更为清楚。并利用“自举”（bootstrap）方式加以解决了非人脸样本选取的问题:第一成立一个仅利用“人脸”簇的初始分类器对一组图像进行检测，将所有的错误报警（不是人脸而被错检为“人脸”的结果）并加入“非人脸”样本库，构造新的利用“人脸”与“非人脸”簇的分类重视新检测。以上进程不断迭代，直到搜集了足够的“非人脸”样本。属于特点空间方式的还有因子分解方式（FactorAnalysis,FA）和Fisher准那么方式（FisherLinearDiscriminant,FLD），Yang等在混合线性子空间（mixturesoflinearsubspaces）中对“人脸”和“非人脸”样本的散布进行建模，别离利用基于EM[18]算法的扩展FA方式和基于自组织映射（Self-OrganizingMap,SOM）的FLD方式构造检测器。基于概率模型的方式基于概率模型的一种思路是利用贝叶斯原理计算输入图像区域属于人脸区域的后验概率。即计算P(object/region)。CMU的Schneiderman等提出了一种基于后验概率的检侧方式。将无法计算的先验概率P()和p(object)用一个参数λ代替，作为调剂检测器灵敏度的参量。如下式：（）（）在学习进程中取得“人脸”和“非人脸”两种模式概率散布。通过对灵敏度的调剂，达到检测的目的。另一种应用较多的概率模型是用来描述信号统计特性的隐马尔可夫模型（HiddenMarkovModels,HMM），该模型目前也被应用于人脸检测与识别。Nefian等依据正面人脸由上到下各个区域（头发、额头、双眼、鼻子、嘴）具有自然不变的顺序这一事实，利用一个包括五个状态的一维持续HMM加以表示。将头部图像依照这五个区域划分为互有重叠的条块，对各块进行K-L变换，选取前假设干个变换系数作为观测向量训练HMM。Nefian等还提出了基于嵌入式HMM的人脸检测方式。该方式同时考虑到人脸由左到右各个特点的自然顺序，利用了二维HMM，而且采纳二维DCT变换的系数作为观看向量。另外还有Meng等利用HMM描述人脸的小波特点中不同级间的相关性等方式。基于HMM的方式一样只利用“人脸”样本进行训练，要紧针对用于人脸识别的头肩部图像。基于启发式模型的方式基于启发式模型的方式第一抽取几何形状、灰度、纹理等特点，然后查验它们是不是符合人脸的先验知识。Govindaraju等利用了变形模板（deformabletemplate）匹配头顶轮廓线和左右两条脸颊轮廓线，以实现人脸定位。Yang等提出的的马赛克方式那么利用人脸知识信息的典型算法，它解决了图像的空间尺度问题。经典的马赛克法是一个基于知识的三层检测系统，第一层将人脸的五官区域划分为4×4的马赛克图像块，依照知识规那么寻觅相应的候选区域；第二层依照8×8的马赛克图像块，依照知识规那么从各候选区域中确信人脸区域；第三层在已确信的人脸区域内采纳改良的边缘检测算法进一步确信眼、嘴等器官的位置。卢春雨等对镶嵌图方式进行了改良，他依照人脸器官的散布将人脸划分为3×3个马赛克块，在检测中自适应地调整各块的大小，利用一组基于各块灰度和梯度统计特点的知识规那么查验该区域是不是为人脸，取得了较好的实验结果。如图2-4基于器官的分块四分块策略基于器官的分块四分块策略图2-4基于器官的划分策略图2-4基于器官的划分策略人脸区域内的各个器官具有较为恒定的模式，因此有些方式第一检测器官（如双眼、鼻子、嘴等）或局部特点，然后依照它们的相对位置关系判别整个区域是不是为人脸。Kouzsni等将利用人工神经网络别离检测出来的眼睛、鼻子、嘴和人脸的整体特点及彼其间的位置关系输入一个模糊神经元网络，依照其中的领域知识判定被检测的区域是不是为人脸。Miao等从输入图像中提取可能对应于眉毛、眼睛、嘴等器官的水平方向的马赛克边缘（mosaicedge），计算各段边缘的“重心”（Gravitycenter）后，利用“重心”模板进行匹配，最后再利用灰度和边缘特点验证匹配的结果。该方式对人脸位姿的转变具有较强的适应能力。采纳局部特点检测方式的还有基于概率框架的局部特点聚类方式、基于双眼检测的方式、和结构模型、纹理模型和特点模型相结合的方式等。利用人脸的轮廓、对称性等少量特点的方式适用于较强约束条件下（如简单背景、头肩图像）的人脸检测。由于利用的特点较少，此类算法能够达到较高的检测速度，实现实时检测与跟踪。利用人脸五官散布特点的知识模型方式能够在必然程度上适用于复杂背景图像中的人脸检测，同时达到较高的检测速度。可是，要进一步提高知识模型的适应能力，那么需要综合更多的特点，这事实上涉及到图像明白得这一困难的问题。这是此类方式进一步进展将碰到的要紧障碍。本章末节本章讨论了人脸检测的一些大体算法，面向有效研究了具体的算法结构，并对算法的应用处合和短处进行了讨论。人脸检测作为人脸识别系统后续操作的第一步，是一个很重要的环节。由于人脸的特点具有多样性，通过对不同的特点进行提取和分析能够取得不同的特点描述，从而能够采纳不同的方式进行检测。由于应用处合的不同，在不同的情形下必需有针对性的选择检测算法，才能达到较好的成效。

第三章肤色分割与人脸区域的选取色彩空间简介肤色分割要紧涉及到肤色模型和色彩空间。本节要紧介绍了关于肤色模型和色彩空间的大体知识和本文将要用到的基于RGB和HSV色度空间及肤色模型的优化算法。肤色模型指得是用一种代数的或查找表等形式来表示哪些像素的颜色属于肤色，或表征出某一像素的颜色与肤色的相似程度。肤色模型大体上分为四种：区域模型或IF-THEN模型、简单高斯模型、混合高斯模型和直方图模型。色彩空间（ColorSpace又）被称为色域，它代表了一个色彩影像所能表现的色彩具体情形。咱们通常采纳的色彩空间要紧有RGB、CMYK、Lab、HSV、YIQ等。其中RGB色彩空间是最大体的色彩空间。其他的都属于此色彩空间，只是用途有所不同。他们能够和RGB空间按必然的关系进行转换。因本文方式要紧用到RGB和HSV色彩空间的结合，故先对RGB和HSV空间做简要的介绍。RGB格式色彩空间由于彩色图像是多光谱图像的一种特殊情形，对应于人类视觉的三基色即红、绿、蓝三个波段，是对人眼的光谱量化性质的近似。因此利用R、G、B三基色这三个分量来表征颜色是很自然的一种格式。而且多数的图像搜集设备都是以CCD技术为核心，直接感知色彩的R、G、B三个分量，这也使得三基色模型成为图像成像、显示、打印等设备的基础，具有十分重要的作用。RGB色彩空间用R、G、B三种大体颜色分量来表示数字图像像素的颜色值。RGB色系坐标中三维空间的三个轴别离与红、绿、蓝三基色相对应，原点对应于黑色，离原点最远的极点对应于白色，其他颜色落在三维空间中由红、绿、蓝三基色组成的彩色立方体中。其他的色彩空间常以RGB色彩空间为基础，其分量能够描述为RGB三色的线性或非线性函数。RGB色彩空间通过色彩的相加来产生其他颜色，通常称为加色合成法（AdditiveColorSynthesis）。一样来讲，RGB色彩空间由于R、G、B分量相关性强，不大容易直接成立肤色模型。为了把肤色区域同非肤色区域分离，需要利用适合不同肤色和不同光照条件的靠得住肤色模型。而关于RGB色彩空间而言，R、G、B三个基色不仅代表颜色，还表示了亮度。由于周围环境光照的改变引发亮度转变会令人脸检测更复杂，在如此的条件下，直接利用RGB空间聚类进行肤色分割是不靠得住的。尽管在RGB空间难于将肤色有效地聚成密集散布的一类，但人体肤色的特点色调在红色区内，这一特点表此刻图像中，确实是肤色的RGB值符合：R＞G＞B肤色的这一特点相当稳固，不管是人种的转变仍是环境光照的转变，都不足以造成上式变成G＞R或B＞G肤色的聚类结果简单而稳固。而且由于我的研究是面向人脸检测环节，人脸检测空间的输入图像已通过光线补偿等预处置，从另一方面幸免了光照的阻碍。通过手工提取图像中大量肤色像素进行实验分析，发觉结果与上式吻合。RGB色彩空间的这种肤色模型尽管简单，但三个色彩分量没有专门好地和人对色彩判定的因素相联系，冗余信息多，R、G、B相关性强，不便于处置。而且对三个分量别离处置会带来颜色信息的丢失和错乱。故一样处置方式是将RGB空间转换为其他的色彩空间，目的是降低分量之间的相关性，将亮度与反映色彩本质特性的色调信息分离。HSV格式色彩空间这是Munseu提出的色彩空间模型，常常为艺术家所利用，它是一种主观彩色模型，不采纳将某种特定的颜色分解为三原色的方式，而是描述颜色的三种属性。这三种属性别离是：色调（Hue）、饱和度（Saturation）和亮度（Value），也有称为HIS。其中，色调值表示大体的纯色，饱和度值表示颜色中掺入白光的比例，亮度值那么表示颜色中掺入黑光的比例。这种格式反映了人类观看色彩的方式，比较好地反映了人对颜色的感受，同时也有利于图像处置。在对色彩信息的利用中，这种格式的优势在于它将亮度（V）与反映色彩本质特性的两个参数一一色调（H）和饱和度（S）分开。咱们提取一类物体（比如此刻研究的人脸）在色彩方面的特性时，常常需要了解其在某一色彩空间的聚类特性，而这一聚类特性往往体此刻色彩的本质特性上，而又常常受到光照明暗等条件的干扰阻碍。光照明暗给物体颜色带来的直接阻碍确实是亮度分量（I），因此假设能将亮度分量从色彩中提掏出去，而只用反映色彩本质特性的色调、饱和度来进行聚类分析，会取得比较好的成效。这也正是HSV格式在彩色图像处置和运算机视觉的研究中常常被利用的缘故。从RGB空间映射到HSV空间,其转换关系有多种，要紧有以下两种：其一：V=max(R,G,B)V′=min(R,G,B);ifV=0orV=V′thenH=0andS=0;ifR=V thenH=(G-B)/(V-V′);ifG=VthenH=2+(B-R)/(V-V′);IfB=VthenH=4+(R-G)/(V-V′);H=H×360,ifH<0thenH=H+360;S=(V-V′)/VV=V/255其二：V1=(R+G+B)/3; VV3=(2G-R-B)/4; V=VS=（V12+公式中，R、G、B为RGB色彩空间的红、绿、蓝分量；H、S、V别离为HSV色彩系统的色调、饱和度和亮度分量。HSV变换为RGB的关系为：（1）当0≤H≤120°时R=[1+]，B=(1-S),G=I-R-B（）（2）当120°≤H≤240°时G=,R=(1-S),B=I-R-B（）（3）当240°≤H≤360°时B=,G=(1-S),R=I-R-B（）在HSV（也称HIS）色彩系统中成立肤色模型时，一样为幸免肤色模型对亮度转变的灵敏性，要紧研究肤色在HS（色调、饱和度）平面的散布。只是从选取的大量肤色样本的统计来看，肤色的亮度V都可不能小于40，在HSV色彩系统中，概念肤色为V>40，且H、S落在特定的区域。不管采纳何种色彩空间，都是优缺点并存。可是，只要咱们对该种空间的真正内涵有所熟悉，咱们就能够够扬长避短，幸免先验知识给咱们带来麻烦。以下是对RGB色彩空间和HSV色彩空间进行了优化组合，从而达到快速检测的目的。肤色模型基于RGB色彩空间肤色模型的思想通常，咱们利用的图像是真彩图，在RGB彩色空间中，R、G、B代表三基色，因此直接在此空间成立肤色模型，显然能提高检测速度，如上所述通常利用R＞G＞B肤色模型。可是大量肤色统计说明肤色部份往往饱和度较大，为了使肤色在此空间具有更好的聚类特性，咱们要考虑到饱和度因素，将R＞G＞B肤色模型改成以下肤色模型：R-G-α1＞0,G-B-α2其中α1、α基于HSV色彩空间肤色模型的思想从RGB空间到HSV空间的映射关系咱们能够看到，若是一幅图像红色信号大于另外两个基色信号时，R为最大值，现在，从RGB空间到HSV空间的映射关系简化为：V=R（即，亮度值等于红色信息的色度值）V′=BS=(V-V′)/V=(R-B)/RH=（G-B)/(V-V′)=(G-B)/（R-B）且H＞0（）H值的计算思想是在去掉亮度信息的阻碍后，利用G与B差值占总色差成份的多少命名为色调信息。肤色模型：β1＜H＜其中β1、β基于两种思想的优化组合从能够清楚地看到，只要先进行三基色关系的粗裁决，即R＞G＞B,咱们就能够够直接应用公式进行进一步的裁决，不用通过空间转换，因此基于这种思想，本文利用以下肤色模型裁决公式：R-G-α1＞G-B-α2β1＜H＜β值得注意的是该肤色模型的三个条件具有前后顺序，即第一有条件（）、（）然后才有条件（）。这种通过优化组合的肤色模型的优势在于即隐含饱和度约束条件，又不用通过色彩空间的转换，因此能做到提高计算速度。肤色分割利用上一节公式（）（）（）前后进行肤色分割。意义在于减少对人脸搜索的盲目性，提高检测速度。基于RGB色彩空间思想的肤色分割为了进一步表现利用公式（）、（）检测的优势，咱们与利用R＞G＞B的对照就能够够明显看出来。图3-1（a）为原始图，（b）为R＞G＞B裁决结果，（c）为利用（）、（）的裁决结果，其中α1取10，α(c)(b)(a)(c)(b)(a)图3-1两种判决结果的比较图3-1两种判决结果的比较基于H值的肤色分割为了进一步取得最正确分割成效，探讨不同分割方式对图像处置的成效，在此咱们进行两种分割得比较：一种是直接利用H值进行肤色分割；另一种是通过中值滤波后利用H值进行滤波。利用H值的直接肤色分割通过上一步分割，图像中所有像素点的H值均为正值。为方便起见咱们把公式（）书写如下：H=(G-B)/(V-V′)=(G-B)/（R-B） （）咱们对图3-1（c）计算H值并取得色调图像，例如见图3-2。从例如中咱们清楚地看到，图像中任何一点的色度大体上不受亮度强弱的阻碍，这关于咱们常常提到的高光区问题的解决是有益处的。可是咱们仍然能够看到高光区对色调的阻碍。若是对彩色图片中的高光区作概念的话，能够简单的描述成：某一区域若是其亮度（色调）随着区域由外向内的转变进程中从小（大）变大（小）缓慢转变，那么咱们称之为彩色图片的高光区。在观看彩色图像时，咱们发觉高光区一样散布在人脸的区域内，呈封锁区域状，这给咱们下一步解决高光区问题对方式提供了重要依据。只要咱们采纳肤色区域的二值图填充，就能够够轻松地解决高光区的问题，从这方面来讲，对彩色图片咱们能够解决高光区问题H值图原始图H值图原始图图3-2图3-2基于H值的滤波后肤色分割为了使分割后的图像加倍规那么，在分割前咱们第一进行滤波处置，其表面意义在于滤除噪声，可是，在肤色分割中有着特殊的意义。本文咱们采纳中值滤波器，中值滤波在肤色分割中的意义要紧在于：（1）滤除较小的肤色区域；（2）减少噪声的干扰；（3）使肤色区域连通、滑腻性更好（专门是边沿部份）；（4）咱们并非惧怕所有高光区，只要高光区在肤色区域之内，通过二值图的填充就能够够去掉这种阻碍，咱们可怕的是高光区正好于非肤色区域与肤色区域之间，它直接阻碍到咱们对肤色区域的裁决。所幸的是大量实验说明，高光区对边沿的阻碍仅仅体此刻狭小的区域，因此通过中值滤波能够专门好的解决那个问题，使高光区离开非肤色区域与肤色的边沿区域，出此刻人脸区域内。通过中值滤波前后对照例如见图3-3滤波后H值分割图滤波前H值分割图原始图滤波后H值分割图滤波前H值分割图原始图图3-3滤波前后H值灰度图比较图3-3滤波前后H值灰度图比较原始图依照对亚洲人的大量实验说明，人脸肤色区域范围为：≤H≤。图3-4为肤色分割的结果。从图中咱们能够看到，肤色区域取得专门好的分割。原始图滤波后肤色区域原始图滤波后肤色区域原始图图3-4滤波前后对比图图3-4滤波前后对比图与此同时，咱们还能够取得一个重要结论：大量统计结果说明，人的嘴巴和眼睛的H值明显小于其它值，这一特点对咱们下一步检测具有必然的价值。二值图的形态学滤波处置形态学（Morphology）本来是关于动植物调查时采取的某种形式的研究。数学形态学（MathematicalMorphology）是分析几何形状和结构的数学方式，它成立在集合代数的基础上，是用集合论方式定量描述集合结构的学科。1985年后，数学形态学慢慢成为分析图像几何特点的工具。数学形态学包括一组大体的形态学运算子：侵蚀（Erosion）、膨胀（Dilation）、开运算（Opening）、闭运算（Closing）等。咱们运用这些算子及其组合来进行图像形状和结构的分析及处置。形态学的理论基础是集合论。在图像处置中形态学的集合代表着黑白和灰度图像的形状，如黑白图像中的所有黑像素点组成了此图像的完全描述。通常咱们选择图像中感爱好的目标图像区域像素集合来进行形态学变换。通常，当有噪音的图像用闭值二值化时，所取得的边界往往不是滑腻的，物体区域具有一些错判，背景区域上那么散布着一些小的噪声。利用形态学上的持续的开和闭运算能够显著的改善这种情形。有时连接几回侵蚀迭代以后，加上相同次数的膨胀，才能够产生所期望的成效。侵蚀（Erosion）简单的侵蚀是指排除物体的所有边界点的一种进程，其结果是剩下的物体沿其周边比原物体小一个像素的面积。若是物体是圆的，它的直径在每次侵蚀后都将减少2个像素。若是物体认一点的宽度小于3个像素，在该点将变成中断的（即变成两个物体）。不大于2个像素的物体将被删除。因此，咱们能够看到，侵蚀对从一副分割图像中除去小的无用物体是很有效的。通常意义上的侵蚀概念概念为：E=Beq\o\ac(○,×)S={x,Y|Sxy∈B}（）即由S对B侵蚀所产生的二值图像E是如此的点（x,y）的集合：若是S的原点位移到点（x,y）那么S将完全包括于B众。当利用大体的3×3结构时，一样意义上的侵蚀就简化为简单侵蚀。其成效如图3-5

腐蚀后的图像原始图腐蚀后的图像原始图图3-5腐蚀效果显示图3-5腐蚀效果显示膨胀（Dilation）简单膨胀是指将与某物体接触的所有背景点归并到该物体的进程。其归并的结果是使物体的面积增大了相应数量的点。假设物体是圆的，它的直径在每次膨胀后都增大两个像素。若是某两个物体之间的距离小于三个像素，那么它们在膨胀后将连为一个物体。膨胀的通经常使用途是填补分割后物体间的空洞。一样膨胀概念为：D=Beq\o\ac(○,＋)S={x,y∣Sxy∩B≠ф}（）此表达式的意义是说，S对B膨胀产生的二值图像D是有如此的点（x,y）组成的集合，若是S的原点位移到（x,y）那么它与B的交集非空。例如当采纳大体的3×3结构时，一样膨胀简化为简单膨胀。其成效若是3-6所示图3-6膨胀效果显示图3-6膨胀效果显示膨胀后的图像原始图实际生活中，侵蚀和膨胀往往不是单独利用的，利用最频繁的运算方式是对二值图像进行开、闭运算。开运算和闭运算开运算：先侵蚀后膨胀的进程称为开运算。它能够排除细小物体、在细微点处分离物体、滑腻较大物体的边缘时又不明显改变其面积。开运算概念为：=(Beq\o\ac(○,×)S)eq\o\ac(○,+)S（）闭运算：先膨胀后侵蚀的进程称为闭运算。它具有填充物体内细小空间、连接临近物体、在不明显改变物体面积的情形下滑腻其边界的作用。闭运算可概念为：=(Beq\o\ac(○,+)S)eq\o\ac(○,×)S（）在本文中，考虑到干扰造成的虚假肤色信息，第一采纳5×5的结构元素进行开运算以排除较小的物体（假设人脸区域足够大），同时，考虑到一部份分割区域内有较小的区域存在，咱们利用3×3的结构元素进行闭运算，那么能够做到排除分割区域中较小空洞。其成效如图3-7处理后二值图原始图处理后二值图原始图图3-7形态学处理前后对比图图3-7形态学处理前后对比图通过实例，咱们发觉，通过形态学处置，不仅能够过滤由于噪声或别的缘故引发的干扰，还能够减少获选区域和提高检测速度。人脸候选区域的挑选通过基于数学形态学的滤波方式处置后，图像中的小块噪声大多已被清除，可是由于背景十分复杂，阻碍因素较多，某些较小的类肤色区域仍存在其中。那么如何删除这些假人脸区域呢?这是本节咱们所要讨论的问题。为了删除假人脸区域，第一咱们必需对这些区域进行分析和计算。可是在进行此项操作前，咱们有必要对它们进行统计编码，以确信需要挑选的对象。详细实现进程为:（1）连通区域填充；（2）标记连通区域（自左向右、自上而下），不同的区域采纳不同的数字标记；（3）对每一个标定区域进行统计、计算挑选。区域的长宽比为了确信某一区域的长宽比，咱们必需将该区域的长度L和宽度W别离求出来可是由于部份人脸可能存在一些倾斜，这使得咱们无法直接利用该区域的左、右、上、下4个极点的坐标值(通常，咱们采纳的坐标系是以图像最左下角为原点，水平向右为x轴的正方向，垂直向上为Y轴的正方向)进行判定。可是咱们能够通过坐标轴进行计算。其详细进程为：统计该区域边界上所有点的坐标值，寻觅x轴上具有最小、最大x分量的坐标（Xmin,Xmax）及Y轴上的最小、最大x分量的坐标（Ymin,Ymax），L=（Xmin-Xmax）、W=（Ymin-Ymax）值即为人脸的长宽（宽长）参数值。L与W的比值r=L/W即为所求的区域长宽(或宽长)比。若是人脸为垂直正面，那么该比值应该接近于,可是由于人脸存在旋转，且肤色相似度分割可能造成人脸头颈部作为同一个区域分割，故r的上限能够适当放大，以避免把正确的分割区域作为错误的判定。本文中，r的取值范围为（,2），不属于那个范围的候选区域那么直接删除。区域的面积区域的长宽求出后，区域的面积很容易患出。其面积即为该区域中白色像素点的个数，用公式可表达为:A=B(x,y)公式中，B（x,y）为坐标（x,y）处的