人脸检测与裁剪系统设计与实现

四川师范大学本科毕业设计人脸检测与裁剪系统的设计与实现学生姓名院系名称 计算机科学学院专业名称 软件工程班 级学 号指导教师完成时间 2016 年 5 月 10 日人脸检测与裁剪系统的设计与实现内容摘要：本设计旨在开发一个从静态图像中检测人脸及对检测到的人脸图像进行归一化的软件系统，具体内容包括：1.学习OpenCV库函数的调用和内在原理及相关编程环境，掌握使用该库的库函数和接口。在学习过程中了解人脸图像归一化的目和归一化的主要内容与方法。制定了本设计采用的归一化方案，编程实现归一化算法，实现一个基于OpenCV的人脸检测和图像归一化系统。2.研究了人脸检测原理和算法，学习了 OpenCV 内部封装的人脸人眼检测的算法原理。自己编程实现了一种基于人类皮肤颜色特征的人脸检测算法并对人眼检测方法中的灰度投影法进行了学习和改进。实现了手动定位人眼在图像中的位置，然后根据双眼位置进行人脸图像旋转和裁剪的归一化方法。3.本文首先概述人脸检测研究背景、人脸检测的必要性、现状及发展趋势。然后介绍了 OpenCV 人脸检测算法和肤色人脸检测算法的原理和数学模型。之后对本设计实现的人脸检测和裁剪系统的总体设计方案和详细设计方案进行了论述。最后利用 KNN 最近邻分类器，对归一化前后的人脸图像进行了人脸识别实验。实验结果显示，利用本系统可以有效地进行人脸检测和归一化，归一化步骤可以提高人脸识别率。关键词：OpenCV 人脸检测 肤色 人眼检测 人脸归一化The design and implementation of face detection and cutting systemAbstract: This paper aims at develop a face detection and a normalization system. 1.Learning The OpenCV (an open computer vision library) and the programming environment,mastering the librarys functions and interface. Get the purpose of normalizing and learn some important method and algorithm.A scheme about the implement on this system should be made.Then implement the detection system base on OpenCV library,and finish a normalization algorithm by myself.2.I learn some internal encapsulation based on OpenCV by researching same face detection algorithm of OpenCV.During the study I earned the important of face Detection.So I plan to implement one detection algorithm base on skin color and improve the human eye Location method named 3.gray-level projection method.The manual positioning of the human eye position was completed, and then rotating and cutting according to the binocular location.4.First of all I will give a brief describe the history ,present situation and the trend of face detection in the future In the paper .Then the principle and mathematical model of two kinds of face detection algorithms based on OpenCV and skin color must be explained.After that this paper talk about the overall design of the system design and detail design of this system.Finally,use the nearest neighbor classifier,recognize the before and after normalized face image.the experiment proves that the after normalized face recognition rate higher than the other one.Key words: OpenCV face detection skin color eye Location normalization 目 录1 概述 .11.1 研究目的和意义 .11.2 研究背景 .11.2.1 国内现状 .11.2.2 国外现状 .11.3 文章的结构 .22 预备知识及原理说明 .22.1 人脸检测定义 .32.2 人脸特点和人脸开检测的意义 .32.2.1 人脸的自然特性 .32.2.2 进行人脸检测与裁剪必要性 .32.3 一些常用的人脸检测技术 .42.3.1 基于显性特征人脸检测 .42.3.2 基于隐式特征人脸检测 .42.4 本章小结 .53 XFace 系统总体设计 .53.1 XFace 系统设计 .53.1.1 XFace 系统框图 .53.2 功能说明 .53.2.1 读取显示文件 .53.2.2 人脸检测 .63.2.3 检测结果归一化 .63.2.4 归一化结果保存 .63.3 本章小结 .64 XFace 系统详细设计 .64.1 XFace 系统总体设计 .64.1.1 XFace 系统流程 .64.1.2 XFace 系统的功能模块 .74.2 XFace 系统算法详细描述 .84.2.1 OpenCV 人脸检测法详细描述 .84.2.2 肤色检测模型详细描述 .124.2.3 归一化算法详细描述 .144.3 XFace 系统详细设计 .184.3.1 XFace 系统关键类 .184.3.2 XFace 系统重要数据结构 .194.4 章小结 .205 XFace 系统实现 .205.1 OpenCV 人脸检测模块实现 .205.1.1 EmguCV 概述 .205.1.2 EmguCV 封装 OpenCV.20I5.1.3 EmguCV 安装 .225.1.4 OpenCV 人脸定位 .225.2 肤色人脸检测模块实现 .235.2.1 二值化图像得到人脸候选区 .235.2.2 候选肤色区域筛选 .245.3 归一化实现 .245.3.1 灰度投影法定位人眼 .245.3.2 旋转人脸图像 .265.3.3 裁剪归一化。 .265.4 本章小结 .266 XFace 系统运行 .276.1 系统运行 .276.2 XFace 系统对人脸识别率的提高。 .286.3 本章小结 .287 总结与展望 .287.1 总结 .287.2 展望 .298 致谢 .29参考文献 .300人脸检测与裁剪系统的设计与实现1 概述1.1 研究目的和意义人脸检测（Face Detection）就是查找图像中人脸的位置，大小及数量 1。裁剪就是将检测到的人脸进行旋转亮度等归一化方法来得到可以用于计算机人脸识别的标准化人脸图像样本，研究人脸检测和裁剪的目的是为了更好的进行人脸识别。意义一：在自拍美图、人脸识别、无人驾驶、人工智能等技术被广泛用于生活的背后始终有一个默默无闻的技术在支撑着他们的发展，那就是人脸的检测。人脸检测与识别的关系就好比人在处理眼睛看到的对象一样我们先需要对看到的对象进行分类然后才能在该类下了解它的具体特性。同样首先我们需要人脸检测来帮助弄清楚对象是什么类，然后才可以知道它的具体内容。意义二：人脸检测可以降低对人脸样本的采样的环境要求，想象一下如果我们为了识别某人而需要他或她在镜头前表情僵硬的一动也不动的才能采集到满足要求的人脸。与能从一张随便拍摄的图片就能检测到人脸的采样条件而言，人脸检测在降低采样环境上着实起到了很大作用。1.2 研究背景1.2.1 国内现状从全球的人脸识别市场发展来看，中国现在正处于巅峰时刻。如今从事人脸识别的公司有 200 家。今年中科院人脸识别团队将人脸识别技术运用于铁路安全检测系统这是应用上取得的一大进步。徐州市人事考试办公室也首次应用了人脸识别技术机考防范及排查替考还有目前支付宝已经在某些移动端上也能完成刷脸支付了。学术上微软亚洲研究院视觉计算组同美国 ImageNet 计算机视觉组织进行挑战。微软亚洲研究院视觉计算组的研究员们凭借深层神经网络技术的最新突破，以绝对优势获得图像分类、图像定位以及图像检测全部三个主要项目的冠军 2。同时，在另一项图像识别挑战赛 MS COCO 中同样取得了很好的成绩，击败了来自企业、学界和研究机构的众多参赛者 2。相信在将来人脸检测技术会越来越多的应用到生活场景中。我很幸运的选择了人脸检测归一化系统的设计与实现作为本次的毕业选题。1.2.2 国外现状最早的二维图像的统计模式识别开始于 20 世纪 50 年代。1最早的三维机器视觉的研究始于 60 年代。1977 年，MIT 人工智能实验室正式开设”computer vision”课程。全球性的研究热潮于 80 年代开始，不久 computer vision 获得了巨大发展，该领域的各种新概念、新理论不断出现。目前在海外，机器视觉人脸检测系统在很多方面已经得到了普遍的应用，而且其产品在很多行业中有着举足轻重的地位。目前大多数应用集中在半导体及电子行业。可以这样说 computer vision 现在国内与国外对于人脸检测计算机视觉方面研发成果处于并驾齐驱、不相上下的地步。1.3 文章的结构本文共为八个主要部分：1.概述，这章主要说明了人脸检测和裁剪系统的必要性和重要性，主要从市场和发展前景来论述为什么进行人检测和裁剪的研究。2.预备知识和原理说明，如同只有站在巨人的肩膀上才能看的更远才能一样，要更好的了解这项技术就必须要了解一些准备知识。3.总体设计，主要使用结构图来说明本人脸检测与裁剪系统包括的主要功能。4.详细设计，用功能模块图来说明系统的工作流程和重要算法原理，并通过系统主要数据结构和关键类介绍系统详细设计是如何实现的。5.系统实现，本章对 Emgucv 进行了概要描述，主要实现了 OpenCV、肤色定位人脸区域和对检测到人脸进行归一化功能。6.系统运行及归一化对识别率的影响实验，说明人脸检测和裁剪系统在对静态图像检测归一化归一方面所做的工作。7.总结篇，对该系统进行了综合评述。总结系统做到了什么，同时还提出了一些系统可能存在的不足及系统没做到什么和对系统改进期望。8.致谢，对所有帮助我的人和组织表示感谢。最后是本文所参考的各种国内外有价值的论文、图书、期刊、和网络技术博客资料列表。2 预备知识及原理说明在开发人脸检测与裁剪系统之前我们必须要了解一些关于人脸检测的预备知识。比如了解什么是人脸检测及人脸检测定义，还需要了解为何进行检测和裁剪及这样做的意义。同时还应该了解一些关于现在常用的一些检测技术。22.1 人脸检测定义人脸检测：在实际中人脸检测主要用来预先处理需要进行人脸识别的图像，它的主要任务就是在图像中准确标定出人脸的位置和大小。人脸检测就是把人脸图像中包含的众多的特征，如结构的特征、直方图的特征、人脸颜色的特征、及 Haar 特征等对检测人脸有用的信息挑出来，并利用这些特征实现人脸检测 1。2.2 人脸特点和人脸开检测的意义2.2.1 人脸的自然特性人脸和人的其它生物特征一样从出生就会伴其一生，人脸的唯一性和难复制性为身份鉴别提供了必要的前提。因为如果现实中存在两张完全相同的人脸那么人脸识别就无法进行判断。与其它类型的生物识别比较人脸识别还具有：直接性：就是指和人类辨别人一样主要是通过人脸来区别，而不需要进行种种转换运算。非接触性：用户不需要像采集指纹那样需要和设备直接接触就才能获取图像；并发性：在同一张图片或者图像中我们可以同时检测多个人脸；唯一性：这是我们可以根据人脸达到识别身份的必要前提。每个人的脸具有与他人不同的特点而这些是唯一的，不会存在两个目标脸可以是完全相同的。2.2.2 进行人脸检测与裁剪必要性意义一：我们知道图像对于计算机而言就是一串一串二进制数而且他的保存十分耗费资源。针对安全监测视频图像中无人的景象是无用的，那么人脸检测则可以在检测到人脸时才对图像进行存储这样既节约资源又可以提高图像的有用性。意义二：在自拍美图、人脸识别、无人驾驶、人工智能等技术被广泛用于生活的背后始终有一个默默无闻的技术在支撑着他们的发展，那就是人脸的检测。没有人脸检测技术的支持不会有计算机人脸识别的产生。人脸检测与识别的关系就好比人在处理眼睛看到的对象一样我们先需要对看到的对象进行分类然后才能在该类下了解它的具体特性。同样首先我们需要人脸检测来帮助弄清楚对象是什么类，然后才可以知道它的具体内容。意义三：人脸检测可以降低人脸识别前对人脸样本的采样条件，想象一下如果我们为了识别某人而需要他或她在镜头前表情僵硬的一动也不动的才能采集到满足要求的人脸。与能从一张随便拍摄的图片就能检测到人脸的采样条件而言，人脸检测在降低采样环境上着实起到了很大作用。32.3 一些常用的人脸检测技术2.3.1 基于显性特征人脸检测所谓基于显性特征人脸检测是指人肉眼就可以采集出来的的特征而不需要进行各种处理的特征，如五官结构，人脸皮肤颜色，面部轮廓等五官分布法是根据人脸五官双眼、眉毛、耳朵、鼻子、嘴巴在人脸的位置分布规则对图像进行扫描来检测人脸。基于肤色的人脸检测是指肤色在去除亮度的色度空间内具有内聚性我们可以根据对大量肤色统计发现肤色会内聚到某个范围内从而可以帮助我们将皮肤区域同其他背景中分离出来。其优点是检测快速原理简单而且具有姿态不变性。基于对称性的人脸检测我们知道正面人脸长宽比会在一定范围内，而超过这个范围是人脸的概率比较小可以不予考虑。基于显性特征的检测算法复杂度低检测效率高。但同时也会有相当高的检误率但总的来说基于显示特征的人脸检测方法是比较容易实现的。2.3.2 基于隐式特征人脸检测隐式特征的方法就是预先让分类器对大量的人脸和非人脸样本对进行学习，然后再用学习好的分类器检测一个新人脸看是否为人脸。如果送检人脸通过分类器的所有检测，则确认为人脸否则不是人脸。典型例子有以下几种：基于人工神经网络的方法人工神经网络和人自身处理信号的过程类似大致过程为：当大脑或者感受器接收到某个来自外界的刺激，神经细胞就通神经结构将信息传递到其他细胞然后在到其他细胞就这样将刺激迅速通过处理传到其他神经细胞 4。这样一条通路就是一个信息处理的通路。整个神经网络系统是由无数个相互关联的神经细胞组成，构成一强大的高精度的信号处理机 4。不过信号不是随机选择下一个神经元来传递信息，而是基于人在成长过程中长期累积的分类信息有条件的选择路径。受这种思想启发人工神经网络算法就是要模拟人类神经的既成分类机制以此达到对待检测样本的检测。基于子空间的方法子空