基于人脸图像的疲劳识别

1、基于眼睛状态识别疲劳应用于移动设备的研究摘要：随着移动时代的到来，越来越多的人开始使用移动设备，使用的时间也越来越长。虽然移动设备带个人们生活上的便捷，同时也带来健康上的。长时间使用移动设备会导致视力的减退，影响休息。本文将通过捕获眼睛状态来识别用户的疲劳状态，从而提醒用户当前的身体状态。本文研究的主要包括人脸的捕获与识别，人眼的捕获与识别，眼睛状态的分析，计算当前的疲劳程度。：人脸，人眼，眼睛状态识别Based on eye se recognition usedobile deviLiu HaoHuang Dong-JunAbstract：With the advent of the mo

2、bile era, more and more people start using mobiledeviare increasingly used in a long time. Although mobile deviwith theiral life convenient, but it also brings the threat of health on. Prolonged use ofmobile deviwill lead to viloss, affecting the rest. This article will identify thefatigue se of the

3、 users eye by capturing the se, thereby alerting the users currentphysical condition. This study includes the capture andysis of human facerecognition, identification and capture the eye, the eye condition, calculating thecurrent degree otigue.Key words: Face tracking, eye tracking, eye se recogniti

4、on第二章 人脸检测及人眼定位2.1 引言眼睛状态是进行疲劳状态判断的重要依据，因此眼睛的定位是疲劳检测系统的至关重要的一环。如果试图在背景多变的中直接进行人眼的定位，那么会有很多的干扰信息，使问题变得更加复杂。因此在定位人眼之前，先检测出人脸，在人脸图像上定位人眼，这样能迅速缩减人眼定位区域，去掉无关区域信息造成的干扰，提高人眼定位的精确性与可靠性。人脸检测就是在给定任意一张图像，试图找出图像中所有的人脸，如果有则返回每个人脸的位置及大小17。对于人来说，这是一个极其简单的工作，然而对于计算机来说，这是非常具有性的。在过去的几十年中，人脸检测是计算机视研究最多的课题。这个课题主要集中于人脸图

5、像的多样性，比如尺度、位置的变化，人脸朝向、人脸姿态、人脸表情的变化，还会出现图像光照变化及人脸可能会被背景部分遮挡。人眼定位是在一张包含人脸的图像中准确找出人眼的位置。相比于人眼检测，人眼定位需要更高的准确性，通常只允许有几个像素的误差。近期研究表明，确的人眼定位对于那些自动人脸识别系统有很大的影响18，特别是基于人眼对齐的人脸，例如 Fisher 人脸和 Eigen 人脸。类似于其他的物体检测，如人脸检测19、行人检测20、动物检测21等等，人眼定位最大的在于人眼变化的多样性，如图 2.2 所示。人眼会受大很多的影响，首先是人自身会有睁眼、闭眼、眨眼等状态，造成了人眼外观的变化，另外还有人

6、眼的大小和姿态的变化。其次是外在环境，比如光线的变化，被眼镜，头发等遮挡。在过去的几十年里，在人脸检测及人眼定位上已取得了非常大的进步，比如对于正面人脸的检测现已基本能够达到实际需要的性能，广泛应用于实际中。但是要处理那些多姿态和遮挡问题时，性能就会下降，还需要进一步的研究。人眼定位在处理一些特殊情况如眼睛小及遮挡问题时并不鲁棒精确，也需要深一步的探索。2.2 人脸检测方法概述人脸检测是疲劳驾驶检测系统的第一步，它为后续的人眼定位缩小检测区域，从而提高检测效率和精度。人脸检测是计算机视觉领域最重要、最基础的技术。它为后面的其他研究扩宽思路，指引方向。目前人脸检测方法多种多样，大致可以分为四大类

7、：基于知识的方法、基于不变特征的方法、基于模板匹配的方法和基于统计理论的方法。1.基于知识的人脸检测方法。该方法首先需要通过分析和总结人脸的相关知识得到人脸图像的先验知识，之后分析中的图形形状、灰度值等特征，并将分析这些特征得到的信息与人脸的先验知识相比对，检验目标图像是否符合先验知识或者人脸的相关特点从而获得目标图像中存在人脸的图像区域的相关信息。2.基于不变特征的人脸检测方法。人的脸部图像有很多特有的特征，比如脸部的结构、皮肤的颜色、纹理等。这些特征都是区分人脸与脸图像的主要依据。基于不变特征的人脸检测算法是根据这些人脸的生理特征，使用一种或者多种特征训练相应的分类器并对图像进行检测。3.

8、基于模板匹配的人脸检测方法。由于人的脸部特征的是一致的，那么将人脸图像的各个特征看作为模板，该模板上各个特征的关系也是固定的，之后使用人脸和脸图像作为样本进行训练并构造分类器，将图像中可能存在人脸的区域与之前提取的人脸模板进行比较和分析来确定该区域是否存在人脸。4.基于统计理论的人脸检测方法。该方法是将检测的对象分为“人脸”和“非人脸”两类样本，并使用这两类样本来训练能够区分这两类样本的分类器，通过判断图像中的疑似区域是否属于“人脸”来进行人脸检测的。目前基于统计理论的方法使用较多，主要有：基于子空间的方法、基于神经网络的方法、基于支持向量机的方法、基于隐模型的方法以及 AdaBoost 算法

9、。目前由于AdaBoost 算法在速度方面的优势，实际应用中基本都是基于该框架的人脸检测系统，下面详细介绍一下 AdaBoost 人脸检测算法。2.3 AdaBoost 人脸检测在人脸检测中，最有的方法就是基于 AdaBoost 框架的人脸检测方法。该方法由 Viola 和 Jones 在 200122提出，主要贡献包括三个方面：首先，一种新的图像表示即积分图，它能够使得特征的计算变得非常快速。其次是通过 AdaBoost 学习分类器，由多个弱分类器组成强分类器。最后是把分类器用级联的结构进行组合。2.3.1 积分图表示积分图也被称作图像像素区域和表，是一种可以加速计算图像矩形框中所有像素和的

10、算法。积分图是由 Cow 在23中使用变频编码时，第一次引入到计算机图像领域。Vioal 和 Jones 使用积分图来快速计算Haar-like 特征。2.3.2 AdaBoost 学习对于检测问题来说，通常检测的物体具有很大的变化性，比如人脸检测、行人检测、动物检测等等。由于样本的复杂性，很难找到一种合适的特征和分类器来很好地检测物体，但是弱分类器是很容易找到的。基于这种， Freund 和Schapire 在1990 年24首次提出通过联合弱分类器来生成强分类器的Boosting算法。一种简单的 Boosting 算法就是采用举手表决（majority vote）策略来联合弱分类器，组成强

11、分类器。这种算法将所有弱分类器同等，效果不好。因为弱分类器能力不同，投票时应该赋予不同的权重。后来在 1997 年，Freund和 Schapire 在25提出了自适应的 Boosting 算法，即 AdaBoost。AdaBoost (Adaptive Boosting) 是基于不同权重的投票算法，检测率高的弱分类器往往会有高的权重，反之则低权重。2.3.3 级联分类器在一幅图像中进行人脸检测时，AdaBoost算法采用滑动窗口方法，那么对于一张 240*320 的图像，在不同位置将产生上百万个子窗口，显然检测效率会很慢。 Viola-jones 分类器使用级联分类器来率先淘汰那些背景子窗口

12、，并且保留正例样本进入下一层。因为在一张图像中往往人脸所占的子窗口数是比较少的，所以前面几层就会淘汰大多数的反例样本，这样整个图像的检测效率将得到很大提升。级联分类器的整个检测过程形成一棵决策树，如图 2.4 所示。测试的子窗口将输入到第一层分类器中，如果，那么将直接丢弃，反之则传入到下一层分类器中。通常情况下，每层弱分类器的数目将会递增，例如在19中，前五层的弱分类器数目依次为 1,10,25,25,50。这个是很好理解的，因为每一层都在保证正样本进入下一层的同时丢弃掉一部分负样本，越往后面难度自然越大，所以需要的弱分类器来做决定。在开始几层都会使用较少的弱分类器，这样就会提高检测效率，即平

13、均每个子窗口被扫描的次数比较少。级联分类器在训练过程上和以往分类器的训练也有差别，由于人脸正样本相对于负样本（背景图像）数量比较少。为了处理好这种正负样本不均衡的情形，Viola和 Jones 训练时采用了自举的方法。也就是，在每一层选定分类器的阈值后，训练好的分类器在负样本池中测试，将那些没有被筛选掉的样本送入下一层的分类器中进行训练。每一层分类器的训练都是独立、互不影响的。有人说，这样的训练过程为整个分类器加入了非线性结构，从而提高了性能。然而最近的一些工作已经证明在没有这样的层次结构时，性能依然会提高。在19中，级联分类器的构建可以加入人工调整。在开始的几层中，每层分类器的个数和阈值都是

14、进行人工调整的。如果分类器阈值设比较激进，那么检测器速度会加快，但是检测率会下降。另一方面，如果每层阈值设比较保守，那么越来越多的子窗口将传送到后面层的分类器做判断，这将使分类器的检测速度变慢。所以，要训练一个好的人脸检测器，必须花一定的时间来调节分类器的阈值。2.4 人眼定位当把人脸检测出来后，就可以在检测的区域内进行人眼定位，这是疲劳检测系统的第二个关键步骤。考虑到人眼的多样性，所以在人眼定位中，必须使用快速、准确、鲁棒的算法。本文使用文献26中方法进行人眼定位，实验结果是令人满意的。下面主要介绍人眼定位的基本方法及在本文所使用的增强图结构模型的定位方法。2.4.1 人眼定位方法概述下面主

15、要介绍一下人眼定位一些现有的方法。至今人眼定位方法很多，很难有一个的分类，会存在一些混合的方法。根据方法中所使用人眼的信息和模式，将这些方法大致分为三类，分别为基于人眼特性的方法、基于统计学习的方法、基于结构信息的方法。1.基于人眼特性的方法。此类方法把人眼看做人脸的一个部分，然后挖掘人眼所固有的一些属性，比如人眼的轮廓信息，人眼颜色灰度对比信息，还有上下文关联属性，例如两个眼睛在人脸中所间隔的区域，这时候人的眼角信息就比较重要。一般来说，这类方法相对比较简单，当获取人眼特性后，可以直接比对获取的特性来定位人眼。但是这种方法只有在获取的人眼比较理想的情况下，效果才好。然而实际生活中，人眼受光照

16、、姿态、遮挡等影响，变化是很大的。2.基于统计学习的方法。这种方法首先在人眼图像中提取可靠、判别性好的一些视觉特征，然后收集较多的具有代表性的人眼样本，在此基础上通过统计学习建立人眼模型，典型的模型有模型27，AdaBoost28，还有滤波模型29，所有这些方法的必要条件是要收集很多的样本。3.基于结构信息的方法。该方法充分挖掘人眼的结构信息，以及作为人脸一部分和其他人脸特征间的空间结构信息。通常这种模型不能够单独使用，需要和一个统计模型相互结合，来提高算法的鲁棒性和准确性，特别是在人眼变化比较大的情况下。2.4.2 图结构方法不同于其他方法，基于结构信息的方法更加倾向于利用特征间的关系来描述

17、对象，例如通常情况人眼包括眼珠、上眼睑、下眼睑，而这些部分都存在固定的关系。相比一些外观特征，这种结构特征不易受环境的影响。当然，结构信息和外观特征之间是一种相互关系，所以基于结构信息的方结合外观特征一起使用。一般人脸和人眼通常同时出现，所以可以用脸部的结构特征来描述眼睛，例如鼻子、嘴巴等。第三章 基于外观模型的人眼闭眼检测3.1 引言眼睛做为人脸中一个突出的特征，直接反应人的精神状态和目前所关注的物体，因此眼睛是疲劳驾驶检测中最重要的信息来源。第二章阐述了人脸检测及人眼定位，接下来就是进行眼睛状态的判别，也就是人眼开眼闭眼的检测，这一步在疲劳驾驶检测中极其重要，其检测结果直接影响系统的可靠性

18、。另外有效准确地获知眼睛的状态在计算机人类接口设计，表情分析34,35等人脸相关的应用领域起着的作用。在实际中，由于人眼易受到光照、表情、姿态等影响，因此有效地获知人眼状态是一个非常的工作。面对这些，近十年来提出了通常可以分为许多人眼闭眼检测方法36,37,38,39,40,41,42。这些方法的两类，通过模式识别的方法来判断人眼是否闭着，或者间接检测人的眼睛是否开着。由于眼睛开着的时候往往展现出的外观（比如眼球是可见的，眼皮是椭圆形的等等），所以很多方法都属于后面这一类，例如通过收集人眼的局部信息来判断出眼睛是开的，进而得出眼睛不是闭的。然而这种方法具有它自己的局限性。例如，在一些人眼中，有

19、些眼球大部分被眼睫毛遮挡。这种情况下使用上述方法就很难检测出眼球38。本文中使用第一类方法，即直接通过眼睛的外观信息，判断人眼睛是否为闭。这类方法的优点是高效而且鲁棒43,44。尽管人眼外观的差异性很大可以使用当前计算机视鲁棒的中间特征来表示人眼睛分割出的块信息。余下的差异性，可以使用机器学习中有效的方法来处理。出于实际应用的考虑，通过这种策略实现的检测方法很多，所以分析评估这些闭眼检测方法变得不可或缺。本章主要的内容是从工程的角度，对现有的几种重要闭眼检测方法做多方面的对比分析。主要深入分析闭眼检测系统的几个关键步骤，人眼对齐、特征提取及分类器选择。在两个标准数据集上，分别对三个分类器，最近

20、邻（NN）、支持向量机（SVM）、AdaBoost，四种典型特征，灰度特征、Gabor 特征、LBP 特征45、 HOG 特征46进行对比分析。在47,48,49中 LBP 特征和 Gabor 特征已被使用，但是 HOG 特征还没有运用到闭眼检测中去。因为这些特征代表人眼不同方面的属性（局部纹理信息、全局形状信息、局部形状信息），所以组合这些特征对于检测结果将会十分有利。另外针对人眼对齐对检测系统的影响进行了探索。3.4 人眼对齐事实证明，对于某一特定物体进行分类识别，识别效率可以通过将检测到的物体放置在一个标准的位置来大大识别正确率。这样的做法可以减少一个识别系统或者分类器在建模过程中必须处理的物体间的可变性。很多识别算法假定之前的物体已经对齐到一个标准的位置。一般来说，物体对齐的越好，识别的结果就越好。因此在实验