（通信与信息系统专业论文）疲劳驾驶预警系统的研究.pdf

疲劳驾驶预警系统的设计与实现 华东师范大学硕士学位论文 摘要 人脸检测与识别技术是利用计算机进行人脸图像分析，从中提取有效的识别 信息，用来辨别身份或者判识特定状态的一门技术。随着计算机技术的迅速发展 以及现实生活的需要，人脸识别技术已经应用到许多领域中，如身份证件鉴别、 智能门禁系统等。本文主要研究将人脸检测与识别技术应用于人脸的睡意监测， 根据监测结果，及时给出疲劳状态预警，降低由此引发的诸如交通事故、特殊部 门监控事故等的发生概率。 论文首先介绍了疲劳驾驶检测技术的研究背景及国内外研究现状，接下来详 述将人脸识别技术的前期过程应用到疲劳驾驶预警系统中的具体方法。 为了尽量提高识别效率。首先对获得的原始图像进行必要的预处理，包括彩 色图像转变成灰度图像、几何校正、光照强度校正、去噪声和边缘检测；接着开 始进行人脸检测，采用基于肤色模型的人脸检测技术，将肤色和非肤色区域分离， 然后运用约束条件，图片中最大连通肤色区域为人脸区域，确定人脸具体位置； 接着运用新颖的微积分联合投影算法分别定位左右眼，定位成功后对眼部图像进 行c a n n y 边缘检测，通过双眼二值图像的平均高度来判断眼睛开合程度；最后将 美国提出的p e r c l o s 方法应用到系统中，作为判断驾驶员疲劳状态的标准，由此 确定是否发出安全警告。论文详细论述了用仿真软件实现以上系统的过程和结 果。 关键词：人脸检测，肤色模型，眼睛定位，疲劳检测，微积分联合投影 疲劳驾驶预警系统的设计与实现 华东师范大学硕士学位论文 a b s t r a c t 1 1 1 et e c h n 0 1 0 9 yo ff a c ed e t e c t i o na n dr e c o g 血i o ni sat e c h n o l o g yt h a tu s e s c o m p u t e rt oa 1 1 a l y s ei m a g e sa 1 1 dd i s c r i m i n a t ei d e n t i t yo rr c c o g n i z es t a t u sf r o mm e i n p u ti m a g e w i t l lt h er a p i dd e v e l o p m e n to fc o m p u t e rt e c l l l l o l o g y ，m a n yv a r i o u sa r e a s h a v eu s e dt l l i st e c l l n o i o g y ，s u c ha si dc a r d ，i n t c l l i g e me n t r 柚c ec o n t r o l i nb u i l d i n g sa 1 1 d s oo n t h i sp a p e ra p p l i e sm et e c l l n 0 1 0 9 yo ff a c er e c o g n i 廿o ni nd r o w s i n e s sd e t e c t i o n s y s t e ma n dt r i e st ow a n lt h ed r i v e rw h e nd r o w s i n e s si sd e t e c t e d ，s oa st oa v o i ds e r i o u s t r a f h ca c c i d e n t s i nt h i sp 印e r ，w ef i r s tp r e s e n tt h er e s e a r c hb a c k g r o u n do fd m w s i n e s sd e t e c t i o n s y s t e m ，t l l e nw ei m r o d u c et h es t u d ya c t u a l i t yo fd r o w s i n e s sd e t e c t i o n n e x t ，w e d e s c r i b eo u rs y s t e mi nd e t a i l i no r d e rt oi m p r o v ee 伍c i e n c y ，w ed os o m en e c e s s a r yp r e 订e a 恤e n t sb e f o r ef a c e d e t e c t i o n ，s u c ha sc h a l l g i n gr g bi m a g e st o 孕a yl e v e l i m a g e s ，g e o m e t r i ce m e n d a t i o n ， i l l 删n a t i o ni n t e n s i t ye m e n d a t i o n ，r c m o v i n gn o i s e sa n de d g ed e t e c t i o n f i r s t ，w eu s e s k i nc 0 1 0 rm o d e lt od e t e c tf a c ei nt h eo r i g i n a li m a g e ，t h eb i g g e s tc o n n e c t e da r e ai s l a b e l l e da sf a c ea r e a t h e nw eu s ean e wc o m b i m m o np r 0 1 e c t i o no fd i 日e r e n t i a l c o e m c i e n ta n di n t e 酽“t o1 0 c 砒et h e 押，0e y e ss e p a r a t e ly n e x tw ed e t e c tt h ee d g eo f e y ei m a g eu s i n gc 籼y 撕m m e t i co p e r a t o r s ，a n dc a l c u l a t ct h ea v e r a g eh e i g h to f t 、v o e y e st oj u d g ei ft l l e ya r ec l o s e do rn o t f m a l l yw eu s ep e r c l o s 曲m d e r de mu s a t od e t e n n i n ed r o w s i n e s s a n dw 帅t 1 1 ed r i v e ri fd m w s i n e s si sd e t e c t e d w es i m u l a t em e w h o l es y s t e mu s i n gm a t l a bt 0 0 1 s k e y w o r d s ：f a c ed e t e c t i o n ， s k i nc 0 1 0 rm o d e l ，e y e sl o c a t i o n ，d r o w s i n e s sd e t e c t i o n ， c o 瑚【b i n a t i o np r o j e c t i o no f d i 虢r e 埘a lc o e 伍c i e ma n di n t e g r a l 疲劳驾驶预警系统的设计与实现 华东师范大学硕士学位论文 学位论文独创性声明 本人所呈交的学位论文是我在导师的指导下进行的研究工作及取得的研究 成果。据我所知，除文中已经注明引用的内容外，本论文不包含其他个人已经 发表或撰写过的研究成果。对本文的研究做出重要贡献的个人和集体，均已在 文中作了明确说明并表示谢意。 学位论文使用授权声明 本人完全了解华东师范大学有关保留、使用学位论文的规定，学校有权保 留学位论文并向国家主管部门或其指定机构送交论文的电子版和纸质版。有权 将学位论文用于非赢利目的的少量复制并允许论文进入学校图书馆被查阅。有 权将学位论文的内容编入有关数据库进行检索。有权将学位论文的标题和摘要 汇编出版。保密的学位论文在解密后适用本规定。 学位论文作者签名： 髫窆 日期：地6 ：! ：! ) 导师签名：勿如砉绸 日期；丝型，笙 疲劳驾驶预警系统的设计与实现 华东师范大学硕士学位论文 第一章绪论 1 1 疲劳驾驶检测技术概述 疲劳是由于过度的体力或脑力劳动引起的一种复杂的生理现象，它是人体一 种正常的生理活动规律。表现在瞳睡、精力不集中，同时人体的正常反应减慢， 交感神经活动减弱，副交感神经增强。医学上没有给疲劳以明确的定义，因此， 我们平时把疲劳、瞌睡、困倦等同为一个意思。严格地讲，疲劳是种超过负荷 或延长时间的脑力或者体力劳动引起的生理现象，而瞌睡是一种需要睡觉的状 态，这种需要是人体本身不能抵制的一种状态。疲劳虽然是一个正常的生理现象， 但是在一些特殊的群体如司机和飞行员中，就可能引起严重的后果，甚至危及生 命，因此，对疲劳的监测是非常必要的“1 。由于疲劳这种复杂的生理现象能引起 人体的众多指标发生改变，因此，检测的方法也多种多样。近年来，世界各国的 交通部门对疲劳的监测投入了大量的力量，取得了一些效果，但是，目前还没有 能够在交通车辆中得到很好的应用。 驾驶员疲劳驾驶是导致恶性交通事故的重要原因之一。近二十年来，世界各 国的交通部门对困倦的监测投入了很大的力量，取得了一些效果，但目前还未 得到很好地应用。1 9 7 9 1 9 9 4 年，法国高速公路上的交通事故3 0 是由于疲劳 或者瞌睡造成的：在美国，4 0 严重交通事故同睡眠有关，由于瞌睡造成的交通 事故占全部的1 l o 。据1 9 9 0 年美国国家交通安全部的报道，导致重型卡车 司机死亡的交通事故中3 1 与疲劳驾驶有关。美国汽车联合会( a a a ) 的交通安全部 的统计调查表明，4 7 的卡车司机在驾驶时瞌睡，约4 1 5 9 的重型卡车交通事 故与疲劳驾驶有关。美国高速公路交通安全部( n h t s a ) 每年有约1 0 万例严重交通 事故与疲劳驾驶有关，导致7 6 ，0 0 0 人受伤，1 ，5 0 0 人死亡。我国的交通部报道： 由于疲劳驾驶所造成的交通事故，无论在绝对数字还是所占的比例，都是最高 的。由于驾驶员的疲劳多与睡眠不足有关，因此，对其监测的研究势在必行。虽 然交管部门制定了相应的法规，是由于种种因素的限制，驾驶员并不能遵守以上 法规，致使交通事故有增无减针对这些，提出了疲劳驾驶预警装置的研究，使预 防措施更得当、更直接。 1 2 国内外研究现状 当前所有的瞌睡测量可以归纳为三种测量参数：( 1 ) 监测司机个体的特征 疲劳驾驶预警系统的设计与实现 华东师范大学硕士学位论文 ( 例如，眼睑的活动、点头的动作、闭眼、握力) 。( 2 ) 监测司机的生理信号( e e g 、 e o g 、e c g 、e m g ) 。( 3 ) 监测车辆的参数( 速度、加速度、白线位置) 。国外的研 究情况表明，测量汽车的行驶信息和利用人体的电生理信号如e e g 、e c g 是不可靠 的，或者是不易实施的，因此，应该将研究的重点放在司机的行为特点上。 目前国内外较为先进的检测方法有如下几种： 1 ) 头部位置和眼睛所盯位置测量方法，由澳大利亚研制。传感器是h e a d p o s i t i o ns e n s o r ，优点是测量头部位置精确，能用来评价使用者是有兴趣、 困惑还是瞌睡等不同的精神状态，可以用于研究人是否分神，注意力是否集 中。困难是要求在司机的脸上作一些标记，车辆内的光线交化明显时，测量 容易失败，由于点头的动作和瞌睡的相关系数仍然没有找到合适的关系，因 此准确率不是很高 2 )p e r c l o s 由美国研制，比较客观地反映在瞌睡时人的眼睑活动情况，因此人 瞌睡的程度比较深时，都能测量到瞌睡。但少数人瞌睡时眼睛睁开，带眼镜 测量难度较大，误报警率很高 3 ) l a n et r a c k i n gs y s t e m 由美国研制，测量车辆离开白线的时间和程度。缺 点是要求白线清晰，晚上容易测量失败。 4 ) m a y op u p i l l o m e t r y 可测量瞳孔直径随时间的变化，因此，睁闭眼的参数也 容易得到，但现在还没有解决测量方法，不能方便实时测量瞳孔直径 5 )e e g 是测量睡眠的金标准，但需要在头上粘贴电极，因此还没有投入实际运 用。 从上面的分析可以看出，现在测量瞌睡的方法多种多样，每一种测量方法 的测量结果都是令人鼓舞的，但是，现在市场上还没有出现成功的产品，说明 这些测量方法在可靠性和有效性的问题上还没有解决。因此，利用多参数、可 靠、容易测量的方法来测量瞌睡势在必行。为了驾驶的安全性，需要在驾驶员 疲劳时及时预测并报警，以避免发生危险。 1 3 本课题的主要研究内容和工作安排 整个疲劳驾驶预警系统的硬件设备主要包括摄像头和p c 机。将c c d 摄像头 安装在车内方向盘前的平台上，实时摄取驾驶员的正面图像并输入p c 机处理。 系统采用非接触方式，既能做到实时监测，又不会对驾驶员造成任何额外负担。 本文分为六个章节： 第一章：绪论 简要介绍疲劳驾驶课题的应用背景以及国内外研究现状。 第二章：图像预处理 疲劳驾驶预警系统的设计与实现华东师范大学硕士学位论义 图像采集系统由于本身固有的特性或者人为因素，总是会或多或少地 引入某些干扰和噪声，同时，图像的色彩、背景、光照、遮挡以及图像中 人脸的平移和旋转等都会影响人脸识别的准确性。因此在人脸检测前必须 先进行相应的预处理。本章介绍几种本文中需要用到的预处理方法，包括 彩色图像转变成灰度图像、几何校正、光照强度校正、去噪声和边缘提取。 第三章：人脸检测和定位 本章将详细阐述人脸的检测和定位过程，第一节为引言：第二节概述 目前各种常见人脸检测方法；由于速度快、效率高，本文采用基于肤色模 型的入脸检测算法，第三节将详述算法内容；第四节对驾驶员和周围的环 境作出一些约束，提出具体约束条件，使算法效率更高；第五节将基于肤 色模型的人脸检测算法实际应用到驾驶员图像中，并给出具体实验结果。 第四章：人眼定位 人眼定位准确与否直接关系到整个系统的成功率，因此本章针对现有 人眼定位算法作出详细全面的分析，并结合疲劳驾驶预警系统实际应用场 合的需求，确定采用微积分联合投影算法 第五章：疲劳状态判定 本文判断驾驶员疲劳状态的关键是先判断眼睛的闭合程度，然后根据 p e r c l o s 准则判定驾驶员是否打瞌睡，并在打瞌睡时提出警告。本章具体 介绍眼睛闭合程度及p e r c l o s 准则的内容及在本系统中的应用情况。 第六章：总结与展望 总结系统工作，结合实际提出展望。 疲劳驾驶预警系统的设计与实现华东师范大学硕上学位论文 第二章图像预处理 为了进行人脸检测和识别，首先要利用摄像头、数码相机等设备获取人脸 的数字图像。这些图像采集系统由于本身固有的特性或者人为因素，总是会或 多或少地引入某些干扰和噪声，同时，图像的色彩、背景、光照、遮挡以及图 像中人脸的平移和旋转等都会影响人脸识别的准确性。因此，为了保证具有较 好的检测和识别效果，在特征提取前必须进行适当的预处理。 2 1 彩色图像转变成灰度图像 现有的人脸识别算法大都是基于灰度图像的，而摄像头采集的图像一般都 是彩色图像，所以在进行识别之前要将彩色图像转化为8 位灰度图像。一般的 彩色图像都采用r g b 颜色，根据彩色编码方程，把一副彩色图像转化为灰度图 像，其公式为： g r a y = o 3 r + o 5 9 6 + 0 1 1 b ( 2 1 ) 这样就把一副彩色图像转换为灰度图像“”。 2 2 几何校正 如果人脸图像中的人脸大小不一致或者方向上有一定的倾斜，都会对识别 率造成很大的影响。因此，需要对输入图像进行几何校正，以保证人脸图像的 大小和方向一致。 假设人脸图像的左右两眼中心的位置已经确定，并分别记为e ，和e ，如图 2 1 所示。则可以通过以下步骤达到几何校正的目的： ( 1 ) 进行图像旋转，以使e ，和e ，的连线厶= e ，e ，保持水平。这保证了人脸 方向的一致性。消除了旋转角度的影响，实现了人脸图像在图像平面内的旋转 不变性。 疲劳驾驶预警系统的设计与实现 华东师范大学硕士学位论文 图2 1 图像剪裁比例示意图 图2 2 人脸图像几何归一化处理结果 ( 2 ) 据图2 1 所示的比例关系，进行图像剪裁。如图2 1 所示，设o 点为e ，e 的中点，且d = l e ，日l 。经过剪裁，在2 d 2 d 的图像内，可保证。点固定于( o 5 d ， d ) 处。这保证了人脸位置的一致性，实现了人脸图像在图像平面内的平移不变 性。 ( 3 ) 进行图像缩小和放大的变换，得到同一大小的校准图像。假定校准图 像的大小为1 0 0 x l o o 像素点，则缩放倍数为6 = 2 d 1 0 0 。这使得d = l e ，日l 为定 长( 5 0 个像素点) ，即保证了人脸大小的一致性，体现了人脸图像在图像平面内 的尺度不变性。 经过图像的几何校正，不仅在一定程度上获得了人脸表示的几何不变性， 而且还基本上消除了头发和背景的干扰。 在本文实际应用过程中首先必须先准确定位双眼位置，然后对眼部图像进 行旋转，确保眼睛睁闭状态判断的准确性。 2 。3 光照强度校正 光照强度校正就是将每一幅待识别人脸图像所有像素的均值都调整到正常 光照图像的像素均值大小上，以消除由于光线强弱造成的图像明暗程度的差别。 在正常光照条件下，图像的像素均值一般在1 4 5 左右，我们可以利用式( 2 2 ) 将所有待识别的人脸图像像素均值都调整到1 4 5 。 p ( x ，_ y ) = p ( x ，y ) + c 一埘p 鲫( p ) ( 2 2 ) 其中p ( x ，y ) 是原始图像的( x ，y ) 点的灰度值，c 是像素均值1 4 5 ，m p d 胛) 是原 始图像像素的均值。 疲劳驾驶预警系统的设计与实现 华东师范大学硕士学位论文 图2 3 光照强度校正效果图 图2 4i m a g e 5 光照强度校正效果图 本文中部分照片光照过强，采用上述方法处理后结果如图2 4 所示。 2 4 去噪声 输入人脸图像一般都存有不同程度的噪声，而这些噪声对于人脸特征的提 取有较大的影响。因此，需要对输入图像进行噪声处理，以尽可能减小噪声的 影响。这一过程也称为对图像的平滑滤波过程。 常用的滤波去噪方法大致可以分为以下四类：利用高斯平滑滤波去除噪声； 利用均值滤波去除噪声：利用中值滤波去除噪声；用最佳滤波器法去除噪声。 中值滤波可以去除孤点噪声，不会使图像的边界模糊，比较适合于人脸图 像的去噪处理，因此，本文采用中值滤波法来进行噪声处理。 中值滤波器是一种非线形滤波器，在1 9 7 1 年由首先由j w j uk e y 提出并 应用在一维信号处理技术中，后来又被应用到二维图像信号处理技术中。该方 法是将邻域中的像素按灰度级进行排序，然后选择该组的中间值代替指定点( 窗 口的中心点) 的灰度值，对于奇数个元素，中值是指按大小排序后中间的数值； 对于偶数个元素，中值是指排序后中间两个元素灰度值的平均值。具体步骤是： ( 1 ) 将模板在图像中漫游，并将模板中心与图像中某个像素的位置重合； ( 2 ) 读取模板下各对应像素的灰度值，并将这些灰度值从小到大排成一列， 找出这些值里排在中间的一个( 或两个) ，如果是两个，则计算平均值； 6 疲劳驾驶预警系统的设计与实现 华东师范大学硕上学位论文 ( 3 ) 将这个中间值赋给对应模板中心位置的像素。 2 5 边缘提取 图2 5 中值滤波器的效果图 边缘信息是图像的重要特征信息。因此，边缘检测的方法研究是图像分析 和识别领域中一个十分引人关注的课题。传统的边缘检测算子如r o b e r t s 、 s o b e l ，、p r e w w i t 、k i r s c h 和l a p l a c i a n 等都是局域窗口梯度算子，由于它们 对噪声敏感，所以在处理实际图像中效果并不理想。 1 9 8 6 年c a n n y 把边缘检测问题转换为检测函数极大值的问题。指出边缘检 测算子应满足以下3 个判断准则：( 1 ) 低错误率，即要少将边缘像素漏掉，也要 少将非边缘点误判为边练点。( 2 ) 检测位置精度高，即检测出的边缘点位于真正 的边界上。( 3 ) 每个边缘点的响应是唯一的，即得到的边缘宽度为单像素。 并由此推导出了最佳边缘检测算子c a n n y 算子。c a n n y 算子是一类具有优 良性能的边缘检测算子，在边缘检测方面获得了良好的效果，很快就成为评价 其他边缘检测方法的标准。并在许多图像处理领域得到广泛应用。 以下对c a n n y 边缘检测算法作一个简单介绍： 2 j 1 平滑图像 c a n n y 边缘检测算法是高斯函数的一阶导数，是对信噪比与定位精度之乘 积的最优化逼近算子。c a n n y 算法首先用二维高斯函数的一阶导数，对图像进 行平滑，设二维高斯函数为“。 g = 嘉“时孑) ( 2 _ 3 ) 其梯度矢量为： v g 羽 i 舀g ，a y l ( 2 4 ) 用分解的方法提高速度，把d g 的2 个滤波卷积模板分解为2 个一维的行列滤波 器： 疲劳驾驶预警系统的设计与实现 华东师范大学硕士学位论文 詈一x - 豪h ”杀j = 叭枷船， 争咖x ，( _ 斟x 刳* 吼蚋z 蜘 ( 2 5 ) 其中，k 为常数，一为高斯滤波器参数，它控制着平滑程度。对于。小的滤波器， 虽然定位精度高，但信噪比低：萨大的情况则相反，因此要根据需要适当的选 取高斯滤波器参数一。 2 5 2 计算梯度的幅值和方向 c a n n y 算法采用2 2 邻域一阶偏导的有限差分来计算平滑后的数据阵列 i ( x ，y ) 的梯度幅值和梯度方向。其中，x 和y 方向偏导数的2 个阵列严p 。( i ，j ) ， 和p ，( i ，j ) 分别为： 一，门。( 1 【i 。j + q 一1 【i ，j 】+ l 【i + t j + l 】一h i + l ，j 】) ，2 q ，j 】= ( 1 i i + j 卜l 壮+ l j 】+ l f i ，j + l 】一l i i l ，j + 1 】) ，2 ( 2 6 ) 像素的梯度幅值和梯度方向用直角坐标到极坐标的坐标转化公式来计算，用二 阶 范数来计算梯度幅值为： m u ，j 1 = 弘，j 】2 + p ；昏，j 】1 ( 2 7 ) 梯度方向为： 何i ，j 】ma l 斟a n ( p ，【i ，j l ，e 【i ，司) ( 2 8 ) 2 5 3 对梯度幅值进行非极大值抑制 为了精确定位边缘，必须细化梯度幅值图像m i ，j 中的屋脊带，只保留幅 值局部变化最大的点，这一过程就是非极大值抑制。在非极大值抑制过程中， c a n n y 算法使用3 3 大小，包含8 方向的邻域对梯度幅值阵列m i ，j 的所有 像素沿梯度方向进行梯度幅值的插值。在每一个点上，邻域的中心像素m i ，j 与沿梯度方向的2 个梯度幅值的插值结果进行比较， i ，j 是像素邻域中心 处沿着梯度方一向的扇形区域，非极大值抑制在此区域进行。如果邻域中心点 的幅值m i ，j 不比梯度方向上的2 个插值结果大，则将m i ，j 对应的边缘标 志位赋值为0 ，这一过程把m i ，j 宽屋脊带细化为一个像素宽，并且保留了屋 疲劳驾驶预警系统的设计与实现华东帅范大学硕士学位论文 脊的梯度幅值。非极大值抑制( n o n m a x i m as u p p r e s s i o n ，n m s ) 过程的数学表示 为： n 托j j = n m s ( m “j 氧d i ，j 】) ( 2 9 ) 2 5 4 检测和连接边缘 双阈值算法是对经过非极大值抑制和梯度直方图分类的子图像n i ，j 分 别使用高、低2 个闽值rn 和r t 分割得到2 个阈值边缘图像t h i ，j 和t 。 i ，j 。 由于图像t 。 i ，j 是由高阈值得到，因此它应该不包含有假边缘，但t h i ，j 可 能在轮廓上有间断。因此双阈值算法要在t h i ，j 中把边缘连接成轮廓，当达到 轮廓端点时，该算法就在由低阈值得到的边缘图像t i ，j 的8 邻域位置寻找 可以连接到轮廓上的边缘，这样，利用递归跟踪的算法不断地在t ， i ，j 中搜 集边缘，直到将t h i ，j 中所有的可能连接的间隙都连接起来为止。 图2 6c a n n y 算法方框图 疲劳驾驶预警系统的设计与实现华东师范大学硕士学位论文 3 1 引言 第三章人脸检测和定位 整个疲劳检测系统首先必须准确地检测和跟踪眼睛，为此我们可以采用先 确定人脸区域，然后再在人脸区域内进一步检测、定位人眼的方法，这样可以 使得眼睛的检测与定位更准确一些。 人脸检测问题是一个挑战性很大的课题。首先人脸是一个包括五官、毛发 等极不规则的复杂待测目标；其次是采集的图像中带有各种噪声：再次发型和 化妆会掩盖某些人脸特征；另外，人脸在图像中的位置、旋转角度和尺度不固 定。 可见人脸检测和定位有一定的难度和复杂性，但对这一问题的深入研究必 将推动模式识别、计算机视觉、人工智能等计算机科学分支的发展。人脸检测 问题在近十年里得到了广泛的发展，国内外很多研究人士提出了很多方法，在 不同领域取得了定的成果。但对于寻找一种能够普遍适用于各种复杂情况下 的准确率很高的检测算法，还有很大的探索空间。 3 2 人脸检测技术概述 人脸检测的基本概念和分类 人脸检测是指在输入图像中确定所有人脸( 如果存在) 的位置、大小和姿 态的过程。人脸检测系统输入的可能包含人脸的图像，输出的是图像中是否存 在人脸和人脸数目、位置、尺度等信息的参数化描述。人脸检测任务的完成涉 及从复杂的背景中分割、抽取、验证人脸区域和可能用到的人脸特征( 如眼睛、 唇色等) 。成功的人脸检测系统应能处理实际存在的光线、人脸方向和距照相机 远近变化等各种情况。 人脸检测问题可以从不同角度来进行分类。从人脸姿态的角度，可以分为 正面人脸检测、多姿态人脸检测( 包括侧门、俯卧、旋转等) ；从人脸个数的角 度，可以分为单人人脸检测、未知人脸个数的检测。从图像背景复杂程度角度， 分为简单背景人脸检测( 指无背景或背景的特征被严格约束，在该条件下只利 用人脸的轮廓、颜色、运动等少量特征就能进行准确检测) 、复杂背景人脸检测 ( 指背景的类型和特征不受约束，某些区域可能色彩、纹理等特征与人脸相似， 1 0 疲劳驾驶预警系统的设计与实现 华东师范大学硕士学位论文 必须利用较多的人脸特征才能做到准确检测) ；从图片是否包含彩色信息的角 度，可以分为彩色图片入脸检测和灰度图片入脸检测；从图片是否动态的角度 可以分为静止图像中的人脸检测、视频图像序列中的人脸检测与跟踪。 二人脸检测算法概述 可靠性和实时性仍然是人脸检测算法中困扰人们的两大难题。目前人脸检 测方法分为基于灰度图像的方法和基于彩色图像的方法两类。 基于统计的方法 ( 1 ) 基于事例学习的方法：将人脸检测看作区分人脸样本和非人脸样本这 两类模式的分类问题，通过对人脸样本集和非人脸样本集进行训练得到人脸分 类器，然后利用学习出来的分类器对图像中区域进行检测，代表性的方法有基 于神经网络的方法，基于支持向量机的方法。 ( 2 ) 基于予空间的方法：将主分量分析应用到人脸检测中，对人脸训练样 本集进行主分量分析得到特征脸子空间，将图像区域投影到特征脸子空间，并 计算到特征脸子空间的距离，以此作为标准检测人脸。 ( 3 ) 基于隐马尔可夫模型的方法：把人脸模式看作参数化的随机过程，把 人面部的额头、眼睛、鼻子、嘴巴和下巴等器官所在部位看作随机过程的状态， 通过对符合人脸各器官分布的状态的随机过程的检测来实现对人脸检测。 基于模板匹配的方法 ( 1 ) 预定模板匹配法：根据人脸的先验知识确定出人脸轮廓模板以及各个 器官特征的子模板，先通过计算图像中区域和人脸轮廓模板的相关值来检测出 人脸候选区域，然后利用器官特征子模板验证上一步检测出的人脸候选区域是 否包含人脸，这种方法的缺点在于不能有效处理尺度、姿态和形状的变化。 ( 2 ) 变形模板法：其主要思想是定义一个可变形的参数模板和一个能量函 数来描述特征，通过一个非线性最优化方法求得能使能量函数最小的参数模板， 此模板即被认为是所求特征的描述。这种方法充分考虑到人脸是变形体的特点， 稳定可靠，而且与姿态和光照无关，但仍然存在能量函数的系数难以适应一般 情况和计算量巨大的问题。 基于特征的方法 ( 1 ) 基于器官分布规则的方法：主要根据人脸的器官分布、轮廓以及对称 性等特征进行人脸检测。 ( 2 ) 基于颜色纹理的方法：主要利用人脸皮色和纹理具有一定的稳定特性 来进行人脸检测。 疲劳驾驶预警系统的设计与实现 华东师范大学硕士学位论文 3 3 基于肤色模型的人脸检测算法 对于实时应用系统来说基于灰度图像的方法计算量大。因此，为了提高检 测速度和检测效果，基于彩色图像处理的方法成为人脸检测的一种新的方向。 在彩色图像中，颜色是人脸表面最为显著的特征之一，利用颜色检测人脸是很自 然的想法。这种方法的基本思想是尽管人的肤色因人而异，并且随种族不同而 变化，但是在彩色颜色空间中皮肤颜色分布在很小的区域里。一般情况下人的 皮肤颜色分布与其它物体的颜色分布不同，而且不同物体的颜色除了受光照的 影响较大夕，还与物体的大小、伸缩及姿态基本上无关。这就表明人脸区域可 以通过使词简单的闽值处理分割出来。y a n g 等在考察了不同种族、不同个体的 肤色后，认为人类的肤色能在颜色空间中聚成单独的一类，而影响肤色值变化 的最主要因素是亮度变化。因此他们广泛使用r g b 颜色空间，在滤去亮度值的 图像中通过比较像素点的r 、g 值与肤色范围来推断该像素点及其邻域是否属于 人脸区域。除了r g b 颜色空间，还有诸如h i s 嘲、l u v 。、g l h s 等其他颜色空间 被使用。寻找到肤色区域后，必须进行验证，排除类肤色区域。y o o 等利用肤 色像素的连通性分割出肤色区域，使用椭圆拟合各个区域，并根据椭圆长短轴 的比率判断是否为人脸。文献 8 中根据“颜色相近”、“位置相邻”、“尺度相 近”等规则进行类肤色区域归并，最后，通过采用模板匹配、神经网络验证等 手段确定该区域是否是人脸。 3 3 1 颜色空问 根据计算机色彩理论，对一种颜色而言，在计算机中有不同的表达方式，这 样就形成了各种不同的色彩空间。当然各种色彩空间只不过是颜色在计算机内不 同的表达形式而已，每一种色彩空间也都有其各自的产生背景、应用领域等等。 首先我们对颜色空间作一个简单的介绍。 一颜色基础 通过理论研究和实现结果，人们对于颜色的物理本质已有了相当的掌握和 了解。颜色的本质是牛顿最早系统研究和发现的。早在1 7 世纪，牛顿通过用三 棱镜研究对白光的折射就己发现白光可被分解成一系列从紫到红的连续光谱， 从而证明白光是由不同颜色( 而且这些颜色并不能再进一步被分解) 的光线相混 合而组成。这些不同颜色的光线实际上是不同频率的电磁波。人的脑、眼将不 同频率的电磁波感知为不同的颜色。从视觉的角度来讲，颜色分两大类：非彩 色和彩色。非彩色是指黑色、白色和介于这两者之间深浅不同的灰色。它们可 疲劳驾驶预警系统的设计与实现华东师范大学硕十学位论文 以排成一个系列，由白色逐渐到浅灰、中灰、深灰直到黑色，称为白黑系列或 无色系列。彩色则指除去黑白系列以外的各种颜色。为了定量的描述颜色对人 眼的视觉作用，可以选用亮度、色调、色饱和度这3 个与视觉特征有关的量来 计算描述，这3 个量称为颜色的3 个基本属性。 1 亮度 亮度是指彩色光对人眼引起的光刺激强度，显然它和光的能量有关。光的 能量越大，亮度越大。彩色光的亮度对人来说是该彩色的明亮程度。 2 色调 色调是彩色最重要的属性，决定颜色的本质，由物体反射光线中占优势的 波长来决定的，不同的波长产生不同的颜色感觉，我们称某一种颜色为红、橙、 黄，这就是说我们在规定一种色调。 3 饱和度 饱和度是指颜色的深浅和浓淡程度，饱和度越高，颜色越深。饱和度的深 浅和白色的比例有关，白色比例越多，饱和度越低。换句话说，饱和度是表示 彩色光中纯光谱波长与白光冲淡的指标，是彩色光的纯度的反映。用一个三维 空间纺锤体形立体可以把颜色的三种基本特性一亮度、色调和饱和度全部表示 出来( 如下图) 。 在颜色立体中垂直轴代表白黑系列明度的变化。顶端是白色，中间是各种 灰度的过渡，底部是黑色。沿垂直轴的上下方向，越在上方明度就越大。色调 由水平的圆周表示。圆周上的各点代表光谱上各种不同的色调( 红、橙、黄、绿、 蓝、紫) 。图形的中心是中灰色。中灰色的亮度和圆周上各种色调的亮度相同。 图3 1 三维空间纺锤体形立体颜色空间 从圆周向圆心过渡表示这个颜色纺缍体只是个理想化的示意模型。目的 是使人们更容易理解颜色三特性的相互关系。在真实的颜色关系中，饱和度最 疲劳驾驶预警系统的设计与实现 华东帅范大学硕士学位论文 大的黄色并不在中等明度的地方，而是在靠近白色的明度较高处；饱和度最大 的蓝色则在靠近黑色的明度较低处。因此，颜色立体中部的色调图像平面应该 是倾斜的，黄色部分较高，蓝色部分较低。而且色调平面圆周上的各种饱和色 调离开垂直轴的距离也不一样，某些颜色能达到较高的饱和度，所以这个圆形 平面并不是真正的圆形。而且，任何颜色都可以用3 个基本颜色按不同的比例 混合而成，这就是三原色原理。三原色的原理可解释如下： ( 1 ) 自然界的任何颜色都可以由3 种颜色按不同的比例混合而成；而每种 颜色都可以分解成3 种基本颜色。 ( 2 ) 三原色之间是互相独立的，任何一种颜色都不能由其余的两种颜色来组 成。 ( 3 ) 混合色的饱和度由3 种颜色的比例来决定。混合色的亮度为3 种颜色 的亮度之和。 二颜色空间 为了正确地使用颜色，需要建立颜色模型。根据上面提到，一种颜色可用 3 个基本量来描述，所以建立颜色模型就是建立一个3 一d 坐标系统，其中每个 空间点代表某种颜色。颜色空间，又称为颜色坐标系，在机器视觉中一般称 为颜色模型，是颜色在三维空间中的排列方式。研究表明，人类眼睛对红、绿、 蓝3 种颜色特别敏感，我们称这3 种颜色为人类视觉的三基色( r g b ) 。基于 r g b 三基色的颜色表示称为r g b 颜色空间。常见的颜色空间还有r g b 归一化 的r g b 颜色空间、h s i 颜色空间、y c r c b 颜色空间、y 1 0 颜色空间。 1 r g b 颜色空间 r g b 颜色空间是面向彩色显示器或打印机之类的硬设备的最常用彩色颜色 空间。自然界中所有的颜色可以很容易地用红、绿、蓝( r g b ) 3 个基色来描述。 它也是数字图像处理和储存中最常用颜色空间。但是，彩色图像在r g b 颜色空 间的r 、g 、b 值不仅代表色彩同时也表示亮度，r 、g 、b 三基色之间存在着很 大的相关性。这使得r g b 颜色空间在彩色图像分析和识别中不受欢迎“。 2 r g b 归一化的r 曲颜色空间 这种颜色空间也称为“纯颜色”空间。为了消除r g b 颜色本身所包含的亮 度信息，在r g b 空间将颜色值r g b 在亮度上进行归一化得到r 曲颜色空间 1 4 疲劳驾驶预警系统的设计与实现 华东师范大学硕士学位论文 月 r + g + 丑 g 85 i 而 口 r + g + 曰 ( 3 1 ) 这样，从一个三维空间降到二维空间且归一化蓝色成为冗余颜色信息，因为 r + g + b = 1 。经过归一化处理后，与r g b 颜色空间相比，r 、g 和亮度的相关性减 小了。 3 h s i 颜色空间 这种颜色空问有两个特点，其一，1 分量与图像的彩色信息无关；其二， 和s 分量与人感受颜色的方式是紧密相连的。这些特点使得h i s 颜色空间非 常适合于借助人的视觉系统来感知彩色特性的图像处理算法 1 0 。 1 【( 月一g ) + ( 尺一目) ) 也( 矗一g ) 2 + ( 嗣一四) ( g 一嚣) ) 5 ；l 一3 竺坐：鱼墨! r + g + 日 ，= 墨! 曼 3 ( 3 2 ) 色调h 用角度表示，其值从o 度到3 6 0 度。饱和度s 代表颜色的深浅 和浓淡程度，其值从0 到l 。但是，h s i 颜色空间色调h 具有不连续性，亮 度i 的计算明显与颜色视觉的属性相矛盾。 4 y c r c b 颜色空间 y c r c b 颜色空间广泛地应用于欧洲电视系统和图像压缩中。其中y 代表颜 色的亮度分量，c r 、c b 分别代表颜色的红色分量和蓝色分量。 r = 0 2 2 9 尺+ 0 5 8 7 g + 0 1 1 4 嚣 c r = o 。5 霞一0 - 4 1 8 7 g 一0 。0 8 13 田+ 1 2 8 c 办= 一0 1 6 8 7 鬟一0 3 3 1 3 ( ；+ 0 。5 8 + 1 2 8 在该颜色空间里颜色的亮度分量和色彩分量直接分离且计算简单。 5 y i q 颜色空间 ( 3 3 ) 疲劳驾驶预警系统的设计与实现华东师范大学硕士学位论文 美国国家电视系统委员会( n t s c ) 定义了用光亮度和色度传送信号的y i q 格 式，其中y 代表亮度信息，i 、q 为色度值。1 分量包含了橙一青的色彩信息， q 中包含绿一品红的色彩信息。 r = 0 。2 9 9 r + 0 5 8 7 g + 0 4 嚣 ，= o 。5 9 6 霖一0 2 7 4 g 一0 3 2 2 四 q = 0 0 ll 异一0 5 2 2 g o 3 1l 嚣 ( 3 4 ) 此外，还有l a b 、h s v 、y u v 、c m y 、c m l f k 等颜色空问。 3 3 2 肤色模型 彩色信息常常被用来作为一种有效的特征，在人脸检测中肤色特征相当明 显，但由于光源谱线的变化以及背景与目标光照的差异造成肤色的检测并不十 分有效。任何一种模型都不能精确检测出所有的肤色点，而且需要大量的先验 知识确定脸部所在，所以肤色特征常常被用于初检或辅助检测手段，以便有效 地删除大部分非脸区域。大量实验证明：肤色信息的使用可以大大降低计算消 耗，减少了问题的复杂性。 研究表明，人的肤色具有以下三个重要特征： 1 人的肤色分布在颜色空间中很小的一个范围内； 2 人的肤色不同主要由颜色的强度不同引起； 3 在一定的光照条件下，人的肤色分布近似为高斯分布。 这为我们建立肤色模型提供了理论基础，肤色的聚类性使我们利用肤色缩 小人脸检测范围，简化问题的复杂度成为可能。 y c b c r 色彩空间作为肤色分布统计的映射空间，优点是受亮度变化的影响 较小，在c b c r 两维空间内，肤色的分布区域相对集中。在y c b c r 色彩空间中， c r 和c b 分量分别表示红色和蓝色的色度。它既具有将亮度分量分离的优点， 又可以从r g b 色彩空间线性变化得到，因此在其基础上的变换模型的应用非常 广泛。在对各种色彩空间进行分析比较的前提下，我选择了y c b c r 色彩空间进 行肤色检测系统的设计，对输入的彩色图像进行色彩空间转换，将其从相关性 较高的r g b 色彩空间转换到颜色分量互不相关的y c b c r 色彩空间，其转换格式 见| j 公式。 实验证明“，不同人的肤色在色度上往往很相近，只是在亮度上差异较大， 不同肤色具有相同的2 dg a u s s i a n 模型g ( m | v 勺，相关公式如下，其中c ，、( 冶 1 6 疲劳驾驶预警系统的设计与实现 华东师范大学硕十学位论文 为c r 、c b 相应的平均值，c 为协方差矩阵。 萨( c ，o ) 舀：上 n 历= 专 3 5 肤色的2 dg a u s s i a n 模型 图3 2 不同人脸肤色c r 、c b 分布图 1 7 饥 。 n“汹r厶黼 酗 。咖彩 o咖幽 ，、 良 疲劳驾驶预警系统的设计与实现 华东师范火学硕士学位论文 图3 3 人脸肤色高斯模型 对于彩色图像，在确定肤色模型之后，就可以进行肤色检测。在检测出肤 色像素后，需要根据它们在色度上的相似性和空间上的相关性分割出可能的人 脸区域，同时利用区域的几何特征或灰度特征进行是否是人脸的验证，以排除 其它色彩类似肤色的物体，从丽完成人脸检测任务。我们需要的是个快速、 可靠、尽可能实时的人脸检测算法以及随后的人嘴检测算法。如果对环境不加 限制，人脸检测以及人嘴检测问题是十分复杂的，现阶段还难以突破并加以应 用。本文认为，在构造实际的应用系统时，可以限定一定的条件如光照均匀等， 这样可以简化问题的复杂性，从而能有效地解决问题。 3 4 约束条件 为了更快、更准的将驾驶员的脸部以及随后的嘴部进行定位，本文作出了 一些符合实际操纵环境的限制条件，称之为先验知识或约束假设条件，它们包 括： 1 、行驶车辆的道路路面条件良好，无严重不平及路面破损现象，这样可以 保证驾驶员在驾驶车辆时脸部不会发生剧烈的上下颠簸、左右摇晃的情况，从 而可以确保从摄像机获取的图像具有连续性。在正常驾驶情况下，驾驶员的头 部一般不可能发生突变的运动。由于计算机处理速度较快，因而可以认为连续 的两帧图像上，驾驶员头部的位置不可能发生很大的变化，从而可以用前一帧 图像中得到的驾驶员头部位置信息来将当前图像的处理范围限定在一个较小的 区域内，此区域称感兴趣区域( r e g i o no fi n t e r e s t ) 或注意焦点( f o c u s o f a t t e n t i o n ) ，该区域内最有可能出现当前驾驶员的头部。目前国际上大多数 疲劳驾驶预警系统的设计与实现 华东师范大学硕士学位论文 跟踪识别算法都采用这种方式。 2 、在摄像机的视野范围内只能有一个人脸出现，而且应保证大部分时间内 该人脸应处于摄像机视野中心附近且不允许脸部长时间左右旋转过大。如果摄 像机的视野内出现两个或两个以上的人脸，计算机将因无法判断出哪一个是驾 驶员而发生错判，即使利用驾驶员判别代码，也会大大的增加无谓的处理时间。 保证驾驶员脸部出现