（通信与信息系统专业论文）基于计算机视觉的驾驶员疲劳瞌睡检测方法的研究.pdf

原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独 立进行研究所取得的成果。除文中已经注明引用的内容外，本论文不 包含任何其他个人或集体已经发表或撰写过的科研成果。对本文的研 究作山重要贡献的个人和集体，均已在文中以明确方式标明。本声明 的法律责任由本人承担。 。 论文作者签名：血日 期：1 盟皇：垒边 关于学位论文使用授权的声明 本人完全了解山东大学有关保留、使用学位论文的规定，同意学 校保留或向国家有关部门或机构送交论文的复印件和电子版，允许论 文被查阅和借阅；本人授权山东大学可以将本学位论文的全部或部分 内容编入有关数据库进行检索，可以采用影印、缩印或其他复制手段 保存论文和汇编本学位论文。 ( 保密论文在解密后应遵守此规定) 论文作者签名：滥导师签名：篡幽日 期：匹。绍盖矿 山东大学硕士学位论文 摘要 驾驶疲劳瞌睡是指由于司机长时间驾驶或睡眠不足引发的瞌睡和困倦( 区 别于肌肉疲劳) 。许多国家都有数据表明驾驶疲劳瞌睡( d r i v e rf a t i g u e d r o w s i n e s s ) 是引发恶性交通事故的重要原因之一，可以和酒后驾驶相提并论。 据我国交通部报道，由于驾驶疲劳造成的交通事故无论是绝对数字还是所占比例 都是最高的。驾驶疲劳瞌睡的危害之大迫切需要对其采取一定的措施。由于交 通事故并不是在一产生驾驶疲劳时就发生，所以如果能找到一种方法，在驾驶中 实时检测驾驶员的机能状态，在他刚刚出现疲倦迹象时就发出报警，或强行减速 甚至强制停车休息，那么就能有效提高安全系数。所以对于驾驶疲劳的研究成为 国际上关注的热点，本课题的提出有重要的科学意义和广泛的应用前景。 当前国际上研究瞌睡，疲劳驾驶检测的机构和正在开发的瞌睡检测系统也有 不少，一些简单的监测装置甚至已经出现在市场上，但是距离实际需要还差很多， 更为严密的方法现在都处于研究阶段。 本文深入研究了国内外驾驶疲劳，瞌睡检测方法的原理，并对现有检测方法 进行了分析和对比，详细分析当前检测方法中的技术关键和难点，提出了一种基 于视觉的快速有效的驾驶员疲劳检测方法，利用安装在仪表盘上的摄像机拍摄驾 驶员的脸部，并提取驾驶员的眼睛状态特征，以眼睛状态特征为依据，判断驾驶 员是否有疲劳发生。本文分别在两种光照条件下进行了方法的设计： i ) 自然光照条件。自然光照条件下的驾驶疲劳检测系统对司机无任何干扰， 方式友好、设备简单，有重要的研究价值。在本文的方法中，首先利用 肤色特征对人脸进行了定位，并设计了一种新的方法一累计直方图阈 值法将脸部图像二值化后，就可以把五官从人脸肤色中完整的分离出来， 降低了对光照的敏感性。然后利用最大连通域搜索算法提取睁跟程度， 避免了左右眼的分割，提高了计算速度。最后分别计算眨眼持续时间和 p e r c l o s 两个参数来判断疲劳瞌睡。 2 ) 红外光照条件。由于红外线摄像系统有全天候的优势，能够满足夜间行 车的需要，而且目前在医学上基本认为红外线对人体无危害，所以研究 价值也很大。本文利用人眼在特定波长红外线的成像特征，提出了新的 山东大学硕士学位论文 眼睛定位跟踪算法，设计了新的瞳孔位置跟踪成像系统，提高t l i l i 睛跟 踪的准确度和速度。能够在各种气候条件下使用。并设计了眼睛能量函 数，利用可变形模板匹配的方法提取眼睑边缘、虹膜边缘以及瞳孔中心 等参数，以此来进行眼睛特征参数的提取。利用卡尔曼滤波进行眼睛的 跟踪。最后通过眨眼持续时间判断疲劳的发生。 关键词：驾驶疲劳检测肤色滤波累计直方图 可变形模板匹配能量函数 卡尔曼滤波 4 山东大学硕士学位论文 a b s t r a c t d r i v e rf a t i g u e d r o w s i n e s si so n eo ft h ei m p o r t a n tc a u s e so fc r a s h e da c c i d e n t s s u r v e y ss h o wt h a t7 a c c i d e n t sa r ec a u s e db yd r o w s i n e s s f a t i g u ed i r e c t l y a n d4 0 o f f a t a la c c i d e n t s ，o r3 5 o fh e a v yt r u c ka n dh i g h w a ya c c i d e n t s i th a sb e e np r o v e dt h a t a l la c c i d e n t sc a u s e db ys l e e p i n e s s ，f a t i g u ea n di n a t t e n t i o na r ed u et oo rd i r e c t l yr e l a t et o d r o w s i n e s s i ti sr e p o r t e db ym i n i s t r yo fc o m m u n i c a t i o n st h a tb o t l la b s o l u t en u m b e r a n dp r o p o r t i o no f o u rc o u n t r y st r a f f i ca c c i d e n t sa r eh i g h e s ti nt h ew o r l d s ow em u s t t a k es o m ea c t i o n sf o rt h i sp r o b l e m s i n c ea c c i d e n td o e s n th a p p e na ss o o na s f a t i g u e d r o w s i n e s st a k e sp l a c e ，r e a lt i m ef a t i g u ed e t e c t i o ns y s t e mc a nw o r k t h e r e f o r e ， m a n yc o u n t r i e sm a k eg r e a te f f o r t so nh o wt od e t e c td r o w s i n e s sd u r i n gd r i v i n g a tp r e s e n t ，s y s t e m st h a tp u r p o r tt om e a s u r ef a t i g u ef a l li n t oo n eo ft h et w o g e n e r a lc a t e g o r i e s ：1 ) s i m p l es y s t e m st h a ta r ec u r r e n t l yc o m m e r c i a l l ya v a i l a b l e ，b u t w i t hu n c e r t a i ne f f e c t i v e n e s si nt e r m so fr e l i a b i l i t y , s e n s i t i v i t ya n dv a l i d i t y ；2 ) m o r e c o m p l e xs y s t e m s ，s u c ha s “d r o w s y d r i v e rd e t e c t i o na n dw a r n i n gs y s t e m ”b y n h t s a ，t h a ts e e mp o t e n t i a l l ye f f e c t i v ea r eu n d e r g o i n gr i g o r o u se v a l u a t i o na n d d e s i g n i nt h i st h e s i s ，w ei n v e s t i g a t ea n dc o n t r a s tt h ep r i n c i p l e so fc u r r e n tm e t h o d sa n d t e c h n o l o g i e s f o rd r i v e r f a t i g u ed e t e c t i o n ,a n da n a l y s et h ek e yp r o b l e m sa n d d i f f i c u l t i e so f t h e s et e c h n i q u e s ，t h e nf m dm yo w nw a yt od e t e c td d v e r f a t i g u eq u i c k l y a n de f f e c t i v e l y w el a yac a m e r ao nt h ep a n e lt os h o o tt h ed r i v e r sf a c e e y ef e a t u r e s ， w h i c ha r ec u e sf o rd e t e r m i n i n gd r i v e r ss t a t e ，a r ee x t r a c t e df r o mt h ev i d e oo ff a c e w e d ot h ea b o v et h i n g su n d e rt w oc o n d i t i o n s ： 1 ) u n d e rn a t u r a li l l u m i n a t i o n n a t u r a ls o l a rd on oh a r ma n dd i s t u r bt o p e o p l e ，a n dt h es y s t e mi sf r i e n d l ya n ds i m p l e ，s oi ti sw o r t hs t u d y i n g s k i nc o l o ri su s e dt ol o c a t ef a c e a f t e rs k i ns e g m e n t a t i o n , a c c u m u l a t i v e h i s t o g r a mt h r e s h o l di su s e dt ob i n a r i z et h ef a c ei i i l a g e ，t h e nt h ee y e sa r e s e p a r a t e df r o mt h es k i nc o l o rp e r f e c t l y t h i sm e t h o di sr o b u s tf o r 5 山东大学硕士学位论文 d i f f e r e n t i n t e n s i t y 4 - c o n n e c t e dc o m p o n e n ta l g o r i t h mi su s e d t o c a l c u l a t ea r e ao ft w oe y e s a v o i d i n gs t e po fs e p a r a t i n gt w oe y e s ，t h e nt h e o p e nd e g r e eo fe y e si sg o t t e n t w ov i s u a lc u e s - b l i n kd u r a t i o na n d p e r c l o sa l eu s e dt od e t e r m i n ew h e t h e rt h e r ei sf a t i g u e t a k i n gp l a c e u n d e ri n f r a r e di l l u m i n a t i o n u n d e ri n f r a r e di l l u m i n a t i o nt h es y s t e m c a l lw o r kt h ew h o l ed a y ，w h i c hc a nd e a lw i t ht h en i g h td r i v i n g u s i n gt h e e y ec h a r a c t e r i s t i c sa ts p e c i a lw a v e l e n g t h , w em a k ean e we y el o c a t i o n a l g o r i t h m ，w h i c hc a ni m p r o v et h ee y et r a c k i n gs p e e da n da c c u r a c y t h i s s y s t e mc a nu s ea ta n yc o n d i t i o n s w eh a v ed e s i g n e de n e r g yf u n c t i o n so f e y et e m p l a t e ，u s i n gd e f o r m a b l et e m p l a t em a t c h i n ga l g o r i t h mt oe x t r a c t e y ef e a t u r e s ，i n c l u d i n ge y e l i de d g e ，i r i se d g e ，p u p i lc e n t e ra n ds oo n k e yw o r d s ：d r i v e rf a t i g u ed e t e c t i o n d e f o r m a b l et e m p l a t e e n e r g yf u n c t i o n s k i nc o l o rf i l t e r a c c u m u l a t i v eh i s t o g r a m k a l m a nf i l t e r 6 山东大学硕士学位论文 英文缩略词 n h t s a ( n a t i o n a lh i g h w a yt r a f f i cs a f e t ya d m i n i s t r a t i o n ) 美国国家高速公路 交通安全管理局 a a a ( a m e r i c a na u t o m o b i l ea s s o c i a t i o n ) 美国汽车联合会 e e g ( e 1 e c t r o e n c e p h a l o g r a p h y ) 脑电图记录 a d s ( a n t i d r o w s i n e s ss y s t e m ) 防瞌睡系统 s a f e t r a c( s a f et r a c k i n gs y s t e m ) 安全跟踪系统 d e t e r ( d e t e c t i o ne n f o r c e m e n ta n dt u t o r i n gf o re r r o rr e d u c t i o n ) 检查握 力辅助纠正错误系统 a s c i ( a d v a n c e ds a f e t yc o n c e p t si n c ) 高级安全观念公司 h p s( h e a dp o s i t i o ns e n s o r ) 头部位置的传感器 m i n d s( m i c r o n o dd e t e c ts y s t e m ) 点头检测系统 p e r c l o s ( p e r c e n t a g eo fe y ec l o s u r et i m e ) 闭眼所占的时间 f 唧a ( f e d e r a lh i g h w a ya d m i n i s t r a t l 0 n ) 联邦高速公路管理局 n r c ( n a r c o l e p s yr e s e a r c hc e n t e r ) 嗜睡研究中心 d d d s ( d e t e c td r i v e rd r o w s i n e s ss y s t e m ) 测量眼睛状态系统 c c d ( c h a r g e c o u p l e dd e v i c e ) 电荷耦合器件 7 山东大学硕士学位论文 第一章绪论 1 1 驾驶疲劳，瞌睡检测的意义 驾驶疲劳瞌睡是指由于司机长时间驾驶或睡眠不足弓l 发的瞌睡和困倦( 区 别于肌肉疲劳) 。许多国家都有数据表明驾驶疲劳瞌睡( d r i v e rf a t i g u e d r o w s i n e s s ) 是引发恶性交通事故的重要原因之一，可以和酒后驾驶相提并论。 美国汽车联合会( a m e r i c a na u t o m o b i l ea s s o c i a t i o n ，a m ) 的交通安全部初步 估计4 1 一5 9 的重型卡车交通事故与疲劳驾驶有关。据美国国家公路交通安全管 理局( n a t i o n a lh i g h w a yt r a f f i cs a f e t ya d m i n i s t r a t i o n ，n h t s a ) 1 9 9 5 年公 布的数据表明，平均每年由于疲劳瞌睡引起的交通事故导致1 5 0 0 人死亡，7 6 0 0 0 人受伤i l l ，占致命事故的1 8 。1 9 9 5 年美国国家交通安全委员会n t s b ( t h e n a t i o n a lt r a n s p o r t a t i o ns a f e t yb o a r d ) 检查了1 0 7 起由驾驶员造成的卡车交 通事故，其中5 8 与驾驶员打吨驾驶有关。也有统计资料表明，法国高速公路 上交通事故3 0 是由疲劳或瞌睡造成的。据我国交通部报道，由于驾驶疲劳造成 的交通事故无论是绝对数字还是所占比例都是最高的。在2 0 0 3 “世界睡眠日”期 间，由中华医学会和有关交通部门联合组织的我国驾驶员警觉度测试，在北京地 区高速公路白庙等地对5 1 6 名驾驶员进行的警觉度p v t 损q 试表明，1 0 的驾驶者调 查当天有打瞌睡，5 0 的被调查者回忆在过去驾驶中曾打过瞌睡。8 2 的被调查 者每天的睡眠时间少于8 d , 时1 3 l 。交通法医专家指出，每天睡眠只有6 小时，对行 为能力的影响相当于人体血液酒精浓度达到50mg m1 。 驾驶疲劳瞌睡的危害之大迫切需要对其采取一定的措施。由于交通事故并 不是在一产生驾驶疲劳时就发生，所以如果能找到一种方法，在驾驶中实时检测 驾驶员的机能状态，在他刚刚出现疲倦迹象时就发出报警，或强行减速甚至强制 停车休息，那么就能有效提高安全系数。所以对驾驶疲劳瞌睡的检测方法的研 究成为国际上关注的热点。相继出现了很多种检测方法，取得了一定进展，但是 市场上尚无成功产品。对疲劳瞌睡驾驶的检测要求实时、准确、对司机无负荷 ( 最好与司机无物理接触) 、对人体无危害、智能化，目前的方法还无法完全满 足这些要求，因此，对驾驶疲劳，瞌睡检测的研究无论从理论方面还是应用方面 8 山东大学硕士学位论文 都具有重要意义。 1 2 疲劳，瞌睡驾驶的研究 瞌睡疲劳驾驶在高速公路上和长途运输的卡车司机中是经常发生的。在纽 约州的一个统计调查表明，在发生过“疲劳瞌睡驾驶”事故的司机中，有9 0 的人承认在以前的驾驶中发生过瞌睡。有趣的是，没有“疲劳驾驶”记录的卡车 司机中有4 7 在驾驶时曾经打吨。交通安全部调查表明：在纽约2 5 的人曾经在驾 驶的时候瞌睡过，但是没有发生交通事故，3 的人瞌睡时发生了交通事故。在英 国2 9 的人感觉在驾驶的时候曾经嗑睡。在挪威，有1 1 2 的人在过去的一年中发 生过瞌睡驾驶，5 的人发生事故。 驾驶疲劳瞌睡的定义 驾驶疲劳( d r i v e rf a t i g u e ) ，在很多文献中也作驾驶瞌睡( d r i v e r d r o w s i n e s s ) ，它们并不是完全等同的概念。到目前为止，人体产生瞌睡的机制 尚不清楚，国际上对驾驶疲劳嗑睡也缺少共同认识和严格定义。一般来讲，疲 劳是指人感到不适的某种特定状态，在此状态之下，体力超支、执行力差，它是 体方、情绪压力和睡眠不足等的综合反应，而瞌睡是指人处于一种有睡觉趋势的 生理状态，只是睡眠失调的标准反应 4 1 。但是在通常情况下，人在发生疲劳的同 时伴随有瞌睡现象。所以在驾驶疲劳瞌睡的研究中，这两个概念有时被等同起 来，且二者造成的后果类似，表现为难以判断和控制自己的行为，因此在本文中 不对二者进行严格的区分。 引起驾驶瞌睡的主要原因是5 一： 司机睡眠不足，由于工作需要造成绝对睡眠时间减少或者睡眠障碍： 司机的生理节律被扰乱，在生理周期的低潮( 如在凌晨和午后) 驾车或 者长时间的驾车： 车外单调的景色( 高速公路上开车比市区内更容易使人疲劳) ； 司机不善于估计当前的清醒程度，强行长时间驾车； 驾车模式改变( 如突然驾车时间加长或者不习惯夜间驾车) ： 药物的作用，一些抑制中枢神经的药物，如感冒药：等等。 9 山东大学硕士学位论文 1 3 驾驶疲劳，瞌睡检测技术的进展及现状 驾驶疲劳检测是一个非常复杂的问题，早期的研究主要从医学角度出发，研 究引发驾驶疲劳的因素。美国汽车联合会( a a a ) 1 9 9 3 年开始研究瞌睡与交通安 全的关系，当时仅限于如何根据交通事故的分析来对司机进行教育，让司机利用 自我记录表对驾驶任务、驾驶习惯和驾驶时间等进行自我评测【7 一。因为引发疲 劳因素的复杂性和个体的差异性，这种主观的调查方法很难成为评测驾驶疲劳的 标准尺度。到9 0 年代中期，日本、美国等国家开始研究怎样实时检测驾驶疲劳 瞌睡的发生，取得了一些实质性的进展。 当前研究瞌睡疲劳驾驶检测的机构和正在开发的瞌睡检测系统有： 美国研制的打瞌睡驾驶员侦探系统d d d s ( t h ed r o w s yd r i v e rd e t e c t i o n s y s t e m ) 。采用多普勒雷达和复杂的信号处理方法，可获取驾驶员烦躁不安的 情绪活动、眨眼频率和持续时间等疲劳数据，用以判断驾驶员是否打瞌睡或 睡着。 方向盘监视装置s a m ( s t e e r i n ga t t e n t i o nm o n i t o r ) 。一种监测方向 盘非正常运动的传感器装置，方向盘下面的杆上装有一条磁性带，用以监测 方向盘的运动。另外，s a m 与录像机配合使用可以为保险公司提供证 据。 尼桑公司研究的抗困倦系统，利用摄像机监测眼睑的活动情况来检测司机是 9 1 否疲劳。 三菱的a d v a n c e ds a f e t yv e h i c l e ，用方向盘传感器和车辆行为( 如侧位移) 测量器检测司机疲劳瞌睡情况【1 0 i 。 西班牙的防瞌睡系统( a n t i d r o w s i n e s ss y s t e m ) ，测量驾驶时手对方向盘 的握力，+ 一旦检测到疲劳发生，利用汽车的灯不停的闪烁，提醒周围的交通 车辆1 1 1 1 。 f 澳大利亚的头部位置测量跟踪系统和沃尔沃合作，通过测量头部位置、闭眼 f 和眨眼评估疲劳驾驶，但是它要求在司机的脸上作一些标记，给司机带来极 1 1 2 1 大的不便一一。 澳大利亚的d o z e r 利用测量头的倾斜角度来判断是否瞌睡，没有相应的产品 1 0 山东大学硕士学位论文 信息，检出率不高。 d e t e r ( d e t e c t i o ne n f o r c e m e n ta n dt u t o r i n gf o re r r o rr e d u c t i o n ) 利用 大脑摄影图，眼图和偏离车道的摄像机来分析数据，测量瞌睡。d a i m l e r c h r s l e r 利用测量侧面的位置，方向的角度，径向速度监测疲劳驾驶，这些 方法都被证明是有效的，但是由于信息不是很可靠，因此没有形成产品【1 4 】。 2 0 0 3 年美国国家公路交通安全管理局( n h t s a ) 联合宾夕法尼亚大学和卡内 基梅隆研究所研发“驾驶疲劳检测与报警系统”i 2 8 】( 目前仍在进行) 。包 括三个子系统：1 ) p e r c l o s 眼睑闭合监测器，2 ) 车道安全跟踪系统，3 ) 睡 眠活动记录器。 丰田设计了一种防疲劳驾驶系统，通过测量人体的生理信号，在司机的手腕 上佩戴一块像手表一样的装置，来测量脉搏、心律等生理信号进行分析。而 以色列a t l a s 研究了通过测量手腕上的肌电图来检测疲劳一1 6 1 。 f 9 中国的金吉公司制造了一种像戒指一样的测量装置，利用人的皮肤阻抗的变 化，司机嗑睡时。通过声音提醒司机当前的状态，由于特异性和准确度不高， 误报率和漏报率都很高。 1 4 本文的研究工作和创新 本文在深入研究了国内外驾驶疲劳，瞌睡检测方法的原理，在现有的基础上 进行了以下方面的研究： 1 ) 详细分析当前检测方法中的技术关键和难点，设计出一种快速有效的驾 驶员瞌睡检测的新方法，通过实时检测眼睛的状态判断疲劳的发生。 2 ) 分别在两种情况下不加任何光源的自然光照条件下和外加红外光 源的条件下，针对摄像机拍摄司机的脸部视频，设计了新的算法对眼睛 进行定位和跟踪，并实时提取到眼睛的特征，最终证明了眨眼持续时间 等眼睛状态参数与瞌睡的发生有很大的相关性，可以作为判断驾驶疲劳 瞌睡发生的依据，。 山东大学硕士学位论文 技术创新： 1 1 自然光照条件下，利用肤色特征对人脸进行了定位，并设计了一种新的 方法一累计直方图阈值法将脸部图像二值化后。就可以把五官从人脸 肤色中完整的分离出来，降低了对光照的敏感性。 、 2 ) 利用连通域搜索算法在双眼区域内直接确定眼睛面积，避免了左右眼的 分割，简化了算法，提高了计算速度。 3 ) 在红外光照条件下，利用人眼在特定波长红外线的成像特征，提出了新 的眼睛定位跟踪算法，研制成了新的瞳孔位置跟踪成像系统，提高了眼 睛跟踪的准确度和速度，能够在各种气候条件下使用。 4 1 设计了眼睛能量函数，并利用可变形模板匹配的方法提取眼睑边缘、虹 膜边缘以及瞳孔中心等参数，以此来进行眼睛特征参数的提取。 山东大学硕士学位论文 第二章检测疲劳瞌睡方法的研究 目前，驾驶疲劳检测方法的一般思路是：首先确定所要选取的能够反映疲劳 的特征，如脑电图( e e g ) 、眨眼频率等，然后进行特征提取，最后根据提取到的 特征和预先设定的标准进行识别，判断有无疲劳发生。 由于与驾驶疲劳相关的因素很多，所以特征的选取至关重要。当前对于疲劳 瞌睡的检测指标可以归纳为三种参数的测量： 第一类检测司机的生理信号( 脑电、心电、皮肤电势等) 。 第二类检测司机的物理反应( 例如眨眼的频率，眨眼持续时间， 动，头动等) 。 第三类检测车辆和路面的相关参数( 速度、加速度、侧向位置、 等) 。 眼睛的运 白线位置 而疲劳检测系统必须满足如下的基本要求： 1 ) 必须是一个无干扰系统，与司机无物理接触； 2 ) 必须是一个实时系统； 3 ) 不能有有害的辐射： 4 ) 不能包括移动设备。 因此，上述三类特征虽然都能不同程度的反应司机的疲劳瞌睡的程度，但 并不都能适用于实际情况。在本章中，作者就检测技术而言，按照检测特征的不 同分别加以介绍和分析比较，并最终确定自己的方案。 2 1 生理信号检测 生理信号指标最能准确反映人的疲倦程度。其中脑电波e e g 被称为测量睡 眠的“金标准”。k e c l d u n d 等发现脑电图从清醒到瞌睡会有明显的变化，t h e m 波有明显增加，( 如图2 1 ) ( t h e m 波的活动频率是在3 7 周s ，要比正常的清 醒时的活动b e t a 波大于1 3 周，s 要慢) 【1 7 ，1 8 1 观这就为检测疲劳，瞌睡的发生提供了 依据。 山东大学硕士学位论文 图2 1 发生瞌睡时e e g 频率变慢出现t h e t a 波 2 2 物理反应检测 物理反应是指人在疲劳时表现出来的打哈欠、眼睛发涩、点头等外在特征。 2 2 1 利用头的位置检测疲劳 1 9 9 5 年a s c i 设计出一种头部位置传感器( h p s ) ，利用一个相邻的电极电容传 感器阵列，安装在司机座位上面，每个传感器都能输出司机头部距离传感器的位 置，利用三角代数算法可以实时计算出头在三维空间中的位置，同时利用各个时 间段的头部位置的变化特征，表现出司机处于清醒还是瞌睡状态。 在此基础上p h i l i p 2 0 设计了一个测量点头动作的产品，命名为点头检测系统 ( m i n d s ) ，他的研究表明：微小的点头动作( m i c r o n o d s ) 和瞌睡( m i c r o s l e e p ) 有非常好的相关关系。但是由于资金限制，投有深入研究下去。1 9 9 9 年，约翰逊 控制公司( j o h n s o nc o n t r o li n c ，j c l ) 为了研究飞行员的瞌睡现象，研究了 m i c r o - n o d s 和m i c r o - s l e e p 的关系得到了m i c r o - n o d s 的一些明显的模式，见图2 2 黜i 卜i # 毒毒辛q x ? 一 三 脸高度一9 4 ) 两眼面积之差较小的眼睛面积 如果眼睛的定位和搜索的过程中得到的两眼的参数满足上述条件，则认为得 到的数据是有效的，可以用来确定眼睛的状态，否则，则被认为无效，需要重新 宦衍和跟踪。 3 4 眼睛状态的计算 眼睛睁开程度示意图 3 0 山东大学硕士学位论文 1 0 8 图3 - 1 2 眼睛睁开度 在这一节里我们要计算的眼睛状态参数有：眨眼持续时间和p e r c l o s 。 眨眼持续时间( b l i n kd u r a t i o n ) ： 眨眼持续时问定义为：每次眨眼时，眼睛由并合一开的过程所用的时间 d ( f ) = ，2 一， ，l ，2 见图3 - 1 2 。 p e r c l o s ： 单位时间内( 3 0 秒) 眼睛闭合7 0 的时问所占的比例 ( 3 7 ) 艘化2 丽3 0 菊赢而孺蕊娶加) o 7 】 ( 3 8 ) 秒采取图像的有效帧数岩等“u ” p ( f ) 一睁眼程度随时问的变化函数。 睁眼程厦检测算法： 1 ) 初始化眼睛最大值m 左、m 右和最小值小左、m 右。 设两服面积随时间的变化函数为s 左( ，) 、( ，) ，我们认为初始化阶段人是不 疲劳的，绝大部分时间眼睛是全睁开的，因此m 左、m 右由s ( ，) 的频数统计直 方图最大值对应的s 确定，忉左、埘右则由初始化阶段s 的频数统计直方图除。 位置之外的起始位置确定，如图3 - i 3 。 山东大学硕士学位论文 ( ：) 最丈矗 ； ； ：叠备j jk； ： 溢j j 图3 - 1 3 初始化阶段s 的频数统计直方图 2 ) 检测阶段。 把按照上文的方法检测到的凡是眼睛面积大于最大值的都等于最大值，凡是 眼睛面积小于最小值的都等于最小值。 3 ) 计算左右眼睁开的程度： 删= 甓睾 9 ， 删= 筹尝( 3 - 1 0 ) 最终输出眼睛睁开的程度： p ( ，) = j 1 ( p 左( ，) + j 口右( ，) 】 ( 3 1 1 ) 3 5 实验 实验检测指标有眨眼持续时间和p e r c l o s ，目的是检验人在发生瞌睡时上 述参数的变化特点，用以研究眼睛状态特征判断瞌睡的可靠性。 实验环境： 本文所用的视频序列是在室内模拟驾驶条件下，通过c c d 彩色摄像机采集 的，采样率1 2 帧秒。室内环境没有干扰，没有开任何人工光源，针对驾驶座上 左面靠近车窗的情况，左脸光照强度略高于右脸。被测者保持放松，头旋转角度 左右不超过1 5 度，没有大范围的移动。 3 个被测者( 2 男、l 女) 拍摄两天( 在不同时段) ，得到3 组视频录像，从 最后录像中分别剪出疲劳与不疲劳的视频，5 分钟一段，共5 段。进行睁眼程度 检测。 r 山东大学硕士学位论文 实验结果与分析： 图3 一1 4 一组视频序列 按照前文所述的方法，对采取的视频图像分别进行处理： 结果一：图3 - 1 5 所示一组眼睛的面积随时问的变化曲线s ( ，) ，可以看到眼睛在 完全睁开时面积集中在( 1 2 0 ，1 4 0 ) 的范围内，s ( ，) 在初始化前3 0 秒 内的频数统计直方图如图3 - 1 6 所示，确定最大值为1 3 6 ，最小值为6 0 。 图3 - 1 6 为两组睁眼程度随时间的变化曲线。 图3 1 5 眼睛面积随时间的变化曲线 图3 - 1 6 s ( t ) 的频数统计直方图 山东大学硕士学位论文 r 戍 m v - 汛 燃 r i n ，“ 一 一 图3 - 1 7 实验结果 结果二：图3 1 8 是一段典型的进入疲劳状态的眨眼持续时间变化示意图。疲劳 发生时眨眼速度明显变慢，在不疲劳阶段眼睛睁一闭一睁的过程只需要 3 5 帧的时间( o 2 5 秒以内) ，而疲劳时则需要2 0 帧或以上( 1 秒) 的时 间。 同时也可以发现即使在不疲劳的时候，眨眼的持续时间也可能在1 秒以 上，但是却不会持续在1 秒以上，如图3 1 8 中的t 3 时刻。而在进入疲劳 状态之后( 如图示t ，时刻之后) ，连续几次慢眨眼之后会突然出现一两 次快眨眼，这也是人在进入疲劳之后，又突然惊醒并试图让自己重新清 醒的一般模式。 山东大学硕士学位论文 ( a ) 不疲劳模式 ( b ) 进入疲劳状态 0 2 0 4 01 t u 1 1 图3 - 18 眨眼持续时间示意图 结果三：对截取的5 段具有明显疲劳或不疲劳特征的视频进行p e r c l o s 统计。 结果如表3 - l ：其中视频1 、2 、3 为清醒时的视频，而视频4 、5 为疲劳时的视频 图像，从结果中可以看出疲劳时的p e r c l o s 比不疲劳时有明显的提高。 图3 一1 9 疲劳模式 3 5 坩 o 山东大学硕士学位论文 视频 税频1视频2视频3视频4视频5 时间 ( 不疲劳) ( 不疲劳)( 不疲劳)( 疲劳) ( 疲劳) 0 5 m0 2 0 6 30 1 8 8 90 2 1 9 60 2 9 3 60 3 3 1 7 l m0 1 9 1 10 1 9 6 40 2 2 9 60 3 0 6 90 3 3 0 9 1 5 m0 1 7 5 20 2 0 4 50 2 1 7 50 3 4 6 9 0 3 6 l l 2 m0 1 8 6 60 1 5 8 9o 1 9 9 8o 3 2 4 4 0 3 1 4 5 2 5 m0 2 0 9 90 2 0 9 3o 2 1 7 40 3 0 6 90 2 6 5 4 3 m0 2 0 3 1o 2 1 3 50 2 1 0 50 3 3 0 20 2 9 8 8 3 5 m0 1 8 3 60 1 8 9 60 1 8 5 50 3 6 9 50 3 4 4 6 4 m 0 2 0 0 90 2 0 9 90 2 0 6 50 3 1 5 5o 3 1 4 4 4 5 m0 2 0 0 60 1 8 9 4o 2 1 9 60 3 2 2 l0 3 3 5 8 5 mo 1 8 7 3o 2 1 9 60 1 9 8 40 3 3 9 60 3 4 2 1 表3 - 15 分钟p e r c l o s 检测结果 小结： 1 ) 通过本文的方法可以有效的提取到驾驶员眼睛睁开的程度，但是本文的实验 环境相对较理想，如光照不均匀程度较轻，也较稳定，被测者头部没有很大 范围的移动，因此应该扩大样本范围。 2 ) 眼睛状态参数与瞌睡的关系：眨眼的机制和中枢控制至今尚有模糊不清的观 点。对不同的个体，正常的眨眼频率各异，瞌睡时眨眼频率的变化更是因人 而异，但是实验证明眨眼持续时间和p e r c l o s 与瞌睡有着密切的关系。 山东大学硕士学位论文 第四章红外条件下检测驾驶员疲劳，瞌睡 1 9 9 0 年，美国国家交通安全部的研究表明，在重型卡车的交通事故中，3 1 的导致司机死亡的交通事故与疲劳驾驶有关。也就是说，驾驶疲劳的高发人群是 那些从事长途运输的专业司机，由于工作需要经常夜间工作，而晚上尤其是午夜 1 3 点是最容易产生困倦的时段，因此针对这类人群必须要一个无论白天还是夜 间都能工作的驾驶疲劳检测系统。前一章设计了在自然光照条件下，如何检测驾 驶员疲劳瞌睡的方法，而本章将借助特殊的红外摄像设备设计一个全天候疲劳 检测系统。 红外条件下实现驾驶疲劳，瞌睡检测的主要步骤与前一章介绍的自然光照条 件下的检测思路基本是一致的，只是在具体的算法上有所区别，主要包括以下几 步： 1 ) 获取人脸红外图像。 2 ) 对人脸进行定位； 3 ) 对眼睛定位与跟踪： 4 ) 特征提取； 5 ) 判断疲劳。 4 1 图像的获取 对于红外条件下检测驾驶疲劳瞌睡的系统来说，图像的获取是最重要的， 任何在图像获取方面的缺陷都会给后续图像分析和理解带来困难。所获取的图像 在各种不同气候、环境光条件下需有相对一致性，有利于进一步的图像处理。 4 1 1 系统设备组成 1 ) 红外敏感的黑白c c d 摄像机一部，在波长8 0 0 9 0 0 n m 范围内有较高敏 感性，安装在仪表盘上，距离人脸o 5 1 米： 2 ) 两个红外光源，中心波长8 5 0 n m ，功率1 0 m w ，分别安装在离摄像机2 5 厘米的两侧； 山东大学硕士学位论文 3 ) 红外带通滤波器，中心波长8 5 0 n m ，半带宽1 2 n m ，峰值通透率8 3 。 系统设备特点： 图4 - l 系统构成图 1 1 红外光源的安装和摄像机成一定的角度，光源与人脸的轴和人脸与摄像 机的轴不在同一方向上，可以减少由于头的转动形成的阴影，同时，也 可以消除由于光源与摄像机距离过近造成“红眼”现象，影响测量效果； 2 1 利用红外带通滤光片，只有固定波长的红外光能通过，滤除可见光影响， 使红外光在人脸成像中占主导地位，白天和晚上成像效果相差不大； 3 ) 红外摄像机，利用黑白的红外摄像机，在8 0 0 9 0 0 h m 处有最好的成像效 果： 4 ) 红外光线对人的视觉没有干扰。 4 1 2 红外条件下人脸的成像效果 人眼是一个很精巧的、复杂的光学成像系统，眼球中，与光学成像密切相关 的主要器官和组织有： 角膜：位于外膜的前1 6 处，是透明的坚硬的组织，光线经此进入眼球。 巩膜：位于后5 6 部，呈白色不透明，起保护眼球内部组织的作用。 虹膜：位于晶体前，虹膜呈园环形，中间有一圆孔，称为瞳孔，虹膜有瞳孔 括约肌和瞳孔扩大肌调节瞳孔的大小，来调节进入人眼的光线强度及成像，光线 由此进入眼睛中。 在8 5 0 h m 波长的红外光下，虹膜对红外线的反射为4 5 ，巩膜几乎全部反射， 眼睑的反射为9 4 ，而经过瞳孔到达视网膜的视线，几乎被完全吸收，因此，眼 山东大学硕士学位论文 睛的成像是有边缘丰富、层次清晰的图像。其中瞳孑l 的灰度与其它组织相比有明 显的差别，图4 2 分别是眼睛在可见光和$ 5 0 n m 红外线下的成像效果。 “红眼”现象 ( a )人眼在可见光下的成像效果 ( b )人眼在8 5 0 h m 红外光线下的成像效果 ( c )限晴在8 5 0 h m 红外光线下的成像模型 图4 2 眼睛的成像效果图 “红眼”现象的产生是由于光源的光轴与镜头的光轴距离一致，在外界光线很 暗的条件下人的瞳孔会增大，当发射的光透过瞳孔照在眼底时，密密麻麻的微细 血管在灯光照应下显现出鲜艳的红色所反射回来，在眼睛上形象“红点”的自然现 3 4s 9 1 象，就是“红眼”。d i n g e s 和ma _ t s u i n o t o 都是利用“红眼”现象的原理，在不同的 波长或者不同角度下，获取眼睛的图像，进行差分，跟踪眼睛的位置。这种测量 方法的优点是，搜索速度快，但是在光线比较亮的环境下，容易造成测量失败。 本系统将红外光源安装在和摄像机成一定的角度的位置，有效的防止了夜间测量 时的“红眼”现象。因为，“红眼”现象使得眼睛中瞳孔部分的亮度高于虹膜，不利 于瞳孔位置的检测。 山东大学硕士学位论文 司机驾驶时眼睛的活动特点 本文通过对司机驾驶时的录相研究发现，司机在正常驾驶时，头和眼睛在相 对固定的位置范围内活动。正常驾驶时： 1 ) 头左右的移动不超过3 0 公分，前后不超过2 0 公分： 2 ) 头在左右或者前后动作后，会恢复到原来的位置； 3 ) 眼睛注视正前方； 4 ) 司机的头经常有细微的晃动： 5 ) 左右扭头不超过l s ，就恢复原位，角度很少超过4 j 度。 4 2 眼睛图像的特征及能量函数 本文采用可变形模板匹配( d e f o 皿a b l et e m p l a t e ) 的方法提取眼睛的特征。模板 由一系列的参数化的曲线组成，曲线的类型由先验知识得到，模板可以灵活的改 变尺寸或其他参数来达到特征的匹配，最终的参数值用于描述我们要的特征。该 方法不受头的尺度、倾斜和旋转以及环境光照的影响。 4 2 1 眼睛模板定义 眼睛模板主要包括以下特征： 1 ) 圆心在x 。，半径为r 的圆，对应虹膜与眼白的边界，圆内对应图像亮度的波 谷，或最小值； 2 ) 眼睛的边缘用两条抛物线拟合，中心在) 【c ，宽度为2 b ，上半部分高a ，下 半部分高c ，方向角0 ： 3 ) 虹膜与眼睑边界之间，对应图像亮度较大的区域。 模板的描述如下图： 图4 - 3 瞳孔边界模板 4 0 山东大学硕士