（信号与信息处理专业论文）基于非接触式驾驶人疲劳实时检测方法研究.pdf

摘要 论文题目：基于非接触式驾驶人疲劳实时检测方法研究 学科专业：信号与信息处理 研究生：张兵 指导教师：胡涛( 教授) 摘要 签名： 驾驶入疲劳驾驶是引发交通事故的一个重要原因，研究出一套能够实时检测驾驶人疲 劳并且给出报警的方法有着巨大的现实意义和应用前景。 在生物识别技术、机器视觉技术的基础上，本文从疲劳的生理特征出发，对驾驶人的 疲劳程度进行了分级，并通过驾驶人的眼睛状态对驾驶人的疲劳状态程度进行检测，而后 进行相应的报警，并设计和搭建了驾驶人疲劳状态检测系统。 首先建立多种光照环境和精神状态下不同驾驶人的疲劳视频库，通过对视频实验的分 析建立疲劳分级模型，而后通过对驾驶人视频帧的处理提取驾驶人眼部的轮廓形状特征 ( 伪z e r n i k e 矩特征、小波描述子特征和p r o c r u s t e s 形状特征) ，采用基于格贴近度的多 种类型特征融合的方法对人眼状态进行判断，之后采用信息融合技术将多种疲劳指标 ( p e r c l o s 、平均眨眼频率、持续闭眼时间、持续睁眼时间、平均睁闭眼的占空比、闭眼 时间的方差均值) 相互融合，对驾驶人的疲劳状态做出判断；最后，根据疲劳程度的级别 及时给出相应级别的语音和视觉的报警，并对相应的参量进行保存。 经实验表明，系统能够实时准确地定位人眼及检测眼睛的开闭状态，有效地检测驾驶 人的疲劳程度，同时给出相应级别的语音和视觉的报警，计算速度可以满足视频信息处理 的需要。 关键词：伪z e r n i k e 矩；p r o c r u s t e s 形状特征；信息融合；格贴近度；多线程 a b s t r a c t t i t l e ：r e s e a r c ho fd r i v e r sf a t i g u es t a t er e a l t i m e d e t e c t i o nb a s e do nn o n - c o n t a c tm e a l t h o d m a j o r ：s i g n a la n di n f o r m a t i o np r o c e s s i n g n a m e ：b in gz h a n g s u p e w i s o r ：p r o f t a oh u a b s t r a c t s i g n a t u r e ： s i g n a t u r e ： d r i v i n gi nc a s eo f d r o w s ei sam o s ti m p o r t a n tf a c t o ro ft r a f f i ca c c i d e n t s a n ds t u d y i n go u t am e t h o do fd r i v e r sf a t i g u ed e t e c t i o nh a sag o o dp r o s p e c to f e n g i n e e r i n ga p p l i c a t i o na n da l a r m d e v i c e s u p p o r t e db yb i o m e t r i ci d e n t i f i c a t i o nt e c h n o l o g ya n dm a c h i n ev i s i o n ，t h i sa r t i c l es t a r t s f r o mac o n s i d e r a t i o no f p h y s i o l o g i c a lc h a r a c t e r i s t i c s ，g i y e st h eq u a n t i t a t i v eg r a d e st ot h e d e g r e eo fd r i v e r sf a t i g u e w ed e t e c tt h ed e g r e eo ff a t i g u eb y d r i v e r se y es t a t e a n dt h e ng i v e s t h ea l a i m a tt h es a m et i m e 。w ed e s i g na n db u i l dt h es y s t e mo fd r i v e r sf a t i g u es t a t ed e t e c t i o n v i d e ol i b r a r yo fd e r i v e r sf a t i g u ew i t hm u l t i p l el i g l l te n v i r o n m e n ta n dm e n t a ls t a t e m e n ti s s e tu pf i r s t t h e nw eb u i l tt h em o d e lo ft h eq u a n t i t a t i v eg r a d e st od r i v e r sf a t i g u et h r o u g ht h e a n a l y s i so ft h ev i d e ol i b r a r y a f t e rp r o c e s st h ef l a m eo ft h ev i d e o t h i sa r t i c l ec o m b i n e st h e s p a c el a n dc h a r a c t e r i s t i co ft h ei n t e r n a lf o r n lo fh u m a ne y e t h ep s e u d o z e m i k em o m e n t so ft h e l a n dv a r i e dc h a r a c t e r i s t i co ft h ei n t e r n a lf o r mo fh u m a ne y e t h et e c h n o l o g yo ft e m p l a t e m a t c h e d ，a n du s i n gt h es o r t e rw i t ht h el a t t i c ed e g r e eo f n e a r n e s st oj u d g et h ee y es t a t e a n d i n f o r m a t i o nf u s i o nw i t hp e r c l o s ，a e c f , t c l o s e ，t o p e n ，d u t y c y c l e ，a e c c o vi su s e df o rt h ej u d g m e n t o f d r i v e r sf a t i g u e f i n a l l y , t h es y s t e mg i v e st h ea l a r mc o r r e s p o n d i n gw i t ht h er a n ko f d r i v e s f a t i g u e c o r r e s p o n d i n gp a r a m e t e ri ss a v e di fn e e d e d m a n y t e s t ss h o wt h a tt h es y s t e mc a nd e t e c tb l i n k i n gt i m e sa n dv i s i b l ep u p i la r e ai nr e a l t i m e s oi tc a nd e t e c tt h ed e g r e eo ff a t i g u ee f j f i c a c i o u s l y t h es y s t e mc a na l s og i v et h ea l a r m c o r r e s p o n d i n gw i t ht h er a n ko fd r i v e sf a t i g u ea n dt h ev e l o c i t yc a na l s om e e t st h ed e m a n d so f t h ev i d e o si n f o r m a t i o np r o c e s s i n g k e yw o r d s ：p s e u d o - z e r n i k em o m e n t s ；p r o c r u s t e s ；i n f o r m a t i o nf u s i o n ；l a t t i c ed e g r e eo f n e a r n e s s ；m u l t i t h r c a d i i i 独创性声明 秉承祖国优良道德传统和学校的严谨学风郑重申明：本人所呈交的学位论文是我 个人在导师指导下进行的研究工作及取得的成果。尽我所知，除特j 日k l j n 以标注和致谢 的地方外，论文中不包含其他人的研究成果。与我一同工作的同志对本文所研究的工 作和成果的任何贡献均已在论文中作了明确的说明并已致谢。 本论文及其相关资料若有不实之处，由本人承担一切相关责任 沦文作者签名：丕k 曼厶谚年j , e l 扫日 学位论文使用授权声明 本人 涨里在导师的指导下创作完成毕业论文。本人己通过论文的答辩， 并已经在西安理工大学申请博士硕士学位。本人作为学位论文著作权拥有者，同意 授权西安理工大学拥有学位论文的部分使用权，即：1 ) 已获学位的研究生按学校规定 提交印刷版和电子版学位论文，学校可以采用影印、缩印或其他复制手段保存研究生 上交的学位论文，可以将学位论文的全部或部分内容编入有关数据库进行检索；2 ) 为 教学和科研目的，学校可以将公开的学位论文或解密后的学位论文作为资料在图书馆、 资料室等场所或在校园网上供校内师生阅读、浏览。 本人学位论文全部或部分内容的公布( 包括刊登) 授权西安理工大学研究生部办 理。 ( 保密的学位论文在解密后，适用本授权说明) 论文作者签名：热磊导师签名：z o 年3r3be t 第一章绪论 1 绪论 1 1 研究背景及问题的提出 公安部提供的数据显示2 0 0 7 年全国发生道路交通事故3 2 7 2 0 9 起，造成8 1 6 4 9 人死亡、 3 8 0 4 4 2 人受伤，直接财产损失1 2 亿元，虽然和上年相比都有所减少，但是其损失的数目 还是相当巨大惊人的n 1 。湖南省公安厅提供的数据也显示2 0 0 7 年湖南省所有的事故中疲 劳驾驶、超速行驶、违法装载、违法上路、行人违法、违法变更车道、操作不当以及其他 影响交通安全的行为是引发交通事故的主要原因，其中因疲劳驾驶引发的交通事故1 0 4 起，占总数的2 2 0 3 ，成引发湖南省交通事故的罪魁祸首乜1 。 在美国的重型汽车事故中，5 7 的灾难性事故是与驾驶人疲劳有关，它已成为事故发 生的主要原因。英国交通研究实验室( t r a n s p o r tr e s e a r c hl a b o r a t o r y ) 认为：驾驶疲劳 导致的道路交通事故占全部交通事故的1 0 。法国国家事故报告表明，因疲劳驾驶而发生 车祸的占人身伤亡事故1 4 9 ，占死亡事故的2 0 6 。澳大利亚每年由于交通事故的花费 约为7 5 亿美元。其中，将近1 5 亿是直接由于驾驶人疲劳而导致的。 在对陕西省西铜、西渭、西宝三条高速公路1 9 9 4 至1 9 9 9 年间，11 6 8 起交通事故档 案资料的统计分析中发现：11 6 8 起交通事故中，致死性交通事故2 8 0 起；在导致单纯车 辆破坏的交通事故，致伤性交通事故和致死性交通事故各前5 位的原因中，疲劳驾驶都列 在其中，分别占到1 0 1 ，1 2 3 和1 3 2 口1 。 由此可见，研究出一套能够实时检测驾驶人疲劳并且给出报警的方法有着巨大的现实 意义和应用前景。 1 2 认知疲劳 1 2 1 疲劳的概念 疲劳是一种复杂的生理和心理现象，当人在持续一段时间的体力劳动或者脑力劳动之 后，由于劳动机能失调和衰退、身体功能与精神状态的下降而导致工作能力与工作效率的 降低，为避免机体过于衰竭，防止能量过度消耗而人体产生的一种保护性反应“1 。 从这个角度来看，疲劳可以分为生理疲劳和心理疲劳。 生理疲劳是由于个体在作业过程中生理系统发生变化，如产生的乳酸不能及时分解和 排泄等，所引起作业能力下降的一种现象；包括体力疲劳、脑力疲劳和眼疲劳。 心理疲劳，也叫精神疲劳，是指个体的心理系统发生变化，如作业不能激起兴趣、产 生厌倦情绪等而致使作业能力下降的一种现象。 西安理工大学硕士学位论文 据世界卫生组织调查，全球约有3 5 以上的人处于疲劳状态，尤其是中年男性人群疲 劳状态者高达6 0 - - 7 5 。 1 2 2 疲劳的外在表现 人体在疲劳以后，有很多的共同的特征，主要表现在以下几个方面瞄儿引： 1 ) 反应迟钝，对信息输入的选择能力降低，信息处理缓慢，信息输出混乱，动作缺乏 准确性甚至失误，工作能力、工作效率和注意力下降，身心疲惫，精神衰弱； 2 ) 说话简短，语速变慢，产生颠三倒四的现象，静默时问加长： 3 ) 视野变窄，视力转向中央区域，不断出现回忆，瞌睡次数增多，失去平衡和迷失 方向性； 4 ) 持续地打哈欠；眼睛疼痛，眼皮沉重，眼睑下垂，眼睛随意运动减少，长时间的 盯着某一点上，视线模糊： 5 ) 反应迟钝，意志减弱，注意力分散，对信息的反应时间变长； 6 ) 没有耐心，急躁，容易烦躁，并伴有厌烦等情绪。 而对于驾驶人来说，当驾驶人处于疲劳状态时，除了以上的情形之外，由于其特殊的 环境，驾驶人的生理组织水平、行为反应会发生变化，并且会导致汽车动态变化。 1 ) 由于记忆力减退，驾驶人对刚刚过去的驾驶情形，不能回忆起来； 2 ) 车辆超过中线的次数、车速、方向盘的操作等都会发生动态的变化。 1 2 3 驾驶人的疲劳及其主要原因 驾驶人疲劳的形成原因是很复杂的，但是从某种程度上来讲，主要有以下几点订3 ： 1 ) 长时间的工作：驾驶人常常需要做一些体力活，尤其是在开车前的装车或者卸车； 2 ) 驾驶时间过长：长时间的驾驶可以导致驾驶人的疲劳，从而引发相关的交通事故； 3 ) 服用药物或者饮酒：酒精可以降低驾驶人的警惕度，同时引起瞌睡。服用类似梅 太德林药物可能导致驾驶人突然或意想不到的疲劳； 4 ) 驾驶过程中没有进行必要的休息； 5 ) 夜间驾驶：尤其是在午夜到黎明( 2 ：0 0 6 ：o o ) 时间段； 6 ) 恶劣的驾驶条件：单调的乡间小路，拥挤的城市交通，大雨，大风，炎热的天气， 驾驶室空气的不流通都可能导致或加重驾驶人的疲劳； 7 ) 驾驶人的身体健康状况不佳或者是适应能力不强。 从驾驶人疲劳形成过程来看，首先是驾驶人受到外界的信息，然后将这些信息送到中 枢神经系统，由中枢神经系统对信号做出处理，并给出相应的输出信号。人的行动器官再 把该信号转化为动作，并且作用于周围的环境。如此反复，在持续了一定的时间之后，驾 2 第一章绪论 驶人就会感到无聊，身体功能与精神功能下降，最终导致驾驶人的疲劳。由此可见，在整 个驾驶过程之中，生理疲劳和心理疲劳都有产生，并最终形成了驾驶人的疲劳驾驶。图 1 - 1 为驾驶人疲劳的形成过程。 图1 - 1 驾驶人疲劳形成过程 f i g 1 - 1t h ep r o c e s so ft h ef o r m a t i o n o fd r i v e rf a t i g u e 1 2 4 疲劳测定的基本要求 疲劳的测定是一项复杂的工作，其结果应满足以下要求h 1 ： 1 ) 客观性：测定结果应有客观的表达，而不应依赖于研究的主观解释。 2 ) 定量性：测定结果应当可以定量化的表示疲劳的程度。 3 ) 诊断性：测定结果不仅要反映疲劳的水平和变化程度，更重要的是能说明造成这 种变化的原因。 4 ) 可靠性：测定结果应该有较好的重复性。 5 ) 方便性：测定方法简单，便于测定，不需要特定的设备。 6 ) 可接受性：测定结果应为对象所接受，以利于配合，提高测试的可信度。 1 2 5 疲劳驾驶 疲劳驾驶之所以成为日益严重的社会问题，很大程度上，是因为多数驾驶人对疲劳驾 驶危害缺乏足够的了解和重视，没有采取有效措施进行预防或缓解。驾驶人应多了解有关 驾驶疲劳的知识，必须保障每天有充足的睡眠时间，合理安排工作时间。另外掌握一些简 便易行的消除疲劳的方法，在一定程度上通过自身的心理调节和控制，对驾驶疲劳，特别 是心理疲劳加以缓解和克服碡1 。 但由于经济利益的驱使，一定会有驾驶人在疲劳的状态下冒险坚持行车。由于疲劳时 产生的心理反应迟钝使得有些驾驶人无法控制自己采取相应措施，所以仅依靠驾驶人的个 人行为来应对疲劳驾驶问题是远远不够的。同时，由与缺乏类似“血液酒精含量仪 的仪 器对疲劳驾驶进行检测，目前交管部门还无法认定驾驶人是否处在疲劳状态，对疲劳驾驶 这种违章的处罚和管理缺乏必要的手段和资料。 因此，关注疲劳驾驶问题，深入研究疲劳的生理表现，检测方法和量化模型，开发一 西安理工大学硕士学位论文 种车载、实时，能自动识别驾驶人疲劳状态的装置，不但能够有效地防止和监督驾驶人疲 劳驾驶，尽可能降低交通事故及人员死亡率，还可以为交通安全管理部门的管理和执法工 作提供依据和研究资料，加快道路交通安全建设。 1 3 疲劳的研究现状 对驾驶疲劳的实质性的研究工作最早是从2 0 世纪8 0 年代由美国国会批准交通部实施 驾驶服务时间( h o s ) 改革，研究商业机动车驾驶和交通安全的关系，并健全卡车和公共 汽车安全管理条例开始的。美国把疲劳驾驶的研究提到立法的高度，保证了开展驾驶疲劳 研究的合法性、有效性和持续性。 到目前为止，驾驶人疲劳的检测可以分为基于眼部状态和非眼部状态的两种方法。 1 3 1 基于眼部状态的疲劳检测方法 基于眼部状念的疲劳检测方法主要是通过以下各量的测量来判断疲劳状态。 1 ) 检测驾驶人视网膜大小的p e r c l o s 法。 2 ) 检测瞳孔直径变化和眨眼频率( a e c s ) 法。 3 ) 检测注意力的方向 目前的研究状况如下： 检测驾驶人视网膜大小的p e r c l o s 法( p e r c e n t a g eo fe y e li dc l o s u r eo v e rt h e p u p i lo v e rt i m e ) 。p e r c l o s 是指眼睛闭合时间占某一特定时间的百分率。通过 安装在驾驶人前方仪表板上的摄像头，获得驾驶人眨眼频率与眼部闭上时间的数 据，作为判断驾驶人警觉程度的依据。在实际运用过程中p e r c l o s 的p 8 0 标准( 眼睛 闭合程度超过8 0 的时间占某一特定时间的百分比) 表现出与驾驶疲劳程度较好的 相关性1 。 美国华盛顿大学的j o h ns t e r n 博士及其领导的由美国联邦公路管理局和汽车联合 会资助的研究所，通过自行开发的专用照相机、脑电图仪和其他仪器来精确测量 头部运动、瞳孔直径变化和眨眼频率，用以研究驾驶行为等问题。研究结果表明： 一般情况下人们眼睛闭合的时间( a e c s ) 在0 1 2 - - - , 0 1 3 s 之间，驾驶时若眼睛闭合 时间达到0 1 5 s ，就很容易发生交通事故。q i a n gj ia n dx i a o j i ey a n g 也得到了 类似的结论n 们n 。 另外有研究人员，根据人眼在红外光照射下会产生亮瞳效应的生理现象，有用红 外摄像机，或外加辅助的红外光源直接获取亮瞳图像，进行眼睛的检测追踪。或 利用视网膜在不同光源下对红外线反射率的不同，将两个c c d 摄像头获得的图像相 减，只留下了视网膜反射的部分n 2 。1 钔。 第一章绪论 奥地利国立格拉茨神经学临床医院的专家，根据人疲劳时的瞳孔直径变化特点， 开发出了一种红外线振动记录仪，这种仪器能够准确记录驾驶人瞳孔直径的变化 频率，供检测者判断驾驶人的疲劳程度及其驾车的危险性。他们研究指出，如果 长时间疲劳驾驶，或饮酒引起血液中酒精含量升高，人的瞳孔直径因光线变化而 变化的程度就会加剧。据测试，在普通环境下，精神振奋者的瞳孔直径变化频率 平均为每分钟5 至1 0 次，长时间未睡眠休息者的瞳孔直径变化频率平均为每分钟1 5 次。h o n gl i u ，y u w e nw u ，h o n g b i nz h a 也利用这方面的技术，试验也得到了比 较理想的结论5 i 。 q i a n gj i ，z h i w e iz h u ，p e i l i nl a n 等人根据眼睑的运动、注意力的方向，头部 的运动以及人脸表情等运用p e r c l o s 值对眼睑的状态进行判断，最终利用基于b n 模型的疲劳模型进行疲劳的判断n 引。 t h em u l t i c a m e r as y s t e ms m a r te y ep r o 现在可以在很多工业装置上见到。它主 要是依据脸的姿态、眼睛的注意力方向和眼睑的闭合情况来进行瞌睡的检测。通 过检测脸部特征，然后将它们映射成3 d 头部模型。在程序使用的时候需要对系统 进行初始化。摄像头可以做1 5 0 以内的旋转。使用的程序是嵌入在d s p 内的n 引。 d s s r 是一个高鲁棒，自动的驾驶人疲劳和分心检测装置。它主要是检测驾驶人的 头部姿势和眼险的运动从而判定驾驶人的疲劳与否。首先检测驾驶人的脸，然后 自动生成一个包含人脸特征的模板，这个过程在一秒钟内完成；一旦人脸模板建 成，系统就开始进行头部姿势的实时3 d 跟踪；检测并跟踪驾驶人的眼睑状态n 引。 1 3 2 基于非眼部状态的疲劳检测方法 基于非眼部状态的疲劳检测方法可以分为三类：一是通过测量脑电图、眼电图、肌电 图、呼吸气流( 用鼻声传感器测量) 、呼吸效果( 用胸腔部传感器测量) 、动脉血液氧饱和( 用 手指探针测量) 时的体温( 用红外线耳朵探针获取) 、心电图( 开车或睡眠时) 、身体表征( 如 嘴部、眼部状态) 等生理特征，然后依据客观的准则利用人疲劳时的生理特征与疲劳的关 系，检测测试者的疲劳状态。二是主要依据主观调查表、驾驶人自我记录表、睡眠习惯调 查表和斯坦福睡眠尺度表等来测评驾驶人的疲劳程度。三是通过检测路况或驾驶人的其他 特征( 如驾驶人的反应时间、人脸表情、声音等特征) ，然后依据相应的准则对驾驶人的 疲劳程度做出评价。 尽管第一类方法中的一些方法测量结果比较准确，但一般是在驾驶前后测量，其结果 不是超前就是滞后；同时在驾驶室内安装上述仪器也是不现实的。目前研究现状如下所述： 人脑皮层神经细胞放电可以被记录下来，在头皮表面用电极记录下的大脑神经细 胞电活动称为e e g 。e e g 的波形是多变的，根据频率人为的分为几种：0 5 3 h z 称为6 波；4 7 h z 为。波；8 1 3 h z 为q 波；1 4 3 0 h z 为b 波。一般来说频 西安理工大学硕士学位论文 率慢的e e g 幅度较大，频率快的幅度则较小。e e g 波形与皮层功能状态有关，如 人在清醒、安静并闭眼时出现q 波，睁开眼后，q 波中断而出现快波。通过传 感器检测反映出大脑状态的脑电波，从高度警惕、大脑完全清醒到不同程度的睡 眠状态的整个过程都可以检测出来n 9 l 。 在肌肉表面固定好表面电极，肌电信号经表面电极传至肌电图记录仪，可以看出， 肌电图的频率随着疲劳的产生和疲劳程度的加深呈现下降趋势，而肌电图的幅值 增大则表明疲劳程度增大。北京医科大学王生教授在肌肉疲劳过程肌电变化实验 观察中对2 0 名受试者在实验室取坐姿，手持不同负荷，记录和分析肌肉疲劳过程 肌电变化情况，结果表明随着负荷增加，肌电的积分值( i e m g ) 增加，随着时间 延长，i e m g 的值先升高，然后下降，实验结束时i e m g 降至最低值，受试者感觉 疲劳程度逐渐地增加，分析认为i e m g 值低于初始值时出现疲劳，疲劳时肌电功率 谱左移2 引。 日本东京大学近期研制出的疲劳测试器，可戴在驾驶人的手腕上。该测试器内部 装有一小型氧气电池电极，能测量驾驶人汗液中的乳酸、氨和酒精含量，然后通 过小型无线电发射器把数据传送到研究中心。研究中心通过电脑分析，判定驾驶 人的疲劳程度，及时向驾驶人发出警告，避免交通事故的发生。 2 0 0 1 年日本富山大学和企业合作开发成功通过检查唾液判定疲劳程度的仪器，这 种仪器应用了如下原理：人在感到疲劳时，血液中的特殊激素糖皮质激素的数量 就会增加，因此唾液里会分泌出阿尔法淀粉酶。新的仪器通过测量这种酶的数量 来确定疲劳程度，所用时间仅需1 0 分钟，疲劳程度能够用数值表示出来。 第二类方法目前主要包括皮尔逊疲劳量表( 皮尔逊疲劳量表是最有代表性的主观调 查，分为1 3 级) 和驾驶人自我记录表对驾驶任务、驾驶习惯和驾驶时间等进行自我测评。 该方法目前的大致研究状况如下： 反应时间测试仪p v t ( t h ep s y c h o m o t o rt ov i g i l a n c et e s t ) 。根据驾驶人对仪 器屏上随机出现的光点的反映( 光点出现时敲击键盘) 速度测试驾驶人的反应时 间，用以判断其疲劳程度u 3 1 。 日本电子航法研究所发明的一种通过声音发现驾驶人疲劳的系统，它可以在感觉 到疲劳2 0 分钟之前发现，提醒驾驶人休息。因为人在疲劳时，声音的频率变化会 出现某种紊乱，对紊乱的声音数据进行处理就可以得出疲劳数据。通过分析声音 数据发现，人在朗读时，时间越长，声音紊乱数值就越高，而人们在感到疲劳1 0 一2 0 分车c - f i l l ，表示疲劳的数值就已大幅上升；当疲劳数值超过3 0 时，人就会表现为 疲劳；而休息片刻后，数值就下降到正常的水平瞳。 王荣本等根据行车道检测以及周围的环境状况检测等，及时地对驾驶人的疲劳进 行检测，从而起到安全辅助的作用倒。 6 第一章绪论 1 4 现有研究存在的问题 直接测量脑波，心率，脉搏等生理状况的方法，准确性虽然是最高的，但狭小的驾驶 室无法安装相关测量仪器，因此不能在驾驶中实时测量；而且测量时都要求与人体直接连 接( 例如要贴上电极) ，这样会影响驾驶且需要驾驶人的耐心配合，所以在实际应用中并 不可行。 驾驶人自我记录表对驾驶任务、驾驶习惯和驾驶时间等进行自我测评，这些因素因人 而异，因此不能作为测评驾驶疲劳的标准尺度。睡眠习惯调查表主要用来检查驾驶人是否 有失眠的情况，对疲劳程度和情绪进行自我评价。以上这些主观方面的调查表使用方法简 单，但很难量化疲劳的等级和程度，同时又因各人的理解有明显差异，其结果往往不能令 人满意【2 3 1 。 检测头部，眼部状态和活动的方法不会给驾驶人的驾驶操作、视觉和心理状态造成妨 碍、干扰和负担，能够方便地对机动车驾驶人的驾驶疲劳程度进行实时的、非接触式的检 测和评价，具有良好的应用前景，是研究的主要方向。但目前一些相关研究还有诸多局限， 例如所用检测装置比较复杂，算法实时性较差，尚不能准确、全面反映驾驶人所处环境和 驾驶状态等，需要进一步的实验研究来改进。 7 第二章系统设计 2 系统设计 2 1 本文的研究内容 本文研究的核心是：利用计算机视觉和图像处理技术，对视频流中人眼的轮廓进行检 测并提取出轮廓信息，运用信息融合技术对驾驶人的眼睛状态做出判断；而后基于国内外 对疲劳驾驶的生理研究成果，结合通过实验分析得出的疲劳参数，建立疲劳判断的有效模 型，通过非接触式方式进行实时准确的驾驶人疲劳状态判断。 相比现有的研究，本文的工作主要有以下几个方面： 1 、几何轮廓特征在众多的领域有着重要的应用，如生物学上昆虫之间的比较、图像 智能识别方面的步态识别等，但是目前在人眼状态判断方面却没有得到充分的应用，本文 对人眼的轮廓信息( 包括内轮廓、外轮廓) 进行了提取，得到伪z e r n i k e 矩特征、小波描 述子特征和p r o c r u s t e s 形状特征，然后采用信息融合技术对驾驶人的眼睛状态做出判断。 2 、通过对疲劳视频和现有疲劳指标的研究，本文采用信息融合技术将多种疲劳指标 ( 包括现有的和本文提出的) 相互融合，最终对驾驶人的疲劳状态做出判断。 3 、在人眼图像的处理过程中，采用二次二值化( 迭代极小误差平方和二值化) 得到 人眼的二值图，为下一步的人眼特征提取提供了必不可缺少的前提。 4 、从研究的角度出发设计并尝试建立一套驾驶人疲劳视频库，其中包括多个驾驶人 的真实驾驶视频和模拟驾驶视频、正常状态和瞌睡状态，以及实验室环境下模拟驾驶时驾 驶人的疲劳瞌睡过程。 2 2 系统设计 系统的设计主要包括系统流程的设计、软件环境和硬件环境三个部分。 2 2 1 系统流程图 根据研究的需要，本文的系统从大的方面应该包括两个部分，即图像处理模块和视频 处理模块。各自对应的系统流程如图2 - 1 ，2 - 2 所示。 9 西安理工大学硕士学位论文 图2 - 1 图像处理模块流程图 f i g 2 - 1t h ef l o wc h a r to fi m a g ep r o c e s sm o d u l e 2 2 2 硬件环境 图2 2 视频处理模块流程图 f i g 2 2t h ef l o wc h a r to f v i d e op r o c e s sm o d u l e 开发环境叫e l e r o n ( r ) c p u1 7 0 g h z ，2 5 6 m b 内存的p c 机，硬盘1 6 0 g ； 测试环境i n t e l ( r ) p e n t i u m ( r ) d u a le 2 1 6 01 8 0 g h z1 8 g h z ，1 g 内存，1 6 0 g 硬盘的p c 机； 实验环境格威尔f t 3 9 9 1 型号模拟方向盘、脚踏板、手刹、换档杆、极品飞 车游戏； 采集设备极速( t o p s p e e d ) i v 型摄像头( 该摄像头详细参数见表2 - 1 ) 。 表2 - 1 极速型摄像头参数 t a b l e2 - 1p a r a m e t e r so f t o ps p e e dc a n l e r a 感光元件类型c m o s 分辨率 8 0 0 x 6 0 0 ，6 4 0 x 4 8 0 ，3 2 0 x 2 4 0 ，1 6 0 x 1 2 0 信噪比 4 5 d b 最小照明度 1 0 l u x 调焦范围6 m m 无穷远 输出接口 u s b 接口 2 2 3 软件环境 l o w i n d o w sx p 操作系统 m i c r o s o f tv is u a lc + + 6 0 m i c r o s o f td i r e c t x9 0s d k mic r o s o f ts p e e c hs d k5 1 m ic r o s o f to f f ic ea c c e s s 2 0 0 3 m a t l a b7 0 ( 用于p r o c r u s t e s 特征的计算) 第三章人眼状态的判断 3 人眼状态的判断 本章从图像特征提取的角度出发，对现有的人眼状态判断方法进行了归纳和总结，并 在此基础上提出了本文的人眼状态判断方法，并通过实验对本文的人眼状态判断方法进行 了验证和分析。 3 1 图像特征提取的分析 通过对图像学进行分析总结可以发现，研究目标在图像中的特征从大的角度上讲可以 作如下分类： 目标图像的幅度特征 a ) 灰度值 b ) 色彩的特征 目标图像的几何特征 a ) 纹理特征 常用的分析方法有：灰度共生矩阵法、自相关函数法、傅立叶频谱分析法。 b ) 形状特征乜钔 i 区域内部形状特征 空间域：拓扑描绘子、凹凸性、面积、周长、圆形度。 变换域：区域的各级统计矩、投影、截口等。 ii 区域外部形状特征 区域边界、骨架的空间域分析：方向链码描述、结构分析法。 区域外型的变换域分析：傅立叶描述算子、h o u g h 变换、边界的多项 式逼近。 目标图像的统计特征 直方图特性、均值、方差、像素相关性。 模式识别的相关方法 神经网络、支持向量机( s v m ) 、隐马尔可夫模型( h m m ) 、f i s h e r 等。 其中，通过图像分割获得的目标区域的像素集合称为区域内部；通过图像分割获得的 组成目标区域边界的像素集合称为区域外部。 3 2 人眼状态研究现状 从图像处理的角度看，人眼特征提取与状态判断相应也可分为4 类：基于人眼区域的 西安理工大学硕士学位论文 幅度特征、基于人眼区域的几何特征的方法、基于模式识别、基于信息融合的方法。 基于人眼区域的幅度特征的方法 目前主要有l i u h ，w u y w ，z h a h b 乜钉采用颜色的饱和度等信息进行眼睛状态的判断， m i c h a e lc h a ua n dm a r g r i tb e t k e 船印采用灰度模板匹配的方法进行人眼状态的判断。 在特定条件下，以上2 种方法都可以得到较好的判断结果。然而颜色信息的使用具有 一定的局限性，灰度模板的匹配对图像旋转有一定的敏感性。 基于人眼区域几何特征的方法 c h o w 等首先使用h o u g h 变换及变形模板方法进行人眼状态判断盟力。 但是由于不同的人眼区别很大，有些人眼的瞳孔绝大部分被眼睑遮住，余下的未必是 圆的一部分，有些人的眼睑呈三角状，而且人脸的偏转会造成人眼的倾斜、变形，利用 h o u g h 圆检测等方法有时候会遇到困难。 基于模式识别的方法 主要包括基于支持向量机乜引、f i s h e r 位9 1 、a d a b o o s t 算法啪1 、神经网络等进行人眼状 态判断。 基于信息融合的方法 将以上若干方法相互融合，最终得到人眼的状态。例如在c h o w 的基础上，针对进一 步如何判断眼睛睁闭的状态，t i a n 等提出了3 种方法：第一，用几何特征信息和神经网 络方法检测a u 5 ，a u 6 ，a u 7 三种眼睛状态口；第二，用g a b o r 小波和神经网络方法检测 a u 4 1 ，a u 4 2 ，a u 4 3 三种眼睛状态聆副；第三，用c a n n y 边缘和半虹膜掩膜的方法检测开、 闭两种状态3 1 。而余丹炯阳4 | ，曹菊英口引等则结合灰度投影和霍夫变换进行眼部状态判断， 李英等就提出了眼睛状态检测的组合组合方法口引，并且都得到了较好的结果。 单一的检测判断方法存在着一定的局限性，因此通过信息融合技术，将各种信息融合 成一最佳估计，从而提高眼睛状态判断的正确性，可靠性，具有着重要的工程意义和研究 意义。 3 3 本文人眼状态方法的提出 通过对大量人眼样本的仔细观察、分析可知：眼睛的状态是由瞳孔，内外眼角，上下 眼睑等特征共同决定的，因此在人眼状态特征提取时，应将这些特征都包含在内。考虑到 驾驶入在行驶中面部会发生偏转、倾斜、到摄像头距离变化，以及这些因素会对人眼状态 的判断造成很大的影响，而伪z e r n i k e 矩在描述各种模式的形状时具有良好的旋转不变 性、尺度不变性、对较小形状改变和噪声具有较强的鲁棒性、能够描述运动物体等特点， 可以解决驾驶人人眼状态判断中遇到的上述问题；同时小波变换是一种信号的时间尺 度分析方法，它具有多分辨率分析的特点，而且在时频两域都具有表征信号局部特征的能 力。因此本文结合人眼内部形状的空问域特征、人眼内部形状的变换域特征( 伪z e r n i k e 1 2 第三章人眼状态的判断 矩特征，小波描述子特征、p r o c r u s t e s 形状特祉) 、模板匹配技术，采用基于格贴近度的 分类器和信息融合技术对人眼状奋进行判断，得到了较好的结果。同时该方法速度快，可 以满足视频信息处理的实时性要求。 34 图像预处理 34 1 本文的预处理方案 本文所处理的图像( 6 4 0 * 4 8 0 ) 均来源于驾驶人的视频，车载驾驶人疲劳检测时采用的 摄像头如表2 - 1 ，距离目标7 0 1 l o o c m 进行视频获取( 如图3 - 1 所示) 。 酗3 1 驾驶 视频图像 f i g3 - 1 3 3 1 e e p i c t u r e s o b t a i n e d b y u s b l e n s 本文的工作重点在于人眼状态的判断和驾驶人疲劳的判断，而不是人眼的检测，所以 本文进行算法研究的前提是人眼定位准确( 可以采用辅助手段实现) 。 由于摄像头所采集的图像含有大量的随机噪声和冲击噪声，同时受时间、环境的影响 驾驶室内的光照变化较大，所以对图像的预处理提出了较高的要求。本文采用组合的人眼 预处理方法对图像进行处理，得到了较好的效果。预处理的步骤如下： a 为降低图像中随机噪声和冲击性噪声的影响，本文选用高斯平滑模扳进行去噪。 b 采用s o b e l 算子检测人眼的边缘轮廓。 c 因为在边缘检测之后的梯度图像中，像素的梯度值都较小并且分布范围很窄，不 直采用直方图法二值化，在本文中采用的是二次二值化迭代极小误差平方和 二值化。( 通过b 、c 可以减弱光照变化对图像造成的影响) d 在二值化处理之后，进行连通性分析剔除小面积区域，得到符台人眼几何特征 的区域，即为人眼区域。 e 结合图形学相关知识，运用行扫描与列扫描相结合的方法得到人眼的轮廓。 图32 为采用组合的预处理方法得到的效果图。 圃蕊 ( a ) 原图 ( b ) 二值幽( c ) 轮廓阐 j 呈| 3 2 预处理效果图 f i g3 - 2 e f f e c t p i c t u mo f t h ep r e c o n d i t i o n i n g 西安理工大学硕士学住论文 3 42 灰度化 因为人眼对颜色的敏感度不同，所以相对于不同的颜色，其权值各不相同。本文采用 常见的b g r 加权方法来实现图像的灰度化，其计算如公式3l 所示： y = ( b * 9 8 + g * 5 0 4 + r * 2 5 7 ) 1 0 0 0 + 1 6( 3 1 ) 343 高斯去噪 与使用平均模板相比，选用高斯模板，是因为其核中心数值为4 ，有利于突出中心像 素，提高图像的对比度，同时高斯滤波函数符合人的视觉特性，有利于后续的s o b e l 边缘 检测。 应j j 高斯平滑操作后，基本上去除了图像的大部分随机噪声和冲击性噪声，并且图像 得到了平滑。效果如图3 - 3 所示： 3 4 4 边缘检测 高斯去噤前 高斯去噪斤： 图33 高斯占噪效聚幽 f q3 - 3 e f f e c t p i c t u r eo f g a u s s d e n o s i n g 常用的边缘检测算子有：r o b e r t 算子，s o b e 算子p r e w il l 算子，k r i s c h 算 子，i , a p l a c i a n 算子g a u s s l a p l a c i a n 算子等。 s o b e l 算于是最常用的算子之一( 它是一种一阶微分算子) ，它在提取出的边缘的同时 也可提取出罔像边缘的方向信息来，在不考虑噪声的情况下，它取得的边缘信息误差不超 过7 度。 l a p l a c i a n 算子是2 阶微分算子，也就是说，相当于求取2 次微分，它的精度还算比 较高，但对噪声过于敏感( 有噪声的情况下效果很差) 是它的重大缺点。 通过试验信息，发现s o b e l 对于人眼的轮廓边缘检测效果较好，而且s o b e l 算子也可 提取出国像边缘的方向信息，凼而选用s o b e l 算子。 s o b e l 算予的模板为： 第三章人眼状态的判断 。，= 睢卅 q 2 0 2 0 11 z ， q = 卜 ( 3 2 ) l l s = ( 珥+ d d 2 1 一凋l 庐团圆 圄网园庸 l j n a c i a n # g 一l a 口l a c 日n # f 图3 4 边缘检测及晶优二值化效果图 f i g3 4 e f f e c t p i c r a r e s o f e y e i m a g ee d g ed e t e c t i o n a 耐o p t i m a l b i n a r l z a t i o np r o c e s s i n g 3 45 迭代极小误差平方和二值化 因为在边缘检测之后的梯度图像中，像素的梯度值都较小并且分布范围很窄，不宜采 用直方图法_ 二值化。而通过试验可以发现，迭代法二值化后的目标图像比原目标稍大，因 此在本文中采用的是迭代法二值化进行人眼轮廓的初定位。结合模式识别技术，采用极小 误差平方和分类的思想对像素灰度进行分类，寻找扶度的分界点作为阈值，在初定位的范 围内对图像进行埕终的_ ：= 值化。 迭代法基于逼近的思想，其操作步骤如下： 1 ) 求出图像的最大灰度值和最小灰度值 t o ：( z m a x + z m i n ) 2 ； 2 ) 根据闽值t k 将图像分割为前景和背景， 3 ) 求出新阐值t k + l = ( z 0 + z b ) 2 ： 分别记为z m x 和z m i n ，令初始闺值 分别求出两者的平均灰度值z o 和z b 4 ) 若t k = t k + l ，则所得即为闽值；否则转2 ，迭代计算。 极小误差平方和二值化的思想源于模式识别的集群方法。在模式识别中，集群( 类) 就是要在一组数据中找出自然形成的数据群。对于自然的数据群，一群中样本彼此之间应 比与其他群的样本之间更加相似一些。集群中的选代最优化方法是一种将样本 置( = x ，j 。j ，维) 分为c ( c 。，c ：，c 。) ) 类的方法。它的基本思想就使先找一个合 理的初始分类分划，然后试探性的将样本从一个群搬到另一个群。只要某次搬动能使误差 西安理工大学硕士学位论文 平方和准则函数的值有所改进的话，就认