基于实时视频监测的汽车安全驾驶智能化集成化辅助系统

1、课题类型：  探索导向类申请受理编号：  SQ2007AA11Z127227国家高技术研究发展计划（863计划）专题课题申请书 技术领域名称：现代交通技术领域专题名称：综合交通运输系统与安全技术申请指南技术方向：交通安全新技术课题名称：基于实时视频监测的汽车安全驾驶智能化集成化辅助系统申 请 人：杨泽红依托单位：清华大学基于实时视频监测的汽车安全驾驶智能化集成化辅助系统 清华大学计算机系 （杨泽红） 对该课题申请所涉及主要研究内容的熟悉程度： 很熟悉 比较熟悉 一般 评议内容评分 一、研究目标和内容的重要性与必要性（10分）所涉及到的

2、关键技术或产品是否重要？研究内容是否符合国家重大技术需求？主要研究内容是否符合本专题指南的技术方向？ 二、研究内容的创新性与前沿性（40分）研究内容是否具有突出的原始性创新内容？研究内容是否体现了新的原理、方法的创新内容？研究内容是否具有突出的集成创新内容？研究内容是否体现了集成应用或集成产品的创新内容？研究内容是否处于国际或国内技术发展前沿？研究内容如果成功能否在国际或国内产生较大影响？研究内容是否在国内已有相同或接近的成果？研究内容是否有望获得发明专利等知识产权？ 三、技术实力与研究基础（20分）课题申请负责人是否能够胜任课题组长？课题组人员构成和时间投入是否合理？课题组现有研究基础是否处

3、于国内领先行列？课题依托单位（及协作单位）的支撑条件是否较强？ 四、研究目标和研究方案的可行性（20分）预期研究目标是否明确、集中？技术经济指标是否具体、适度？对国内外技术发展趋势是否把握？主要技术的知识产权分析和对策是否恰当？技术路线和研究方法是否合理、可行？依托单位和协作单位的分工合作是否合理？ 五、预期成果及前景（10分）课题预期成果是否可取得一定的经济社会效益？课题预期成果是否具有较大的市场（潜在的市场）前景？课题成果是否能对相关技术发展起到带动作用？课题研究是否可实现预期的人才、队伍培养目标？ 综合评议得分 综合评价结论    

4、60;  根据分项评议意见，对该课题申请进行综合评价，给出总体结论性意见。 评价结论意见： 同意立项（A） 不同意立项（C） 总体评议意见：（对该课题申请给出综合评价意见，阐述同意立项或不同意立项的理由，说明需要说明的有关问题。本部分内容为必填内容，文字不超过300字。） 窗体底端课题名称基于实时视频监测的汽车安全驾驶智能化集成化辅助系统  行业领域交通运输 预计完成年限3 课题密级公开级 预期成果类型新装置、计算机软件、论文论著 申请(负责)人信息姓名杨泽红   性别男 出生日期1968-11-2  职

5、称高级职称   最高学位硕士  从事专业信息与电子科学类  所在单位清华大学计算机系   依托单位信息单位名称清华大学 单位性质大专院校 所在地区北京市   单位主管部门教育部  组织机构代码400000624  单位成立时间1911-4-29  协作单位信息单位名称单位性质组织机构代码课题经费来源预算(万元)总经费100  申请863计划资助100  其他国家级资助(包括部门匹配)0   地方政府匹配0   银行贷款0   自有资金0   其它资金0&#

6、160; 经费备注序号姓名性别出生日期职称职务专业为本课题工作时间(人月)课题组中职务(组长、副组长或成员)在课题中分担的任务所在单位1包德沛男 1981年11月 其他人员 无 信息与电子科学类 24 成员 视频检测技术和特征抽取 清华大学  2于扬男 1982年7月 其他人员 无 信息与电子科学类 24 成员 通信技术和远程传输方案 清华大学  3温庆华男 1984年12月 其他人员 无 信息与电子科学类

7、 36 成员 路况检测和视频压缩存储设计 清华大学  4丁力男 1982年6月 其他人员 无 信息与电子科学类 24 成员 面部视频处理和特征抽取 清华大学  5谈黎男 1973年5月 其他人员 无 信息与电子科学类 24 成员 嵌入式技术和平台系统 清华大学  6杨泽红男 1968年11月 高级职称 无 信息与电子科学类 24 组长&#

8、160;总体方案、规划并组织实施 清华大学  7林晓玮女 1983年8月 其他人员 无 信息与电子科学类 36 成员 系统框架设计和远程服务器方案实现 清华大学  8叶榛女 1945年11月 高级职称 无 信息与电子科学类 24 副组长 负责人脸状态检测及安全模型 清华大学  9丁冬花女 1946年11月 高级职称 无 信息与电子科学类 24 副组长 负责路

9、况检测技术及路况模型 清华大学  课题参加总人数 9 人。 其中：高级职称 3 人， 中级职称 0 人， 初级职称 0 人， 无职称 6 人； 其中具有：博士学位 0 人， 硕士学位 3 人， 学士学位 6 人， 其他 0 人； 合计：投入 240 人月2.1 课题组长、副组长资历情况（从事过的主要研究任务及所负责任和作用，主要研究成果、发明专利和获奖情况，在国内外主要刊物上发

10、表论文情况，完成其他科技计划课题情况，特别是近五年取得的与本申请课题相关的研究成果情况，字数要求1000字以内）课题组长杨泽红，男，副教授。1991年和1995年分别获清华大学计算机系计算机应用专业学士学位和硕士学位。在计算机应用和人工智能领域从事工作十几年，主要研究内容集中在模式识别及应用、虚拟现实技术与系统、智能控制技术与系统、机器人视觉技术、多媒体应用系统、嵌入式系统等方面。先后负责或参与了7项863项目，2项95攻关和十余项其它合作项目，负责2项863项目。发表论文60余篇，获得发明专利3项。获教育部和北京市科技进步奖各1项，清华大学校级奖2项。近五年完成的与本申请课题相关的研究成果如

11、下：（）负责十五863项目“开放式结构的模块化、标准化、网络化通用控制器研究”，已经顺利完成并验收。相关内容包括嵌入式技术、系统集成技术和框架研究。（）作为主要骨干参与研究的863项目“虚拟现实实验系统”获北京市科技进步三等奖。（）作为主要骨干参与研究的攻关项目“基于DSP控制器整机开发”获教育部科技进步二等奖。（）作为负责人，先后组织了“高速路车牌识别系统”、“NX-EH301型彩色摄像机控制系统”、“DVR基础平台系统”、“多媒体视频压缩标准和算法分析研究”、“清华中型组足球机器人系统”、“汽车驾驶员视线检测方法研究”等与本课题相关的研究，并取得了相应的成果，是本课题研究的重要基础。 副组

12、长叶榛，女，1970年毕业于清华大学，现为清华大学计算机系教授。曾从事控制理论的教学及计算机辅助设计，机器人仿真的研究工作，作为骨干参加过相关科研项目五项及两项计算机控制工程。近年来从事临场感及虚拟现实的研究工作，负责过863项目"基于视觉临场感的机器人遥操作关键技术研究"，虚拟现实应用项目"基于虚拟现实的轮机模拟器"，"基于宽带虚拟现实技术的智能小区信息系统"及航天863项目一项，发表有关论文20余篇。 副组长丁冬花，女，1970年毕业于清华大学，现为清华大学计算机系副教授。曾从事控制系统CAD、计算机控制课程设计的教学及 机器人仿

13、真的研究工作。作为骨干参加农药杀虫双生产两项计算机控制工程。目前主要研究领域为智能移动机器人THMR、人机交互、导航算法、局域最佳控制、面向工程的计算机控制系统等。 2.2 课题组长、副组长目前承担863计划和其它国家科技计划课题情况（包括人员姓名、承担课题名称、课题经费数、课题起止时间、所属科技计划名称等信息）姓名承担课题名称课题经费数(万元)课题开始时间课题结束时间所属科技计划其他说明事项：所承担的十五期间的863项目和国家科技计划项目都已经完成，并通过验收。目前没有承担国家科技项目。 2.3 课题组长及课题组主要成员是否曾就相同或类似课题863计划和国家其他科技计划提出申请（如有，请说明

14、申请人姓名、申请科技计划名称、申请课题名称、申请时间、申请结果等情况，并说明与本课题申请的关系）3.1、课题简介（简要说明课题的目的意义、主要研究内容、预期目标等，字数要求1000字以内）课题目的和意义：随着中国向汽车社会快速迈进的步伐，汽车技术特别是汽车安全技术受到越来越受多的重视。除了传统汽车行业中对汽车安全起决定作用的机电控制、汽车电子、机械零件、发动机等关键技术之外，各种辅助性技术也成为汽车安全驾驶的一个有效补充。基于IT技术的汽车安全驾驶辅助系统就是一个研究热点。利用IT行业的研究成果，为汽车安全驾驶提供辅助性的支持，从而增强汽车在安全方面的人性化特征，达到辅助驾驶安全的目的。所以，

15、基于实时视频的汽车安全驾驶智能化集成化辅助系统对汽车行业发展和社会进步具有实际意义。 本课题研究的主要内容包括三个方面：第一，研究基于实时视频技术的驾驶员脸部特征模型，探索反映驾驶员安全驾驶的状态特征，并开发基于脸部状态检测的驾驶员安全驾驶辅助提醒子系统；第二，研究基于实时视频技术的路况检测模型和视频备份技术，探索影响驾驶安全的路况模型因子以及短时视频存储方案，并开发基于实时路况检测的安全驾驶辅助提醒及路况视频备份子系统；第三，研究基于无线通信技术的实时图像（或视频）传输方案，探索适合车载系统的实时视频发送和接收技术、存储和管理技术、转发技术，并开发基于智能 的汽车安全实时图像（或视频）监测子

16、系统。简言之，本课题研究的主要内容是：基于实时视频的集成了驾驶员的驾驶状态监测、路况监测及 无线监测三个主要功能子系统的为汽车安全驾驶服务的智能化辅助系统。 课题预期目标是：研究并开发出集成驾驶员驾驶状态监测、路况监测及短时备份、基于智能 的无线远程实时监测等三大功能为一体的汽车安全驾驶辅助系统。该系统以集成化的方式对汽车安全驾驶的三个方面问题提供辅助性解决方案，可以理解为汽车安全辅助的“黑匣子”。具体包括：第一，通过监测驾驶员在驾驶过程中的头部状态特征（如眼、嘴、头等），对不合理的或具有安全隐患的驾驶员状态给出友好提醒，以达到安全驾驶目的；第二，通过监测汽车行驶的路况状态，对一些具有安全隐患

17、的环境状态或危险道路给出友好提示，达到不同路况的安全驾驶目的，同时对实时路况的短时备份保存，可以在发生交通事故时得到现场状况的实时记录，也可作为交警处理事故的依据之一；第三，基于智能 的无线远程监测功能，可以让车主在任何有 信号的地方接收到汽车的监测图像，以检测汽车停放安全，即使汽车被盗，也可以通过 获取盗窃者正在驾驶时的图像信息和行驶路况信息，辅助案件的侦破，从而起到加强汽车停放安全的目的。  课题主要研究技术的国内外发展现状与趋势，课题主要研究技术国内外专利授权情况文献搜寻和检索发现，包含本课题提出的面向汽车安全驾驶的具有以上三个主要功能的集成化研究和应用开发尚未出现。但是，针对

18、其中每个方面的独立研究已经非常普遍，并形成了很多局部技术热点。下面分别介绍这些主要的局部技术的国内外发展现状与趋势，以及专利申请情况。课题主要研究技术的国内外发展现状与趋势（一）驾驶员的驾驶状态监测方面的发展现状与趋势驾驶员的安全驾驶属于汽车的主动安全范畴，是汽车安全的一个重要方面。关于驾驶员主动安全性的研究由来已久，并成为一个长期的研究热点。从国内外发展现状来看，驾驶员主动安全性研究主要包括以下几个方面：第一，驾驶员主动安全性因素及评价模型研究；第二，驾驶员主动安全性模型及完整性研究；第三，驾驶员的疲劳状态检测及其对主动安全影响的研究。其中，第一和第二方面非常复杂，涉及到汽车物理模型、驾驶员

19、的驾驶模型、驾驶心理模型、驾驶员的生理反应、生物物理量的个体差异等，目前主要进行方法和模型的基础研究。如：有些学者把驾驶员主动安全性辨识分成熟练程度和疲劳程度两个独立的部分进行评价，利用模糊神经网络对驾驶员主动安全性因素进行了定量分析。有些研究者从生物学的角度，基于人体主观心里感受和客观生物物理测量，对驾驶员的驾驶舒适度进行了系统研究，为驾驶员主动安全性研究提供了一个重要评价指标。另外还有人从智能控制的角度，以驾驶安全为目的，为驾驶员的驾驶过程进行建模分析，提出了人车结合的智能化交互控制系统，以提高汽车驾驶的主动安全性。所以，第一和第二方面不是本课题的研究范畴。第三方面是在大家共同认为“疲劳状

20、态是主动安全性的一个重要影响因子”的基础上，对疲劳状态进行深入的研究，是目前研究的最大热点。研究人员利用各种测量技术和评价模型，从多种角度对驾驶员的疲劳状态及其评价模型进行了全方位的研究，取得了丰富的成果。并且，部分成果已经在实际的系统中得到了一定的应用。而疲劳状态模型、疲劳检测及评价体系构成了研究的主体，也是本课题的主要内容之一。在国外，早期的驾驶疲劳测评始于20 世纪80 年代，主要是从医学角度出发，借助医疗器件进行。此后，在众多专家和学者的努力探索下，出现了不少崭新的思想和方法，其中最具代表性的有：1996年，美国Knipling, Wang 和Kanianthra等人测量开闭、运动和眼

21、睛的生理学表现形态来研究机动车驾驶员的疲劳问题。他们认为利用眼睛来判断疲劳是非常恰当的，并且也是行之有效的方法。Dinges认为，PERCLOS(单位时间内眼睛闭合时间所占的百分率)能相当准确地反映疲劳状态。1999 年4 月，美国联邦公路管理局(Federal Highway Administration)的技术论坛上发表题为“Ocular Measures of DriverAlertness”的文章，首先提出了把PERCLOS作为预测机动车驾驶员驾驶疲劳的可行方法。JohnStern 博士是研究眼睛部位运动状态与驾驶疲劳之间的关系的权威人士。由他领导的美国联邦公路管理局和汽车联合会资助的

22、研究所，通过开发专用的照相机、脑电图仪和其他仪器来精确测量眼睛瞳孔的直径变化、眨眼频率和头部运动，以此来研究驾驶疲劳问题。弗吉尼亚大学的精神生理学教授Walt Wierwille 博士提出的疲劳测量(psychophysiological fatigue detection devices and measures)方法是采用PERCLOS 作为疲劳测量指标。目前，PERCLOS 方法已被公认为最有效的、车载的、实时的驾驶疲劳测评方法。2000 年以来，随着IT技术和汽车技术的发展，驾驶员疲劳状态的研究得到了进一步的发展。经过世界各国开展的驾驶员疲劳车载电子测量系统的研究开发工作（尤其美国的研

23、究发展较快），出现了一批具有代表性的应用系统：（1）美国研制的打瞌睡驾驶员侦探系统。采用多普勒雷达和复杂的信号处理方法，可获取驾驶员烦躁不安的情绪活动、眨眼频率和持续时间等疲劳数据，用以判断驾驶员是否打瞌睡或睡着。该系统可制成体积较小的仪器，安装在驾驶室内驾驶员头顶上方，完全不影响驾驶员正常的驾驶活动。（2）转向盘监视系统。一种监测转向盘非正常运动的传感器系统，适用于各种车辆。转向盘正常运动时传感器系统不报警，若转向盘4s 不运动就会发出报警声直到转向盘继续正常运动为止。该系统固定在车内录音机旁，转向盘下面的杆上装有一条磁性带，用以监测转向盘的运动。（3）路面警告系统。一种设置在高速公路上用计

24、算机控制的红外线监测系统，当行驶车辆摆过道路中线或路肩时，向驾驶员发出警告。（4）反应时测试仪。根据驾驶员对仪器屏幕上随机出现的光点的反映（光点出现时敲击键盘）速度测试驾驶员的反应时，用以判断其疲劳程度。（5）日本成功研制了电子清醒带。使用时固定在驾驶员头部，将其一端的插头插入车内点烟器的插座，装在带子里的半导体温差电偶使平展在前额部位的铝片变凉，使驾驶员睡意消除，精神振作。（6）美国华盛顿大学通过自行开发的专用照相机、脑电图仪和其他仪器来精确测量头部运动、瞳孔直径变化和眨眼频率，用以研究驾驶行为等问题。研究结果表明：一般情况下人们眼睛闭合的时间在0.20.3 秒之间，驾驶时若眼睛闭合时间达到

25、0.5 秒就很容易发生交通事故。（7）宾夕法尼亚大学智能交通实验室采用PERCLOS 作为精神生理疲劳程度的测量指标，测量的参数是在单位时间内（1 分钟）眼睛闭合程度超过80%以上的时间占总时间的百分比，在设计原理上进行了创新，提供一个很好的跟踪人眼的测量方法，充分利用人眼的基本生理特点，即视网膜对不同波长的红外光能够反射量的不同。它是最早报道的能自动测量和跟踪被测者的睁闭眼情况，并且能检测到疲劳现象出现的系统，它连续跟踪测量眼睑的睁闭，并且根据相应的阈值提醒可能发生的瞌睡。精神生理疲劳程度的测量还采用脑电图仪、头动探测器等，但是公认最有效的方法是PERCLOS 法。（8）2000 年1 月明

26、尼苏达大学计算机科学与工程系的成功开发了一套驾驶员眼睛的追踪和定位系统，通过安置在车内的一个摄像头监视驾驶员的脸部，实现以下功能：用快速简单的算法确定驾驶员眼睛在脸部图像中的确切位置和其他脸部特征；通过追踪多幅正面脸部特征图像来监控驾驶员是否驾驶员疲劳；追踪多幅侧面脸部特征图像来估算驾驶员是否驾驶员疲劳。同年3 月，他对上述系统进行了改进，改用红外线彩色摄像头并加滤波器滤除图像的噪声和非脸部的图像，使搜索脸部图像的次数减少，加快了系统处理图像的速度。采用灰度模式匹配方法追踪输入图像序列来搜寻并确定眼睛区域，然后用同样的模式匹配方法来确定眼睛是睁开还是闭合，若搜索失败，系统可自动重新开始搜索。（

27、9）日本先锋公司最近开发出防止驾驶员开车打瞌睡的系统。它可通过心跳速度的变化，监测司机驾驶员是否打瞌睡，在睡意来临15 分钟前提醒司机注意，防止发生事故。这一系统的核心技术之一是贴在转向盘上的纸状心跳感应器，司机驾驶员握转向盘时可以握住它。感应器每隔15 秒检测一次司机的心跳速度。一般说来，人在打瞌睡之前，心跳速度下降。对心跳速度的检测可以大体判断司机是否打瞌睡。另外，该系统还安装有汽车内置感应器，可以检测汽车速度的变化和转向盘操作频率的变化，汽车导航设备还可以检测汽车是否蛇行。这一系统把上述情况综合起来分析，就可大体上判断司机是否有睡意。一旦确认司机很快有睡意袭来，它就通过改变音乐等方式提醒

28、司机。先锋公司还研究了通过测量眨眼频率和车体摇晃频率监测司机是否瞌睡的系统。（10）测量头部位置的传感器。设计安装在司机座位上方，每个传感器都能输出司机头部距离传感器的位置，利用三角代数算法就可以计算出头在X、Y、Z 三维空间中的位置，也能够实时跟踪头部的位置，同时利用各个时间段头部位置的变化特征，可以表现出司机处于清醒还是瞌睡状态。该传感器物理特点基于传感器电极的屏蔽之间的电容，通过人这个高导体可以改变电极之间的电容，通过测量电压计算头部与传感器之间的距离。当人进入电容区域时，临近的电容改变同距离之间的关系是，利用3 个传感器，就可以利用三角代数计算出头的X、Y、Z 坐标。并在此基础上，对司

29、机的头部位置进行实时跟踪，并且根据头部位置的变化规律判定司机是否瞌睡，发现点头的动作和瞌睡有非常好的相关性。在国内，从20 世纪60 年代开始对驾驶疲劳进行实验性的研究。1998 年，深圳长途汽车公司的周鹏应用人体生理学、现代神经学、电子工程学分析了驾驶员疲劳事故隐患的起因，提出了消除疲劳事故隐患必须消除司机开车时的异常疲劳和大脑麻痹。根据这一思想他研究了佩戴于司机小腿部与手腕部的“司机疲劳事故预防器”。1999 年，张殿业、金键等对机车司机工作过程中的身体状态、疲劳程度提出了测试方法与评价模式。2000 年，石坚、吴远鹏、卓斌等通过传感器测量驾驶员驾驶时方向盘、踏板等运动参数来判别驾驶员的安

30、全因素，发现方向盘操纵情况与驾驶员的疲劳程度具有一定的联系，方向盘较长时间不动，说明驾驶员在打瞌睡。2001 年，李增勇，王成焘从人机工程学角度综合防治分析研究了造成驾驶疲劳的环境因素，并从汽车人机界面设计方面提出防止和缓解驾驶疲劳的有效措施。2001 年，郑培、周一鸣提出了脸部活动图像识别的人脸皮肤色彩高斯模型，通过眼睛灰度模式匹配，成功地实现了驾驶员驾驶疲劳的测评，构建了基于PERCLOS 的机动车驾驶员驾驶疲劳的实验测评系统。该系统初步具备了实时、非接触式检测的特性。2002 年，杨渝书、姚振强从人机工程学角度对驾驶疲劳的产生因素进行了分析，对驾驶疲劳的定量评价进行了实验研究。从发展趋势

31、来看，国内外关于驾驶员的驾驶状态监测研究将沿着以下两个方面进行：（）在基础性研究方面，结合心理学、生理学、人体运动学、物理学、人机工程学、行为科学等诸多学科，探索影响驾驶安全的新的因素及其检测方法，逐步完善驾驶员的安全驾驶状态模型，为汽车安全驾驶提供理论依据和方法上的突破。（）在应用基础研究方面，以非完备的驾驶状态模型为核心，研究具有一定应用价值的驾驶状态模型和状态检测技术，开发出应用模型和实验系统，甚至实际应用系统。随着相关学科的研究发展，新的成果可以不断加入进来，促使应用基础研究逐步满足实际应用的需要。而在应用基础研究方面，驾驶员的疲劳状态模型成为一个公认的有效的具有应用价值的一个内容。其

32、次，反映驾驶员在驾驶过程中是否精力集中的一些状态逐步被大家发掘和认可，如驾驶过程中打 、聊天、吃东西、视线摇摆等都会对驾驶安全带来影响。还有，在状态检测方面，随着IT技术的飞速发展，基于实时视频的检测技术相比传统的生理检测（如脑电图、心电图）也体现出了良好的发展潜力。目前，许多国家意识到驾驶员疲劳造成的交通事故，已成为一个严重的社会问题，因而加大了对其研究力度，并取得了一定的成效。特别是在澳大利亚，该国的交通事故发生率近年来已呈下降趋势；而美国把驾驶疲劳的研究提到了立法高度，以保证开展驾驶疲劳研究的合法性、有效性和持续性。近几年来，我国在机动车辆驾驶中驾驶疲劳测评方法的研究在理论上虽然已取得了

33、一些成绩，但至今还没有研究出实用的产品，同发达国家相比还有相当大的差距。因此，在我国，加大对其研究力度势在必行。（二）汽车驾驶的路况监测方面的发展现状与趋势汽车驾驶的路况状态是世界各国大力发展的智能交通系统（ITS）中非常重要的环境因素，也是交通安全的一个重要因素。据统计，仅在美国，每年约有300万SVRD（Single Vehicle Roadway Departure）的交通事故发生，占所有交通事故的16.5%。这些事故往往是由于驾驶者疲劳或心不在焉造成的，其中有近70的事故发生在双车道的郊区或乡间道路，因为这些道路看起来都一样。所以，路况监测是安全驾驶研究的一个重要内容。然而，在常规的汽

34、车驾驶研究中，鉴于正常路况的复杂性太高，对路况模型的研究非常困难，一直没有太多的成效。幸运的是，在移动机器人领域，为了达到室外移动机器人的自主运动，满足各种高技术应用的需求，移动机器人的环境监测，特别是路况监测得到了非常全面、深入的研究，并取得了很有价值的研究成果。在汽车安全驾驶研究中，可以利用这些研究成果，为驾驶员建立路况实时监测信息，通过辅助提醒手段达到提高驾驶员的安全驾驶目的。在国内外的各种类型的研究中，移动机器人的路况检测技术主要分为两类：一类是基于视觉传感器的路况检测技术，另一类是基于非视觉的其它传感器检测技术。其中，基于非视觉传感器的检测技术发展空间有限，主要受到传感器的机械性能、

35、物理性能的制约，需要得到相关学科发展的促进。而基于视觉传感器的检测技术由于IT技术的飞速发展而得到了广泛的重视，成为移动机器人视觉系统中环境检测的主要手段之一，也正是本课题的主要研究内容之一。由于移动机器人在军事、航天、交通运输等领域的特殊应用价值及其广泛的应用前景，国内外专家学者对其进行了大量研究，并取得了丰富的成果。以下介绍与本课题相关的路况监测技术在移动机器人研究中的国内外发展状况。CMU的FastNav系统利用Cyclone的单线扫描激光雷达，同步检测机器人行驶路径上的障碍物，如树木、岩石等，同时还配有彩色摄像机、光码盘、陀螺、GPS等传感器，使用基于轮胎地面相互作用的车体动态模型进行

36、导航。CMU的RANGER（Real-time Autonomous Navigator with a Geometric Engine）系统强调机器人在越野环境下的安全性、可靠性与高速性，配备彩色摄像机、激光雷达、GPS、光码盘、陀螺等传感器，分别使用自适应感知算法建立周围的环境模型，使用导航用的卡尔曼滤波器估计车体位姿，使用状态空间控制器执行路径规划、路径跟踪与车体控制。1996年JRP/DARPA资助的DemoII计划，采用立体视觉探测障碍物，达到良好的机动性。CMU在其研制的专门面向结构化道路的自动驾驶车NavLab3、NavLab5系统中，采用了其与AssistWare技术公司合作开

37、发的便携式高级导航支撑平台PANS（Portable Advanced Navigation Support）。其传感器系统包括：（）一台SONY DXC-151A彩色摄像机作为视觉传感器；（）差分GPS系统一套，差分模式下定位精度为25m；（）光纤阻尼陀螺；（） 光码盘。其中，NabLab-5 的核心是基于视觉的RALPH系统（Rapidly Adapting Lateral Position Handler）。NavLab5在实验场环境道路上自主驾驶的平均速度为。95年首次进行了横穿美国大陆的长途自主驾驶实验，其自主驾驶的行程为4496km，占总行程的98.1%。虽然计算机仅控制方向，油门

38、和刹车由人工控制，这个结果仍相当令人鼓舞。德国慕尼黑联邦国防大学与德国奔驰汽车公司从八十年代开始合作研制的室外移动机器人，先后开发出VaMoRs和 VaMoRs-P（即VaMP）两种实验车。VaMoRs由一辆奔驰508D型5吨面包车改装而成，12个完成特定功能的计算机一块进行电视图象处理来导航，运算速度为10MIPS的单机能以每秒13帧的速度跟踪一个图象。特征量在自动行驶之前人为选定，比如在公路或车道左右各设一个典型标志，在交通牌照上，或行驶前方明显的标志处，应用移动预测技术，图象处理器可以长时间的保持视觉固定，图象处理器的输出作为微型计算机的输入信息，从而控制汽车在车道上行驶，以使它和其它交

39、通物保持安全距离。VaMoRs-P（VaMP）的视觉系统主要包括道路检测与跟踪RDT模块和障碍物检测与跟踪ODT模块。RDT模块使用回旋曲线模型检测车道线，并通过Kalman滤波器跟踪车辆运动状态向量和道路的动态模型。ODT包括单目标检测与跟踪（SODT）和多目标检测与跟踪（MODT）。德国研究与技术部门与大众汽车公司于1992年合作研制成的Caravelle 系统采用大众公司的Caravelle旅行车，主要研究高速公路下的视觉导航。传感器系统除两台摄像机外，仅安装了一个速度传感器和一个测量驾驶角的传感器。两台摄像机中一台装有摄远镜头的用来检测障碍，另一台装有广角镜头的用来检测行车道。执行机构

40、为方向力矩电机和电子油门。计算机系统也是由Transputer构成的并行处理单元构成，完成图像处理、卡尔曼动态滤波、车体控制。另一台PC完成系统自举、监控等功能。92年公布的材料显示系统从识别一帧图像到完成控制的周期为70ms。意大利帕尔马大学研制的ARGO 实验车装备有摄像机、霍尔效应传感器、IO 接口板、信息输出设备和奔腾200MMX 的PC 机，使用Linux 操作系统。其核心GOLD 视觉系统（Generic Obstacle and Lane Detection）使用2个前向摄像机，能够检测一般障碍物和结构化环境中车道的位置，检测速度为100ms。GOLD通过硬件模块实现几何变换消除

41、左右图像的透视效应；左图像通过一系列形态学的处理用于检测白线，左右图像用于检测障碍物，以确定车前的可行驶区域。系统输出同时显示在一个监视器和一个控制面板上，提供给驾驶员图形反馈。清华大学的THMR系统是清华大学计算机系从八十年代开始自主研制开发的新一代多功能室外智能移动机器人实验平台。其中THMR-III型的视觉系统针对特定的校园网道路环境，用拉普拉斯算子对道路图像进行抽边，用模糊神经网络识别路面上的阴影、水迹、树叶等，然后对二者的结果图像进行差运算便得到道路信息，实验结果比较理想。其速度在自主道路跟踪时达到510km/h，避障达5km/h。THMR-V型不仅具有面向高速公路和一般道路的功能，

42、而且还包括临场感遥控驾驶功能。车体采用道奇7座厢式车改装，装备有彩色摄像机、GPS、磁罗盘光码盘定位系统、激光测距仪LMS220等。计算机系统采用PENTIUM II计算机两台，其中一台进行视觉信息处理，另一台完成信息融合、路径规划、行为控制、决策控制等功能。四台IPC工控机分别完成激光测距信息处理、定位信息处理、通讯管理、驾驶控制等功能。设计车速高速公路为80km/h，一般道路为20km/h。基于前面介绍的室外移动机器人相关技术，结合汽车安全驾驶的需要，辅助驾驶报警系统已经在国外进行了很长时间的实用化研究。主要包括：车道偏离报警、碰撞预测报警、智能速度适应、自动操作等方面。典型的应用如下：在

43、小型车方面，适应性巡航控制(ACC-Adaptive Cruise Control)系统，已经应用在欧洲和日本的汽车上。目前的ACC系统主要用于高速公路汽车速度控制，下一代ACC系统将支持停停走走(stop-and-go)的拥挤交通状况。日本三菱1999年引入的驾驶员支持系统(Driver Support System)，可以进行车辆离道(lane departure)报警，并利用机器视觉监视车辆侧面和后面的交通情况。欧洲开放基金(Publicly Funded)的研究则集中在驾驶员的监测、道路环境的感知、视觉增强、前车距控制(Heading Control)以及传感器融合方面。美国交通部 (

44、USDOT)已经开始一项5年计划，投入3500万美元与通用汽车公司合作开发一种前后方防撞系统。在重型汽车方面，碰撞预警同样需要。重型汽车上的CW(Collision Warning)尽管目前价格较贵，但在美国CW的使用量已超过50000套，这些CW大都基于雷达的预警。驾驶员注意力减弱监测、防撞及办辅助驾驶系统、队列自动驾驶也正走向成熟。在公交车辆的应用上，法国的IrisBus提出了CiViS 系统，该系统通过车载处理器识别路面可视的条带路径标识来实验车辆的自主导航。该系统已经被选用在法国的Clermont-Ferrand和Rouen间的公共汽车上。2002年英国伦敦运输部门将利用电子导航汽车在

45、Greenwich的Millenium Dome地区及其周边地区的运营。美国的几个运输机构正在论证采用电子导航系统，并得到联邦快速客车运输项目(federal Rapid Bus Transit program)的支持。加州交通部积极发展自动公共汽车，并于2002年提供样车。具有自主导航性能的公共汽车在Sao Paulo, Brazil 和其它一些南美国家也开始得到重视和开发研究。在特种车辆的应用方面,主要集中在高速公路的扫雪、工业及军事应用等领域。对于扫雪系统，美国加州和明尼苏达州进行了相关试验，以评估该系统的应用情况。试验中，在暴风雪天气或大风天造成低能见度或零能见度时，该系统可以为扫雪车

46、提供车道边缘信息。当然，该系统需要依靠磁性参照物或高精度的GPS和电子地图。美国交通部的IVI项目也有关于该项系统性能的有关测试。工业自动化领域的应用主要体现在物流运输上。在荷兰鹿特丹(Rotterdam)的港口短程运输如集装箱从船边运送到几百码以外的仓库，主要由“yard tractors”完成。这种重复性的工作已经实现自动化。世界其它港口也在准备实施这种自动运输系统。在工厂中货物运输，如Netherland荷兰的Combi-Road系统，采用无人驾驶的车辆来往返运输货物，它的路面上采用了磁性导航参照物，并利用一个光阵列传感器去探测障碍。荷兰南部目前正在讨论工业上利用这种系统的问题，政府正考

47、虑沿已有的高速公路新建一条专用的车道，采用这种系统将货物从鹿特丹运往各地。从发展趋势来看，在室外移动机器人视觉系统研究中，在其它传感器发展缓慢的今天，基于视觉传感器的IT处理技术将承担视觉系统的主要任务，具有广阔的发展空间。而多传感器融合的技术方案也将提高视觉系统的性能。所以，对汽车安全驾驶具有实际应用价值的路况监测技术也将以视觉传感器为核心，以多传感器融合的技术方案得到深入广泛的发展。另外，从美国警车为保留真实办案过程而安装实时视频记录装置来看，除安全驾驶因素之外，路况的实时视频记录也将对交通事故的处理和责任认定起到一定的作用。（三）汽车停放安全（防盗）方面的发展现状与趋势汽车防盗是汽车安全

48、的一个重要方面，随着汽车逐步进入普通家庭，汽车被盗强的发生案件越来越多，给单位、个人以及保险公司带来了很大的损失，同时也对社会的和谐稳定造成了极大的危害。目前，汽车防盗技术已经与驾驶安全、环保、节能一起被列为汽车技术发展的四大课题。随着汽车电子技术的发展和应用需要，汽车防盗系统发展迅速，出现了多种类型、多个品牌共存的局面。但是，从技术层面来看，汽车防盗技术按其结构和功能可分为四大类：机械式、电子式、芯片式和网络式。（）机械式防盗器机械锁是最常见也是最早的汽车防盗器，其造价低，结构简单，环保性好，工作状况和防盗效果类似于锁具。目前，机械锁在高中档汽车中几乎难觅踪影，即便是在抵挡汽车中也已很少单独

49、使用，它主要和电子式、芯片式联合使用。机械锁主要分为方向盘锁和变速箱锁两大类。其中，方向盘锁在使用时，主要是将方向盘与制动踏板连接在一起，使方向盘不能做大角度转向，而且不能制动汽车。而变速箱锁安装在换档杆附近，通常在停车后，把换档杆推回空档位置并加上变速箱锁后，使汽车不能换档。方向盘锁、变速箱锁、钩锁等机械式防盗器，主要是靠锁定离合、制动、油门或方向盘、变速杆来达到防盗目的，只防盗不报警。另外，机械式防盗锁靠坚固的金属结构锁住汽车的操作部件，使用起来不隐蔽，且占用驾驶室空间，每次使用都要拆装，较为麻烦。机械锁主要起到限制车辆操作的作用，其防盗效果非常有限，很难抵挡利用钢锯、撬棍、老虎钳等重型工

50、具进行的盗窃。（）电子式防盗系统机械锁是一种预防汽车被盗的装置，它不能阻止他人进入驾驶室、车内，打开行李箱、发动机罩，甚至启动发动机。而电子式防盗系统不仅能防止汽车被盗，而且能防止他人进入车内或拆卸某些汽车零件，是现阶段应用最广泛的防盗系统。它主要是靠震动侦测、中控门锁、锁定点火或起动系统来达到防盗的目的。同时它具有声音报警功能，甚至微波探测、红外探头检测等功能。电子式防盗器功能齐全，安装隐蔽，无线遥控，操作简单，充分利用了成熟的电子芯片密钥技术、传感器技术以及工艺技术，生产厂家多，成本低。然而，电子式防盗系统的致命弱点在于其电子密码和遥控操作方式。当车主用遥控器开关车门时，遥控器发出的无线电

51、波或红外线容易被盗车贼用接收器或扫描器接收，经过解码，就可以开启汽车的防盗系统。另外，电子式防盗报警器的使用频率通常被限定在300-350MHz的业余频段上，容易受到电波、雷电、工业电焊等较多干扰源的影响而产生误报警。（）芯片式防盗系统在电子式防盗系统之后，人们又研究出了更先进的芯片式数码防盗器。这种防盗器以优点突出使用方便的特色被很多高档车（如德国奔驰、宝马、法国雪铁龙等）采用，作为这些车型的原配防盗器。芯片式防盗系统的基本原理是通过芯片钥匙锁住汽车的马达、电路和油路，使汽车在没有芯片钥匙的情况下无法启动。由于数字化的密码重码率极低，并且要用密码钥匙接触车上的密码锁才能开锁，这就杜绝了被扫描

52、的弊病。（）网络式防盗系统芯片式防盗系统虽然有着强大的防盗功能，但依然不能突破距离的限制，无法实现远程汽车状态的监控。于是，随着网络技术的发展，出现了网络式防盗系统。这种系统通过网络来实现汽车门的开关、马达启停、汽车的定位，甚至可以根据车主的要求提供远程的车况报告。具有远程传输功能的网络主要有Bp机网络、GPS、GSM/GPRS等，未来还可以选择3G无线通讯网络。目前使用最多的是GPS防盗系统，它主要靠锁定点火或起动达到防盗的目的。GPS的工作原理是利用接收卫星发射信号，与地面监控设备和GPS信号接收机组成全球定位系统。卫星星座连续不断发送动态目标的三位位置、速度和时间信息，保证车辆在地球上的

53、任何地点、任何时刻都至少能收到卫星发出的信号。因此，只要每辆移动车辆上安装的GPS车载机能正常工作，再配上相应的信号传输链路（如GSM移动通讯网络和电子地图），建立一个专门接收和处理各个移动目标发出的报警和位置信号的监控室，就可以形成一个卫星定位的移动目标监控系统。典型的GSM/GPS汽车防盗系统必须在卫星监控中心对车辆的24小时不间断、高精度的监控服务基础上，由安装在指挥中心的中央控制系统、安装在车辆上的移动GPS终端以及GSM通信网络三大部分组成，通过接收卫星发出的定位信息，计算出移动目标的经度、纬度、速度和方向，并利用GSM网络的短消息平台作为通信媒介来实现定位信息的传输。由此可见，昂贵

54、的运营费用是GSM/GPS网络防盗系统普及应用的障碍。从发展趋势来看，基于以上分析可见，20世纪90年代以来，IT技术的飞速发展，使电子技术、传感器技术、数据通信技术、汽车网络技术、计算机处理技术和控制技术有效应用于汽车防盗系统中，并将引导汽车防盗系统向更高的智能化和多功能集成化方向发展。课题主要研究技术国内外专利授权情况为深入了解与本课题相关的研究成果，专门进行了相关技术的专利检索。情况如下：（）以“汽车（auto）”和“安全（safety）”为关键词，国内检索发现公开的专利有6468条，其中发明专利1236条，实用新型专利5231条，外观设计专利1条；世界知识产权组织网上专利检索发现公开专

55、利5188条。（）以“汽车”和“监控（monitor）”为关键词，检索发现公开的国内专利有340条，其中发明专利142条，实用新型专利198条。世界知识产权组织网上专利检索发现公开专利4214条。（）以“汽车”和“安全”和“监控”为关键词，检索发现公开的国内专利有104条，其中发明专利46条，实用新型专利58条。世界知识产权组织网上专利检索发现公开专利1195条。（4）以“汽车”和“安全”和“识别（recognition）”为关键词，检索发现公开的国内专利有76条，其中发明专利26条，实用新型专利50条。世界知识产权组织网上专利检索发现公开专利563条。（5）以“汽车”和“安全”和“视频（vi

56、deo）”为关键词，检索发现公开的国内专利有17条，其中发明专利4条，实用新型专利13条。世界知识产权组织网上专利检索发现公开专利697条。（6）以“汽车”和“视频”为关键词，检索发现公开的国内专利有121条，其中发明专利53条，实用新型专利68条。世界知识产权组织网上专利检索发现公开专利3123条。通过对以上专利检索情况的简单分析，可以得到如下结果：（）没有发现与本课题研究目标完全一致的专利成果；（）汽车安全是国内外的一个研究热点，并成果颇多；（）从数量来看，国内研究成果不比国外研究成果少；（）从内容来看，国内研究成果以传统的机械技术、传感器技术、电子技术为主要内容，基于最新的识别技术和视频

57、技术的内容非常少；而国外研究成果中，以识别技术和视频技术为主要内容的比例非常高；（）视频技术在国外的汽车技术研究中占有相当大的地位，除了安全方面的应用研究之外，车载多媒体系统似乎已经成为国外汽车应用研究的必备内容，应该引起国人的关注。总之，通过以上对本课题相关技术的发展现状和趋势，以及国内外专利情况的综述和深入分析，没有发现与本课题研究目标和内容完全一致的成果或专利。与本课题“基于实时视频技术的汽车安全驾驶智能化集成辅助系统”研究相比，以上介绍的研究成果多数都侧重于单个方面或者两个方面的研究，还有一部分是具体算法的试验性研究，或者实用新型研究。也就是说，对于本课题的三个主要研究内容（即驾驶员的

58、驾驶状态识别、驾驶路况识别和环境记录、基于无线网络的远程监测）中的每一个，都得到国内外学者的关注，并取得了一些研究成果，但并没有出现三个研究内容集成化的研究成果。而这正是本课题的主要研究目标和思路。而且，针对以上分析的国内和国外研究的差距，本课题研究人员基于自己拥有的相关技术和坚实基础，对完成本课题的研究工作，缩短与国外研究的差距充满信心。课题主要研究内容、拟解决的技术难点和主要创新点，现有研究基础课题主要研究内容本课题的总体思想是：利用IT行业的最新研究成果，参考最新的国际研究趋势，为汽车安全驾驶提供智能化、集成化的辅助性支持，通过IT新技术在汽车安全驾驶方面的应用研究，提升汽车电子技术水平

59、，更好地为汽车行业服务。具体而言，本课题将研究实时视频在汽车安全驾驶方面的应用技术，探索视频技术在汽车驾驶安全和停放安全等方面的集成化应用方案和智能化技术。具体目标是：研究并开发出具有驾驶员驾驶状态监测、路况监测并短时备份、基于智能 的无线远程实时监测三大集成功能的智能化汽车安全驾驶辅助实验系统。该实验系统以集成化的方式对汽车安全驾驶的三个方面问题提供辅助性解决方案，可以理解为汽车安全的“黑匣子”。由此可见，本课题的主要研究内容包括以下四个方面：(1)驾驶员的驾驶状态检测技术及安全模型研究这方面的研究工作主要是针对驾驶过程中实时采集得到的驾驶员的面部视频信息，综合应用视频处理技术，检测出对驾驶安全有影响的面部状态特征。然后，逐步建立基于这些状态特征的驾驶安全模型。一般认为，影响驾驶安全的面部状态特征可以包括：眨眼特征（包括频率、闭眼时长、睁眼时长），视线特征（包括方向、变换频率），嘴状态特征（包括说话、吃东西、打哈欠），头状态特征（包括左右偏向、上下偏向、偏向时长、偏向频率）等，以及各面