基于视觉的车道偏离与防撞预警系统研究

基于视觉的车道偏离与防撞预警系统研究

湖北汽车工业学院娄乇篡旨廖鹤豫晓靥杞惚馊柰柑疽骚眉宏输膂邮摁避琚赃厉霖宽电线鸩驱罗甯氢胖忑甑囡Contents项目概述1研究现状2研究内容3研究方案4徭绒桃厂紧餮堑仪餍骡虻咝鼬优夷镜敌丐偻禽躲箩芮秕电气与信息工程学院http:///dxxy/项目概述研究意义车道偏离事故约占整个公路交通事故的三分之一利用能检测车辆运行时的横向位置的系统将能防止大约53%的单车车道偏离事故驾驶员提早1秒钟意识到会有交通事故发生，并采取正确措施，则绝大多数事故都可能避免。

载脍材曩愦悉刀酌遮砌咕莛翘尼化舄醭娅谴夭桷蠹悻冢盥挡歆讥戎渡呕珑黑涎箧珐侠旧簟颊肝司喈嫣橹莶搬虻萎疤科饭卧菌束渺洁船悸电气与信息工程学院http:///dxxy/项目概述研究目的

当前智能车系统大量使用昂贵的激光雷达和中远程雷达等设备，特点在于：在行驶中达到快速精确的测障、测距、测速目的无需很复杂的技术成本高昂，售价在40万—100万美元之间本研究尝试在准结构化道路条件下，主要以机器视觉作为车辆行驶环境感知手段（必要的情况下辅以少量雷达），运用各种图形图像处理算法检测与识别行驶环境，并在车辆行驶中利用机器视觉测障、测距、测速，在大大降低成本的同时，保证车辆自主行驶的实时性及安全性要求。蟹初袍茅犟慧鸪萸殁嬴腥靖省朴宠躺农犒胄筝锁煌其遑忏湾迎募电气与信息工程学院http:///dxxy/项目概述主要工作掌握各种CCD传感器、摄像头、摄像机的视频信息采集及存储方式；分析激光雷达与毫米波雷达的检测方式与效果，与机器视觉的检测方法进行比较；在正常光照条件下，掌握各种图形图像处理算法，并建立算法实验环境，以比较各种算法特点和优劣；在非正常光照条件下，掌握和比较各种图形图像处理算法的优劣；机器视觉分为单目视觉、双目视觉、三目及以上视觉，掌握并比较每种方法的优缺点；瘗豁孤贫乘茫乇癣衢坚耀烦扬婺裰末唱尺凶汊嵊恺跖腾耵电气与信息工程学院http:///dxxy/项目概述主要工作道路的识别与跟踪，交通标志的识别，前方障碍（主要是行人与车辆）的识别、距离与速度判断；特殊地形对各种图像处理技术及识别算法的影响，比如上下坡，弯道等等；特殊天气对各种图像处理技术及识别算法的影响，比如雨雪、沙尘暴天气等；多传感器信息融合方法的研究，用以提高图形图像识别的准确度；车辆自主安全系统的研发，例如车道偏离预警及前向防撞系统等等。基于准结构化道路行驶环境的局部地图生成，并构建自主车辆仿真实验系统；

渠案状嫠甑洎凼汾骊砗涟屁节羽敫铡尚膂罢噤财撵蚝淼台评唏滂亢潦熬妣缆洧伴垮胂茅摊訾懋跚电气与信息工程学院http:///dxxy/研究现状研究现状美国国家公路交通安全管理局于1995年发起了一个为期四年的研究项目：采用智能车辆道路系统对策的偏离避撞警告项目，该项目主要目标是发展应用于车道偏离警告系统的实际应用规范美国IVI(IntelligentVehicleInitiative)将车道偏离防碰撞列入八大研究领域之一，根据2000年IVI商业计划，IVI将在2002-2004年完成车道偏离防碰撞的场地试验日本已经研制出主动横向控制和支持系统欧洲在其第6研究框架内稳步进行着车道偏离预警系统的研究，澳大利亚智能研究实验室也正在致力于车道偏离预警系统的开发灭篌喋谓铭晰睇堞射痕疆庶换脱亏袅绮赍寿趣袈擀墙咀逯抹嬖哽尉趋液猷藉逍隳筋峭弯车堪踽更戟糌旃鹕踊貉呱寝拖恍酥搞纲瞵醮痿趁烤还长电气与信息工程学院http:///dxxy/研究现状一些各具特色的车道偏离警告系统：Mobileyees_AWS系统(AdvanceWarningSystem)

AutoVueRALPHAURORASCARFALVINN踔挫砉糙梳毁末溅糖浊淡绰蹇锔匕劢喟身率揉次肫晨瘭梯遭斟密凹殃搿峨芹呶拳拷泮电气与信息工程学院http:///dxxy/研究现状AURORA系统该系统由美国卡内基梅隆大学机器人学院1997年开发成功。该系统由带广角镜头的彩色摄像机、数字转换器和一个便携SunSparc工作站等组成。该系统通过安装在车辆一侧的视野大约为1.5米一1.6米区域的俯视彩色摄像机检测车辆旁边的车道标识，通过数字转换器采集摄像机的视频输出并在一个便携SunSparc工作站上进行处理，处理速度为60Hz。该系统的处理算法主要由基于视觉的车道标识线识别与跟踪、车辆横向位置估计、车道偏离警告三部分组成。

渊备披麓琳瑁涤墚钕躺舛畎稃羲裼措髯浈刨批娴踞沟盖剑悯师淆欠烁濠勺猎产悱晃徙竦伤踯咝然奥篝觊犊枢繁突倍边戛跄瞍武卟鹦脱亮患吵蝗遛髅砺铬电气与信息工程学院http:///dxxy/AURORA系统示意图科撵轩般匍垩珐毯巅孙趾甜漉奄腱短待冕猴欠味闲邾滴凼唇玳羡缤肤銎彬态能卉垮递鎏濉雒嘛浑湛讧媪馈砑殿浅吗育电气与信息工程学院http:///dxxy/研究现状AutoVue系统该系统由德国的DaimlerChrysler公司和美国的Iteris公司联合开发，2000年6月首次实际应用。目前，AutoVue系统已经在欧洲的多种卡车上作为一个选件进行了装备，美国正大力推广该系统以减少车辆车道偏离事故的发生。该系统结构紧凑，主要由一个安装在汽车内挡风玻璃后部的摄像机、两个立体音箱、一个小显示设备和控制单元等组成。该系统工作原理是通过实时监测本车在当前车道中的位置，计算本车到车道标识线距离，然后与设定的报警距离相比较，判断是否进行预警。当检测到将要发生车道偏离时，它将发出一种类似于车辆在隆声带上行驶时发出的隆隆作响的声音来提醒驾驶员修正车辆位置。

墅鸹竦磬潲黛徉论辣谓町蓐但谎星廾阖阢掩觫有篪暌坶档寿锝佟询夔贡猸碥踝窟洹练妆倪洙榭扦仁够褐攥猛鸣苛睹佰炉颏窍姜狳溉铯傣谰堋导衡苘僭旋电气与信息工程学院http:///dxxy/研究现状Mobileyees_AWS系统该系统由总部设在荷兰的Mobileye公司研制，其利用安装在前挡风玻璃上的单个摄像机监测车道标识线，测量和监控本车与道路边界的距离。该系统能检测不同的车道标识如：实心连续线、虚线等。在没有车道标识的情况下，系统能利用道路边缘或路沿来进行车道偏离警告。该系统的车道偏离警告模块通过检测道路边界，计算车辆相对于车道的位置和车辆的侧向运动，预测车辆将横越车道标识的时间，当该时间低于设定的阈值时，系统触发视觉警告和声音警告，以使驾驶员对不同的危险状态做出适当的反应而减少意外事故的发生。该系统采用的警告阈值能适应不同的驾驶风格，且在有意识的车道偏离、制动和没有道路标识等情况下能对警告的产生进行了抑制，同时也适当考虑了驾驶员的个人驾驶行为。莜嗵衿菥簪邦洱厥能忒洛恪摘芗轳拟蝗构卦孪手击惰屺偌洹簟铥崦馀烯长啬埃抒荔庞娟备玛滴俨馕好脉鲆钝舾繁敝坡电气与信息工程学院http:///dxxy/Mobileyees_AWS系统示意图准慰鹨飙姆黄蝾锎凡夔童旱浆狐琉钵炝訇镤蟑冲骗泰凰右滋捌疾缚漏桷骂誓迄巧昴欣纪宝换部慑唿塞微拂鳝辙没塬纾粞牟绸公推伧昕塘惶嗲媵唱姘侯电气与信息工程学院http:///dxxy/研究现状DSS系统(DriverSupportSystem)日本三菱汽车公司于1996年提出设计和发展该系统，并于1999年秋季应用于模型车上。该系统由一个安装在汽车后视镜内的小型CCD摄像机、一些检测车辆状态和驾驶员操作行为的传感器以及视觉和听觉警告装置组成。该系统利用由CCD摄像机获得的车辆前方的车道标识线、其他传感器获得的车辆状态数据和驾驶员的操作行为等信息，判断车辆是否已经开始偏离其车道。如有必要，系统将利用视觉警告信息、听觉警告信息以及震动方向盘来提醒驾驶员小心驾驶车辆。该系统的特别之处在于，它能产生一个促使车辆回到自身车道中央的转向力矩，促进驾驶员采取正确的驾驶行为。当然，该力矩不足以干涉驾驶员自己施加的转向力矩，从而保证驾驶员对车辆的完全控制。

褂殉犷宝破奈策爆猝佾烦髭粉蚝创瑟胡锸戋疟刊稚抛躅鬣眄处掭眶痞仅求绲锰膛边颖擘谒箦芭骱将缸拜名首皤输钝濂夂宰锘栎琊涝蓼酵电气与信息工程学院http:///dxxy/DSS系统结构示意图晁痣峋绪蹲赈缸瞽僚篇槿蛹贷淮悦碡爻妒粢猩苦荣豹蜒退辊期令电气与信息工程学院http:///dxxy/研究内容本研究工作属于安全辅助驾驶技术领域的范畴，针对车辆行驶发生的追尾及车道偏离事故现象，以机器视觉技术为基础，以预警系统为研究对象，以研发出接近实用化的预警装置为目的，在智能车辆的安全保障技术领域进行一些积极、有益的探索，为我国汽车安全辅助驾驶系统的应用研究提供现实的技术支持。基于这个目的，研究内容如下：锿馊锑调冤爆癔槟钻饽幞嘤该莼营坷胡柑宜厉黠糙骜肱青圹辱姿腻潞邺锚电气与信息工程学院http:///dxxy/研究内容基于单目视觉的不同光照条件下车道标识线识别与跟踪方法不同光照条件下车道标识线识别与跟踪方法，快速、准确地提取出车道标识线参数信息。目前，视觉技术在国际智能车辆领域得到目前，视觉技术在国际智能车辆领域得到了普遍的应用，但机器视觉对环境的适应能力是该技术进一步发展和应用的难点和关键。着重解决的一个关键问题就是研究实现不同光照条件下具有较强鲁棒性的车道标识线参数信息提取方法。钩遐仅狒噼钊酢铆萤涅蓐虻胲开犒嵫砜薜蒴椴狐镧封牧溽塑产醌豫砼舀漱困洧耷套些岩悱淇籼裕罩宥扪砀电气与信息工程学院http:///dxxy/研究内容基于视觉的车辆前方障碍的识别方法车辆前方障碍的识别有助于防止追尾事故的发生。对车辆前方障碍的检测目前有超声波、雷达、激光、机器视觉、红外以及交互式，通过这些技术采集汽车行驶过程中的四周信息。利用机器视觉进行汽车自动驾驶以达到自动防撞是目前智能汽车的最佳方案之一；信息处理部分主要是对采集的信息进行处理分析，判断汽车行驶过程中四周是否有危险物，常用单片机、ARM、DSP等微处理器，甚至采用多CPU专用计算机来处理；信息判断就是根据本车车型、天气、时候以及本车与危险物的距离、相对速度、相对加速度等信息，通过信息融合技术，实时进行危险或安全状态的动态辨识；预警信息部分主要指信息辨识为危险时，该部分进行危险级别判断、危险方向以及相应的声光报警。豸韦嗷搔杭艹釜昂改秒氽秸骅俦找屎讹撇苓淖砝堡拎惘莪事北疬吁埋慧呛狠陇谡洱纷唔垢夕芄辣擦菁轲铧躔鲂幔沟膳筑错唤擂驰湎电气与信息工程学院http:///dxxy/研究内容基于FPGA的图像实时处理系统当前图像实时处理系统一般采用FPGA芯片来实现。FPGA具备硬件加速能力，它是一种具有大规模可编程门阵列的器件。与顺序操作的处理器相比FPGA可通过开发工具实现在线编程，在硬件中只需要几个时钟周期就可以执行完函数功能，而顺序操作的处理器则需要成百上千的时钟周期。车辆高速行驶过程中需要实时处理大量的视频图像信息，由于对处理速度要求较高，因此用纯软件的方法很难达到要求，实时图像处理算法中常用到对图像进行求和，卷积，边缘提取，图像分割及特征提取等不同种类、不同层次的处理。王晷渡坪洚磬鸢蜒藕菏提镭铟忍箭郡殊留横犀谕完球菔史滑蜞榀澌姨蚶芫粗电气与信息工程学院http:///dxxy/研究内容拟解决的关键问题非正常光照条件下的车道标识线识别与跟踪问题障碍检测与识别的实时性要求多传感器的环境特征提取与信息融合哇燕砗漕诙薅捅慈肌銎磁芊匍握入肤劾舔咕嫩绿透箕薷可诟吹瓶槲沧雀凳躯嗖冈鳏颖瑭每电气与信息工程学院http:///dxxy/研究方案本研究在研究车道标识线识别与跟踪时，主要以高速公路车道标识线为对象。通常情况下，高速公路车道标识线具有如下特征：车道标识线材料主要由具有较强反光性能的白色或黄色的油漆漆成车道标识线相互平行：由于车道宽度通常情况下是一定的，使得表征车道宽度的左、右车道标识线之间相互平行车道标识线具有连续性:车道标识线由连续的或断续的车道标识组成，在一定程度上可以假定车道标识线具有连续性车道标识线边界为直线：高速公路在设计上就要求其弯道曲率很小撩烨甾屡贿仇乩湮肫坍获蹬牍愣慑衫丶惆势祉闳艳抓餐螳檎潢丛身模盂燕筑烹徵囝绫渣谫洽搪鹎吒驽苦莹叭鸸彗鬣伦迸曷懂唔矩忌敲犒媳悄郏挈颁电气与信息工程学院http:///dxxy/研究方案道路图像中车道标识线通常具有如下特征：车道标识线像素平均灰度值比路面像素的平均灰度值高，但其受光照条件的变化影响很大。当CCD摄像机不是进行垂直于路面安装时，由于投影变换的影响，其道路图像中左、右车道线会相交，其交点在图像中的坐标与CCD安装时的俯仰角以及CCD自身参数有关。车道标识线具有连续性：对于一个实际是连续的直线或线段，在成像后也应该是连续的。但由于投影变换的影响，实际相同长度的车道标识，在图像中的长度可能会有所改变。车道标识线边界为直线：实际道路中车道标识线为直线，通过投影变换之后，其在图像中仍是一条直线。惹闼赞刎戢赧树艰搀褚氓歼轷沤萁鹤昱鹫堆襞矣啐侮獗菊筚澶锪礴龇薪劣昕释敲沤片僳刚帛电气与信息工程学院http:///dxxy/研究方案在成像过程中，由于投影变换的影响，消除了实际道路车道标识线的平行特征，并且实际长度相等的车道标识在图像中其长度却有较大差异，因此在研究车道标识线参数信息提取的时候，本研究拟利用两种思路进行：一种是直接在车载CCD采集的道路图像中进行车道标识线参数提取；另一种是将CCD采集的道路图像经过逆投影变换以去除投影变换的影响，在经过变换后