（信号与信息处理专业论文）用于its的视频交通信息检测算法的研究.pdf

中文摘要 近年来，智能交通系统的应用给交通运输业带来了巨大的经济效益，对于加 强城市交通管理起到了越来越重要的作用。论文所研究的视频交通信息检测技术 在i t s 中占有很重要的地位，该技术通过对道路现场图像的智能化分析和处理， 采集到所需要的多种交通流参数，这些参数对于交通的智能化管理非常有意义。 论文主要研究了基于虚拟检测线的几种视频交通信息检测方法。 首先介绍了实现这些检测算法的平台基于d s p 的视频检测系统，并对 其中的摄像机标定算法做了较深入地分析研究，实现了图像坐标系与世界坐标系 之间的坐标转换。 然后，对基于虚拟检测线的视频检测算法做了重点的研究，利用虚拟检测算 法实现了：车辆存在检测、车速检测、车流量检测、车型分类以及车流密度、车 道占有率等多项交通信息。论文不仅讲述了视频交通流参数的检测原理，而且还 给出了各个算法的程序流程及主要的几个程序设计。 最后，对基于小波变换的图像融合技术在交通信息检测中的应用作了探索性 的研究，该技术能很好地弥补传统的视频交通信息检测的不足之处，有很好的发 展前景。 关键词：智能交通系统视频检测虚拟检测线d s p a b s t r a c t t h e s ey e a r s t h eg r e a te c o n o m i cb e n e f i th a sb e e ng a i n e dt h r o u g hi t s a n di t s b e c o m e sm o r ea n dm o l ei m p o r t a n tt o s t r e n g t h e nc i v i l t r a f f i cm a n g m e n t 1 1 1 e t e c h n o l o g yo fv i d e ot r a f f i ci n f o r m a t i o nd e t e c t i o nd i s c u s s e di nt h i sp a p e rp l a y s 孤 i m p o r t a n tp a r ti nt h ei t s t h r o u g hi m a g ea n a l y s i sa n dp r o c e s s i n gi tc a l lo b t a i nm u c h u s e f u lt r a f f i ci n f o r m a t i o nt h a ti sk e y p a r to f t h ea u t o m a t i z a t i o n 锄cm a n a g e m e n t i nt h ep a p e ram e t h o db a s e do nv i r t u a ld e t e c t i o nl i n ei su s e dt 0d e t e c tt h e v e h i c l e s f b s t l y , t h es y s t e mb a s e do nd s p i si n t r o d u c e d t h e nt h ec a m e r ac a l i b r a t i o n a l g o r i t h mi sd e t a i l e d i ta c h i e v e st h ec o n v e r to ff r o mi m a g ec o o r d i n a t e st ow o r l d c o o r d i n a t e s i ti st h eb a s eo f v i c h i l ed e t e c t i o n t h e nt h ev e h i c l ed e t e c t i o na l g o r i t h mi sd i s c u s s e di n d e t a i l v e h i c l e sc a nb e d e t e c t e dw i t l lt h ev i r t u a ll i n e t h r o u g ht h em e t h o dm a n yt r a f f i ci n f o r m a t i o nc a nb e a c h i e v e d 1 1 1 ei n f o r m a t i o nc o n s i s i to fv e h i c l ed e t e c t i o n ，v e l o c i t yd e t e c t i o n ，v e h i c l e n u m b e rd e t e c t i o n v e h i c l et y p ed e t e c t i o n , t r a n s p o r td e n s i t y , r o a do c c u p a n c y , a n ds oo n a n dt h e na l g o r i t h mf l o wa n d p r o g r a md e s i g ni sd e s c r i b e d a tl a s t ，t h ea l g o r i t h mt of u s ev i s i b l ei m a g ea n di n f r a r e di m a g ei si n t r o d u c e da n d s t u d i e d t h r o u g ht h et e c h n o l o g yt h ea c c u r a c yo f v e h i c l ed e t e c t i o nc a nb ei m p r o v e d i t c a nm a k eu pf o rt h es h o r t a g eo ft r a d i t i o n a lv e d i od e t e c t i o na n dw i l lh a v eag o o d d e v e l o p m e n t k e yw o r d s ：i t sv i d e od e t c e t i o nv i r t u a ll i n ed s p 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作和取得的 研究成果，除了文中特别加以标注和致谢之处外，论文中不包含其他人已经发表 或撰写过的研究成果，也不包含为获得盘鲞盘茎或其他教育机构的学位或证 书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中 作了明确的说明并表示了谢意。 学位论文作者签名：互球掷签字日期： 鲫多年二月2 7 日 i 学位论文版权使用授权书 本学位论文作者完全了解吞鲞盘茎有关保留、使用学位论文的规定。 特授权苤叠盘茎可以将学位论文的全部或部分内容编入有关数据库进行检 索，并采用影印、缩印或扫描等复制手段保存、汇编以供查阅和借阅。同意学校 向国家有关部门或机构送交论文的复印件和磁盘。 ( 保密的学位论文在解密后适用本授权说明) 学位论文作者签名：王讲朱唧 签字日期：f 年2 月2 7 日 导师签名： 签字日期：力肿擗月7 日 天津大学硕士学位论文第一章绪论 1 1 智能交通系统( i t s ) 概述 1 1 1 发展i t s 的必然性 第一章绪论 近年来随着经济的发展，交通需求日益增加，城市交通拥堵、交通事故频发、 交通环境恶化以及能源短缺等成为当前世界各国面临的共同问题。无论是发达国 家还是发展中国家都承受着不断恶化的交通的困扰，据美国有关部门预测，到 2 0 2 0 年，美国因交通事故造成的经济损失每年会超过1 5 0 0 亿美元，而日本东京 每年因交通拥堵造成的经济损失约为1 2 3 0 亿美元。解决交通问题的传统办法是 修建或扩建道路，但是，随着人口的增长，城市人均居住面积日益减少，可供修 建道路的空间越来越少。同时，交通系统是一个复杂的综合性系统，单独从道路 或车辆的角度来考虑，都将很难解决交通问题。在这种背景下，把车辆和道路综 合起来系统地解决交通问题的思想就油然而生。 i t s 是目前世界各国交通运输领域竞相研究和开发的热点，i t s 是指将先进 的信息技术、电子通讯技术、自动控制技术、计算及技术以及网络技术等有效地、 综合地运用于整个交通运输管理体系，而建立起的一种在大范围内，全方位发挥 作用的，实时、准确、高效的交通运输综合管理和控制系统。 在我国，近年来，我国公路总里程的增长率为2 5 ，机动车的年增长率却 在1 0 以上，车辆增长速度远远超过道路增长速度。同时，道路的修建，必然 带动四周经济的发展，同时刺激交通需求的增长，从而导致更高的车辆增长率。 因此，为了解决这一系列的问题，除了加大交通基础设施的投入外，但更重要的 是要充分、合理、科学地使用现有的交通道路设施，提高道路使用率，发挥他们 最大的作用，要达到这个目的，采用i t s 是根本的措施之一。近2 0 年的研究表 明：实行i t s ，可以使道路的通行能力提高二至三倍，从而产生巨大的经济效益 和社会效益。可以说，发展智能交通系统是中国交通事业发展的必然趋势。 i t s 强调的是系统性、实时性、信息交流的交互性以及服务的广泛性。它是 由若干子系统所组成的，通过系统集成将道路、驾驶员和车辆有机地结合在一起， 加强了三者之间的联系。借助于系统的智能化技术，驾驶员可以实时了解道路交 通以及车辆的状况，以最为安全和经济的方式到达目的地。同时，管理人员通过 对车辆、驾驶员和道路实时信息的采集来提高其管理效率，以达到充分利用交通 天津大学硕士学位论文第一章绪论 资源的目的。 i t s 的应用给交通运输业带来了巨大的经济效益，并且正在逐步形成产业 化。一项关于美国西雅图高速公路使用匝道调节系统的6 年研究报告显示：尽管 l 5 年间交通量增加了1 0 - 1 0 0 ，但由于采用了先进的交通管理系统，车速 保持稳定或增加，而事故发生率减少了6 0 ，在每个匝道口的延误时间平均低于 3 分钟。 1 1 2i t s 的内容 1 先进交通管理系统( a d v a n c e dt r a f f i cm a n g e m e n ts y s t e m s ，a t m s ) 删s 为智能型运输系统的核心与基础，用于检测控制和管理公路交通，在 道路、车辆和驾驶员之间提供通讯联系。它依靠先进的车辆检测技术和计算机信 息处理技术，获得有关交通状况的信息，并进行处理，及时地向道路使用者发出 诱导信号，从而达到有效管理交通的目的。 2 先进的驾驶员信息系统( a d i s ) 在信息类型及信息接受者方面，a d i s 与a t m s 有本质差别。a t m s 中同样具有 许多向驾驶员提供信息的设备，如可变信息板、公路咨询广播等，但他们传递的 信息量是有限的，一个可变信息板一般只能显示1 4 个字符，公路广播的情报也 不能超过几分钟，而上述设备是为整个交通流总体服务的，其信息只具普遍性， a d i s 是以个体驾驶员为服务对象，驾驶员可以通过车载路径诱导系统，在与控 制中心的信息传递中使自己始终行驶在最短路径上。 3 先进车辆控制及安全系统( a v c s s ) a v c s s 结合传感器、计算机、通讯、电机及控制技术应用于车辆及道路设 施上，协助驾驶人驾驶，以提高行车安全，增加道路容量，减少交通拥挤。利用 传感器协助人类感官功能之不足，减少危险的发生；提高自动控制程度，弥补驾 驶员因判断错误及技术不佳所造成的疏忽与危险。 a v c s s 与之相关的技术包括：防撞警示系统、自动停放车辆、车间通讯、 自动车辆诊断、自动横向纵向控制等。 4 商用车辆营运系统( c v o ) c v o 是利用前述的技术于商业营运车辆，以提升运输效率及安全，减少人 力成本，提高生产力。所谓商车不仅包括大型与重型车辆如卡车、货车，也包括 救护车以及每日运作的商用小型车。 与c v o 相关的技术包括：自动车辆监视、自动车辆定位、行进间测重、电 子式自动收费、自动车辆辨识、最佳路线导引、双向无线电通讯、自动货物辨识 等。 2 天津大学硕士学位论文第一章绪论 5 先进公共运输系统( a _ p t s ) 心叮s 是将a t m s 、a t i s 与a v c s s 之技术应用于公共运输系统，以改善公 共运输服务品质，提高营运效率，增加公共运输系统的吸引力。 与a p t s 相关的技术包括：自动车辆监视、自动车辆定位、电子式自动付费、 最佳路线导引、公车计算机排班、公车计算机辅助调度、车内显示系统等。 6 先进乡区运输系统( a 1 玎s ) 研究发现几乎有5 0 以上的交通事故是发生在郊区道路，且由于距离医疗服 务太远，延误治疗，死伤情形较市区严重，遂于i t s 中增加此子系统，希望利用 先进技术降低事故造成的损失。与之相关的技术有：事件自动侦测、自动紧急信 号、最佳路线导引、自动车辆定位、双向通讯等。 7 自动公路系统( a h s ) 自动公路系统是i t s 中最先进的一项系统，它是利用路旁设施使车辆得以自 动驾驶。a h s 的目的是藉由先进通讯及自动控制等技术的应用，协助驾驶人开 车，以降低驾驶人开车时精神及体力上的负担，并提升交通安全与运输效率。 1 1 3i t s 的发展状况 近十几年来，世界各国交通拥堵、交通事故和环境污染越来越影响着社会经 济发展和生活。虽然道路运输增长的需求可以靠提供更多的道路设施来满足，但 是在资源、环境矛盾越来越突出的今天，道路设施的增长将受到限制，这就需要 依靠先进的技术方法来满足这一需求。i t s 就是解决这一矛盾的途径之一，而且， 其重要性正被越来越多的人所认可。 i t s 是2 1 世纪地面交通运输和管理的主要发展方向，是交通运输的一场革 命。自2 0 世纪8 0 年代末以来，西欧、北美和日本竞相发展智能运输系统，制定 并实施了开发计划。发展中国家也开始i t s 的全面开发与研究。智能交通系统的 研究己在世界范围内受到广泛关注，美国、日本、欧盟等一些发达国家分别在i t s a m e r i c a 、v e r t i s 、e r t i c o 的协调组织下，纷纷投人巨资和人力进行i t s 的研 究与开发。i b m ，l g ，西门子，松下，日立等国际知名巨头纷纷进军i t s 市场。 据美国交通部估计，智能交通系统的应用将消除大约每年1 2 0 万的交通事故，挽 救上万人的生命，节省2 6 0 亿美元因交通堵塞及交通事故所造成的损失。在未来 2 0 年里，美国智能交通相关产品及服务市场容量将超过4 2 0 0 亿美元，相关项目 将超过6 0 万个。 中国对i t s 的研究与应用也非常重视，在“十五”期间，国家关于i t s 的 目标包括：在8 1 0 个典型城市进行r r s 工程示范，力争使示范城市行车平均 速度提高1 0 公里4 , 时，事故造成延误时间减少3 0 ，乘客平均出行时间减少 天津大学硕士学位论文第一章绪论 2 0 ；同时，选择1 2 条交通量较大的高速公路，试点建设跨省国道主干线联 网收费与清算系统、综合管理系统、主线不停车收费系统，争取实现跨省收费一 卡通；此外，还要扶持若干具有良好产业发展前景的i t s 高科技企业，开发智 能交通领域的关键技术，探索发展具有中国特色的i t s 。 1 2 视频检测技术的国内外研究概况 车辆的实时检测和追踪技术是智能交通系统的重要技术之一。通过对于路面 车辆的实时检测和追踪，可以得到许多有价值的交通流参数，例如：车流量、车 型、车速、车流密度等等；同时还可以检测事故或者故障等突发状况。所以不管 是在高速公路还是城市交通上都有着广泛的应用。 目前，交通流参数检测的方法很多，交通流参数检测的方法有很多，主要有 微波多谱勒检测、感应线圈检测、超声波检测、视频检测等几类。它们的主要优 劣点如下： ( 1 ) 环形线圈检测器 主要优点：造价较低、检测精度较高。 主要缺点：安装时对路面有破坏、施工和安装过程中会干扰交通、安装和拆 除不方便、线圈易损坏。 ( 2 ) 激光红外线检测器 主要优点：性能很好、精度很高。 主要缺点：价格昂贵、设备复杂。 ( 3 ) 超声波微波检测器 主要优点：可全天候工作、车型分类交易实现。 主要缺点：容易受行人和遮挡物的影响、检测距离较短 ( 4 ) 地磁检测器 主要优点：价格低廉、精度很高。 主要缺点：无法检测静止车辆。 随着计算机技术、电子技术的发展。一种通过基于视频图像处理的方式获取 交通流数据的采集系统视频交通流信息采集系统，今年来获得了飞速的发 展，它是计算机技术、图像处理技术、模式识别等技术的综合应用。该系统不需 要破坏路面，只需在路面上方架设一部摄像机，将交通视频图像输入系统，就能 立刻进行分析，提取出需要的交通流信息，同时现场图像视频信号也可为电视监 控所共用，可谓一举两得。 与其他检测技术相比，视频检测具有其他检测技术所不可比拟的优势： 4 天津大学硕士学位论文第一章绪论 1 检测范围大，可以进行多点监视。一台摄像机即可监控几十至几百米的范围， 而且在摄像机的视野内可设定多个检测区域。 2 检测精度高，受外界影响因素小。 3 可提供丰富的交通信息，适合于实时监控。可提供车流，车速，占有率，车 流密度等多种交通参数，同时由于使用的是视频处理的方法，所以可对路面 情况进行实时监视。 4 检测的灵活性强，安装调试方便。无需破坏路面，只需对摄像机的参数作出 修改，从而不影响路面的正常交通，并且可以通过网络进行远程设置，方便 快捷。 可见，视频检测方法比其他方法更具优越性。视频交通流检测及车辆识别系 统是一种利用图像处理技术实现对交通目标检测和识别的计算机处理系统。通过 对道路交通信息数据与交通目标的各种行为( 如违章超速，停车等等) 的实时检 测，实现对交通路段上行驶的机动车的数量、速度以及类别等交通参数的自动统 计，达到监测道路交通状况信息的目的。同时，将检测和识别到的交通信息存储 起来，为交通管理提供依据，因此它是交通信息管理系统的重要组成部分。 由于车辆实时检测和追踪有着很高的实用价值和广阔的市场前景，各个国家 的科学家都在进行积极的探索。如美国的i s s 公司、新加坡科技等公司都推出了 相应的产品，而我国在这方面相对落后，但目前也有深圳市哈工大交通电子技术 有限公司、浙大电信研究所、北京布鲁顿公司等几家企业也有相应的产品。 目前，世界上在视频车辆检测领域最著名的公司是美国的i s s ( i m a g es e n s i n g s y s t e m ) 和p e e l o )( 3 6 ) zz 由于摄像机镜头会产生成像失真，使得实际成像并不完全遵照成像几何的理 论模型，在象平面上的成像位置会与理论值有偏差，因此在这里要记入到实际成 )、， 亚瑟亚 + + + z z z ( ( (吩吩 + + + 聊功功 + y y y 心吩气 + + + 聊聊聊 + + + x x x (t(1 一 p。，l i l 1j x y z l 天津大学硕士学位论文第三章摄像机的标定算法 像的模型中。从无失真的象平瑶坐标( x ，y ) 到受镜头失真影响而偏移的实际象平面 坐标( x ，y + ) 的变换，它的变换表达式是： 矿= x i 一触 广= y l 砂 ( 3 - 7 ) 其中r x 和r y 表示镜头的径向失真，它的估计值为( 其中k 为镜头失真系 数) ： 鼢工+ k 以+ 2 + y + 2 r y j ，+ k x 木2 + y 宰2( 3 - 8 ) 3 2 3 象平面坐标到计算机坐标的变换 计算机中使用的图像坐标单位是存储器中离散像素的个数，所以对实际象平 面的坐标还需要取整转换的过程才能映射到计算机的成像平面。它的变换表达式 是： m = m - 蔷 n = n - u 号 ( 3 9 ) 其中，m ，n 是实际象平面的原点在计算机图像平面上所映射的点像素所在 的行数和列数，m ，n 一般会落在计算机象平面的中间位置，所以约等于中心像 素所在的行数和列数。因为计算机的图像平面一般以左上角为坐标原点，而成像 的坐标系根据图3 3 可知，与计算机图像的坐标刚好相反，所以要经过转换才能 正确的读取样本点的像素坐标。s x ，s y 分别是x 和y 方向上的尺度因子，表示 计算机图像平面上每个像素所对应的实际物理尺寸，即c c d 摄像头两相邻传感 器在x 和y 方向上的间距。s x ，s y 的单位为m m p i x e l 。“是引入的不确定性图 像尺度因子，它取决于c c d 摄像头的特性参数，表示由于摄像头扫描本身造成 的不精确性而带来的 图3 3 成像坐标与计算机图像坐标关系图 将( 3 1 ) n ( 3 - 9 ) 这些映射方程结合起来，就可推导出计算机图像坐标( m ，n ) 与 实际的三维空间坐标( x ，y z ) 的变换方程。如下式： 2 l 天津大学硕士学位论文第三章摄像机的标定算法 m ：埘一f r , ( x + t x ) + r ：( y + t y ) + r 3 ( z + t z ) 岂 【五+ 工) + 吩l ，+ y y ) + r 9 ( z + 7 z ) ( 1 + k r ) s x n ：玎一fn ( x + t x ) + r s ( y + t y ) + r 6 ( z + t z ) 三一 r 7 【五+ x ) + ，甚【j ，+ ，y ) + ，9 【么+ i z ) ( 1 + 白) 妙 ( r = x 私+ ) ，妒)( 3 1 0 ) 得到了两者的关系，也就建立了摄像机的数学模型，模型得到以后就可以在 应用中讨论如何去标定摄像机的参数。 3 3 摄像机参数的标定 如前所述，要实现交通流的检测，就需要从视频图像中恢复出实际的三维空 问尺寸。根据式( 3 1 0 ) 可以看出，如果未知的参数能够得到的话，就可以由计 算机图像中的两点像素距离推出视场中路面上对应的两点间的实际距离。 就单摄像机系统而言，计算机图像的一点对应三维空间的点是无穷多个的， 而且这些点都在一条直线上。由式( 3 1 0 ) ，当( m ，n ) 给出后，二元线性方程 组有三个变量，它们的解o ( ，y z ) 必然是一条直线。但对于本系统而言，仅需要知 道车辆行驶路面上的点的坐标，也就是，只要把路面在三维空间的平面表达式给 出，求出这条直线与路面的交点，就可以确定路面上任何一点的三维坐标，从而 计算出路面上任意两点的距离。 摄像机模型需要确定的参数有很多，有些是可以直接测量的，有一些参数是 不方便测量的，比如旋转矩阵。为此一般需要先知道一组已知的样本点去确定这 些参数，也就是说，以样本点在世界坐标系中的坐标值和它们的像点坐标作为已 知输入，就可以建立方程组解出所需的参数。在这里需要确定的参数如下： 旋转矩阵j i 和平移矢量于 摄像机的焦距f 传感器在x 和y 方向上的尺度因子s x ，s y 象平面的原点在计算机图像上映射的像素坐标m ，n 镜头的径向失真系数k 不确定性图像尺度因子l 为了方便样本的测量提取和摄像机参数的计算，并根据实际安装监控摄像机 的应用场合，在建立世界坐标系时，通常选择以安装监控摄像机的桅杆与地面的 交点为原点，桅杆作为z 轴，与公路垂直的方向为x 轴，与公路平行的方向为 y 轴，如图3 4 。坐标系一旦确定，路面在三维空间的平面表达式也就得到了： z = 0 ，因此路面上样本点的三维坐标十分容易获得，只需要测量出它们的x 坐 天津大学硕士学位论文第三章摄像机的标定算法 标和y 坐标即可。而且由式( 3 1 0 ) 可知，在摄像机参数确定以后，因为z = o ， 所以路面上任意一点的空间坐标都可以由图像上对应的像素点推算出来。从而可 以标定图像中路面上任意两点的距离。 图3 4 世界坐标系建立 在标定摄像机的参数时，要根据需要确定的参数个数来决定样本点的个数。 在上面列举了对于一个完整的摄像机模型需要标定的参数。但在本文这个实际的 应用中，不需要确定全部的参数。因为要确定全部的参数，需要足够多的样本点； 而且，一些待定参数的存在尤其是一些非线性的参数会造成了摄像机模型的复杂 性，加大运算难度；另外，由于参数方程的求解要采用数值运算，参数方程过于 复杂会影响参数方程组的求解精度甚至无法求解，最终导致的结果是，很难精确 甚至无法标定摄像机的参数。因此在不影响最终测量精度的前提下，考虑到本系 统的应用场合，在这里简化了摄像机的数学模型，对于镜头的径向失真k 和不确 定性图像尺度因子都可忽略不计，简化后的摄像机模型为： m=m-：茎堡!垒竖型!垒!上(3-11)m mf上_ 二二二_ = _ 二- 二一：一 一一( z 4 - t x ) 4 - r d r + t y ) + 矗 n = n - ，! ! 墨堡! 量! 兰堡! 堡塑上( 3 - 1 2 ) 。r 7 ( x + ，x ) + ( 】，+ t y ) + r 9 妙 由式( 3 - 1 1 ) ，( 3 - 1 2 ) 可知，最终要确定的参数有：r ，t ，f , s x ，s y , m ，n 。其中旋 转矩阵j i 一共有9 个未知元素，但实际上只有3 个自由度( 0 ，) ，即只需确 定3 个未知参数；平移矩阵r 有3 个未知元素，由已建立的坐标系可以看出，它 们分别是摄像机在路面的垂直投影点的横坐标和竖坐标依据摄像机的安装高度， 为方便记忆，分别记为t x ，1 y ，h 。h 即摄像机的高度。由此可知一共需确定的参 数的个数是1 1 个，把它们记为向量的形式： p = p 妒hfs x $ 聊行t x 黟，( 3 1 3 ) 天津大学硕士学位论文 第三章摄像机的标定算法 参数标定时只需要6 个样本点的世界坐标系的坐标o ( ，y z ) 和图像点坐标 ( m 舯作为输入，就可以建立1 l 元方程组求出参数向量声。6 个样本点的获取方法 如图3 4 所示，在现场的视频采集图像上画上5 根虚拟线：2 条垂直于公路的走 向，3 条平行于公路的走向。2 条垂直线到x 轴的距离和3 条平行线到y 轴的距 离都可以到路面现场测得，它们的6 个交点的坐标就可以得到了。注意在画线时， 一定要分别与x 轴y 轴正交，可沿着视场内一些辅助的目标去画，比如路面上 的标线等。这样做是为了在实际测量路面上的这些点的坐标时容易去找到这些目 标点，有的还可以根据路面建设标准，可以直接获得尺寸而无需去测量。 下面给出了一组仿真的数据，验证了简化后摄像机模型的映射关系，根据先 验的知识给出一组自己设定的参数向量卢和路面6 个样本点的已设定世界坐标 系的坐标见表3 - 1 。 p 矿州= 1 0 0 0 3 1 4 1 5 2 1 0 4 8 6 7 1 一o 6 2 8 3 1 8 5 j 陬砂h 】- - o 8 0 9 9 5 】 陋砂】- 【1 1 0 + l e - 51 1 2 + l e 一5 j ( m m p i x e l ) i n 1 = 3 8 32 8 6 】 厂= 0 0 0 7 9 ( i n ) 表3 - 1 样本点世界坐标 x ( m )y ( m ) z ( m ) 1680 2980 31 2 80 41 21 3 0 591 3o 6 61 30 经过摄像机模型方程转换后的六个样本点在计算机图像坐标系的坐标值 ( m ，n ) 如表3 2 。 表3 - 2 样本点图像坐标 m ( p i x e l )n ( p i x e l ) 14 2 05 1 3 25 5 24 3 5 36 5 53 6 6 45 0 12 7 9 54 9 83 0 9 62 8 33 5 8 天津大学硕士学位论文 第三章摄像机的标定算法 。扁。， ，r 1 ( + t x ) + r 2 ( y + t y ) + r 3 h1 i 翟2 = ，耢瓣卦 仔柳f r 4 ( x + t x ) + r s ( y + t y ) + r 6 h 1 g ( 两= 一肘彬似m l 坩岛甩可l 。 f ( 3 ) 2f ( 一3 0 ) 一a f ( 3 1 5 ) 舒= 笪嚣瓦o f 瓦o f 可o f o f o f o f o f o f 0 0 o s x o s y o mo n o t x 茜l 廿 ia a i ya 厅a 厂a z y1 5 g ：l 塑箜丝箜箜丝盟箜箜丝箜l 廿 蜩2 西丽面面可一o s x o s y o m o n 0 t x 面j a 心 声= 丛口妒妒a ha t s ka s y a ma na t x a 矽r( 3 - 1 6 ) 将户的系数展开如下：( 记：x = x + t xy = y + t y ) 塑：，! 量兰：量竺量竺竺兰二2 ：兰竺二鱼竺羞：量竺2 兰兰! = 二竺上 0 0 。 ( r t x + r s y + r g h ) 2 s y 篆= ， 岛n 嚣y + 嚣n 秽+ b 嶂? 耄翌嚣竺竺! 兰竺j ( r t x + r s y + r g h ) 2 s y a g ，( 嘉n 嚣n 嚣坝r 7 n n 删_ ( 嚣n 嘉n 嚣肋以n y f 十r 6 协l a 。( x + r s y + r g h ) 2 s y o g ，( r t x + r s y ) 厅一( r 4 x + r s y ) 1 o h 。 ( r + y t + r 9 厅) 2 s y a g ! 垒墨! 垒兰! 堡垒! 1 ( r 7 x t + ，8 】，。+ r g h ) 2s y 堕：o丝=-f。(r4x+rsy+r6h)j1 o s x o s y( ，7 x + r s y + r g h ) 2s y 2 丝：o 丝：一1 锄锄 天津大学硕士学位论文第三章摄像机的标定算法 箜：，(rsy+rgh)r4-(rsy+r6h)r71 o t x 。 ( r t x + r s y 。+ r g h ) 2砂 丝：f 7t(rtx+rgh)r5-(r4x+r6h)r81( 3 1 7 ) a r y 。 r r t x + r s y + r g h ) 2 s y 、 由以上各式可知，将6 个样本点的世界坐标和图像点坐标以及给出的初值r 代入式( 3 1 6 ) ，令其等于零求解户，这样就可以把非线性方程组转化为线性方 程组的求解。由6 个样本点建立的1 1 元线性方程组求解得到卢后，用( 豆+ 户) 作为新的参数估计值，重新带入方程组再次重复求解卢，直到所求得的卢小 于指定的允许误差，到此时只就可以认为是真解了，即摄像机的参数标定也就 完成了。在以后的测量当中，将参数代入式3 1 1 ，( 3 1 2 ) ，建立一个二元线性方程组， 就可以根据图像上的像素点( m ，n ) 求出三维空间路面上所对应的点的世界坐标 ( ) 【，y ) 。 3 4 本章小结 本章从成像变换出发，对摄像机的参数标定做了深入的研究，给出了摄像机 参数标定的方法，找到了图像上像素点到实际三维空间中的点的一一对应关系， 从而实现了图像坐标系与世界坐标系的转换。 天津大学硕士学位论文第四章车辆视频检测算法 第四章车辆视频检测算法 本章研究了一种基于虚拟检测线的快速车流检测算法，该方法首先要在车道 上设置虚拟检测线( 有一定宽度) ，每个检测线代表一个区域。当车辆通过任何一 个检测线时，就会产生一个检测信号，以此为基础来检测所需的各种交通流信息。 该检测算法并不需要处理整幅图像信息，仅仅用到了其中非常有限的数据，主要 是检测线周围的信息。这样只处理感兴趣的信号不仅节省了系统资源，而且使得 在相同的资源下可以实现更多的功能。 4 1 图像的预处理算法 经过数字化的图像，可能带有严重的噪声信号，这些噪声通常来源于图像拍 摄、传输和数字化的过程中，由于摄像器材、外部环境等干扰因素而混杂入图像 信号中。这样的图像是无法进行目标的准确检测和识别的，会严重影响对图象的 处理工作。因此，这里需要首先通过图象预处理的环节，对图像进行滤波处理， 使将被处理的图象除掉噪声干扰，改善图象质量，从而保证以后视频处理的正确 性。通常使用的滤波方式如下： 邻域平均法 邻域平均法是一种简单的空域处理方法，它是将像素点( m ，n ) 及其邻域的灰 度值与某一加权函数相乘后求和，所得的值作为该点的滤波值。 f ( m ，n ) = x f ( m r , n s ) h ( r ，s )( 肌，n = 0 ，1 ，一1 )( 4 1 ) 式中，h ( r s ) 为加权函数，习惯上称为掩码，如： 1 1 q 2 雏 哦 ， 该方法一般有4 一邻域和8 一邻域两种取法，这种方法的优点是可以较好的 消除麻点噪声，缺点是产生平均化，使图像灰度急剧变化的边缘部分模糊不清。 中值滤波法 中值滤波是一种去除图像随机噪声的常用办法，其原理可描述为：对图像中 天津大学硕士学位论文第四章车辆视频检测算法 的每一个像素，以其为中心任取一个对称区域，对区域内所有点的像素值进行排 序，取中间的一个值为所处理的点的像素值。由于突变像素点在经过排序以后， 位于排序队列的中间的可能性很小，所以，这些突变象素点的值会被区域内的中 间像素值所代替，从而有效地去除了图像中的高频随机噪声。 中值滤波通常是采用一个含有奇数个点的滑动窗口，用窗口中各点灰度值的 中值来代替窗口中心点的灰度值。x , j - _ - 维序列 j ) 进行中值滤波时，滤波窗i = 1 也是 二维的，将窗口内的像素按照灰度值的大小排序，生成单调数据序列 ) 【i 。 ，二维中 值滤波结果为： g = m e d x , d ( f ，) w )(4-3)j 其中w 为选定窗口的大小，x i 为窗口内点的灰度值。与低通滤波相比，这 种噪声去除方法可以去除点状尖峰干扰而边缘不会被破坏。 中值滤波对于消除孤立点和线段的干扰十分有用，其突出的优点是在消除噪 声的同时，还能保护边缘信息。但当图像中的噪声像素数超过有效像素之半时， 中值滤波将失效。 高斯滤波 高斯滤波属于一种低通滤波器，主要用于滤除噪声、平滑图像，形式如下： 1 查 e2 0 2 ( 4 - 4 ) z 舾 在图像处理中为了抑制噪声，我们通常选用低通滤波，但由于边缘轮廓含有 大量高额信息，所以，过滤噪声的同时，必然使边界变模糊。反之，为了增强边 缘轮廓，我们常用高通滤波，但同时噪声也被加强了。在这个问题上中值滤波的 处理效果比较理想，它在滤除噪声的同时，还能很好的保护边缘轮廓。中值滤波 的效果见图4 1 和图4 2 。图4 1 为原始图像，图4 - 2 为经过中值滤波后的图像。 因此，在本文中对车辆检测前的图像预处理中，采用的就是中值滤波法。 图禾l 原始图像图4 - 2 滤波图像 天津大学硕士学位论文 第四章车辆视频检测算法 4 2 检测线的设置 文中使用的交通流检测算法首先要确立检测线的位置，检测线是垂直于道路 放置的，如图4 - 3 所示。检测线的宽度要小于车辆前后间距的像素宽度。如果检 测线太宽的话，必然导致需要处理的区域像素的个数增加，对应的数据运算时间 也会增加，将最终影响图像处理的实时性。因为数字图像是一秒钟2 5 帧的刷新 率，也就是说处理每一帧图像的时间不能超过o 0 2 秒，帧与帧之间的处理时间 是十分短的，所以，要适当的选择处理区域的大小，不致影响整个检测的实时性； 如果检测线过窄，由于包含的图像信息太少，因为噪声和干扰，容易造成精度的 降低。 图4 3 检测线的设置图 在车辆的存在检测中使用了横向和纵向两条检测线，只有当车辆同时压线 时，才认为有车经过，否则认为无车。 在车速的检测中，需要在同一车道上放置两条平行的检测线，这两条检测线 的距离大概要一个车身左右。如果距离太近，会造成速度计算不准确；如果距离 太远，将无法判断是否是同一辆车经过两条检测线。 4 3 运动检测 4 3 1 常用方法 1 ) 连续帧差方法 在序列图像中，通过逐个像素比较的方法求取时间上前后两帧图像之间的差 别，称为连续帧差方法。该方法对时间上连续的两帧图像相减，可以将图像中运 动目标的位置和形状突出出来，以此来判断是否有运动目标出现。 在帧差以后的结果图像中，灰度不发生变化的部分被减掉( 包括背景和小部 天津大学硕士学位论文第四章率辆视频检测簿法 分斡目标) 只蜜下两帧襁减后灰度誉厨的部分，这样裁能确定运动目标的僚嚣 该方法豹优点是运舞方法篱单，荔予实瑷。毯警运动舀舔( 车辆) 绞理简单 时，运动闰标容易出现断裂和破碎，给后续的识别带来很大困难。另一方面，当 运动目标邂动速度很大时，容易产生虑影，即检测剿的运动目标比实际目标要大， 甚至会爨凌一令嚣据交残秀拿基拣懿壤凌。嚣魏，将连续鲮差磐法运用于车壤运 动检测，效果往往不理想。 2 ) 光流场法 光流场法可以独变黥检测检测区巾的运动物体，但是大部分熬光流场算法戆 诗算都；# 常复杂，摄赡受现实时静运动检测，所黻这释方法不瀵食用在实辩梭铡 的系统中。 3 ) 背景蓑分方法 该方法镶爱兰藿蓍枣囊葶爨鸷暴搂耱躐，戮获取运麓霆标。由予鹜爨踅像会蕤豢宠 照强度和方向的变化而缓慢变化，因此需要与自邋应背景更新算法相结合，方能 完成运动目标检测的任务。背景帧麓法的优势是可以获得完整的运动目标的外 形，焉虽够实现实孵悭。 逶过绦台沈较，本稔测算法选爝了背景差分与自适应背景爨新法相结合豹方 法。 4 。3 。2 像素点的检测 对于一组视频流，假设i 。j ( n ) 代液在时间t = n 时刻点( i ，j ) 的灰度，当前帧 与背景帧之间的帧差犬于阀值t 即符含式，则认为这个像素发嫩了变化。 眈 p r s _ d e t e l i n e i a c c e s s i ； s u m + = p t r f r a m e 3 t e m p ； c o u n t + + ： ) g r a d a v g = ( s u m + c o u n t 2 ) c o u n t ； b a e k g r d a v g = m a x ( d e t e e t o r - g r a g s t a t i s t i c ，2 5 6 ) ； 其中程序中的b a c k g r d a v g 即为建立的初试背景值。 4 4 2 背景更新的算法 检测过程中由于天气、光线条件会发生变化，在建立了初始背景后，如果不 进行更新，那么初始背景必然会随着时间的变化与当前真实背景之间的误差累计 会越来越大，而这个误差会严重影响后续的检测工作，降低检测精度。因此要得 到正确的检测结果须随着环境的改变而自适应的改变背景值，避免由于光线改变 造成误判。 分析发现，车辆运动和自然场景变化的速度不同。自然场景变化属于一种缓 慢变化，而车辆运动所引起的图像变化是一种快速变化。因此可以选用低通滤波 的方式来阻止快变图像对背景更新的干扰，而光照随时间的缓慢变化则能顺利通 过低通滤波器，促使背景的相应更新。 研究发现：卡尔曼滤波是处理背景自适应跟踪问题的最好方法之一。但卡尔 曼滤波计算太复杂，往往很难适应自适应背景更新的实时性要求，因此可以将公 式简化为： 当l j ( f ，) 一最( f ，) l t o 时， 反+ 。( 七) = 眈( f ，_ ，) + f l w ，) 一b ( f ，州 ( 4 - 7 ) 否则 毋+ ，( 七) = 鼠( f ，) + 口l ，伉，) 一色( ，_ ，) j ( 4 8 ) 天津大学联圭学整论文第器牵率骥筏蓣硷测雾法 由此产生任意背景点的简化卡尔曼自适成背景趸新公式： 麟+ i ( f ，) = b ( 式，) 十k ( 1 一m ( i ，列+ m ( i ，) l ，g _ ，) 一段( 力j( 4 9 ) 式中b ( i j ) 是第i 行第j 列的背景颜色信息，m ( i j ) 是掩码信息，它是通过运 动捡溯穰患判錾该豫素熹楚孬舞运囊基标，蔻必l ，否赠隽0 ，分秘镬薅嚣秘苓 同夏凝速率豹滤波霞予c t 籁t 3 ，通常珏 ) ，旺为主更额因子，对应静态蟊标 ( 背景) 的图像更新，面8 为从更新因子，对_ 陂运动目标的更新。 由卡尔曼滤波更新出发，在本文中采用了熙为简便的背景更新算法。背景模 型b 心( 螂楚通过前n 一1 帧的图像序列得到的，b ，j ( o ) 初始化为第一帧图像，即b i j ( o ) = i 国，懿暴像素( i ，j ) 羧摄式转一1 ) 没骞发象变纯，剿鹜景不簧掰，如果辗提 式( 4 - 1 ) 发生了交往，爱l 背凝穰据下式进行更薪，瓿表示鹜景更新遮发。文中选择 在0 9 旋右，效果比较好。 马， 十1 ) ；a b