一种基于直方图统计与多帧平均混合算法的车流量检测模型

1、一种基于直方图统计与多帧平均混合算法的车流量检测模型摘要新一代智能视觉监控技术的研究是一个极具挑战性的前沿课题，它旨在赋予监控系 统观察分析场景内容的能力，实现监控的自动化和锊能化，因而具有巨大的应用潜力。 在智能视频监控系统中，对包含运动目标的图像序列进行的分析处理主要由运动目标检 测、分类、跟踪和视频内容分析等几个基本环节组成。其中目标检测技术作为系统的最 底层，是进行各种后续处理的基础。木文通过建立数学模型采用统计直方图和多帧平均混合的算法解决如何从视频图 像中提取出高质量的背景图像和车辆图像的问题，为车辆的外形、速度、流量等一系列 参数的处理提供前提，并根据附录视频中提取的背景图像进一

2、步应用，建立了计算车流 量的模型。具体地讲，针对问题一，我们利用统计直方图和多帧平均混合的方法，提取出背景 图像，并考虑到环境的光线等因素的不断变化，及时对背景进行更新。对于不同光线背 景下的差分阁像，采用otsu求阈值技术，得到车辆的二值化阁像。如下图所示：图1（a）实时路况图像（b）对应背景图像（c）二值化图像针对问题二，我们以问题一中得到的背景为基础，运用虚拟线检测法，在采集到的 视频图像帧中，在每条车道上人为地设置一条横向的虚拟线，利用检测线处产生的颜色 灰度变化是否超过设定的阈值来检测车辆是否通过并计数，得到如t结果：车道程序数车人工数车漏数多数漏检率/%虚警率/%准确率/%1687

3、0202.86097.14222220000100344430102.2797.7344343000010052828000010061314107.14092.86755530203.6496.36总计273273331.101.1097.80表1实验检测数裾关键词：目标检测技术；竹景提取与更新；虚拟线车流量检测法：统计直方图和多帧平 均；otsu阈值技术1 问题重述问题重述：传统的视频监控由人工进行视频监测发现安全隐患或异常状态，或者用于事后分 析，这种应用具有其固有的缺点，难以实现实时的安全监控和检测管理。为解决这一问 题，智能视频分析技术应运而生。智能视频分析在国内又称之为智能视频监控

4、，是在近 年计算机网络和硬件技术飞速发展的大竹景下逐步发展起来的一门新兴技术，它旨在利 用计算机视觉技术、图像视频处理技术和人工智能技术对监控视频的内容进行描述、理 解和分析，并能根据分析的结果对视频监控系统进行控制，从而使视频监控系统異有较 高层次的智能化水平，0前已成为提高视频监控系统效能的主要发展方向和产品竞争的 一个研究热点。具体应用在交通管理中，带冇智能分析功能的监控系统，如智能交通系 统(its)，可以通过区分监控对象的外形、动作等特征，做到主动收集、分析数据，并根 据预设条件执行报警、记录、分析等动作。视频检测技术能够利用计算机视觉和图像处 理方法建立一个智能交通管理系统，在不需

5、要人干预或者很少人干预的情况下，通过 对摄像机拍录的视频序列进行分析以实现车辆的定位、识别和跟踪，并在此基础上分析 和判断车辆的行为，对车辆的行为给出语义描述，做到了既能完成日常管理，乂能在发 生异常情况时做出及时反应。由于rrs的信息具有多源、异构等典型特征，所以对信 息的处理、检索和提取，己成为its发展和运用的关键。而进一步对于信息处理而言， 其关键技术是建立合理的数学模型。请你们利用所学知识解决以下两个问题：问题一： 根据提供的视频，建立提取附录提供的视频图像的数学模型；问题二：结合己提取的背 景，建立计算车流量数学模型。2 问题分析题a为我们提出y两个问题。其一是根据提供的视频，建立

6、提取附泶提供的视频图 像的数学模型；其二是结合己提取的背景，建立计算车流量数学模型。问题一要求我们 通过建立数学模型监视公路上是否有行使的车辆，并为提取视频阁像，为相关参数如该 车速、车牌、交通流特征等的获取做好前提工作。这一过程耍完成2个任务，一是目标 检测，即检测视频序列图像中被监视的场景图像是否有所变化，如果图像有变化，则说 明有新的目标出现，反之则认为没有新目标出现；二是目标提取，即检测有目标时，把 这个b标从视频序列图像中分割提取出来，为下一步s标跟踪和识别提供数据。问题二 要求我们基于己提取的背景图像，建立合适的数学模型，并完成交通牟流量的交通参数 的计算。为此，我们应该首先将附录

7、屮提供的视频压缩的avi格式的文件保存在计算机屮 (每秒25帧，每帧320x240像素)，然后再通过对视频序列进行数字化处理，提取出阁 像像素点(xy)的灰度值，之后设计合理高效的算法提取出高质量的车辆二值化图像，并 应用已提取的竹景图像，建立合适的数学模型，完成交通车流量计算，最后结合实验实 际效果，分析模型的优缺点，提出模型的一些改进方向和扩展应用。3 模型一3.1模型假设假设h假设为阴天，即不考虑车辆阴影假设2:假设除车辆以外道路上没有其它运动物体假设3:不考虑运动物体的临吋停靠3.2符号说明uy):二维图上的图像点t :时间t :阈值i :巾贞标号n :等分的灰度区间数n :灰度区间标

8、号5 :区间计数统计/ :灰度平均值co 类直方图之和<7 :类分离指标cz(x,y) : f吋刻背景图像中点(x,y)的灰度值:第以贞屮点u,y)的灰度值/,(%，>) z时刻路况图像屮点的(x,)，)灰度值3.3模型准备图像数字化：将图像分成x，y的二维坐标图，用m表示背景像素点(xj，)的灰度值， 则背景图像可表示为(x ,y,m)的集合。3.4模型分析提取背景图像即如何求每帧中每一点的灰度值m，可以根据视频序列特定象素位置 出现频率最高的象素值作为背景象素值这一基本原理，利用直方图与多帧复合的算法11 把每一个m确定。得出初始背景后，因为在不同时刻的背景图像也不同，所以背景

9、图像 应可以随时更新，所以必须有一个背景更新的算法，求每一帧新背景的棊本原理就是先 得到当前背景差分阁像，若点cr,y)的为0,则新背景中该点的灰度不变，若不为0,则该点的灰度取原背景灰度的90%与差分值的10%相加的和。这样新背景与原背景 之间是渐变的，与实际也相吻合。最后利用实时路况图像与对应时刻的背景图像作差分 处理，采用otsu法选定一个最佳灰度阈值，得到车辆的二值化图像。3.5模型建立与求解3.5.1背景提取将图像中某点qcf)的灰度范围0, 255等分为若干区间0, 256 / n, 256 / n, 2x256 / aq叫(256-256/a0, 2551, /v为等分区间数。对

10、应于某个象素的每个区间，我们考虑 其落在区间内象素点的灰度值的平均值/及区间的计数统计么当前神贞的在第n个区间上的平均值的表达式可参照多帧平均的更新公式，即:收，力=士 z以 i=f-n+l其屮c,. h，w为第/帧屮图像点（x ,，）的灰度值当 c,u，y)e(n-dx,256a， (x,y) = (l-a)-y) + a-cf(x, y) (2)当c,u，y）茫(/一 l)x256 . 2567tjxna,（y） = a-u（30在计算区间的计数统计s时也引入计数贡献因子，主要是为了能更好的跟踪背景的 变化，当前图像象素值对区间计数值的贡献是1,而前一帧图像象素值对区间计数统计 值的贡献为

11、/?,则区间的计数统计s可表示为下式：(n-l)x,nx256(4)当 c,（x，y）芒256 . 256 njxny)(5)这样将直方图灰度划分成区间段，对帧中的每个象素点计算和l后，比较不同 区间段的,，后，将具冇最人么的区间上的/，,作为背景像素（x,y,m）中的灰度值m。求出了所冇的灰度m，从而知道所冇的图像点（x,y，m）,即得出了背景图像。用上述方法得到附录视频中竹景图像如图:图2 （a）原始视频序列图像（b）提収的背景图像3. 5. 2背景更新由于环境的光线等因素在不断地变化，要准确检测出运动车辆，需要及时对背景进 行更新。获得初始背景阁像后，接下来就是在获得初始阁像的基础上进行

12、背景的动态更 新，得出每一时间段内的n景图像。记当前帧中图像点（x,y）在埘刻的灰度值为背景图像中相同点的灰度值为,通过计算当前帧和背景帧的差值，得到当前背景差分图像有：（又，），）=|/（>,） -ct（x,y）（6）对背景进行更新：alt （又，），）十（l-a）ct （x，），），！），（又，），）*0时（7）、（u），£）, （x，），）=0时查阅资料得到上式中6z取0.1时效果比较好，即表明在新的背景中，原来的背景占有 90%的比例，这一点也是与实际相符合的，背景之间的变化只能是渐变的，所以在相邻 的背景之间有着很大的相似性。因此利用上述方法，得到的更新结果是比较理想

13、的。详图如下：图3 (a)初始背景图像(b)财刻背景图像(c)z+1时刻背景图像3.5.3二值化处理提取视频图像的最终目的就是把车辆从背景中提取出来，所以必须利用实时路况图 像与对应吋刻的背景图像作差分处理，即选定一个灰度阈值r将图像分成大于时勺像素群 和小于r的像素群，只耍7选取合适就可以将车辆从阁像中提取出来。可以采用1978年提 出的otsu法|2选取最佳阈值：对于灰度级为0255, x xy的一副阁像，记c(x，以为阁像点(xj、)处的灰度值。otsu具体步骤：(1) 计算图像的直方图统计结果，得到灰度值为的频率为：(8)(2) 计算图像的灰度均值为:(9)255=()(3) 计算灰度

14、类均值和类直方图之和仍g；)为:(10)a=()外k=q(4)计算类分离指标7为：xa)(s)-(s)2(j 69(5)1-69()(11)(12)最后求出使7达到最大值的a则最佳阈值7xv。如图所示为用otsu法得到的r=40作为阈值的二值化处理图像。图4（a）实时路况图像（b）对应背景图像（c）二值化图像3.6模型应用：3. 6.1视频图像提取模型在静态交通参数分析中的应用在道路交通监控体系中，常常需要对车辆的一些静态交通参数进行分析，比如说车 辆的牟牌、外形等。对于静态参数只需一帧图像中即可检测出，下面以车辆的形状为例， 下面是利用视频图像提取模型提取出的二值化图像：图5 （a）实时灰度

15、图像（b）分割后的图像（c）处理后的图像对于智能监控体系中的分析系统而言，从处理后的图像图5（c）中分析出的该车辆矩 形形状大小来判断车型是可行的。3. 6.2视频图像提取模型在动态交通参数分析中的应用的重要性对于车辆的检测，除了外形等静态参数以外，更多地是检测其动态交通参数，因为 是动态数据，所以需要多帧图像做对比，发现一帧图像与先前帧的不同之处，从不同之 中构建出求动态参数的算法，因此视频提取模型提取出高质量的二值化图像尤为重要。 这是所有动态参数检测的根基，根基出错，后续步骤的正确性就没有保障。4 模型二4.1模型假设假设h除车辆外无其他运动物体 假设2:假设为阴天，即不考虑车辆阴影 假

16、设3:在虚拟检测线附近无占道行驶车辆4.2符号说明 t :时刻n :虚拟检测线长度5 :车辆的计数统计linen :检测线上对应时刻的灰度值init-backn :背景的初始估计值sum-diff :不同时刻灰度差之和sum-dijf-min :不同时刻灰度差之和的最小值4.3模型分析车辆检测和交通流参数检测是its的基础，其中基于视频虚拟检测线的交通流参数 检测是当前视频检的一个热点。虚拟线检测法121是指在采集到的视频图像帧中，在每条 车道上人为地设置一条横向或纵向的虚拟线，利用虚拟检测线处产生的颜色灰度变化是 否超过设定的阈值来检测车辆是否通过，运算量小，可以满足实时性要求，同时还可以

17、测量与交通控制相关的多个参数。另外由于越靠近阁像于底部的地方车辆越大，车辆之 间的间隔也越大。因此，检测线的位罝应尽量靠近图像底部，减少由于车辆跟得太紧而 引起的漏检现象。现在匝道路口设立虚拟检测线，每条车道设一条检测。（如图为方便 计算，设定水平的检测线，且车道从左至右依次标记为17）图6虛拟检测线的位置4.4模型建立下面以任意一个车道为例说明车流量计算的方法。4.4.1初始背景提取设计通过虚拟检测线的方法进行交通车流量等交通参数的计算。在实时阁像中，根 据虚拟检测线设置在图像上的位罝,对应于采集到的某一帧实时图像的灰度信号，得到 检测线上某一时刻的灰度值，设为。其中77为检测线的长度。应用

18、模型一中的背景提取方法，设求得检测线位置的背景灰度值作为背景的初始估 计值，记为把对应不同相邻时刻（似帧为单位）的/耐n设为咖，将/zne lnjine llnjine 21川,line 31川,line 41m检测线上像素点的灰度值（y信号）分别存入五个数组 1mvback-buff 5中。通过对相隔50帧的两个这样的数组的对应像素作差，再用差 值的绝对值累加和来确定没有车经过的检测线。hp, line 51川与/z>w 1川作差，/zw 6n与line lln作差,并以zfne 51n覆盖/fwe ln,并以zzne 61n覆盖lln,以此类推，分 别存在鄕7n中，m，2,3,4,5

19、。设n姗h/炉 u娜 o|(13)k=l这样，只有当作差的两个时刻检测线上都没有车，或有完全相同的两辆车或同一辆 车经过时，5,醐-砌ti值最小。因此，第一次背景建立用100帧的时间，以后每次用50帧的时 间即可求得一组新的5画-/,并从中求出一个最小值鑛该最小5醐研 / 对应的/ne znl认为是检测线上没有车的图像数据。比如当前缓冲区存的是如 ln到 41n,那么输入的/zm 5nline 1 hl的间隔 是50帧(2秒，pal制)。这样在车速大于20km/h,车长小于11m的条件下(通常情况下满足 此条件)，不可能有同一辆车既经过时刻1又经过时刻51。但是有完全相同的两辆车既经 过时刻1

20、又经过时刻51的可能性却不能排除。但这种情况的几率很小，可用时间域求平均 的办法予以消除。4. 4.2阈值的确定与车流量计算方法背景的初始估计值建立之后，即可以根据设定的阈值确定检测线上有没有车通过。 阈值设定的正确性及其自适应能力直接决定能否正确地检测出车辆。下面介绍了取阈值 =3x 似的方法。sum-diff= | linen - init-backn(14)a-1当胃n-d砍时,认为有车经过。但实验证明，该法有时会出现每帧都检测到车的错乱 现象。这是由于的最小值理论上为零，零的倍数仍为零。这样，检测线上受外 界影响产生的一些小波动就很容易被误检为有车经过。设s -| linen init

21、-backn > n(15)a-l初始阈值取仍对应的/aw z按上式得到的s值，阈值更新值取检测到无车的/z7 zn按上式得到的5与原来阈值的加权平均，则既可以消除瞬间阁像亮度信号的突变，乂可以消除检测线上个别亮点的影响。new-t=g.sxold-t+q.2x /nxs(16)其中nav-伪新的阈值，ow-t为旧的阈值，加权系数由实验得到。4. 4.3背景更新算法仍用前述数组/m f川，每隔10帧对检测线取样。但是只有检测线上没有车时才对和 应数组硕<更新。例如，当检测到/ne 151hl上没有车时才用其覆盖加 101川， 并记录更新次否则跳过此次更新。当5个数组更新次数累计达到

22、5次吋，束sum-diff-min 和相应的/fn,用其与当前背景求加权和作为新的背景值。new-backn=0.9xold-backn+0a x line tn (17)其中肥为新的阈值，为旧的岡值，加权系数由实验得到。4.5模型求解和检验通过对算法的求解，现将程序数车的结果和人工数车的结果进行比较，用漏检率、 虚警率、准确率作为指标来评价系统的性能，艽各自定义如下：漏检率=系统漏检车辆的数目/程序数车的总数量；虚警率=系统多数车辆的数a/程序数车的总数量；准确率=1-漏检率-虚警率。根据附件提供视频图像文件，实验测得数据如表1所示。车道程序数车人工数车漏数多数漏检率/%虚警率/%准确率/%

23、16870202.86097.14222220000100344430102.2797.7344343000010052828000010061314107.14092.86755530203.6496.36总计273273331.101.1097.80表2实验检验数据从以上实验结果可以看出检测系统的准确率较高，平均97.80%,造成车辆目标的提 取出现一些误差。初步分析是由于车辆阴影和变道、占道行为导致的。5 模型评价5.1模型一的优缺点5.1.1模型一的优点视频运动检测i要有模板匹配法、光流法、特征匹配法、帧间差分法、背景差分法 等。模板匹配法和特征匹配法由于现实中车辆本身外形多变，因此比

24、较难建立准确的模 型，且运算复杂，达不到实时性要求；而光流法计算复杂，现阶段无法用于实时处理； 帧间差分法易受噪声的影响，检测精度和可靠性不高。因此背景差分法被认为是比较适 合于交通视频中运动b标检测的方法，其计算开销较小，对噪声的抗干扰能力较强，检 测精度较高。而背景差分法的效果主要取决于背景图像提取的准确性，其主要涉及到对 于背景如何估计的问题，同时在交通场景屮由于环境的变化，如场景屮光照条件引起的 亮度改变、物体运动引起的背景遮挡、临时停靠路面车辆等，异致背景阁像并不是静止 不变的。在实际应用中，如果直接用当前阁像与未动态更新的背景阁像差分进行分割， 则会产生不理想甚至是错误的分割，因此

25、需耍采用好的背景提取与自适应更新算法以期 减少动态场景对于准确分割的影响。现有的背景提取算法一般都可分为3类：（1）时域 滤波；（2）直方图分析；（3）祌经网络。这些算法性能各有优缺点，适合的场景也不尽相 同。在几种背景提取与自适应算法中，多帧图像平均算法计算量小，在前景s标较少吋 比较理想，而在处理实际复杂场景屮的车速过慢、堵车现象时将出现模糊和拖尾现象， 实验数据表明这种算法特别是在城市交通视频的应用在提取出的背景图象效果很不稳 定。而基于判决反馈的改进多帧平均算法在一定的程度上缓解了这些问题，但阁像还不 够平滑。木文采用的将直方图的统计方法与多帧平均相结合的方法是一种新颖的尝试，相关 的

26、文献资料介绍也比较少，这种算法克服单纯的多帧图像在车流量多、车速低时出现拖 尾和模糊的现象，且相对于混合高斯模型，其计算复杂度较低，它受场景的影响较小， 估计的背景也较为稳定，所得到的背景估计图最接近真实的背景，且能被应用到实际的 场合。此外该算法能够利用现有的tidm642dsp硬件平台实现，从实验图像可以看出 其结果与前两种算法相比，提取的背景更符合实际场景。5.1.2模型一的缺点基于直方图统计与多帧平均混合的算法处理的是图像的灰度信息，受车辆阴影的影 响较大，因为阴影与和与运动物体一样都显著区别于背景，且与其对应物体是相邻的， 运动规律相同，在分割的时候常常被合并成-个整体。5.2模型二

27、的优缺点5.2.1模型二的优点该算法采用linux嵌入式平台，内核高效稳定，且开发成本低，具有较高的检测精度 和自适应能力。所用虚拟检测线法计算量小，因此图像处理有较好的实时性。实验证明， 该系统的车辆存在检测的准确率达97.80%。5. 2.2模型二的缺点在车流量检测时采用固定开窗的方式来进行车辆计数，容易由于车辆变道、占道而 导致错误和重复计数。6 模型的改进与推广6.1模型的改进6.1.1针对车辆阴影影响无法避免的问题，我们考虑采用一种基于边缘信息的背景 差车流量检测方法l4j。该方法利用边缘信息作为车辆的检测特征，实时自动提取和更新 竹景边缘，然后用当前的路况边缘减去竹景边缘来获得运动

28、边缘图像。具体地讲，在图 像预处理和边缘检测中，采用sobel算子进行边缘检测效果较好。之后，采用“基于变 化因子的参考背景学习”方法来进行背景边缘图像的提取和更新。提取了背景边缘图像 之后，用实吋的路况边缘图像减去提取的背景边缘图像，所得的差值图像就是运动边缘 图像。为了进行后续车辆计数和车型统计的方便，通常要将运动边缘图像转化为二值图， 因此需要确定二值化的阈值。为了使算法具有较强的鲁棒性和自适应性，可采用迭代法 （最佳阈值法）来自动确定二值化的阈值，最终得到二值化后的运动边缘图像。动态开窗 的算法设计6. 1.2针对由于车辆变道、占道而导致的漏检和错误、重复计数问题，我们考虑在 检测带中

29、采用动态开窗的方式检测车辆的边缘，进行车辆计数和车型统计。通过观察二 值化后的运动边缘图像可以发现，尽管车辆的水平边缘可能存在断裂和不连续点，但它 们在垂直方向的边缘点累加数却基本上总是非零值。因此当车辆进入检测带时，车辆所 在位置对应的检测带垂直投影直方图分量总是一串连续的非零值。而这串连续非零值的 宽度或个数，基本上就是进入检测带的车辆轮廓宽度。因此本算法进行动态开窗的具体 做法就是：实时扫描检测带垂直投影直方图，在发现连续非零值的地方动态开辟一个跟 踪检测窗u;窗口以该连续非零值串的中间点为水平中心，宽度比该连续非零值串的长 度稍大一些，高度与检测带相同；然后在下一次扫描检测带垂直投影直方图时，跳过已 有的跟踪检测窗门所对应的直方图分景，直到车辆通过检测带、跟踪检测窗门被销毁后 才恢复对这些位置直方图分量的扫描。此外，算法还在已有的跟踪检测窗门屮实时检测 车辆轮廓的水平中心位置和最大宽度，相应地动态调整跟踪检测窗口的水平中心位置和 窗口宽度，从而实现对车辆位置和车辆宽度的自动跟踪。动态开窗的效果如图7所示。图7动态开窗的效果6.2模型的推广6.2.1车