基于视频与检测器数据的车辆跟踪算法研究

基于视频与检测器数据的车辆跟踪算法研究

0基于视频与检测数据的语义层次交通事件检测算法在国外，交通事件的检测正在进行中。20世纪60年代以来，一些国外交通工程专家先后提出了许多基于交通事件自动评估的算法。根据算法对检测数据的使用方法,这些算法大致可以分为5类:统计算法、比较算法、基于时间序列与滤波的算法、基于交通流理论模型的算法和人工智能及其他先进算法［1］。目前大部分交通事件检测算法对车辆相互遮挡的分割效果不理想,导致在交通量比较大的情况下,算法运行结果比较不稳定,为了解决这一问题,提出了基于视频与检测器数据组成的语义层次交通事件检测算法。该算法首先使用ST-MRF模型实现车辆跟踪,将图像序列转化为车辆标号场序列,该模型能克服车辆相互遮挡对跟踪的影响［2］。通过车辆跟踪的结果得到车辆的目标地图和运动矢量地图,进而获得交通流基本参数,然后结合从安装在道路下游的检测器获取的交通流数据一起,采用语义层次算法对交通事件进行检测［3］。这种事件检测算法与以前的算法有所不同,它需要2组数据,一组数据来源于视频检测的交通流参数,另一组数据来源于道路下游安装的检测器所检测到的数据,具体操作见2.1。该算法在交通量比较拥挤且车辆出现相互遮挡的情况下,能准确检测到交通事件(如碰撞、追尾、超速、车辆抛锚和鲁莽驾驶等),对缓解交通拥挤和减少交通事故有重要的意义。1基于视频的时空马尔可夫st-mrf车辆跟踪1.1基于di东南角分布的mrf模型设S为图像像素的集合,表示M×N个位置的有限格点集,即如果图像像素为720×640,N为720,M为640。S(i,j)的邻域即除了像素点S(i,j)以外的所有位置与像素点S(i,j)距离相距为r的集合,用公式表示为:,d为当前像素点(i,j)与邻域像素点(k,l)的欧式距离。在S中有不同的邻域结构,当子集中每对不同位置总是相邻时,称c是一个基团(Clique),C表示基团的集合。基团是包含若干位置的集合,在退化的情况下,每一个位置s是一个基团,即一个基团只含有一个位置,如图1所示。(2)4-邻域与8-邻域结构(3)随机场式中像素S(i,j)的灰度强度值Xs仅仅依赖于像素S的邻域。20世纪80年代,Hammerlsey-Clifford给出了Gibbs分布于MRF的关系,从而解决了用Gibbs分布来求解MRF的概率分布［5］。具有如下的表达形式:式中,Z是归一化常数或配分函数;UC()是定义在基团C上的能量函数,它只依赖于ue014(s),s∈C的值;T是温度常数。公式(2)中的分母为S中任一像素的邻域系统的基团组合的能量总和。(4)时空马尔可夫随机场(简称为ST-MRF)ST-MRF应用MRF的原理,针对灰度图像,引入了空间算子与时间算子的概念。ST-MRF模型是二维MRF模型的扩展,这个模型不仅仅优化图像的空间分布,还将优化图像序列沿着时间轴的分布。在一个图像序列中,在沿着时间轴上相邻的对应像素位置之间都有着联系。ST-MRF模型考虑这种时间轴上的联系,建立时间算子的MRF模型。在空间域上建立空间算子的MRF模型［6］。1.2初始标记的确定作为车辆跟踪算法的初始准备,考虑到一个像素太小,不足以作为ST-MRF中的一个场景(site),需要一个较大的像素组。因此,把一个720×640的图像分割成90×80块,即每块由8×8个像素组成。在算法中,把一个块对应于ST-MRF中的一个场景。即把每个块和一个车辆联系起来,也就是给每个块赋一个对应的车的标号。本文采用ST-MRF模型进行车辆跟踪并确定一个初始标号分布。车辆跟踪算法流程图如图3所示,图4为车辆跟踪目标地图与矢量地图［7］。1.3相同号的交通参数使用基于ST-MRF的车辆跟踪算法对输入的视频序列图像获得2种地图。一种是目标地图,目标地图是车辆标号的集合,同一辆车的相同标号组成跟车辆形状相似的几何体,它能对遮挡的车辆进行分离。表示车辆ID分布图的分割结果,另一种是运动矢量地图,表示与车辆ID号对应的块的运动矢量分布。从目标地图和运动矢量地图可以获得不同的交通参数,如交通量、速度、密度和加速度。对交通参数的获取可以采用层次结构流程图表示,如图5所示。图6为交通参数提取的界面,图左下角为数据提取,右下角为交通量随时间变化趋势图。2路段检测布置本节先介绍来源于道路检测器的数据,从检测器获得的数据不能全部被算法所用,所以,应先对这些数据进行处理。数据集是淮安市淮海北路(淮海西路到黄河东路)城市道路的一段,路段长度为1.25km,车道数为6个,拍摄视频的位置与检测器安装位置相距350m［8］,图7为路段检测器布设分布图。表1中的数据记录时间是从9:30开始,10:11结束,共40min,期间共发生事件11起。每隔1min记录一次数据,数据包括流量、速度、密度和占有率。本文直接使用了该数据集,当有事件发生时,数据集里的交通流参数会发生变化,根据这种变化为下文中的事件检测提供数据支持。2.2交通事件检测语义,反映图像中包含的信息,可以是图像中具体包含的事物、背景、事物的空间关系等。为了明确图像语义所处的层次,Eakins［9］提出了语义层次模型,该模型将语义层次划分为3个层次,分别为图像底层特征层、对象层以及语义概念层。文章简化Eakins的语义层次模型,并结合交通事件检测指标提出坐标类层、行为类层和事件类层3层语义结构算法对路段上的碰撞、追尾、超速、车辆抛锚和鲁莽驾驶等交通事件进行检测,如图8所示。其中坐标类层运算符估计每一辆车在每个图像帧的坐标信息,坐标信息是通过操作车辆跟踪结果-目标地图和运动矢量地图而获得的;行为类运算符确定单个车辆的行为,即对来自坐标类运算符的每一辆车的时空轨迹进行分类;从这些单个车辆的行为中,事件类运算符确定事件的发生。2.2.1系统输出结果在该层,通过坐标类函数提取车辆坐标、交通量、平均车速、加减速度和行驶轨道等指标,并通过统计系统计算输出结果。提取的坐标类信息包括函数语句:getCoodinates(Vi)为在同一平面上车辆Vi的坐标;getVelocity(Vi)为车辆Vi的速度;getLane(Vi)为车辆Vi的车道号即在哪条车道上。(2)汽车vi是否适用于车辆执法运动时间t在该层,通过行为类函数语句获得每辆车的行为信息。行为类函数包括的信息有:停车、减速、间距、变换车道等。提取的行为类信息包括以下函数语句:isStop(Vi,t)为车辆Vi在时间t是否停车;isSlow(Vi,t)为车辆Vi在时间t是否减速;isSpace(Vi,t)为在时间t,在车辆Vi的前面是否有未用的空间,即排队现象;isLaneStraight(Vi,t)为在时间t,车辆Vi是否直走;isLaneChange(Vi,t)为在时间t,车辆Vi是否改道;isLaneChange(Vi,Lm,t)为在时间t,车辆Vi是否在位置为Lm的地方改道。(3)交通组织模型在该层,通过事件类函数语句可以获得交通事件信息。如交通事故(碰撞、追尾、超速、车辆抛锚和鲁莽驾驶等)和交通拥挤。具体操作过程见下文中的算法1,该层只由视频图像信息构成。当交通出现严重的遮挡现象时,很难从二维图像本身观察到交通事故,所以必须从下游检测器获得的数据经处理得到的交通流参数经整理成的流量类函数一起判断事件发生,具体操作过程见下文中的算法2。2.2.2运算符的提取据视频拍摄点下游350m处安装检测器,获得检测器数据,通过数据处理,得到交通流、速度、密度、占有率等数据后,使用下列运算符进行提取:getVelocity(Lm)为获得检测器处的速度;getOccupancy(Lm)为获得检测器处的占有率;getNunber(Lm)为获得检测器处的流量。(2)交通流状态分析流量类层相当于视频检测的行为类层。在第一层速度类层的基础上,根据交通量、速度、密度及占有率等交通流参数指标,判断下游安装检测器处的交通流状态:isFree(Lm)为是否为自由流;isCritical(Lm)为是否为临界流;isSaturation(Lm)为是否为饱和流;isSlow(Lm,Vi)为在安装检测器处是否有慢速行驶的车辆。(3)通事件信息比选在该层,通过事件类函数语句可以获得交通事件信息。如交通事故(碰撞、追尾、超速、车辆抛锚和鲁莽驾驶等)和交通拥挤。具体操作过程见下文中的算法2。2.3有事件发生的运算符图7中事件类层的事件检测算法有2种。第1种算法仅仅结合单个图像的行为类函数来构成事件类函数检测交通事件的发生,此种算法在交通比较拥挤,车辆遮挡严重情况下很难观察到交通事故,所以为了提高事件检测率,图像中的行为类函数结合安装在下游的检测器获得的流量类函数一起判断事件发生,这种算法为第2种算法。(1)算法1的运算符语句表达式为:上述语句中b代表事件的发生。运算符①表示是否存在静止的车辆或在静止车辆的前面是否有未用的空间(即形成排队),如果这些都存在,可以判断有事件发生;运算符②表示存在静止的车辆,并且至少有3辆车绕开行驶,这种情况判断为有事件发生;运算符③表示在短时间内至少有4辆车更换车道行驶,这种情况也可以判断为有事件发生。算法1由上述3个运算符组成。然而算法1中的运算符不能检测到跟踪区域的边界事件发生。这是因为在静止的车辆前面没有未用的空间。这时仅仅使用单个图像跟踪结果将不能准确检测到事件的发生。所以,在这种情况下,有必要结合安装在道路下游的检测器获得的数据一起检测事件的发生。所以在此基础上,算法2比算法1多了一个判断运算符④。(2)算法2的运算符语句表达式为:运算符④结合了2组数据,第1组isStop(Vi,t)来源于车辆跟踪判断车辆是否静止;第2组isFree(Lm,t)来源于下游检测器判断交通流是否为自由流。运算符④表示在道路上游是否有静止的车辆,下游交通流是否为自由流,如果满足这2种情况,就可以判断为事件发生。怎么判断下游交通流为自由流?当下游平均车速连续1min超过40km/h,密度小于10pcu/km,占有率小于5%时［10］,从表1中查询符合这些条件的数据。设定这种情况下的交通流为自由流,算法2结合检测器检测出的数据对事件进行判断。2.4以视频数据为依托的判断运算符Step1输入视频图像,及下游检测器数据;Step2基于ST-MRF模型获得目标地图和运动矢量地图,检测器数据经整理得到交通流基本参数数据;Step3视频图像经处理获得视频数据,如交通量、平均车速、加减速度、行驶轨迹;Step4根据视频数据,判断是否满足算法1中的运算符(1)、(2)或(3);Step5只要满足算法1中3项运算符中其中一项,就判断事件发生,如果都不满足判断无事件发生;Step6当满足算法1中3项运算符时,会有一些误判事件,比如:红灯前排队等待的车辆,用算法1中的运算符判断为事件发生,造成误判,这时需要结合下游检测器数据,如果下游检测器数据为自由流时,即满足运算符则判断事件发生,如果不满足,则说明红灯前得排队现象是正常,无事件发生。操作流程如图9所示。3事件发生家庭暴力本次试验拍摄的视频为2012年11月14日上午9∶30在淮安市淮海北路拍摄的一段视频,通过下游检测器检测到的交通量、速度、密度、占有率数据如表1所示。图10(a)、(b)、(e)为算法1所检测的车辆停车、车辆绕道、车辆换道事件发生的效果图,有事件发生的车辆用浅色的矩形框表示,这些事件的发生都满足算法1中的运算符。图10(b)、(d)、(f)为算法2结合下游检测器数据被判断为无事件发生的效果图。由于本次试验拍摄的视频没有事件发生,但是其中有停车、绕道和换道行驶状态。用算法1和算法2可以来验证事件检测的正确率。4交通流数据分析在分析交通事件检测研究现状的基础上,以提高事件检测率,缓解交通拥挤,减少交通事故为目的,进行了基于ST-MRF的事件检测研究。研究成果有:(1)运用ST-MRF模型进行准确的车辆跟踪,且在交通拥挤情况下,获得较准确的交通流数据;(2)运用语义层次算法来对事件检测所需的数据进行分层,层与层之间的关系可以通过运算符调用,这样可以节省计算时间,提高检测速度;(3)算法结合下游检测器检测出的交通流数据,进一步提高检测的准确性,这是因为仅仅采用基于ST-MRF车辆跟踪结果得出的交通流数据进行事件判断,处于车辆跟踪区域临界处的事件将会漏检;(4)通过试验比较发现,结合下游检测器数据算法的检测效果更好。在图像像素集合中,随机矢量X=(Xs)s∈S被称为随机场,密度概率为P(X)。假设720×640像素的图像为一个随机场,矢量X代表图像灰度的强度值,像素S=(i,j)的灰度强度值表示为Xs。如果随机场的密度概率P(X)满足了关于邻域系统的马尔可夫条件,就称之为马尔可夫随机场。2.1检测探测器数据的采集(1)坐标层的运算符(1)车辆运行轨迹的估计算法1由于没考虑下游交通流情况及车辆之间的相互关系等,对于出现排队现象的后面异常车辆和多辆车拥挤在一起时将判断为事件,如静止的车辆、绕道或者换道都判断为事件;通过车辆轨迹的聚集判断车辆绕道的过程为:车辆行驶轨迹的时间与空间分别确定后,每一条估计轨迹R的相邻离散点rm,rm