基于视频的夜间环境辆检测与跟踪

1（ft东大学威海分校，机电与信息工程学院，ftKalman滤波器处理。根据关联信息的连续性，确认车辆存关键字：Video-basedVehicleDetectionandTrackingatXUWen-cong1，LIU(SchoolofMechanical，Electrical&InformationEngineering，ShandongUniversityAtWeihai，Weihai264209，China)Abstract:Fortrafficdataextractionatnighttime,aheadlights-basedvehicledetectionalgorithmisproposed.Firstly,headlightscandidatesareextractedbyanadaptivesegmentationalgorithm.Secondly,theheadlightscandidatesarepairedandgroupedbyspatialinformation.Thenrealheadlightsarelocatedbyrule-basedreasoningtogeneratevehiclehypotheses.Thirdly,thesepotentialtargetsaretrackedoverframesbylinearsearchingcombinedwithnearestneighborrulesandshapematching.AKalmanFilterisintegratedintotrackingmoduletohandlepartialandtotalocclusions.Thespatialcontinuityextractedfromtrackingprocessisusedtoconfirmvehicles’presence.Theresultsofexperimentsdemonstratethattheproposedalgorithmiseffectiveandrobustforvehicledetectionandtrackingatnighttimeinreal-time.Keywords:nighttime，adaptivethresholdsegmentation，KalmanFilter，vehicledetection，vehicle基于视频的交通数据采集技术由于其成本的低廉由于夜晚交通场景的很多特殊性，许多适用于白天的视频检测算法，如背景消减，帧间差分等，并不适应夜间环境。夜晚是交通事故的高发时段，稳定和准确的夜间交通检测算法研究具有很高的理论和应用价值。1

只处理灰度图像。为提取车灯，通过一种自适应阈值分割算法提取候选车灯连通域。将属于同一辆车的候帧间关联候选目标，结合空间和运动信息排除干扰和1所示：2（1964-），uMY

1ROI(RegionofSong[1]2蓝色直

(u,v是图像坐标系中的坐标，X,Y,Z是世界Z轴坐由于夜间的环境光源相对较弱，车灯中心在图像25灯照射路面时产生的反光灰度值也很高。以车灯作为主要特征的车辆检测方法，准确定位车灯是识别和跟R.akta[2]等使用白顶帽变换提取明亮的车灯，但是出现亮色车辆时，如白色车辆，大面积车体，车灯反光和车灯一起被分割为前景像素，前后KostaRobert[3]等提出在再建立决策树排除错误的假设。由于白顶帽变换将大量非车灯像素分割为前景像素，初始化时存在很多不必要的错误假设，大大增加了后续计算和判断的复杂RitaCuchiara[4]认为夜间环境下交通场景的灰度直方图符合双峰形状，提出采用阈值分割法提取车灯。但是夜晚交通场景的灰度直方图在很多情况下并不符合明显的双峰形状。u算法[5]是一种经典的自适应阈值分割算法，能够自适应地计算阈值，分割图像的前景和背景。在b上对夜间交通截图进行分割，由于大部分像素u大面积亮色车体和环境干扰被错误地分割为前景。根u自适应阈值分割算法，先对图像进行阈值分割，排除图像中灰度值偏低的像素。再在分割后的子图像上求自适应阈值。Otsu算法步骤(MN步骤1统计阈值分割后图像的直方图 2ROI

Nf S(x, y1M，如公式

S(x,y)1,S(x,

T0YtσYtROI主峰值对应的灰度值，σ是常整数，使得T0位于主峰步骤2TT0255，计算相应的类内均值N0

MS'(x,

3Otsu

对二值连通域用圆形结构元素进行形态学开闭运算，去掉车灯边缘的尖刺，使连通域的形状更接近圆[]N1N

形在u轴的长度W和vHRμI(x,y)

I(x,

A(属于该连通域的像素数目)L(2N N0NμI(x,yN

I(x,

连通域对应于世界坐标系中的质心坐标XiYi1 ω0N0/Nfω1N1/NfN0N1Nf

R.Taktak[2]RitaCucchiara[4]都认为车前灯在图像上表

1m步骤3通过比较，求得使类间方差最大的阈值Toptargmax{g(TTT0255另外，由于舍去了大量低于阈值T0的像素，降低了计3所示。

4所示。这样的连通域配4右上所示。相邻车道并排行驶车辆的车灯之间也可能满足距离约束，不同车辆的车灯可能被错误的配对。为了411对连通域配对，用该连通域配22对连通域配对，认为分别对应车v轴上较小的连通域配对建立车辆假设。3分组中存在多对（2）连通域配对，认为v轴上最大的配对，然后利用面积最大规则4认为落单连通域是路面反光或者其他干扰，只利用连通域配对建立车辆假设；规则5对于只包含落单连通域的分组，为了尽量减少

运动。根据车辆公路行驶的最高速度限制Vmax最大距离，如(15)式： max( max(f5所示： v5Dismax，宽度比单个连通域左，,f f rkmin{kk},fkiff ff kkfjjk个形状属性。ωLDA算法[7]得到。k100个SP100SN。正样本集是形状rk的定义，分别化，构成正，负向量集VPVN

66中，红色”+”是降维后的正样本集，蓝色”*”是μP,μN，类内协方差P,N。求得判别函数如式(19)：xijLikelihood(i

|mm

arg{max{J(W) N}

gN(xi,j)(xi,jμN)

mp

MPMN

MPMN

j个车灯连通域形状是匹配的。否则，判定不匹配。式(16)，(17)Sb，如式

gPxij)gPxij)SwSp

P P

(RimP)(RimP

(R

)(R

mN

SbNp(mpm)(mpm)tNN(mNm)(mNmPmNNPNN是正，负向量集m是向量总体均值。

bSw1b

Kalman滤波器预测车辆在当前帧的位置。Kalman滤波器[8]换向量

6

XkAk,k1Xk1Wk

如果在当前帧中关联失败，相应的分数减veh_hyp_score1YkHkXk

信心分数增加到一定阈值veh_hyp_score

(T3~5)

X

Yx 状态向量X 各分量分别是车辆在世x V YZXY1010 状态转移矩 0010 0001

效，相应分数加1；如果全部关联失败，相应分数减(3)veh_hyp_score0时，如果已经确认了车

10001

算法实现的硬件平台为IntelCore2Duo忽略状态噪声和观测噪声Wk1,VkKalman滤波器的预测2.6.判断车辆假设如果当前帧的某一个车辆假设没有被任何车辆假为每一条车辆假设链表设置相应的车辆存在信心分数h_hp_oe1。同时，根据车灯对左，右车灯之间的距离将车辆类型分为大型车和小型车。对于某一条车辆假设链表，如果在当前帧中关联1h_hp_oe1；

1采集自北京的保福寺桥。输入视频大小为4027是视频111的交通数711112347视频样本2入视频大小为320240，帧数25帧/秒，时间长度10min06sec，人工统计视频中通过的车辆数目为221822是视频2的交通数据采集结果。822272422123 96%以上。另外，算法能够稳定地跟踪车辆，Kai-TaiSongandJen-ChaoTai,Dynamiccalibration

pan-tilt-zoomcamerasforPan-Tilt-ZoomCamerasforTrafficMonitoring[J].IEEETransactionsonSystems,Man,andCybernetics,Oct.2006,Vol.36,No.4:1091-1103.R.Taktak,M.Dufaut,R.Husson.,VehicleDetectionatNightusingImageProcessingandPatternRecognition[A].InternationalConferenceonImageProcessing,Austin,Texas,USA,Nov.1994:296-300.KostiaRobert.,Night-TimeTrafficSurveillancearobustframeworkformulti-vehicledetectionclassificationandtracking[A].SixthIEEEInternationalConferenceonAdvancedVideoandSignalBasedSurveillance,Genova,Italy,Sep.2009:1-6.R.Cucchiara,M.Piccardi,P.Mello.ImageAnalysisandRule-basedReasoningforaTrafficMonitoringSystem[J].IEEETransactionsonIntelligentTransportationSystems,Jun.2000,vol.1,no.2:119-130.N.Otsu,Athresholdselectionmethodfromgray-levelhistograms[J].IEEETransactionsonSystems,ManandCybernetics,Jan.1979,Vol.9:62-66.K.Suzuki,I.Horiba,andN.Sugie,Linear-timeconnectedcomponentlabelingbasedonsequentiallocaloperations[J].ComputerVision&ImageUnderstand,2003,vol