目标检测目标跟踪报告课件

视频监控运动目标分片跟踪报告内容1234马尔可夫随机场分割全局运动估计车辆检测与跟踪5图像超分辨率重建2动态场景的运动检测视频图像中的目标检测与跟踪，是计算机视觉的基础课题，同时具有广泛的应用价值。依照目标与摄像头之间的关系：静态场景目标检测相对简单，研究渐趋成熟动态场景相对复杂，成为当前研究领域的热点静态场景帧差的一个例子3视频序列运动检测对于动态场景，由于目标与摄像头之间存在复杂的相对运动，运动检测富有挑战性。传统的帧差方法已经不再适用，如何能对全局的运动进行估计和补偿，成为问题的关键。第一帧帧差图像4解决思路要检测动态场景中的运动目标，关键在于对场景的运动进行估计，通过估计出的运动参数补偿其运动，最后使用帧差法得到运动目标。提取特征点特征点匹配最小二乘求运动参数提取特征点前一帧图像后一帧图像运动补偿帧差法运动目标5求解全局运动参数前一帧后一帧求特征点并匹配运动补偿补偿后的帧差图像6实验结果与普通帧差法的比较

第50帧第80帧第5帧帧差法特征匹配的方法原序列7基于图像金字塔分解的全局运动估计

采用了3层金字塔进行多分辨率计算,而且在每层迭代计算中,将基于块的外点去除算法与特征点提取算法相结合,这样既加快了算法的速度,又提高了计算结果的准确性。8基本步骤如下：用高斯图像构造法构造图像金字塔；对金字塔顶层图像进行全局运动估计，求得运动参数；将顶层金字塔求得的参数集隐射到金字塔的中间层，并对该层进行全局运动估计，求得相应的运动参数；将金字塔中间层的参数集映射到金字塔的底层,对该层进行全局运动估计，求得该层的运动参数集,即最终求得的参数集。利用求得的最终参数集，对图像进行运动补偿，将运动补偿后的图像与前一帧图像进行差值。9下图给出了运动补偿与直接帧差的结果比较图1

Coastguard序列图像图2直接帧差和运动补偿后的差值图比较10运动目标分分片跟踪报告内容1234马尔可夫随随机场分割割全局运动估估计车辆检测与与跟踪5图像超分辨辨率重建11目标分割的的意义与现现状运动目标的的准确分割割，对于获获取目标的的特征信息息非常重要要，直接影影响到进一一步的运动动目标跟踪踪的处理，，传统的运运动目标分分割的算法法主要有背背景差分，，相邻帧间间差分，光光流场的方方法，这些些方法都有有各自的缺缺点和不足足，不能满满足准确分分割运动目目标的要求求。12Ohlander等提出了一一种多维直直方图阈值值化分割方方法，该方方法直方图图阈值法不不需要先验验信息，计计算量较小小,但缺点是单单独基于颜颜色分割得得到的区域域可能是不不完整的，，而且没有有利用局部部空间信息息，分割不不准确。13马尔可夫随随机场分割割目前基于马马尔可夫随随机场随机机场（MRF）运动目标标分割的方方法在图像像分割领域域影响越来来越大，该该方法与传传统方法和和阈值法相相比，由于于基于MRF的运动目标标分割方法法同时考虑虑了图像颜颜色信息和和空间关联联信息，因因此分割效效果较好。。14另外，MRF参数选选取的好好坏会直接接影响到分分割结果，，Smits等研究雷达达图像分割割时表明，，马尔可夫夫参数如果果较大容易易形成较长长的边缘，，较小容易易形成微边边缘，而固固定的马尔尔可夫参数数则使目标标的轮廓模模糊，对分分割出的目目标准确判判断产生不不利影响。。15因此，我们们提出一种种基于自适适应权值的的区域马尔尔可夫随机机场的分割割方法，结结合分水岭岭预分割算算法，并利利用形态滤滤波对分割割结果进行行修正，较较好地解决决了分割不不准确，目目标信息丢丢失的问题题。16基于MRF的运动目标标分割马尔可夫随随机场是把把一维因果果马尔可夫夫链扩展成成二维的结结果，Hammersley-Clifford定理指出了了MRF和Gibbs分布之间的的等价性，，每个MRF都可以用一一个Gibbs分布来描述述，这样就就解决了MRF概率难求的的问题。17Gibbs分布可定义义成如下公公式：图像上每一一点的概率率分布18对于一帧CIF图像，存在在一系列的的像素点，，对于这这些点存在在一标记场场和事先观观察场，，这样马尔尔可夫随机机场的运动动目标分割割的问题可可以归结为为在事先观观察场和其其它一系列列约束条件件下，确定定运动目标标区域和背背景区域的的二值标记记问题。19MRF运动目标标分割结结果一（a）实验序序列1（b）固定阈阈值二值值化（c）高斯模模型分割割（（d）自适应应值MRF分割20MRF运动目标标分割结结果二（a）实验序序列2（b）固定阈阈值二值值化（c）高斯模模型分割割（（d）自适应应值MRF分割21运动目标标分片跟跟踪报告内容容1234马尔可夫夫随机场场分割全局运动动估计车辆检测测与跟踪踪5图像超分分辨率重重建22分片跟踪踪为什么引引入分片片跟踪：在目标跟跟踪领域域，一个个重要的的难题就就是目标标的遮挡挡问题，，因为遮遮挡发生生时目标标可能部部分或全全部不可可见。模拟人眼眼跟踪目目标的方方式，发发生遮挡挡时，人人眼会关关注目标标的可见见部分来来继续跟跟踪。受受这一思思想启发发，我们们将目标标分成多多个小片片，目标标被遮挡挡时，利利用“可可见片””来跟踪踪。23分片跟踪踪主要思想想：将目标分分片，建建立目标标分片表表现模型型（模板板）。在在目标上上一帧的的位置周周围遍历历搜索，，找到与与目标模模板相似似度最高高的候选选目标作作为跟踪踪结果。。当前帧上一帧目标位置候选目标位置搜索窗口目标分片24分片跟踪踪其中相似似度的度度量是通通过各片片的空间间直方图图匹配来来实现的的。确定定目标位位置后，，判断目目标中各各片的有有效性，，我们仅仅利用有有效片进进行下一一帧的跟跟踪。被遮挡的的区域片基本丢丢失25模板更新新由上可见见这种分分片方法法已经可可以很好好的解决决遮挡问问题。但是在跟跟踪过程程中，目目标的外外观模型型可能发发生变化化（例如如目标转转身、尺尺寸变化化等等））。那么么刚开始始为目标标建立的的模板就就不能很很好的表表示目标标，这将将影响跟跟踪效果果。26目标外观观变化时时片匹配配的情况况外观缓慢慢变化时时，丢失失的片很很少27利用有效效片的概概念，我我们为每每个目标标建立两两种模板板，临时时模板和和参考模模板。临时模板板—实时更新新的模板板，在无无遮挡情情况下跟跟踪，可可以解决决目标外外观缓慢慢变化的的问题。。参考模板板—能够很好好的表示示目标的的模板，，用于遮遮挡情况况下的跟跟踪。28分片跟踪踪多组实验验结果：：1.可以有效效的解决决目标遮遮挡2.在目标表表现模型型缓慢变变化的情情况下，，实时更更新模板板3.在背景较较为简单单的情况况下实现现目标尺尺度的更更新29分片跟踪踪遮挡下的的跟踪30分片跟踪踪目标表现现模型的的变化时时的跟踪踪31目标尺度度发生变变化32运动目标标分片跟跟踪报告内容容1234马尔可夫夫随机场场分割全局运动动估计车辆检测测与跟踪踪5图像超分分辨率重重建33车辆检测测与跟踪踪包括以下下两方面面内容：：基于码本本更新的的检测与与跟踪方方法基于轮廓廓匹配的的检测与与跟踪方方法34车辆检测测与跟踪踪概述智能交通通系统：：(IntelligentTransportSystems,ITS)35车辆检测测与跟踪踪概述影响车辆辆检测和和跟踪的的主要因因素：（1）车辆自自身阴影影；（2）车辆间间相互遮遮挡或车车辆被背背景中物物体遮挡挡；（3）同车型型车辆之之间具有有较大的的相似性性；（4）光线突突变；（5）夜晚和和雨、雪雪等恶烈烈天气等等。主要针对对（1）、（2）两种情情况开展展研究36车辆检测测与跟踪踪概述车辆检测测：改进进的码本本算法解决车辆辆检测中中的阴影影问题;车辆跟踪踪:Kalman预测的方方法解决车辆辆跟踪中中的遮挡挡问题;37基于改进进码本的的车辆检检测方法法运动检测测方法：：帧间差分分方法光流场方方法背景减法法构建较为为理想的的背景模型型38常用背景建模模和更新新算法混合高斯斯模型(MixtureofGaussians,MOG)：能处理复复杂、非非静止的的多模态态背景，，但它不不能适应应快速的的背景变变化,对噪声变变化比较较敏感；；基于内核核密度估估计(kerneldensityestimation,KDE)的非参数数背景模模型：需要大量量内存来来存储先先前的数数据，需需要很高高的计算算开销；；基于Bayes决策的方方法：在场景比比较复杂杂或前景景与背景景颜色比比较接近近时，提提取的前前景目标标很不完完整39基于码本模型型的运动动目标检检测方法法KimK，ProceedingsofIEEEInternationalConferenceonImageProcessing；2004算法是利利用量化化和聚类类技术来来构建背背景模型型；针对彩色色监控视视频,对背景中中的每一一个像素素点进行行一段时时间的采采样，采采样值聚聚类成码码本的形形式，码码本就代代表了背背景模型型。运动检测测时，对对新输入入的像素素值与其其对应码码本做比比较,如果能找找到与其其匹配的的码字，，则认为为该像素素点为背背景点，，否则为为前景点点。40基于码本模型型的运动动目标检检测方法法码本方法法：计算聚类类均值和和样本与与它的距距离,不涉及概概率运算算,运算速度度较快；；码本方法法能处理理高亮和和阴影问问题，而而且训练练时允许许有前景景运动目目标。该算法具具有较强强的鲁棒棒性，能能实现对对运动目目标较好好的检测测。41基于码本模型型的运动动目标检检测方法法原码本算算法对RGB空间的视视频序列列，已具具有较好好的检测测效果，，有一些些不足之之处：视频采集集设备，，如网络络摄像机机、DV和图像采采集卡等等采集的的视频序序列大多多是YUV格式的，，如果要要在RGB空间做运运动检测测，则需需要进行行从YUV空间到RGB空间的转转换，而而该转换换运算为为浮点型型运算，，运算量量大；原算法在在RGB空间进行行阴影处处理时，，需要做做浮点型型运算，，进一步步加大了了运算量量。42基于改进进码本的的车辆检检测实现现对原算法法进行改改进，直直接在YUV空间做运运动检测测及阴影影处理，，省去了了大量的的浮点型型运算，，提高了了算法的的效率。。检测步骤骤：（1）初始码码本的建建立（2）前景运运动目标标检测（3）阴影影和高亮亮问题的的解决（4）目标检检测过程程的码本本实时更更新43车辆跟踪踪方法的的实现基于Kalman滤波的车车辆跟踪踪通过运动估计计和目标匹配配两个模块块实现对对车辆的的跟踪。。利用前一一帧获得得的参数数作为Kalman滤波的状状态变量量，当前前帧获得得的参数数作为观观测值，，通过Kalman滤波推导导获得估估计值。。以估计值值为中心心进行目目标匹配配，如果果能匹配配上则认认为是当当前运动动目标，，如果匹匹配不上上则认为为出现了了遮挡，，使用Kalman对其位置置进行预预测。44算法步骤骤Step1背景模型型训练，，得到表表示初始始背景模模型的码码本。Step2输入像素素点和码码本做比比较判断断，得到到可能的的前景像像素点，，同时更更新码本本。Step3去除可能能前景像像素点中中阴影和和高亮区区域，得得到真实实的前景景点，同同时更新新码本。。Step4去噪，连连通区域域分析，，根据检检测出的的运动目目标的长长宽消除除非车辆辆目标，，将运动动车辆分分割出来来。Step5使用卡尔曼滤滤波器预测车车辆在下一帧帧中的可能位位置。Step6在预测区域周周围对各个车车辆进行匹配配跟踪。转Step2，进行下一轮轮跟踪。45夜晚车辆检测测结果46普通路面检测测结果（a）序列某一帧帧（b）混合高斯模模型检测结果果（c）Bayes决策检测结果果（d）本方法检测测结果47高速公路检测测结果（a）序列某一帧帧（（b）混合高斯模模型检测结果果（c）Bayes决策检测结果果（d）本方法检测测结果48跟踪结果（a）序列第168帧跟踪结果（（b）序列第182帧跟踪结果（c）目标质心在在x方向的坐标（（d）目标质心在在y方向的坐标49跟踪结果与粒粒子滤波方法法比较（a）粒子滤波第第40帧（（b）粒子滤波第第60帧（c）粒子滤波第第88帧（（d）粒子滤波第第100帧50跟踪结果与经经典CamShift方法比较（a）CamShift第40帧（b）CamShift第60帧（c）CamShift第88帧（d）CamShift第100帧51跟踪结果比较较（a）本文方法第第40帧（（b）本文方法第第60帧（c）本文方法第第88帧（（d）本文方法第第100帧52车辆检测与跟跟踪包括以下两方方面内容：基于码本更新新的检测与跟跟踪方法基于轮廓匹配配的检测与跟跟踪方法53背景传统视频检测测车流量统计计主要采用车车辆检测和跟跟踪技术相结结合的方法，，算法复杂且且容易受到外外界干扰影响响，本文建立若干干车辆遮挡模模型，利用分分层轮廓匹配配法将运动目目标与车辆遮遮挡模型进行行轮廓匹配识识别出遮挡车车辆。为了提提取运动目标标完整外部轮轮廓，提出一一种基于连通通域的两轮扫扫描法来标记记各个运动车车辆，并利用用YUV彩色空间对阴阴影进行检测测和抑制，提提高车流量统统计精度。54一、基于连通通域的两轮扫扫描法通过背景减法法得到运动区区域后，各个个运动目标可可以认为是一一个独立的连连通域，本文文采用基于连连通域的两轮轮扫描法标记记这些连通域域，从而实现现目标分割。。55基于连通域的的两轮扫描法法一、第一轮扫扫描初步标记各个个连通域。针针对背景减法法所得到的二二值化图，按按照从上向下下，从左至右右的顺序扫描描各像素点，，判断当前扫扫描点像素值值是否为255,如果像素值为为255，说明该点是是运动像素点点，接着判断断该点邻近像像素点是否已已被标记以决决定当前像素素点标记值，，当遇到第第一个已被标标记的邻近像像素点，就将将该像素点的的标记值作为为当前扫描像像素点的标记记值，若邻近近像素点都未未标记，说明明该像素点可可能属于一个个新的目标块块，赋予该像像素点新的标标记值。56基于连通域的的两轮扫描法法二、第二轮扫扫描第一轮扫描后后可能存在同同一连通域的的像素点被标标记成不同目目标的情况，，第二轮扫描描将同一连通通域内不同标标记值的目标标合并为一个个目标。判断断每个像素点点标记值是否否为0，如果为0，说明当前扫扫描点为背景景像素点，则则不予处理。。反之进一步步查询当前扫扫描点邻近像像素点是否已已被标记，，按照从上到到下，从左至至右的顺序对对邻近像素点点进行扫描，，当遇到第一一个已被标记记且标记值与与当前像素点点标记值不同同的邻近像素素点时，将进进行合并。57基于连通域的的两轮扫描法法(a)一轮扫描后(b)二轮扫描后58对比情况（a）原始图像（b）分割后（（c）逐行扫描法法（d）本文扫描方方法上图是实际的的目标分割结结果比较。图图（a）为原始图像像，图（b）为运动检测测结果，存在在外部轮廓不不连续的情况况。逐行扫描描法将该运动动目标分割成成好几块不同同的区域，如如图（c）所示，而本本文两轮扫描描法成功将该该运动目标分分割成一个独独立的区域，，如图（d）所示。59二、通过轮廓廓匹配来解决决遮挡问题处于遮挡状态态的运动目标标与未处于遮遮挡状态的运运动目标分割割得到的轮廓廓有很大的差差异，本文分分析目标的外外部轮廓来判判断该运动目目标是否处于于遮挡状态。。先建立若干干车辆遮挡模模型，代表一一些常见的车车辆遮挡情况况，再提取运运动目标的轮轮廓分别与各各个车辆遮挡挡模型的外部部轮廓进行匹匹配，根据匹匹配值判断该该运动目标是是否处于遮挡挡状态。60遮挡模型下图所建立的的车辆遮挡模模型代表了典典型的相邻车车道车辆遮挡挡情况。m1m261分层轮廓匹配配方法本文采用一种种分层轮廓匹匹配方法来比比较运动目标标与车辆遮挡挡模型的外部部轮廓，该方方法在匹配过过程中利用轮轮廓的整体和和局部信息进进行计算。首首先提取运运动目标轮廓廓，并进行采采样并以二叉叉树形式存储储，如右图图。62分层轮廓匹配配方法我们主要依靠靠该二叉树的的独特分层结结构逐层进行行匹配比较，，最终计算出出匹配值。具具体的匹配计计算可以利用用下面这个递递归等式来表表示：63试验结果（a）遮挡模型（（b）原始遮挡图图像（c）分割处理后后（（d）遮挡模型与与运动目标匹匹配64试验结果（a）（b）（c）（d）（e）（f）（g）表1上图各个车辆辆与车辆遮挡挡模型轮廓匹匹配结果65三、主要算法法步骤（1）首先根据背背景减法，初初步分割出运运动目标，并并对运动目标标进行形态学学处理，填补补内部空洞，，去掉一些孤孤立的噪声点点。（2）基于YUV彩色空间检测测并去除出运运动目标的阴阴影像素。由由于YUV的色差分量U、V和HSV空间的色度以以及饱和度分分量存在一定定的联系，色色度可以近视视表示为,而可以认为是是饱和度的值值，阴影像素素与背景像素素比较，亮度度有很大的变变化，饱和度度线性减少，，色度一般不不变，利用这这一性质检测测并去除出阴阴影像素。66主要算法步骤骤（3）通过本文提提出的两轮扫扫描法，分割割各个运动目目标，采集各各个运动目标标的大小，位位置，矩特征征，以及轮廓廓信息等，并并修补外部轮轮廓中不连续续的部分，得得到完整的目目标轮廓，供供后续处理。。（4）根据分层轮轮廓匹配方法法，对每一个个运动目标，，提取轮廓信信息与车辆遮遮挡模型轮廓廓匹配比较，，如果该运动动目标与某一一遮挡模型的的轮廓匹配值值小于某一阈阈值，则认为为是匹配的，，判定该目标标处于对应遮遮挡状态。67主要算法步骤骤（5）判断车辆是是否通过。本本文采用类似似开辟检测带带的方法进行行判断，首先先设置一条检检测线，横贯贯马路，分析析位于检测线线上的各个运运动车辆，对对于每一帧图图像中位于检检测线上的所所有运动车辆辆，我们都要要查询对应位位置在上一帧帧附近是否存存在运动车辆辆，如果存在在，则它们可可能是同一辆辆车，进一步步查询这两个个运动车辆的的大小、方差差与均值（矩矩特征）差值值是否保持在在一个范围内内，若小于某某一阈值，则则认为它们是是同一辆车，，反之认为当当前车辆是刚刚进入检测线线的新车辆，，进一步查询询它的遮挡状状态，根据遮遮挡情况，增增加车辆计数数值，达到统统计出车流量量的目的。68运动目标分片片跟踪报告内容1234马尔可夫随机机场分割全局运动估计计车辆检测与跟跟踪5图像超分辨率率重建69超分辨率重建建的概念超分辨率重建建(super-resolutionreconstruction)是指：从单帧帧或一序列低低分辨率图像像(LR)复原出一幅或或一序列高分分辨率图像(HR)，HR图像有着更高高的细节信息息和更好的主主观质量。LR序列HR图像70图像超分辨率率重建的必要要性摄像机在空间间上的分辨率率能力是有限限的。图像分分辨率受摄像像机感光阵列列的空间密度度及其本身引引入的模糊误误差、运动模模糊、下采样样、噪声等因因素，导致实实际拍摄图像像的质量较差差、分辨率低低。因此有必必要提高一定定的重建算法法来提高图像像的分辨率，，改善图像质质量。物体镜头感光阵列物体成像过程程：71图像超分辨率率重建的理论论基础傅立叶光学理理论中把成像像系统看成是是一个低通滤滤波器，在成成像过程中会会丢失高频细细节：对于一一个线性空间间不变成像系系统，成像过过程可表示为为：g(x)表示像，f(x)表示物，h(x)表示点扩展函函数。在截止频率之之外H(u)=0，因此就把成成像系统看成成了一个傅立立叶滤波器，，对F(u)的解进行了限限制。SR技术的目的就就在于恢复截截至频率之外外的高频信息息，以使图像像获得更多的的细节和信息息。它的理论论基础是：解解析延拓理论论，信息叠加加理论和非线线性操作。y(x)=h(x)*f(x)Y(u)=H(u)F(u)F(u)=Y(u)/H(u)72超分辨率重建建的观察模型型给出超分辨率率问题的完整整的数学描述述：给定p帧LR观测图像k=1,………p；每帧大小为为L1×L2，它们是来自自同一场景，，也可以看成成是来自HR图像f的不同位置，，f的大小为H1×H2。每个是是x经任意的偏移移、模糊以及下采采样而形成。建立观察模型型如下：Warp1M1WarpkMkWarppMpPSFBlur1B1PSFBlurkBkPSFBlurpBpSamplc1DSamplckDSamplcpD+++n1nknpy1ykypx73配准在序列图像超超分辨率重建建过程中，必必须从欲重建建图像的前后后帧图像中提提取相关的信信息作为本帧帧图像信息的的补充，因此此必须找到当当前帧图像中中各象素点在在前后序列图图像中所处的的位置。所以以图像超分辨辨率重建中一一个关键性要要素就是对序序列图像中每每个象素点进进行图像间精精确的亚象素素级运动估计计。为什么要进进行图像配配准？1stframe2ndframenotcorrect741stframe2ndframecorrectresultregistrated2ndframe+75为什么需要要子像素的的配准