目标检测、目标跟踪报告.ppt.ppt

1、视频监控小组工作报告 报告人：蒋老师报告人：蒋老师 09.11.17 hfut-ti dsp united labhfut-ti dsp united lab 2 运动目标分片跟踪运动目标分片跟踪 报告内容 1 2 3 4 马尔可夫随机场分割马尔可夫随机场分割 全局运动估计全局运动估计 车辆检测与跟踪车辆检测与跟踪 5 图像超分辨率重图像超分辨率重 建建 hfut-ti dsp united labhfut-ti dsp united lab 3 动态场景的运动检测动态场景的运动检测 视频图像中的目标检测与跟踪，是计算机视觉的基础课题，视频图像中的目标检测与跟踪，是计算机视觉的基础课题， 同时

2、具有广泛的应用价值。同时具有广泛的应用价值。 ： 静态场景静态场景 目标检测相对简单，研究渐趋成熟目标检测相对简单，研究渐趋成熟 动态场景动态场景 相对复杂，成为当前研究领域的热点相对复杂，成为当前研究领域的热点 静态场景帧差的一个例子静态场景帧差的一个例子 hfut-ti dsp united labhfut-ti dsp united lab 4 hfut-ti dsp united labhfut-ti dsp united lab 5 解决思路 要检测动态场景中的运动目标，关键在于对场景的要检测动态场景中的运动目标，关键在于对场景的 运动进行估计，通过估计出的运动参数补偿其运动，运动进

3、行估计，通过估计出的运动参数补偿其运动， 最后使用帧差法得到运动目标。最后使用帧差法得到运动目标。 提取特征点 特征点匹配 最小二乘求 运动参数 提取特征点 前一帧图像 后一帧图像 运动补偿 帧差法 运动目标运动目标 hfut-ti dsp united labhfut-ti dsp united lab 6 求解全局运动 参数 前 一 帧 后 一 帧 求特征 点并匹 配 运动补 偿 补偿后的帧差图像 hfut-ti dsp united labhfut-ti dsp united lab 7 第 50 帧 第 80 帧 第 5 帧 帧差法特征匹配的方法原序列 hfut-ti dsp unit

4、ed labhfut-ti dsp united lab 8 基于图像金字塔分解的全局运动估计基于图像金字塔分解的全局运动估计 采用了采用了3层金字塔进行多分辨率计算层金字塔进行多分辨率计算,而且在每层迭而且在每层迭 代计算中代计算中,将基于块的外点去除算法与特征点提取将基于块的外点去除算法与特征点提取 算法相结合算法相结合,这样既加快了算法的速度这样既加快了算法的速度,又提高了计又提高了计 算结果的准确性。算结果的准确性。 hfut-ti dsp united labhfut-ti dsp united lab 9 基本步骤如下基本步骤如下： 用高斯图像构造法构造图像金字塔；用高斯图像构造法

5、构造图像金字塔； 对金字塔顶层图像进行全局运动估计，求得运动参数；对金字塔顶层图像进行全局运动估计，求得运动参数； 将顶层金字塔求得的参数集隐射到金字塔的中间层，并对将顶层金字塔求得的参数集隐射到金字塔的中间层，并对 该层进行全局运动估计，求得相应的运动参数；该层进行全局运动估计，求得相应的运动参数； 将金字塔中间层的参数集映射到金字塔的底层将金字塔中间层的参数集映射到金字塔的底层, 对该层进行对该层进行 全局运动估计，求得该层的运动参数集全局运动估计，求得该层的运动参数集,即最终求得的参数即最终求得的参数 集。集。 利用求得的最终参数集，对图像进行运动补偿，将运动补利用求得的最终参数集，对图

6、像进行运动补偿，将运动补 偿后的图像与前一帧图像进行差值。偿后的图像与前一帧图像进行差值。 hfut-ti dsp united labhfut-ti dsp united lab 10 下图给出了运动补偿与直接帧差的结果比较下图给出了运动补偿与直接帧差的结果比较 图图1coastguard序列图像序列图像 图图2直接帧差和运动补偿后的差值图比较直接帧差和运动补偿后的差值图比较 hfut-ti dsp united labhfut-ti dsp united lab 11 运动目标分片跟踪运动目标分片跟踪 报告内容 1 2 3 4 马尔可夫随机场分割马尔可夫随机场分割 全局运动估计全局运动估计

7、 车辆检测与跟踪车辆检测与跟踪 5 图像超分辨率重图像超分辨率重 建建 hfut-ti dsp united labhfut-ti dsp united lab 12 目标分割的意义与现状 运动目标的准确分割，对于获取目标的特征信运动目标的准确分割，对于获取目标的特征信 息非常重要，直接影响到进一步的运动目标跟踪的息非常重要，直接影响到进一步的运动目标跟踪的 处理，传统的运动目标分割的算法主要有背景差分，处理，传统的运动目标分割的算法主要有背景差分， 相邻帧间差分，光流场的方法，这些方法都有各自相邻帧间差分，光流场的方法，这些方法都有各自 的缺点和不足，不能满足准确分割运动目标的要求。的缺点和

8、不足，不能满足准确分割运动目标的要求。 hfut-ti dsp united labhfut-ti dsp united lab 13 ohlander等提出了一种多维直方图阈值化分割方等提出了一种多维直方图阈值化分割方 法，该方法直方图阈值法不需要先验信息，计算量法，该方法直方图阈值法不需要先验信息，计算量 较小较小,但缺点是单独基于颜色分割得到的区域可能但缺点是单独基于颜色分割得到的区域可能 是不完整的，而且没有利用局部空间信息，分割不是不完整的，而且没有利用局部空间信息，分割不 准确。准确。 hfut-ti dsp united labhfut-ti dsp united lab 14

9、马尔可夫随机场分割马尔可夫随机场分割 目前基于马尔可夫随机场随机场（目前基于马尔可夫随机场随机场（mrf）运动）运动 目标分割的方法在图像分割领域影响越来越大，该目标分割的方法在图像分割领域影响越来越大，该 方法与传统方法和阈值法相比，由于基于方法与传统方法和阈值法相比，由于基于mrf的的 运动目标分割方法同时考虑了图像颜色信息和空间运动目标分割方法同时考虑了图像颜色信息和空间 关联信息，因此分割效果较好。关联信息，因此分割效果较好。 hfut-ti dsp united labhfut-ti dsp united lab 15 另外，另外，mrf参数参数 选取的好坏会直接影响到分选取的好坏会

10、直接影响到分 割结果，割结果，smits等研究雷达图像分割时表明，马尔等研究雷达图像分割时表明，马尔 可夫参数如果较大容易形成较长的边缘，较小容易可夫参数如果较大容易形成较长的边缘，较小容易 形成微边缘，而固定的马尔可夫参数则使目标的轮形成微边缘，而固定的马尔可夫参数则使目标的轮 廓模糊，对分割出的目标准确判断产生不利影响。廓模糊，对分割出的目标准确判断产生不利影响。 hfut-ti dsp united labhfut-ti dsp united lab 16 因此，我们提出一种基于自适应权值的区域马尔可因此，我们提出一种基于自适应权值的区域马尔可 夫随机场的分割方法，结合分水岭预分割算法，

11、并夫随机场的分割方法，结合分水岭预分割算法，并 利用形态滤波对分割结果进行修正，较好地解决了利用形态滤波对分割结果进行修正，较好地解决了 分割不准确，目标信息丢失的问题。分割不准确，目标信息丢失的问题。 hfut-ti dsp united labhfut-ti dsp united lab 17 基于基于mrf的运动目标分割的运动目标分割 马尔可夫随机场是把一维因果马尔可夫链扩展成二马尔可夫随机场是把一维因果马尔可夫链扩展成二 维的结果，维的结果，hammersley-clifford定理指出了定理指出了 mrf和和gibbs分布之间的等价性，每个分布之间的等价性，每个mrf都可都可 以用一

12、个以用一个gibbs分布来描述，这样就解决了分布来描述，这样就解决了mrf 概率难求的问题。概率难求的问题。 hfut-ti dsp united labhfut-ti dsp united lab 18 gibbs分布可定义成如下公式：分布可定义成如下公式： () 1 ( )() u z w t w p zez w q 图像上每一点的概率分布图像上每一点的概率分布 ( )( ( )|) c c c u zv z xx c hfut-ti dsp united labhfut-ti dsp united lab 19 对于一帧对于一帧cif图像，存在一系列的像素点图像，存在一系列的像素点 ，对

13、于，对于 这些点存在一标记场和事先观察场这些点存在一标记场和事先观察场 ，这样马尔可，这样马尔可 夫随机场的运动目标分割的问题可以归结为在事先夫随机场的运动目标分割的问题可以归结为在事先 观察场和其它一系列约束条件下，确定运动目标区观察场和其它一系列约束条件下，确定运动目标区 域和背景区域的二值标记问题。域和背景区域的二值标记问题。 hfut-ti dsp united labhfut-ti dsp united lab 20 mrf运动目标分割结果一 （a）实验序列）实验序列1 （b）固定阈值二值化）固定阈值二值化 （c）高斯模型分割）高斯模型分割 （d）自适应值）自适应值 mrf分割分割

14、hfut-ti dsp united labhfut-ti dsp united lab 21 mrf运动目标分割结果二 （a）实验序列）实验序列2 （b）固定阈值二值化）固定阈值二值化 （c）高斯模型分割）高斯模型分割 （d）自适应值）自适应值 mrf分割分割 hfut-ti dsp united labhfut-ti dsp united lab 22 运动目标分片跟踪运动目标分片跟踪 报告内容 1 2 3 4 马尔可夫随机场分割马尔可夫随机场分割 全局运动估计全局运动估计 车辆检测与跟踪车辆检测与跟踪 5 图像超分辨率重图像超分辨率重 建建 hfut-ti dsp united labh

15、fut-ti dsp united lab 23 分片跟踪 为什么引入分片跟踪： 在目标跟踪领域，一个重要的难题就是目标的遮在目标跟踪领域，一个重要的难题就是目标的遮 挡问题，因为遮挡发生时目标可能部分或全部不可见。挡问题，因为遮挡发生时目标可能部分或全部不可见。 模拟人眼跟踪目标的方式，发生遮挡时，人眼会关模拟人眼跟踪目标的方式，发生遮挡时，人眼会关 注目标的可见部分来继续跟踪。受这一思想启发，我们注目标的可见部分来继续跟踪。受这一思想启发，我们 将目标分成多个小片，目标被遮挡时，利用将目标分成多个小片，目标被遮挡时，利用“可见片可见片” 来跟踪。来跟踪。 hfut-ti dsp unite

16、d labhfut-ti dsp united lab 24 分片跟踪 主要思想： 将目标分片，建立目标分片表现模型（模板）。在目将目标分片，建立目标分片表现模型（模板）。在目 标上一帧的位置周围遍历搜索，找到与目标模板相似度最标上一帧的位置周围遍历搜索，找到与目标模板相似度最 高的候选目标作为跟踪结果。高的候选目标作为跟踪结果。 当前帧 上一帧目标位置 候选目标位置 搜索窗口 目标 分片 hfut-ti dsp united labhfut-ti dsp united lab 25 分片跟踪 其中相似度的度量是通过各片的空间直方图匹配来实现的。其中相似度的度量是通过各片的空间直方图匹配来实现

17、的。 确定目标位置后，判断目标中各片的有效性，我们仅利用确定目标位置后，判断目标中各片的有效性，我们仅利用 有效片进行下一帧的跟踪。有效片进行下一帧的跟踪。 被遮挡的区域 片基本丢失 hfut-ti dsp united labhfut-ti dsp united lab 26 模板更新模板更新 由上可见这种分片方法已经可以很好的解决遮挡由上可见这种分片方法已经可以很好的解决遮挡 问题。问题。 但是在跟踪过程中，目标的外观模型可能发生变但是在跟踪过程中，目标的外观模型可能发生变 化（例如目标转身、尺寸变化等等）。那么刚开始化（例如目标转身、尺寸变化等等）。那么刚开始 为目标建立的模板就不能很好

18、的表示目标，这将影为目标建立的模板就不能很好的表示目标，这将影 响跟踪效果。响跟踪效果。 hfut-ti dsp united labhfut-ti dsp united lab 27 目标外观变化时片匹配的情况目标外观变化时片匹配的情况 外观缓慢变化 时，丢失的片 很少 hfut-ti dsp united labhfut-ti dsp united lab 28 利用有效片的概念，我们为每个目标建立两种模板，利用有效片的概念，我们为每个目标建立两种模板， 临时模板和参考模板。临时模板和参考模板。 临时模板临时模板实时更新的模板，在无遮挡情况下跟实时更新的模板，在无遮挡情况下跟 踪，可以解决

19、目标外观缓慢变化的问题。踪，可以解决目标外观缓慢变化的问题。 参考模板参考模板能够很好的表示目标的模板，用于遮能够很好的表示目标的模板，用于遮 挡情况下的跟踪。挡情况下的跟踪。 hfut-ti dsp united labhfut-ti dsp united lab 29 分片跟踪 多组实验结果： 1.可以有效的解决目标遮挡可以有效的解决目标遮挡 2.在目标表现模型缓慢变化的情况下，实时更新模板在目标表现模型缓慢变化的情况下，实时更新模板 3.在背景较为简单的情况下实现目标尺度的更新在背景较为简单的情况下实现目标尺度的更新 hfut-ti dsp united labhfut-ti dsp u

20、nited lab 30 分片跟踪 遮挡下的跟踪遮挡下的跟踪 hfut-ti dsp united labhfut-ti dsp united lab 31 分片跟踪 目标表现模型的变化时的跟踪目标表现模型的变化时的跟踪 hfut-ti dsp united labhfut-ti dsp united lab 32 目标尺度发生变化目标尺度发生变化 hfut-ti dsp united labhfut-ti dsp united lab 33 运动目标分片跟踪运动目标分片跟踪 报告内容 1 2 3 4 马尔可夫随机场分割马尔可夫随机场分割 全局运动估计全局运动估计 车辆检测与跟踪车辆检测与跟踪

21、 5 图像超分辨率重图像超分辨率重 建建 hfut-ti dsp united labhfut-ti dsp united lab 34 车辆检测与跟踪 包括以下两方面内容：包括以下两方面内容： 基于码本更新的检测与跟踪方法基于码本更新的检测与跟踪方法 基于轮廓匹配的检测与跟踪方法基于轮廓匹配的检测与跟踪方法 hfut-ti dsp united labhfut-ti dsp united lab 35 车辆检测与跟踪概述车辆检测与跟踪概述 智能交通系统：智能交通系统： ( intelligent transport systems, its) hfut-ti dsp united labhf

22、ut-ti dsp united lab 36 车辆检测与跟踪概述车辆检测与跟踪概述 影响车辆检测和跟踪的主要因素：影响车辆检测和跟踪的主要因素： （1）车辆自身阴影； （2）车辆间相互遮挡或车辆被背景中物体遮 挡； （3）同车型车辆之间具有较大的相似性； （4）光线突变； （5）夜晚和雨、雪等恶烈天气等。 主要针对（主要针对（1）、（）、（2）两种情况开展研究）两种情况开展研究 hfut-ti dsp united labhfut-ti dsp united lab 37 车辆检测与跟踪概述 车辆检测：改进的码本算法车辆检测：改进的码本算法 解决车辆检测中的阴影问题; 车辆跟踪车辆跟踪: k

23、alman预测的方法预测的方法 解决车辆跟踪中的遮挡问题; hfut-ti dsp united labhfut-ti dsp united lab 38 基于改进码本的车辆检测方法基于改进码本的车辆检测方法 运动检测方法：运动检测方法： 帧间差分方法 光流场方法 背景减法 构建较为理想的背景模型背景模型 hfut-ti dsp united labhfut-ti dsp united lab 39 常用常用背景建模和更新算法背景建模和更新算法 混合高斯模型混合高斯模型(mixture of gaussians,mog)： 能处理复杂、非静止的多模态背景，但它不能适应快速的 背景变化,对噪声变

24、化比较敏感； 基于内核密度估计基于内核密度估计( kernel density estimation,kde)的非参数背景模型：的非参数背景模型： 需要大量内存来存储先前的数据，需要很高的计算开销； 基于基于bayes 决策的方法：决策的方法： 在场景比较复杂或前景与背景颜色比较接近时，提取的前 景目标很不完整 hfut-ti dsp united labhfut-ti dsp united lab 40 基于基于码本模型的运动目标检测方法码本模型的运动目标检测方法 kim k ， proceedings of ieee international conference on image pr

25、ocessing ；2004 算法是利用量化和聚类技术来构建背景模型； 针对彩色监控视频,对背景中的每一个像素点进行 一段时间的采样，采样值聚类成码本的形式，码 本就代表了背景模型。 运动检测时，对新输入的像素值与其对应码本做 比较,如果能找到与其匹配的码字，则认为该像素 点为背景点，否则为前景点。 hfut-ti dsp united labhfut-ti dsp united lab 41 基于基于码本模型的运动目标检测方法码本模型的运动目标检测方法 码本方法： 计算聚类均值和样本与它的距离,不涉及概 率运算,运算速度较快； 码本方法能处理高亮和阴影问题，而且训练 时允许有前景运动目标。

26、该算法具有较强的鲁棒性，能实现对运动目 标较好的检测。 hfut-ti dsp united labhfut-ti dsp united lab 42 基于基于码本模型的运动目标检测方法码本模型的运动目标检测方法 原码本算法对原码本算法对rgb空间的视频序列，空间的视频序列， 已具有较好的检测效果，有一些不足已具有较好的检测效果，有一些不足 之处：之处： 视频采集设备，如网络摄像机、dv和图像采集卡 等采集的视频序列大多是yuv格式的，如果要在 rgb空间做运动检测，则需要进行从yuv空间到 rgb空间的转换，而该转换运算为浮点型运算， 运算量大； 原算法在rgb空间进行阴影处理时，需要做浮点

27、 型运算，进一步加大了运算量。 hfut-ti dsp united labhfut-ti dsp united lab 43 基于改进码本的车辆检测实现基于改进码本的车辆检测实现 对原算法进行改进，直接在yuv空间做运 动检测及阴影处理，省去了大量的浮点型运 算，提高了算法的效率。 检测步骤： （1）初始码本的建立 （2）前景运动目标检测 （3） 阴影和高亮问题的解决 （4）目标检测过程的码本实时更新 hfut-ti dsp united labhfut-ti dsp united lab 44 车辆跟踪方法的实现车辆跟踪方法的实现 基于基于kalman 滤波的车辆跟踪滤波的车辆跟踪 通过运

28、动估计运动估计和目标匹配目标匹配两个模块实现对车 辆的跟踪。 利用前一帧获得的参数作为kalman滤波的状态变 量，当前帧获得的参数作为观测值，通过kalman 滤波推导获得估计值。 以估计值为中心进行目标匹配，如果能匹配上则 认为是当前运动目标，如果匹配不上则认为出现 了遮挡，使用kalman对其位置进行预测。 hfut-ti dsp united labhfut-ti dsp united lab 45 算法步骤算法步骤 step1 背景模型训练，得到表示初始背景模型的码 本。 step2 输入像素点和码本做比较判断，得到可能的 前景像素点，同时更新码本。 step3 去除可能前景像素点中

29、阴影和高亮区域，得 到真实的前景点，同时更新码本。 step4 去噪，连通区域分析，根据检测出的运动目 标的长宽消除非车辆目标，将运动车辆分割出来。 step5 使用卡尔曼滤波器预测车辆在下一帧中的 可能位置。 step6 在预测区域周围对各个车辆进行匹配跟踪。 转step2，进行下一轮跟踪。 hfut-ti dsp united labhfut-ti dsp united lab 46 夜晚车辆检测结果夜晚车辆检测结果 hfut-ti dsp united labhfut-ti dsp united lab 47 普通路面检测结果普通路面检测结果 （a）序列某一帧）序列某一帧 （b）混合高斯

30、模型检测结果）混合高斯模型检测结果 （c）bayes 决策检测结果决策检测结果 （d）本方法检测结果）本方法检测结果 hfut-ti dsp united labhfut-ti dsp united lab 48 高速公路检测结果高速公路检测结果 （a）序列某一帧）序列某一帧 （b）混合高斯模型检测结果）混合高斯模型检测结果 （c）bayes 决策检测结果决策检测结果 （d）本方法检测结果）本方法检测结果 hfut-ti dsp united labhfut-ti dsp united lab 49 跟踪结果跟踪结果 （a）序列第）序列第168帧跟踪结果（帧跟踪结果（b）序列第）序列第182帧

31、跟踪结果帧跟踪结果 （c）目标质心在）目标质心在x方向的坐标方向的坐标 （d）目标质心在）目标质心在y方向的坐标方向的坐标 hfut-ti dsp united labhfut-ti dsp united lab 50 跟踪结果与粒子滤波方法比较跟踪结果与粒子滤波方法比较 （a）粒子滤波第）粒子滤波第40帧帧 （b）粒子滤波第）粒子滤波第60帧帧 （c）粒子滤波第）粒子滤波第88帧帧 （d）粒子滤波第）粒子滤波第100帧帧 hfut-ti dsp united labhfut-ti dsp united lab 51 跟踪结果与经典跟踪结果与经典camshift方法比较方法比较 （a）cams

32、hift第第40帧（帧（b）camshift第第60帧帧 （c）camshift第第88帧帧 （d）camshift第第100帧帧 hfut-ti dsp united labhfut-ti dsp united lab 52 跟踪结果比较跟踪结果比较 （a）本文方法第）本文方法第40帧帧 （b）本文方法第）本文方法第60帧帧 （c）本文方法第）本文方法第88帧帧 （d）本文方法第）本文方法第100帧帧 hfut-ti dsp united labhfut-ti dsp united lab 53 车辆检测与跟踪 包括以下两方面内容：包括以下两方面内容： 基于码本更新的检测与跟踪方法基于码本更

33、新的检测与跟踪方法 基于轮廓匹配的检测与跟踪方法基于轮廓匹配的检测与跟踪方法 hfut-ti dsp united labhfut-ti dsp united lab 54 背景 传统视频检测车流量统计主要采用车辆检测和跟踪技传统视频检测车流量统计主要采用车辆检测和跟踪技 术相结合的方法，算法复杂且容易受到外界干扰影响，术相结合的方法，算法复杂且容易受到外界干扰影响， 本文建立若干车辆遮挡模型，利用分层轮廓匹配法将本文建立若干车辆遮挡模型，利用分层轮廓匹配法将 运动目标与车辆遮挡模型进行轮廓匹配识别出遮挡车辆。运动目标与车辆遮挡模型进行轮廓匹配识别出遮挡车辆。 为了提取运动目标完整外部轮廓，提

34、出一种基于连通域的为了提取运动目标完整外部轮廓，提出一种基于连通域的 两轮扫描法来标记各个运动车辆，并利用两轮扫描法来标记各个运动车辆，并利用yuv彩色空间对彩色空间对 阴影进行检测和抑制，提高车流量统计精度。阴影进行检测和抑制，提高车流量统计精度。 hfut-ti dsp united labhfut-ti dsp united lab 55 一、基于连通域的两轮扫描法 通过背景减法得到运动区域后，各个运动目通过背景减法得到运动区域后，各个运动目 标可以认为是一个独立的连通域，本文采用基于连标可以认为是一个独立的连通域，本文采用基于连 通域的两轮扫描法标记这些连通域，从而实现目标通域的两轮扫

35、描法标记这些连通域，从而实现目标 分割。分割。 hfut-ti dsp united labhfut-ti dsp united lab 56 基于连通域的两轮扫描法 一、第一轮扫描一、第一轮扫描 初步标记各个连通域。针对背景减法所得到的二值化图，初步标记各个连通域。针对背景减法所得到的二值化图， 按照从上向下，从左至右的顺序扫描各像素点，判断当前按照从上向下，从左至右的顺序扫描各像素点，判断当前 扫描点像素值是否为扫描点像素值是否为255,如果像素值为如果像素值为255，说明该点是，说明该点是 运动像素点，接着判断该点邻近像素点是否已被标记以决运动像素点，接着判断该点邻近像素点是否已被标记以

36、决 定当前像素点标记值定当前像素点标记值 ，当遇到第一个已被标记的邻近像素，当遇到第一个已被标记的邻近像素 点，就将该像素点的标记值作为当前扫描像素点的标记值，点，就将该像素点的标记值作为当前扫描像素点的标记值， 若邻近像素点都未标记，说明该像素点可能属于一个新的若邻近像素点都未标记，说明该像素点可能属于一个新的 目标块，赋予该像素点新的标记值。目标块，赋予该像素点新的标记值。 hfut-ti dsp united labhfut-ti dsp united lab 57 基于连通域的两轮扫描法 二、第二轮扫描二、第二轮扫描 第一轮扫描后可能存在同一连通域的像素点被标记成第一轮扫描后可能存在同

37、一连通域的像素点被标记成 不同目标的情况，第二轮扫描将同一连通域内不同标记值不同目标的情况，第二轮扫描将同一连通域内不同标记值 的目标合并为一个目标。判断每个像素点标记值是否为的目标合并为一个目标。判断每个像素点标记值是否为0， 如果为如果为0，说明当前扫描点为背景像素点，则不予处理。反，说明当前扫描点为背景像素点，则不予处理。反 之进一步查询当前扫描点邻近像素点是否已被标记之进一步查询当前扫描点邻近像素点是否已被标记 ，按照，按照 从上到下，从左至右的顺序对邻近像素点进行扫描，当遇从上到下，从左至右的顺序对邻近像素点进行扫描，当遇 到第一个已被标记且标记值与当前像素点标记值不同的邻到第一个已

38、被标记且标记值与当前像素点标记值不同的邻 近像素点时，将进行合并。近像素点时，将进行合并。 hfut-ti dsp united labhfut-ti dsp united lab 58 基于连通域的两轮扫描法 (a) 一轮扫描后一轮扫描后 (b)二轮扫描后二轮扫描后 2 222 222 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 hfut-ti dsp united labhfut-ti dsp united lab 59 对比情况 （a）原始图像）原始图像 （b）分割后）分割后 （c

39、）逐行扫描法）逐行扫描法 （d）本文扫描方法）本文扫描方法 上图是实际的目标分割结果比较。图（上图是实际的目标分割结果比较。图（a）为原始图像，图（）为原始图像，图（b） 为运动检测结果，存在外部轮廓不连续的情况。逐行扫描法将该运动目为运动检测结果，存在外部轮廓不连续的情况。逐行扫描法将该运动目 标分割成好几块不同的区域，如图（标分割成好几块不同的区域，如图（c）所示，而本文两轮扫描法成功）所示，而本文两轮扫描法成功 将该运动目标分割成一个独立的区域，如图（将该运动目标分割成一个独立的区域，如图（d）所示。）所示。 hfut-ti dsp united labhfut-ti dsp unite

40、d lab 60 二、通过轮廓匹配来解决遮挡问题 处于遮挡状态的运动目标与未处于遮挡状态的处于遮挡状态的运动目标与未处于遮挡状态的 运动目标分割得到的轮廓有很大的差异，本文分析运动目标分割得到的轮廓有很大的差异，本文分析 目标的外部轮廓来判断该运动目标是否处于遮挡状目标的外部轮廓来判断该运动目标是否处于遮挡状 态。先建立若干车辆遮挡模型，代表一些常见的车态。先建立若干车辆遮挡模型，代表一些常见的车 辆遮挡情况，再提取运动目标的轮廓分别与各个车辆遮挡情况，再提取运动目标的轮廓分别与各个车 辆遮挡模型的外部轮廓进行匹配，根据匹配值判断辆遮挡模型的外部轮廓进行匹配，根据匹配值判断 该运动目标是否处于

41、遮挡状态。该运动目标是否处于遮挡状态。 hfut-ti dsp united labhfut-ti dsp united lab 61 遮挡模型 下图所建立的车辆遮挡模型代表了典型的相邻车道车辆下图所建立的车辆遮挡模型代表了典型的相邻车道车辆 遮挡情况。遮挡情况。 m1 m2 hfut-ti dsp united labhfut-ti dsp united lab 62 分层轮廓匹配方法 本文采用一种分层轮本文采用一种分层轮 廓匹配方法来比较运动目廓匹配方法来比较运动目 标与车辆遮挡模型的外部标与车辆遮挡模型的外部 轮廓，该方法在匹配过程轮廓，该方法在匹配过程 中利用轮廓的整体和局部中利用轮廓

42、的整体和局部 信息进行计算。信息进行计算。 首先提取首先提取 运动目标轮廓，并进行采运动目标轮廓，并进行采 样并以二叉树形式存储样并以二叉树形式存储 ， 如右图。如右图。 hfut-ti dsp united labhfut-ti dsp united lab 63 分层轮廓匹配方法 我们主要依靠该二叉树的独特分层结构逐层进行匹我们主要依靠该二叉树的独特分层结构逐层进行匹 配比较，最终计算出匹配值。具体的匹配计算可以配比较，最终计算出匹配值。具体的匹配计算可以 利用下面这个递归等式来表示：利用下面这个递归等式来表示： 1122 ( , )min( (,)(,) j bb a ba ba b 1

43、1 ( (|,), (|,) injm dif l aa al bb b hfut-ti dsp united labhfut-ti dsp united lab 64 试验结果 （a）遮挡模型）遮挡模型 （b）原始遮挡图像）原始遮挡图像 （c）分割处理后）分割处理后 （d）遮挡模型与运动目标匹配）遮挡模型与运动目标匹配 hfut-ti dsp united labhfut-ti dsp united lab 65 试验结果 （a） （b） （c） （d） （e） （f） （g） 表表1 上图各个车辆与车辆遮挡模型轮廓匹配结果上图各个车辆与车辆遮挡模型轮廓匹配结果 hfut-ti dsp un

44、ited labhfut-ti dsp united lab 66 三、主要算法步骤 （1）首先根据背景减法，初步分割出运动目标，并对运动）首先根据背景减法，初步分割出运动目标，并对运动 目标进行形态学处理，填补内部空洞，去掉一些孤立的噪目标进行形态学处理，填补内部空洞，去掉一些孤立的噪 声点。声点。 （2）基于）基于yuv彩色空间检测并去除出运动目标的阴影像彩色空间检测并去除出运动目标的阴影像 素。由于素。由于yuv的色差分量的色差分量u、v和和hsv空间的色度以及饱空间的色度以及饱 和度分量存在一定的联系，色度可以近视表示为和度分量存在一定的联系，色度可以近视表示为,而可以认而可以认 为是

45、饱和度的值，阴影像素与背景像素比较，亮度有很大为是饱和度的值，阴影像素与背景像素比较，亮度有很大 的变化，饱和度线性减少，色度一般不变，利用这一性质的变化，饱和度线性减少，色度一般不变，利用这一性质 检测并去除出阴影像素。检测并去除出阴影像素。 hfut-ti dsp united labhfut-ti dsp united lab 67 主要算法步骤 （3）通过本文提出的两轮扫描法，分割各个运动目标，采）通过本文提出的两轮扫描法，分割各个运动目标，采 集各个运动目标的大小，位置，矩特征，以及轮廓信息等，集各个运动目标的大小，位置，矩特征，以及轮廓信息等， 并修补外部轮廓中不连续的部分，得到完

46、整的目标轮廓，并修补外部轮廓中不连续的部分，得到完整的目标轮廓， 供后续处理。供后续处理。 （4）根据分层轮廓匹配方法，对每一个运动目标，提取轮）根据分层轮廓匹配方法，对每一个运动目标，提取轮 廓信息与车辆遮挡模型轮廓匹配比较，如果该运动目标与廓信息与车辆遮挡模型轮廓匹配比较，如果该运动目标与 某一遮挡模型的轮廓匹配值小于某一阈值，则认为是匹配某一遮挡模型的轮廓匹配值小于某一阈值，则认为是匹配 的，判定该目标处于对应遮挡状态。的，判定该目标处于对应遮挡状态。 hfut-ti dsp united labhfut-ti dsp united lab 68 主要算法步骤 （5）判断车辆是否通过。本

47、文采用类似开辟检测带的方法）判断车辆是否通过。本文采用类似开辟检测带的方法 进行判断，首先设置一条检测线，横贯马路，分析位于检进行判断，首先设置一条检测线，横贯马路，分析位于检 测线上的各个运动车辆，对于每一帧图像中位于检测线上测线上的各个运动车辆，对于每一帧图像中位于检测线上 的所有运动车辆，我们都要查询对应位置在上一帧附近是的所有运动车辆，我们都要查询对应位置在上一帧附近是 否存在运动车辆，如果存在，则它们可能是同一辆车，进否存在运动车辆，如果存在，则它们可能是同一辆车，进 一步查询这两个运动车辆的大小、方差与均值（矩特征）一步查询这两个运动车辆的大小、方差与均值（矩特征） 差值是否保持在

48、一个范围内，若小于某一阈值，则认为它差值是否保持在一个范围内，若小于某一阈值，则认为它 们是同一辆车，反之认为当前车辆是刚进入检测线的新车们是同一辆车，反之认为当前车辆是刚进入检测线的新车 辆，进一步查询它的遮挡状态，根据遮挡情况，增加车辆辆，进一步查询它的遮挡状态，根据遮挡情况，增加车辆 计数值，达到统计出车流量的目的。计数值，达到统计出车流量的目的。 hfut-ti dsp united labhfut-ti dsp united lab 69 运动目标分片跟踪运动目标分片跟踪 报告内容 1 2 3 4 马尔可夫随机场分割马尔可夫随机场分割 全局运动估计全局运动估计 车辆检测与跟踪车辆检测

49、与跟踪 5 图像超分辨率重图像超分辨率重 建建 hfut-ti dsp united labhfut-ti dsp united lab 70 超分辨率重建的概念 超分辨率重建(super-resolution reconstruction)是指：从单帧或一序列 低分辨率图像(lr)复原出一幅或一序列高分辨率图像(hr)， hr图像有 着更高的细节信息和更好的主观质量。 lr序列 hr图像 hfut-ti dsp united labhfut-ti dsp united lab 71 图像超分辨率重建的必要性 摄像机在空间上的分辨率能力是有限的。图像分辨率受摄像机感光 阵列的空间密度及其本身引

50、入的模糊误差、运动模糊、下采样、噪声等 因素，导致实际拍摄图像的质量较差、分辨率低。因此有必要提高一定 的重建算法来提高图像的分辨率，改善图像质量。 物体镜头 感光阵列 物体成像过程： hfut-ti dsp united labhfut-ti dsp united lab 72 图像超分辨率重建的理论基础 傅立叶光学理论中把成像系统看成是一个低通滤波器，在成像过程 中会丢失高频细节：对于一个线性空间不变成像系统，成像过程可表示 为： g(x)表示像， f(x)表示物，h(x)表示点扩展函数。 在截止频率之外h(u)=0 ，因此就把成像系统看成了一个傅立叶 滤波器，对 f(u)的解进行了限制。

51、sr技术的目的就在于恢复截至频率 之外的高频信息，以使图像获得更多的细节和信息。它的理论基础是： 解析延拓理论，信息叠加理论和非线性操作。 y(x)= h(x)* f(x) y(u)= h(u) f(u) f(u) =y(u)/h(u) hfut-ti dsp united labhfut-ti dsp united lab 73 超分辨率重建的观察模型 给出超分辨率问题的完整的数学描述：给定p帧lr观测图像 k=1,p；每帧大小为l1l2，它们是来自同一场景，也可以看成是 来自hr图像f的不同位置，f的大小为h1h2。每个 是x经任意的偏 移、模糊以及下采样而形成。 建立观察模型如下： k

52、y k y warp 1 m1 warp k mk warp p mp psf blur 1 b1 psf blur k bk psf blur p bp samplc 1 d samplc k d samplc p d + + + n1 nk np y1 yk yp x kkkk ydb m xn hfut-ti dsp united labhfut-ti dsp united lab 74 配准 在序列图像超分辨率重建过程中，必须从欲重建图像的前后帧图像 中提取相关的信息作为本帧图像信息的补充，因此必须找到当前帧图像 中各象素点在前后序列图像中所处的位置。所以图像超分辨率重建中一 个关键性要素就是对序列图像中每个象素点进行图像间精确的亚象素级 运动估计。 为什么要进行图像配准？ 1st frame 2nd framenot correct hfut-ti dsp united labhfut-ti dsp uni