目标检测与跟踪

物流人工智能技术技能培训项目二人工智能算法在运输环节应用任务一目标检测与跟踪目录CONTENTS目标检测与跟踪算法PART1支持向量机在路段行程时间预测中的应用PART2人车碰撞风险识别PART3过程与方法：知识与技能：1.了解目标检测和跟踪算法；2理解依据HOG的对象检测方法在行人识别中的应用；3.掌握SVM在路段行程时间预测中的应用。在学习动画视频的过程中，理解其基本工作原理，了解其实际应用价值。情感、态度与价值观：1.提升对人工智能的认识，发展辩证思维，客观认识人工智能技术对社会的影响，培养正确的科学技术应用观。2.坚定拥护中国共产党领导和我国社会主义制度。【教学目标】1.目标检测与跟踪目标检测和跟踪算法是通过对序列图像（视频）的计算分析，检测到目标感兴趣区域，并在延后的序列中对感兴趣目标进行定位跟踪。针对基于机器视觉检测与跟踪到的目标进行相关运动分析，可以有效的预估目标运动特征，判断其风险程度，对于预防交通事故起到了重要作用。目标检测与跟踪一、目标检测与跟踪算法2.目标检测算法主要是运用相邻图像帧相互比较的思路，构造运动前景图像，使其与背景图像进行相应的区分，以此达到检测运动目标的作用。但是对于动态背景的运动目标检测、目标互相遮挡、目标不明显等情况下，这类算法的检测精度将会大幅度的降低，错检和漏检现象及其严重，不能作为稳定的检测算法。主要是对目标的表观轮廓特征、颜色特征、运动特征等进行训练统计得到该类日标的模板特征，通过滑动窗口等技术，把训练好的特征与窗口模块进行比对，得到图像帧中用户可能感兴趣的目标。这类算法检测精度较高，既可以检测单帧图像，也可以检测视频序列图像，但检测速度难以达到实时性。A基于序列图像的目标检测方法B基于目标固有特征的检测方法一、目标检测与跟踪算法3.目标跟踪算法基于目标表观特征的跟踪（1）基于颜色的跟踪；（2）基于目标局部特征的跟踪；（3）基于模板的跟踪；（4）基于目标轮廓的跟踪基于均值漂移或贝叶斯滤波的跟踪（1）基于均值漂移的跟踪；（2）基于贝叶斯滤波的跟踪一、目标检测与跟踪算法1.支持向量机支持向量机是为了解决分类问题，由线性可分情况下的最优分类超平面发展而来的，其目标是结构风险最小化。支持向量回归机是支持向量机在回归估计问题中的应用，支持向量回归机有ε-支持向量回归机、ν-支持向量回归机和最小二乘支持向量回归机等。支持向量机二、支持向量机在路段行程时间预测中的应用2.行程时间预测的支持向量回归机模型2.1模型的建立根据支持向量回归机的算法以及影响行程时间的因素，在预测时把路段根据车辆检测器的分布分成几段（如图1所示），取过去几个时段其中各小段的交通流量参数加上整个路段的行程时间参数作为多维输入，下时段的路段行程时间作为输出，建立预测模型。二、支持向量机在路段行程时间预测中的应用首先，假设将要对某路段的行程时间进行预测。根据路段交通状态和车辆检测器设置情况将路段分为i小段，i=1,2,3，…，m。.i小路段在t时段由车辆检测器统计的交通流量、平均速度和车道占有率分别记为、、，又设t时段内通过整个路段的所有车辆的行程时间平均值为T（t），将要根据过去时段i小路段的交通参数（这里只选用交通流量）和整个路段行程时间来预测下一个或几个时段的平均行程时间T（t+1）、T（t+2）等。其次，选定核函数和支持向量机的结构和参数，构造训练集：{（x1，y1），…，（xl，yl）}，其中：y1，y2，…，yl为整个路段过去几个时段已知平均行程时间T（t-l+1），T（t-l+2），...，T（t）；x1，x2，…，xl为过去几个时段i小路段的交通状态参数和整个路段行程时间的向量组合。最后，根据训练结果所构造的决策函数，输入当前时段及过去几个时段小路段的交通状态参数和整个路段行程时间的数据，利用决策函数预测下时段的平均行程时间T（t+1）。二、支持向量机在路段行程时间预测中的应用2.2核函数的选择、模型结构和参数优化支持向量机中，常用的核函数有：多项式核函数Gauss径向基（RBF）核函数Sigmoid核函数傅立叶核1.2.3.4.B-样条核5.二、支持向量机在路段行程时间预测中的应用3.实例分析为了验证上述预测方法，利用ⅤISSIM微观交通模拟软件来对某路网进行模拟，模拟时间为0~90000s，并统计其中一个路段行程时间和该路段中5个小路段的交通流量，数据的统计间隔为5min，共有300组数据。构造训练集时以t时段中5个小路段的流量q1（t）、q2（t）、q3（t）、q4（t）、q5（t）以及t-1时段的整个路段的行程时间T（t-1）、t时段的整个路段的行程时间T（t）为输入属性值，以t+1时段的整个路段的行程时间T（t+1）为输出属性值。由此获得298组包括输入和输出的数据组，选择前268组数据作为训练集用于学习机器的训练，而最后30组数据作为验证数据。分别利用BP神经网络和υ-支持向量机和数据对行程时间进行预测。利用BP神经网络预测时，利用MATLAB7.0神经网络工具箱。采用3层结构，输入层有7个输入，输出层有1个输出，中间层有13个神经元，性能函数为均方差误差性能函数，神经网络结构的选择和参数的优化过程是通过已知的训练集数据，把训练集随机分组，取出其中一组来测试效果，反复试算得到的相对最优值。预测结果如图2所示，绝对误差（观测值与预测值之差的绝对值）、相对误差（绝对误差与观测值的比）分别如图3和图4所示。二、支持向量机在路段行程时间预测中的应用二、支持向量机在路段行程时间预测中的应用利用υ-支持向量机预测时，参数υ=04，C=10选用的核函数为Gauss径向基（RBF）核函数（其参数取2000)，参数的优化过程是将已知的训练集数据分组，比如分成10组，任取其中9组预测剩下1组，反复试算，取最优值而得到的。计算时利用Chih-JenLin开发的LIWM26软件包。预测结果如图5所示，绝对误差、相对误差分别如图6和图7所示.在预测结果中，对于预测值与观测值的最大绝对误差，BP神经网络为33s，支持向量机为23s；对于平均绝对误差，BP神经网络为7.53s，支持向量机为6.87s；对于最大相对误差，BP神经网络为15.58%，支持向量机为14.08%；对于平均相对误差，BP神经网络为415%，支持向量机为3.88%因此，对于上述模拟数据，支持向量机预测方法相对BP神经网络方法在行程时间预测的效果有所改善。二、支持向量机在路段行程时间预测中的应用1.车载行人检测方法例如，背景帧差、背景差分，混合高斯模型（GMM）建立背景模型等的背景差分等；例如利用纹理Har特征、局部二值化模式（LBP）特征进行检测，利用边缘特征梯度方向直方图（OG）等特征进行检测。A基于视频运动信息的目标检测算法B基于检测目标的特征信息，设计、训练相应的分类器进行检测三、人车碰撞风险识别1.1行人目标特征提取HOG特征描述局部区域特征，它通过计算局部区域上的梯度方向直方图来显示并描述人体特征，能够很好地描述人体的边缘信息，且光照变化和小量的偏移变化对HOG描述文件影响不显著。输入图像中像素点（x,y）的梯度为（1）（2）式中：、、Ｈ（ｘ，ｙ）分别为输入图像中像素点（ｘ，ｙ）处的水平方向梯度大小、垂直方向梯度大小和像素值。图像中像素点（ｘ，ｙ）处的梯度大小为像素点（ｘ，ｙ）处的梯度方向为（3）（4）三、人车碰撞风险识别2.2核函数的选择、模型结构和参数优化把样本图像分割为若干个8×8像素的单元，把【一π/2，π/2】的梯度方向平均划分为9个区间，在每个单元内对所有像素的梯度幅值在各个方向区间进行直方图统计，得到一个9维的特征向量；每相邻4个单元为一个块，把4个单元的特征向量联起来得到块的36维特征向量；128×64像素的窗口设为个基本窗口，一共组成3780维的特征向量；采用窗口对样本图像进行扫描，扫描步长为一个单元，每次扫描可以得到窗口内图像的HOG特征，以进行行人检测。步骤1步骤2步骤3步骤4三、人车碰撞风险识别1.2行人目标特征识别鉴于支持向量机（SVM）在解决小样本、非线性及高维模式识别问题中的优越性能，笔者选用基于径向基核函数SVM对图像中的特征进行分类，判断其是否为人体目标，最终实现红外图像中的人形检测。可以定义如下的最优分类函数来进行行人检测。对于样本集中的多数样本（非支持向量），式（5）中的结果都等于0。因此式（5）中只是针对于小部分支持向量计算求和。而b*是分类的阈值，可以取一个支持向量即可计算得出，或者在两类样本集中任取一组支持向量，计算中间值即可。（5）三、人车碰撞风险识别2.碰撞风险识别与处理基于车载摄像头行人车辆检测的风险识别方法，主要基于目标与车辆的纵向与横向位置，步骤如下：①工控机上的程序进行图像处理，识别出行人，并根据距离算法，得到行人此时与本车的纵向距离和横向距离；②将距离数值代入风险识别算法中，进行风险判断；③通过得到的风险判断结果，程序进行相应的策略控制，实现车辆的智能避碰；④实车实验表明检测前方障碍物碰撞本车时间节点可分为2种：第一碰撞时间间隔2.7s与第二碰撞时间间隔0.6s分别代表一级制动与二级制动的时间节点。具体流程如图2所示。得到距离最近的一组X1和Y1，Y1/车速得到Tv是是开始系统检测行人，计算横向距离X和竖向距离Y横向距离X逐一与碰撞范围D进行比较X≤D进行智能制动车停止否否Tv＜2.7s时，X1＜D图2人车碰撞风险识别流程三、人车碰撞风险识别2.1碰撞风险识别预警（1）系统检测行人，计算得到目标距离车辆的垂直距离Y，和水平距离X，以本车中心为坐标原点，车辆的宽度D为碰撞范围。（2）将每个目标的X逐一与D进行比较，得到X在D内且Y最小的一组人车距离和，此时行人处于危险状态。（3）车速得到每个时刻车辆碰撞到行人的时间为，将作为危险判断级别，越小则危险级别越高，当小于2.7s时进行警报。（4）若在大于2.7s的情况下不在D的范围内时，则取消警报，将此行人坐标忽略，跳转到1重新进行检测。若小于0.6s仍在D范围内，则开始进行智能刹车。三、人车碰撞风险识别具体地，如图3所示：图3（a）中，行人1的预测行走轨迹与车辆行驶轨迹有冲突，用矩形框标记，而行人2与行人3的预测行走轨迹与车辆不产生冲突，无碰撞危险，未标记矩形框。图3（b）中，当行人处于风险区域内且行人与车辆纵向距离小于紧急制动距离，则判定当前行人处于紧急制动危险等级范围内，行人1用粗矩形框标记，系统实施避碰制动，目的在于通过系统强行紧急制动避免碰撞事故的发生或减轻对行人的伤害。三、人车碰撞风险识别根据城市交通中机动车在没有限速标志标线的情况下，没有道路中心线的城市道路规定最高时速为30km；机动车在没有限速标志标线的道路情况下，如果同方向只有1条机动车道的城市道路规定最高时速不超过50km。即将碰撞时间（TTC）能够反映换道车辆与目标车辆间的相对速度和相对距离，在车辆纵向碰撞安全性相关分析中得到广泛应用。引用TTC′描述人车即将碰撞时间。系统根据车速30km/h以下及TTC′大于2.7s和30km/h以上50km/h以下及TTC′小于2.7s大于0.6s分为一级缓冲减速和二级缓冲减速2种智能减速方法。图4（a）所示为一级缓冲减速过程，图4（b）所示为二级缓冲减速过程。采用以上2种方式可以使车辆能够在不同车速标准情况下实现平稳制动，在整个制动过程中，