雾霾天气下的交通限速标志识别技术研究课件

1、雾霾天气下的交通限速标志识别技术研究THE RECOGNITION OF TRAFFIC SPEED LIMIT SIGNS IN HAZE WEATHER背景及意义论文主要工作总结与展望报告内容课题背景及意义论文主要工作利用改进的暗通道去雾算法得到去雾后的交通道路图像利用颜色几何特征以及HOG+SVM实现限速标志的检测利用改进的卷积神经网络实现限速标志的识别分类论文主要工作利用改进的暗通道去雾算法得到去雾后的交通道路图像利用颜色几何特征以及HOG+SVM实现限速标志的检测利用改进的卷积神经网络实现限速标志的识别分类暗通道去雾大气物理散射模型图像去雾算法主要分为两大类：简单的图像增强类算法，代

2、表算法是多尺度Retinex算法根据大气物理散射模型，推算出模型中的未知参数，实现对模型的逆变换，最终得到去雾后的图像，代表算法是何凯明的基于暗通道先验原理的去雾算法。大气物理散射模型：暗通道去雾暗通道原理暗通道原理：在雾霾天气下，由于大气光分量的影响，使得图像亮度增加，对比度下降，暗通道值不再趋近于0由大气物理散射模型可得透射率趋近于0的点即为最浓的点，雾最浓的点即为暗通道图中亮度最高的点，推算全局光照强度的步骤如下：取出暗通道图中亮度最高的前0.1%的点作为雾最浓的点；在待去雾图像中，找出这些点的像素最高值作为全局光照强度。暗通道去雾推算全局光照强度存在的问题：暗通道去雾推算全局光照强度创

3、新点一：改进的全局光照强度推算过程取出暗通道图中亮度最高的前0.1%的点作为雾最浓的点；在待去雾图像中，计算这些点的像素的平均值，得到Aavg；比较Aavg与所设定的阈值最大全局光照强度Amax，取两者中较小者 作为全局光照强度A假设透射率和全局大气光值为定值，对大气物理散射模型两边同时取窗口内最小值和三个颜色通道中的最小值根据暗通道先验原理，可化简为得到的透射率利用导向滤波函数进行细化，最终去雾公式为暗通道去雾计算透射率图存在的问题：透射率图的计算需要耗费较长时间，难以满足实时性要求暗通道去雾计算透射率图创新点二：改进的透射率图计算过程在求解透射率图之前，先对原始待去雾图像下采样为原始大小的

4、1/4，然后推算出下采样图的透射率图，最后利用双线性插值法将下采样图的透射率图恢复为原始大小。经实验验证，去雾效果没有明显变化，但处理速度有显著提升。算法5幅图像去雾处理时间(ms)平均处理时间(ms)未下采样160.93153.25161.65161.53159.33159.34下采样67.2170.4367.5262.1366.6866.79 (a)雾天图像原图 (b) 未下采样去雾效果图 (c) 下采样去雾效果图 下采样对5幅图像去雾处理时间的影响暗通道去雾实验对比结果 原图 MSR 暗通道去雾 本文方法论文主要工作利用改进的暗通道去雾算法得到去雾后的交通道路图像利用颜色几何特征以及HO

5、G+SVM实现限速标志的检测利用改进的卷积神经网络实现限速标志的识别分类标志检测算法流程粗定位精确定位标志检测样本统计样本种类 样本数限速20km/h 85限速30km/h 79限速50km/h 81限速60km/h 30限速70km/h 68限速80km/h 63限速100km/h 60限速120km/h 57合计 527SVM分类器正样本分布表设定提取HOG特征的参数为：9个直方图通道数、cell大小为4x4像素、block大小为4x4个cell、扫描步长为0.5个block大小，因此每一个训练样本所提取出的HOG特征的维数为9x4x4x3x3=1296维。标志检测实验结果选取线性核函数作

6、为SVM分类器的核函数。利用查全率(Recall)和查准率(Precision)来评价分类器的性能测试集查全率查准率标准测试集98.11%(260/265)98.86%(260/263)实际视频测试集97.62%(82/84)96.47%(82/85)不同测试集下SVM分类器查全率及查准率结果分别采用标准数据测试集以及实际行车视频中截取的含有限速标志的85幅视频帧图像测试集(负样本数为153)来验证检测算法的有效性标志检测实验结果论文主要工作利用改进的暗通道去雾算法得到去雾后的交通道路图像利用颜色几何特征以及HOG+SVM实现限速标志的检测利用改进的卷积神经网络实现限速标志的识别分类标志识别卷

7、积神经网络卷积神经网络最重要的两个特点为稀疏连接和权值共享，利用这两个特点可以大大减少网络中连接权值的参数个数，提高网络的训练速度与精度。(a) 全连接示意图 (b) 稀疏连接示意图 (c) 稀疏滤波器示意图 假设图像大小为10001000像素，共有1000000个隐藏单元，那么仅该层的连接权值的参数就达到了1012个；同样是该幅图像，大小为10001000像素，包含有1000000个隐藏单元，100个滤波器，设定接受域的大小为1010像素，那么该层的连接权值的参数变为10000个。标志识别卷积神经网络结构创新点三： LeNet-5网络训练前加入预处理、在LeNet-5网络基础上改进神经元数，

8、 利用Softmax激活函数代替tanh激活函数卷积神经网络结构示意图标志识别卷积神经网络结构层数类型 特征映射图 神经元结构卷积核结构0输入图像 1 3232 1 卷积层 6 2828 552采样层 6 1414 22 3卷积层 12 1010 554采样层 12 55 225卷积层 120 11 556全连接层 84 117全连接层 9 11表 卷积神经网络结构原有的LeNet-5网络中的激活函数使用的是tanh函数，本文选取softmax激活函数作为网络的激活函数。softmax激活函数可以将网络中各层的输出值软性归一化到0,1之间，且其和为1，减小输出值之间的差。可以将softmax函

9、数的输出视作概率分布，选取概率最高的分量作为最终结果，使得网络的输出更加精准。标志识别样本统计表 卷积神经网络正样本分布表训练前，随机地选取一半正样本，共6453个，作为训练所用的正样本，另一半共6453个，作为测试所用的正样本，负样本同样随机选取一半，共17029个，作为训练所用的负样本，另一半共17028个作为测试所用的负样本。正样本示意图负样本示意图样本种类样本数限速20km/h1209限速30km/h1981限速50km/h1641限速60km/h1411限速70km/h1981限速80km/h1861限速100km/h1441限速120km/h1441合计12906标志识别预处理实验

10、结果预处理方法测试集1测试集2测试集3测试集4测试集5全测试集原始图像97.7%97.36%97.23%97.91%97.4%97.65%对比度增强98%97.76%97.31%98.1%97.76%97.92%直方图均衡化97.8%97.78%97.38%97.89%97.4%97.83%自适应直方图均衡化98.65%98.31%97.66%98.63%98.13%98.51%预处理对卷积神经网络的影响预处理方法对卷积神经网络影响对比图标志识别对比实验结果为了验证本文识别算法的有效性，本文主要与随机森林分类算法、基于HOG特征的SVM分类算法以及人眼识别的分类效果进行对比。传统分类算法需要人

11、为提取物体的特征，特征提取的好坏对分类器的性能有着巨大的影响。卷积神经网络是深度学习的一种，它从最低级的特征开始逐级自动地学习更高级的特征，特征的提取与识别分类同时进行，最终通过机器学习找到最适合表征物体的特征组合。分类算法 识别率人眼97.63%随机森林 95.95%HOG+SVM 89.2%本文算法 98.51%各分类算法限速标志识别实验结果标志识别实验结果总结与展望展望：目前算法在雾特别浓时不能完全地恢复雾天图像，存在一定的失真；算法当限速标志严重遮挡的情况下难以准确地将其检测出，影响识别的准确性；目前算法的实现均是在Matlab平台下完成的，下一步计划将算法移植到OpenCV环境下进一步验证算法的有效性。总结：本文在原有暗通道去雾算法的基础上改进其全局光照强度以及透射率的求 解步骤，提升了算法的去雾效果和处理速度；2. 本文利用限速标志的颜色和几何特征对标志进行粗定位，利用HOG+SVM 实现对标志的精确定位；3. 本文利用改进的卷积神经网络实现对限速标志的识别分类。研究生期间成果小论文题目：The recognition of traffic speed