基于MLP神经网络的交通标志识别

基于MLP神经网络的交通标志识别

内容一览小组分工情况TSR研究背景数据与系统简介MLP原理概述实验结果及总结TSR研究背景

70120交通标志识别TSR：可以规范交通秩序、警告司机、命令或禁止某些行为等。如何快速实时地实现交通标志检测和自动识别，对于车辆自动驾驶或驾驶辅助系统至关重要。识别方法主要有两种：神经网络：针对特定目的和需求，各种自动交通信号识别的方法相继被提出并显示出不错的效果，神经网络是这些方法中比较典型的技术，适合现实中数量较多且具有复杂背景的交通环境。检测、识别分阶段方法：先用颜色分块或边缘检测等算法提取对象，再用神经网络等方法来分类。适合标志类型数目较多的情况。一般直接把检测出的图像区域各像素值作为特征向量输入到神经网络分类器中去训练和识别。相关性方法：将不同交通场景中的各类型图像归一化后作为样本图像，计算待识别的交通标志图像与各样本的相关度，取最大者作为识别结果。它综合对象检测与对象识别两个步骤，当标志类型较少时合适。

人工神经网络(ArtificialNeuralNemork，ANN)也称为神经网络或连接模型，是对大脑或自然神经网络若干基本特征的抽象和模拟。ANN由大量处理单元(神经元)互相连接而成，其信息处理由神经元的相互作用来实现，知识与信息的存储表现为网络元件互连分布式的物理联系，其学习和识别取决于各神经元的连接权系数的动态演化过程。MLP原理概述

可以并行计算、处理速度快且学习功能强大，容易实现非线性映射过程；容错性强，局部神经元损坏后，不会对全局的活动造成很大的影响；可用于系统模型未知或系统模型较为复杂及非线性系统的模式识别；有输入信号的模式变换和特征提取功能；对系统含有不确定因素、噪声及输入模式不完备的情况不太敏感。利用神经网络用于模式识别的特点：

基于反向传播学习的多层感知器(MLP)是典型的前馈网络，其信息处理方向从输入层到各隐层再到输出层逐层进行。MLP原理概述

MLP神经网络需要确定的参数：隐含层节点数、隐含层到输出层的连接权值、输出层的阀值。目前，隐含层节点数主要依靠经验来选取，而根据Moody准则，神经网络的设计应在满足精度要求情况下有最小的结构，保证网络的泛化能力。图1MLP神经网络模型

现实的道路交通背景往往比较复杂且受到各种外界环境干扰，如曝光不均、尺度变化、遮挡、模糊等，这给交通标志的识别带来挑战。针对自动化智能驾驶或驾驶辅助系统等现实需求，本文参考相关文献，借助OpenCV实现了基于MLP神经网络的交通标志识别方法。系统概述

图2系统研究框架第一阶段：交通标志的定位及必要的预处理。包括阈值技术、高斯滤波器、Canny边缘检测、轮廓和椭圆匹配等。第二阶段：交通标志的特征提取与神经网络识别。包括节点降维处理、网络学习、校验、测试识别等内容。数据简介及处理流程

数据来源:

训练集：北京市街景/高速路牌，普通相机拍摄而来检校集：百度搜集的标准数据测试集：真实场景数据，普通相机拍摄而来数据类型:

圆形：禁止鸣笛三角形：T型岔路口正方形：人行通道数据简介及处理流程

数据归类:

图5训练数据集(b)存在噪声、颜色失真、像素变形、模糊和污渍的标志影像(a)5种视角的正常标志图3检校集图4测试数据集

预处理阶段可以分为两大部分：信号检测、提取识别阶段。将含有自然背景的视频序列输入到系统，图像数据读取模式包括彩色和黑白两种。数据简介及处理流程

预处理:

图6预处理流程边缘检测影像二值化用像素邻域的加权均值来代替该点的像素值，无论在空间域还是在频率域都是十分有效的低通滤波器。高斯滤波器的窗口大小很关键，当窗口设置为5*5时，去除噪声干扰效果较好。黑白模式图像用于查找该影像阈值，作为黑白图像到二值化图像转换的标准。得到的二值化图像用于确定轮廓和目标区域。预处理阶段可以分为两大部分：信号检测、提取识别阶段。将含有自然背景的视频序列输入到系统，图像数据读取模式包括彩色和黑白两种。目的采用自适应的Canny检测算子，利用灰度共生矩阵的惯性矩特征描述图像灰度的空间分布复杂程度，从而自适应调整高斯空间系数和边缘检测阈值，实现了图像边缘的自动提取。数据简介及处理流程

预处理:

高斯滤波平滑椭圆匹配裁剪重采样利用轮廓函数提取二进制图像的边缘并返回存储在链表中的边缘数。使用OpenCV库中的弗里曼链码法，其思想是用0~7表示任意像素的8领域范围来描述边缘点之间的相对方位。将RGB各图层裁剪为30x30个像素，重采样区总共有2700像素。将重采样区域的三个通道(R,G,B)转换到单灰度通道，单层灰度图像称为“块”作为MLP神经网络的输入。预处理阶段可以分为两大部分：信号检测、提取识别阶段。将含有自然背景的视频序列输入到系统，图像数据读取模式包括彩色和黑白两种。目的利用轮廓搜索函数的输出结果计算最匹配椭圆(在最小二乘意义上)的一组二维点。根据提取出来的椭圆长轴短轴之差<5,并且椭圆的长宽都大于30进行判断。数据简介及处理流程

预处理:

轮廓边缘搜索数据简介及处理流程

预处理结果:原影像------->灰度化+高斯平滑-------->canny边缘检测-------->椭圆匹配

63个参数计算公式数据简介及处理流程

节点降维处理:3个归一化平均最大像素值MR、MG和MB、30个垂直直方图(vh)输入和30个水平直方图(hh)输入，共63个输入节点。

1.RGB与灰度通道转换

2.归一化RGB最大像素均值3.垂直、水平直方图其中自适应阈值：参数计算公式在训练过程中，将计算得到的63个训练参数作为MLP神经网络的输入，改变63个输入节点权重并将参数分别传递到隐藏层。网络执行过程中逐步调整相关联的输出与输入直到接近标准，再通过验证数据选择最好的网络架构。网络验证后，输出与输入模式训练距离最小的响应。数据简介及处理流程

识别核心:

图7标志识别核心框架数据简介及处理流程

识别核心:

A,激活函数反向传播激活函数应该有几个重要特征，如连续、可微、单调递增。本文使用的理想激活函数是二进制多层感知机函数，取值(0,1)，被定义为：其中，λ是增益，当λ→∞时，平滑多层感知机函数时趋向阻尼二进制阈值函数。图8说明了二进制多层感知机函数，转移的信号范围为(0,1)。多层感知机函数基本包含单调性和连续性等实用的数学特性，这些参数是内在属性最终通过数据学习协助逼近、泛化网络。图8

二进制多层感知机函数、范围(0,1)数据简介及处理流程

识别核心:

B.最小二乘准则

神经网络科学通常基于最小化距离量度，在大多数应用中选择最小二乘准则作为距离量度。其中，Q是训练模式的数量，是激活函数的输出。W是MLP的权重。C.Kullback-Leibler距离

Kullback-Leibler距离是分类神经网络科学的另一个标准，这个参数与最小二乘结合通过校验技术确定最好的神经网络。实验结果与分析

Opencv实现过程：在程序主界面中手动“添加类别”：禁止鸣笛、人行通道、T型岔道。点击左下角“添加训练图像”按钮：输入3种模式的训练影像路径，右窗口可以显示影像。点击“图像预处理”按钮：从右窗口可以直观看出预处理后的能被正常识别的标志区域（红框表示）。预处理完后，点击左上角菜单栏的“训练”按钮，训练数据集会输入神经网络并更新权值。图9MLP标志识别主界面实验结果与分析

利用Opencv实现本研究的思路：训练好网络后，点击“校验”选项，程序将利用校验集对网络性能进行验证。通过设置不同的隐藏神经元数，最小二乘和Kullback-Leibler距离指标值也不一样。通过反复试验，隐藏神经元数设置为20以上时两个距离指标会变得很大或者基本不再变化。图10是对应的距离指标。神经网络确定后，点击菜单项“测试”按钮。测试数据包括交通标志与背景环境，用来检测处理阶段图像中的感兴趣路标区域。测试标志图像包括程序中提供的失真图像，用来识别网络泛化和分类的能力。输入测试数据后，程序对其归类，可以看到3幅测试集分类基本准确无误。图10隐含层15时对应的距离指标图11测试分类结果实验结果与分析

隐藏神经元数的确定：实际类别

识别类别禁止停车禁止鸣笛禁止停车61禁止鸣笛07实验结果与分析

识别结果：实际类别

识别类别三角形圆形正方形三角形100圆形011正方形000实验结果与分析

算法不足：参考论文中的预处理方法的精度有待提高，通过大量真实场景数据测试，发现当标志的背景过于复杂时，程序识别精度不高，错分严重。比如左图，红色匹配框明显错误。预处理的精度也会影响最小二乘和K-L距离指标的值。虽然确定了最优隐含神经元数10，但两个距离指标的值均偏高。这是后期需要对预处理算法进行改进的。图10匹配错误示例通过颜色阈值法对图片进行分割对OpenCV识别出来的椭圆增加更精确的判断实验结果与分析

改进方法：本文在参考相关文献的基础上，借助OpenCV实现了基于MLP神经网络的交通标志识别方法。影像预处理阶段使用阈值技术、高斯滤波器、Canny边缘检测、轮廓和匹配椭圆处理技术等对影像进行预处理,并采用裁剪分块的方式降低计算成本便于实时处理。基于MLP神经网络的交通标志识别神经网络阶段采用两个策略：预处理减少MLP的输入；选择合适的误差准则进行训练以寻找最好的网络体系结构。实验结果表明，标