智能汽车测控技术 课件 第4章-第3讲 检测识别方法

智能汽车测控技术

第3讲检测识别方法1.车道线识别

1.车道线常用识别方法第3讲检测识别方法1.车道线识别

2.车道线识别流程第3讲检测识别方法

1.车道线识别

3.车道线识别实例智能汽车上的摄像头采集的数据是视频信号，它是由一帧帧的图像组成。因此，对视频中的车道线识别本质上是对图像的车道线的识别。故本案例以单张图像为例，在简要介绍相关数字图像处理知识的基础上，采用MATLAB语言编程，介绍其识别方法。第3讲检测识别方法1.车道线识别

1)数字图像的基本概念数字图像，又称数码图像或数位图像，是二维图像用有限数字数值像素表示的图像。(1)数字图像的表达方式设一幅数字图像由M行N列共M×N像素组成，图像空间的点(x,y)表示该像素位于第x行第y列。设二维函数f(x,y)为该像素点的灰度值，𝑥∈[1,M],y∈[1,N]。由f(x,y)组成的矩阵表示了一幅数字图像，它实际上是一个数字阵列，也可以说其是数字图像的模型。以这个数字图像模型为基础，进行各种算法运算就可以得到不同的图像处理结果。第3讲检测识别方法1.车道线识别

1)数字图像的基本概念(2)数字图像的类型数字图像根据其特性分为两大类：位图(bitmap)和矢量图。其中，位图是计算机表示数字图像最常用的一种类型。根据颜色和灰度级数量，可以将位图分为二值图像、灰度图像、索引图像和RGB彩色图像四种类型。目前，大多数图像处理软件都支持这四种类型的图像。第3讲检测识别方法1.车道线识别

1)数字图像的基本概念

第3讲检测识别方法1.车道线识别

1)数字图像的基本概念②灰度图像：灰度图像一般指具有256级灰度值的数字图像。其只有灰度值而没有彩色。二值图像可以看作灰度图像的一个特例。灰度图像用数学表达式可表示如下：𝑓(𝑥,𝑦)=𝑗，𝑗∈[0,255]其中，j由像素点的灰度值确定。第3讲检测识别方法1.车道线识别

1)数字图像的基本概念③索引图像：索引图像的文件结构和灰度图像不同，它既包括存放图像数据的二维矩阵𝑔(𝑥,𝑦)，还包括一个颜色索引矩阵MAP，因此称为索引图像或映射图像。MAP的大小由存放图像的矩阵元素值域决定。第3讲检测识别方法1.车道线识别

1)数字图像的基本概念举例来说，若矩阵像素(x,y)点的𝑔(𝑥,𝑦)值域为[0,255]，则MAP矩阵的大小为256×3，用MAP=[R,G,B]表示，MAP中R,G,B

分别表示该行对应颜色的红、绿、蓝单色值。MAP中每一行对应矩阵像素的一个灰度值。如某一像素的灰度值为64，则该像素就与MAP中的第64行建立了映射关系，该像素在屏幕上的实际颜色由第64行的[RGB]组合决定。第3讲检测识别方法1.车道线识别

1)数字图像的基本概念

第3讲检测识别方法1.车道线识别

1)数字图像的基本概念

第3讲检测识别方法1.车道线识别

1)数字图像的基本概念设图像空间的像素点(x,y)对应的R、G、B颜色分量分别为𝑅(𝑥,𝑦)、𝐺(𝑥,𝑦)、𝐵(𝑥,𝑦)，则RGB彩色图像的色彩值可用数学表达式表示如下：𝑓(𝑥,𝑦)=[𝑅(𝑥,𝑦)𝐺(𝑥,𝑦)𝐵(𝑥,𝑦)]综上所述，数字图像的四种基本类型随着所表示的颜色增加，所需存储空间逐渐增加。第3讲检测识别方法1.车道线识别

1)数字图像的基本概念表4-3列出了四种基本图像类型和存储空间的统计。第3讲检测识别方法1.车道线识别

1)数字图像的基本概念(3)数字图像的文件格式图像的文件格式是记录和存储影像信息的格式。对数字图像进行存储、传输、处理，必须采用一定的图像格式，把图像的像素按照一定的方式进行组织和存储为图像文件。图像文件格式决定了图像文件的数据结构信息以及文件如何与其他文件交换数据等。常见的图像格式文件包括BMP、JPEG、PNG、TIFF、GIF、RAW等。第3讲检测识别方法1.车道线识别

2)图像文件的读取在MATLAB中使用函数imread()函数来读取图像信息，可以将指定的图像文件以矩阵的形式读入工作区。因为该函数具有多种输入输出格式，本文以使用中常见的A=imread(FILENAME)为例进行解析。图像读取MATLAB语言编程：第3讲检测识别方法1.车道线识别

3)灰度变换本实例只识别车道线，不涉及其色彩，故将RGB彩色图像灰度化将大大节省内存并降低计算工作量。RGB彩色图像灰度化处理有以下几种方式：分量法最大值法平均值法加权平均法灰度化MATLAB语言编程：第3讲检测识别方法1.车道线识别

4)滤波数字图像在采集、传输、接收和处理过程中，不可避免地存在着噪声。常见的噪声有加性噪声、乘性噪声、量化噪声和椒盐噪声等。这些噪声使图像模糊，特征淹没，因此，必须消除图像噪声。消除图像噪声的工作称为图像平滑或滤波，其作用如同模拟电路的信号滤波电路。数字图像滤波可分为空间域滤波和频域滤波；空间域滤波直接在图像空间进行运算，简便直观。为掌握空间域滤波方法，必须掌握卷积的基本知识。第3讲检测识别方法1.车道线识别

4)滤波

第3讲检测识别方法1.车道线识别

4)滤波(2)均值滤波在数字图像处理中，设𝑓(𝑖,𝑗)为输入图像，h(𝑘,𝑙)为模板，𝑔(𝑖,𝑗)为经图像处理后输出的结果。为简化卷积计算的工作量，h(𝑘,𝑙)通常选取3×3或5×5等矩阵作为模板，之所以称其为模板，是因为其将对输入图像𝑓(𝑖,𝑗)内部的所有点进行处理。第3讲检测识别方法1.车道线识别

4)滤波

(3)高斯滤波第3讲检测识别方法1.车道线识别

4)滤波(3)高斯滤波该函数对应的数值如图所示。从图中可以看出：当(𝑥,𝑦)=(0,0)时，𝐺(𝑥,𝑦)输出为峰值；随着x,y的增加，𝐺(𝑥,𝑦)逐渐减小；其下降速率由标准差σ决定。第3讲检测识别方法1.车道线识别

4)滤波(3)高斯滤波

第3讲检测识别方法1.车道线识别

4)滤波(3)高斯滤波高斯滤波MATLAB语言编程:第3讲检测识别方法1.车道线识别

5)边缘检测边缘是图像的基本特征，边缘点是指图像中周围像素灰度有阶跃变换的像素点，即灰度的导数较大或极大的地方。边缘检测的目的是找到图像中亮度变化剧烈的像素点构成的集合，表现出来往往是轮廓。在图像中形成一个边缘的4种情况：(1)深度的不连续；(2)表面方向的不连续；(3)物体材料不同；(4)场景中光照不同；第3讲检测识别方法1.车道线识别

5)边缘检测常用的边缘检测方法有：Roberts算子、Sobel算子、Ptewitt

算子、Canny

算子、Log算子等。以Roberts边缘检测算子为例，其采用对角线方向相邻两像素之差近似梯度幅值检测边缘，即：

第3讲检测识别方法1.车道线识别

5)边缘检测其卷积算子为：

第3讲检测识别方法1.车道线识别

5)边缘检测LOG算子是利用图像的二阶偏导在边缘处数值为0进行边缘检测。其MATLAB语言编程如下:第3讲检测识别方法1.车道线识别

6)感兴趣区域检测在复杂的行车环境道路图像中,数字图像处理需根据检测目标，对图像进行分割,提取感兴趣区域(ROI,RegionofInterest)进行重点研究。通常情况下，可以按照两条车道线在图像上相交形成的消失点的纵向坐标来作为感兴趣区域的上界，以车辆所在车道宽度设定感兴趣区域的左右边界，该区域中将包含车道线信息。本文选择感兴趣范围如图所示：第3讲检测识别方法1.车道线识别

7)二值化

第3讲检测识别方法1.车道线识别

7)二值化二值化MATLAB语言编程：第3讲检测识别方法1.车道线识别

8)霍夫Hough变换边缘检测可以识别出图像的边缘，由于噪声和光照不均匀等因素影响，所获得的边缘点是不连续的，必须通过边缘连接转换为有意义的边缘。Hough变换通过将图像空间变换到参数空间来实现直线和曲线的拟合，实现了边缘的有效连接。弱光强光第3讲检测识别方法1.车道线识别

8)霍夫Hough变换(1)图像空间和参数空间的关系图像空间的一条直线，对应参数空间的一个点；反之参数空间的一条直线，对应图像空间的一个点。第3讲检测识别方法1.车道线识别

8)霍夫Hough变换(2)图像空间若干离散点的变换霍夫变换的基本思想是在参数空间中选取直线相交最多的点所对应图像空间的直线作为边缘线，实现边缘的有效连接。第3讲检测识别方法1.车道线识别

8)霍夫Hough变换(3)图像空间极坐标表示法参数空间的每个点(ρ,θ)都对应了图像空间的一条直线。这样就把在图像空间中检测直线的问题转化为在极坐标参数空间中找通过点(ρ,θ)的最多正弦曲线数的问题。霍夫空间中，曲线的交点次数越多，所代表的参数越确定，画出的图形越饱满。第3讲检测识别方法1.车道线识别

8)霍夫Hough变换(4)经典Hough变换车道线检测基本步骤如下：①遍历图像所有边缘像素点，对边缘像素点求取极径ρ。②对每一个(ρ,θ)单元投票累加，累加器A(ρ,θ)=A(ρ,θ)+1。③设阈值，将阈值与累加值比较，小于阈值则置零④继续查找，高于阈值的暂存，再置零，重复步骤3)⑤直到所有累加值为零，得票超过阈值的累加单元即为检测车道线。其中ρ∈[0,r]，r表示为图像对角线长度，θ∈[0,180)。第3讲检测识别方法1.车道线识别

9)车道线拟合与图片混合(1)车道线拟合车道线拟合就是筛选出共线多点，把斜率相近的点线进行聚类合并，就得到拟合之后的车道线。本文设定超过130个点视为共线，使用函数clusterdata()对直线进行合并。车道线拟合MATLAB语言编程：第3讲检测识别方法1.车道线识别

9)车道线拟合与图片混合(2)图像混合图像混合是给图像做最后的处理，将画出来的直线叠加到原图像的车道线上。首先将极坐标转化为直角坐标，之后可以使用plot()函数在原图像的基础上进行绘图，并使用color(4)函数设置透明度以实现更好的显示效果，最终完成图像的混合。第3讲检测识别方法2.信号灯识别

交通信号灯识别分为两大部分。一是候选区域选择，其从整幅图像中分割出含有交通信号灯的目标区域，其输入是相机采集的图像，输出是图像中含有信号灯的候选区域；二是目标区域交通信号灯的识别。交通信号灯识别的实质是对信号灯的色彩和形状进行分类。通过识别算法可以识别各个图案形状属性和颜色属性。第3讲检测识别方法2.信号灯识别

1.交通信号灯识别方法第3讲检测识别方法2.信号灯识别

2.交通信号灯识别流程车道线识别只用一张图片就可完成识别，交通信号灯识别采用SVM算法进行分类，因此需要大量数据进行训练，解算SVM算法中的相关参数，为提高交通信号灯的识别率作好前期准备。第3讲检测识别方法2.信号灯识别

2.交通信号灯识别流程求解SVM训练模型的具体步骤如下：(1)使用图像描述作为训练标签；(2)逐个添加每张训练图片的特征和标签；(3)进行SVM多分类模型训练，并训练出一个SVM分类器；(4)保存模型第3讲检测识别方法2.信号灯识别

2.交通信号灯识别流程流程如下：(1)输入测试图像；(2)形状识别；(3)提取颜色特征；(4)形状和颜色信息结合；(5)获取识别结果。第3讲检测识别方法2.信号灯识别

2.交通信号灯识别流程第3讲检测识别方法2.信号灯识别

3.交通信号灯识别典型案例交通信号灯识别的Matlab

程序流程图如下图所示。第3讲检测识别方法2.信号灯识别

4.交通信号灯识别案例分析1)第一部分：训练模型构建训练样本特征向量和训练样本标签，训练时遍历训练集每张图片对其进行灰度化、Gamma校正、调整大小，然后进行特征提取(1)dir

函数

dir

函数的作用是获取指定文件夹下的所有子文件夹和文件，并存放在一种文件结构数组中。第3讲检测识别方法2.信号灯识别

(2)rgb2gray函数

rgb2gray函数的作用是通过消除色调和饱和度信息，同时保留亮度，将RGB图像转换为灰度图。第3讲检测识别方法2.信号灯识别

(3)HOG特征提取梯度方向直方图(HOG)能够描述图像的梯度强度和梯度方向的分布情况，可以较好地表示局部图像的外观和形状。①颜色空间归一化程序采用Gamma校正法对输入图像进行颜色空间的标准化(归一化)，目的是调节图像的对比度，降低图像局部由于阴影和光照变化所造成的影响，同时可以抑制噪声。第3讲检测识别方法2.信号灯识别

第3讲检测识别方法2.信号灯识别

①颜色空间归一化归一化：第3讲检测识别方法2.信号灯识别

第3讲检测识别方法2.信号灯识别

①颜色空间归一化预补偿：第3讲检测识别方法2.信号灯识别

第3讲检测识别方法2.信号灯识别

①颜