模式识别应用-车牌识别课件

模式识别应用

——车牌识别

1模式识别应用

——车牌识别

1模式识别系统的组成：信息获取预处理特征提取和选择分类器设计和分类决策2模式识别系统的组成：2信息获取机器识别：计算机获取模式信息即实现观察对象的数字化表达。待识别的样本大都是非电信息，例如语音信号、待识别文本、图像等，这就需要将这些以各种不同形式表现的信息通过传感器转换成电信号。如用话筒将声音信号转换成电信号。景物信息在摄像机靶面成像并转换成二维的像素矩阵，每个像素（矩阵元素）的电信号与物体表面反射的光强或颜色信息呈现函数关系。3信息获取3预处理预处理主要是指去除所获取信息中的噪声，增强有用的信息，及一切必要的使信息纯化的处理过程。图像信息的预处理：几何校正、图像增强、图像还原等。例如，从图像中将汽车车牌的号码识别出来，就需要先将车牌从图像中找出来，再对车牌进行划分，将每个数字分别划分开。做到这一步以后，才能对每个数字进行识别。以上工作都应该在预处理阶段完成。4预处理4原始数据是由所使用的测量仪器或传感器获取的，这些数据组成的空间叫测量空间。样本是用特征进行描述的，识别与训练都是在特征空间中进行的。特征提取模块将原始测量数据转换成能反映事物本质、有效方式表示的信息，从而使分类器能根据这些信息决定样本的类别。特征提取模块的功能是：对所获取的信息实现从测量空间到特征空间的转换。通常用于描述模式性质的特征很多，需要从一组特征中挑选出一些最有效的特征以降低特征空间维数，即特征选择。特征提取和选择5原始数据是由所使用的测量仪器或传感器获取的，这些数据组成的空分类决策模式识别系统工作有两个过程，一是样本训练，二是分类决策。样本训练：在已确定的特征空间中，对作为训练样本的数据进行特征提取与选择，得到它们在特征空间的分布，依据这些分布决定分类器的具体参数。分类决策：分类器在分界形式及其具体参数都确定后，对待分类样本进行分类决策的过程。6分类决策6分类决策是对事物辨识的最后一步。识别事物（决策）的基本方法：同一类事物之间属性应比较近似，而不同类事物之间的属性之间应差异较大。这种现象表现在特征空间的分布中往往表现出同类事物的特征向量聚集在一起，聚集在一个相对集中的区域，而不同事物则分别占据不同的区域。因此，如果待识别的事物的特征向量出现在某一类事物经常出现或可能出现的区域内，该事物就被识别为该类事物。决策依据：在特征空间中哪个区域是某类事物典型所在区域需要用数学式子划定，这样一来，满足这种数学式子与否就成为分类决策的依据。如何确定这些数学式子就是分类器设计的任务，而一旦这种数学式子确定后，分类决策的方法也就确定了。

7分类决策是对事物辨识的最后一步。7汽车车牌识别系统8汽车车牌识别系统8汽车车牌识别系统图像输入车牌提取（牌照定位与分割）车牌字符识别9汽车车牌识别系统图像输入9汽车车牌识别——图像采集地感线圈感应压力；40ms后进入最佳识别区；触发相机拍照10汽车车牌识别——图像采集地感线圈感应压力；10汽车车牌识别——图像采集11汽车车牌识别——图像采集11首先，从摄像头取得彩色的包含车牌的图像。在摄像机前方的检测点安装传感器，当汽车通过检测点时，传感器向主机发出信号，系统自动摄下车辆的图像，并将图像输入计算机。这是在一个收费站前拍摄的交费车辆的照片，在收费站的车牌识别系统中，车辆是静止的，因此不用进行针对运动模糊等的预处理。12首先，从摄像头取得彩色的包含车牌的图像。在摄像机前方的检测点车牌定位是在包含车辆的图像中找到牌照区域的位置，并把牌照区域分割出来，得到牌照图像。也可称这部分为牌照定位与分割。牌照定位决定其后的车牌字符识别，因此牌照定位是识别系统的关键。汽车车牌识别——车牌定位与分割13车牌定位是在包含车辆的图像中找到牌照区域的位置，并把牌照区域经过大量实验数据发现，车辆牌照一般具有以下特征:目前车辆牌照的具体排列格式是由一个省份汉字(军警牌则为其他字)后跟字母或阿拉伯数字组成的7个字序列。除第一个汉字外，字母或数字的笔画在竖直方向都是连通的。标准车牌的具体排列格式是:X1X2·X3X4X5X6X7X1是各省、直辖市的简称或军警（多数为红色）、外交标志（例如：大使馆车辆白底黑字）X2是英文字母X3X4是英文字母或阿拉伯数字X5X6X7是阿拉伯数字。14经过大量实验数据发现，车辆牌照一般具有以下特征:14(2)车辆牌照区域牌底与牌字颜色相差较大，边缘非常丰富。(3)车辆牌照子图像区域长高比例一定，车牌原始尺寸每个字宽45mm，字高90mm，间隔符宽10mm，每个单元间隔12mm。根据汽车牌照的特点，需要充分利用这些特征，并结合一系列图像处理，对车辆牌照进行定位与分割。三个主要步骤：特征提取：灰度化、灰度拉伸、边缘检测粗略定位精细定位15(2)车辆牌照区域牌底与牌字颜色相差较大，边缘非常丰富。三车牌特征提取的第一步——灰度化为了便于后续的快速图像处理，以及对不同颜色的车辆牌照进行统一处理，需要把摄像头拍到的含车辆的图像由24位真彩色转化成灰度图。一般采用现行标准的平均值法:其中:g表示灰度化后的灰度值：R、G、B分别表示原真彩色图中的红、绿、蓝分量。16车牌特征提取的第一步——灰度化其中:g表示灰度化后车牌特征提取的第二步——灰度拉伸

对灰度化的图像进行对比度拉伸，把感兴趣的灰度范围拉开，使得该范围内的像素亮的更亮、暗的更暗，使图像的边缘更加凸显。灰度拉伸可以使牌照区域的笔画特征更明显，有益于下一步的边缘检测。假设原图像的灰度分布函数为f(x，y)，像素灰度分布范围为［a,b］。根据图像处理的需要，将其灰度范围变换到［a′,b′］，增强后图像的灰度分布函数为g(x，y)，则g(x，y)和f(x，y)之间存在如下关系:17车牌特征提取的第二步——灰度拉伸假设原图像的灰度分布如果图像的灰度范围超出了［a，b］，但绝大多数像素的灰度落在区间［a，b］内，只有很少部分的像素灰度分布在小于a和大于b的区间内，此时可以采用一种称作“截取式线性变换”的变换方法，其变换式如下:18如果图像的灰度范围超出了［a，b］，但绝大多数像素的灰度车牌特征提取的第三步——边缘检测

边缘检测对于车牌区域的分割有重要的作用。经过边缘检测之后的图像由各个物体的轮廓线组成，由于车辆牌照是边缘丰富的子区域，车牌的笔画轮廓凸现，而车体上其他部分的轮廓线特征并不突出。在车牌识别系统中，可以采用如下的算子来提取边缘:H1、H2分别是水平和垂直方向的算子。19车牌特征提取的第三步——边缘检测H1、H2分别是水平和垂粗略定位主要利用的信息是车牌部分的纹理分布，主要利用的是水平和竖直两个方向上的边缘。在车牌部分，边缘分布比较密集，可以利用这一点提取出候选的车牌区域，在图中用方框标出。车牌粗略定位20粗略定位主要利用的信息是车牌部分的纹理分布，主要利用的是水平之后输出的就是候选的车牌位置，这些位置中，只有一个是真正的车牌。而究竟哪一个是对的，要到字符识别阶段才能有结果。粗略定位的结果往往不是很准，可以利用颜色的连续性信息对定位的结果进行修正。车牌精细定位21之后输出的就是候选的车牌位置，这些位置中，只有一个是真正的车字符特征提取训练：字符识别分类器识别：车牌的具体内容汽车车牌识别——字符识别22字符特征提取训练：识别：汽车车牌识别——字符识别22字符分割要把车牌中的一个个字符逐一切分开，这样才能在下一步的识别中对每一个字符分别处理。分割的方法可以利用灰度图像往竖直方向的投影。在有数字或字符的部分，这个投影值应该比较大，而在字符之间的间隙处，投影的累计值就几乎为零了。利用这个特征，可以很好地将字符分割开来。同时，还需要得到对这个区域是不是车牌区域作个评价，如果划分结果比较合理，划分出的每个字符的宽度都差不多，且符合车牌特征，那么说明这个区域比较像车牌。如果字体太宽或者不符合车牌特征，说明是其它的字符。字符分割23字符分割要把车牌中的一个个字符逐一切分开，这样才能在下一步的在牌照识别中，需要利用光学字符识别(OCR)技术识别出牌照图像中的印刷体汉字、英文字母和阿拉伯数字，得到车牌号码。可以根据目前标准车牌中字符的具体排列顺序，设计不同的分类器。印刷体汉字(包括各省、直辖市的简称或军警)；英文字母(26个大写字母)；阿拉伯数字为0，1，…，9。24字符特征提取24在牌照识别中，需要利用光学字符识别(OCR)技术识别出牌照图25光学字符识别先要使识别系统学习待辩识字符的特征，然后再利用这些先验知识对输入图像进行判决，得到字符的识别结果。字符的特征：平面上的点阵位置特征：像素灰度特征（不好）频率特征：跳变统计特征投影特征：灰度统计特征语义特征：结构特征几种目前常采用的特征：HOG、Haar、LBP字符特征提取（续）2525光学字符识别先要使识别系统学习待辩识字符的特征，然后再利26

LBP（LocalBinaryPattern，局部二值模式）是一种用来描述图像局部纹理特征的算子；具有旋转不变性和灰度不变性等显著的优点。字符特征提取（续）2626

LBP（LocalBinaryPattern，局部27LBP特征的描述：定义：在3×3的窗口内，以窗口中心像素为阈值，将相邻的8个像素的灰度值与其进行比较，若周围像素值大于中心像素值，则该像素点的位置被标记为1，否则为0。这样，3×3邻域内的8个点经比较可产生8位二进制数（通常转换为十进制数即LBP码，共256种），即得到该窗口中心像素点的LBP值，并用这个值来反映该区域的纹理信息。

字符特征提取（续）灰度不变性2727LBP特征的描述：字符特征提取（续）灰度不变性2728基本的

LBP

算子有两个缺陷：只覆盖了一个固定半径范围内的小区域，不能满足不同尺寸和频率纹理的需要;不具有旋转不变性。圆形LBP特征：将

3×3

邻域扩展到任意邻域用圆形邻域代替了正方形邻域允许在半径为

R

的圆形邻域内有任意多个像素点。

字符特征提取（续）2828基本的

LBP

算子有两个缺陷：字符特征提取（续）2829改进的LBP特征具有灰度不变性和旋转不变性。字符特征提取（续）2929改进的LBP特征具有灰度不变性和旋转不变性。字符特征提取30LBP特征提取步骤：将检测窗口划分为一定大小的小区域（cell），例如16×16；对于每个cell中的每个像素，计算其LBP值；计算每个cell的直方图，即每个LBP值出现的频率；并对该直方图进行归一化处理；将每个cell的统计直方图进行连接成为一个特征向量，也就是整幅图的LBP纹理特征向量。字符特征提取（续）3030LBP特征提取步骤：字符特征提取（续）30模板匹配ANNSVM字符识别31模板匹配ANNSVM字符识别31需要考虑的情况车牌区域上下两行字符：——先横向投影再纵向投影；两种车牌：蓝底白字（暗背景亮目标）

黄底黑字（亮背景暗目标）

边缘投影图中，波峰波谷位置不同。32需要考虑的情况车牌区域上下两行字符：32模式识别应用

——车牌识别

33模式识别应用

——车牌识别

1模式识别系统的组成：信息获取预处理特征提取和选择分类器设计和分类决策34模式识别系统的组成：2信息获取机器识别：计算机获取模式信息即实现观察对象的数字化表达。待识别的样本大都是非电信息，例如语音信号、待识别文本、图像等，这就需要将这些以各种不同形式表现的信息通过传感器转换成电信号。如用话筒将声音信号转换成电信号。景物信息在摄像机靶面成像并转换成二维的像素矩阵，每个像素（矩阵元素）的电信号与物体表面反射的光强或颜色信息呈现函数关系。35信息获取3预处理预处理主要是指去除所获取信息中的噪声，增强有用的信息，及一切必要的使信息纯化的处理过程。图像信息的预处理：几何校正、图像增强、图像还原等。例如，从图像中将汽车车牌的号码识别出来，就需要先将车牌从图像中找出来，再对车牌进行划分，将每个数字分别划分开。做到这一步以后，才能对每个数字进行识别。以上工作都应该在预处理阶段完成。36预处理4原始数据是由所使用的测量仪器或传感器获取的，这些数据组成的空间叫测量空间。样本是用特征进行描述的，识别与训练都是在特征空间中进行的。特征提取模块将原始测量数据转换成能反映事物本质、有效方式表示的信息，从而使分类器能根据这些信息决定样本的类别。特征提取模块的功能是：对所获取的信息实现从测量空间到特征空间的转换。通常用于描述模式性质的特征很多，需要从一组特征中挑选出一些最有效的特征以降低特征空间维数，即特征选择。特征提取和选择37原始数据是由所使用的测量仪器或传感器获取的，这些数据组成的空分类决策模式识别系统工作有两个过程，一是样本训练，二是分类决策。样本训练：在已确定的特征空间中，对作为训练样本的数据进行特征提取与选择，得到它们在特征空间的分布，依据这些分布决定分类器的具体参数。分类决策：分类器在分界形式及其具体参数都确定后，对待分类样本进行分类决策的过程。38分类决策6分类决策是对事物辨识的最后一步。识别事物（决策）的基本方法：同一类事物之间属性应比较近似，而不同类事物之间的属性之间应差异较大。这种现象表现在特征空间的分布中往往表现出同类事物的特征向量聚集在一起，聚集在一个相对集中的区域，而不同事物则分别占据不同的区域。因此，如果待识别的事物的特征向量出现在某一类事物经常出现或可能出现的区域内，该事物就被识别为该类事物。决策依据：在特征空间中哪个区域是某类事物典型所在区域需要用数学式子划定，这样一来，满足这种数学式子与否就成为分类决策的依据。如何确定这些数学式子就是分类器设计的任务，而一旦这种数学式子确定后，分类决策的方法也就确定了。

39分类决策是对事物辨识的最后一步。7汽车车牌识别系统40汽车车牌识别系统8汽车车牌识别系统图像输入车牌提取（牌照定位与分割）车牌字符识别41汽车车牌识别系统图像输入9汽车车牌识别——图像采集地感线圈感应压力；40ms后进入最佳识别区；触发相机拍照42汽车车牌识别——图像采集地感线圈感应压力；10汽车车牌识别——图像采集43汽车车牌识别——图像采集11首先，从摄像头取得彩色的包含车牌的图像。在摄像机前方的检测点安装传感器，当汽车通过检测点时，传感器向主机发出信号，系统自动摄下车辆的图像，并将图像输入计算机。这是在一个收费站前拍摄的交费车辆的照片，在收费站的车牌识别系统中，车辆是静止的，因此不用进行针对运动模糊等的预处理。44首先，从摄像头取得彩色的包含车牌的图像。在摄像机前方的检测点车牌定位是在包含车辆的图像中找到牌照区域的位置，并把牌照区域分割出来，得到牌照图像。也可称这部分为牌照定位与分割。牌照定位决定其后的车牌字符识别，因此牌照定位是识别系统的关键。汽车车牌识别——车牌定位与分割45车牌定位是在包含车辆的图像中找到牌照区域的位置，并把牌照区域经过大量实验数据发现，车辆牌照一般具有以下特征:目前车辆牌照的具体排列格式是由一个省份汉字(军警牌则为其他字)后跟字母或阿拉伯数字组成的7个字序列。除第一个汉字外，字母或数字的笔画在竖直方向都是连通的。标准车牌的具体排列格式是:X1X2·X3X4X5X6X7X1是各省、直辖市的简称或军警（多数为红色）、外交标志（例如：大使馆车辆白底黑字）X2是英文字母X3X4是英文字母或阿拉伯数字X5X6X7是阿拉伯数字。46经过大量实验数据发现，车辆牌照一般具有以下特征:14(2)车辆牌照区域牌底与牌字颜色相差较大，边缘非常丰富。(3)车辆牌照子图像区域长高比例一定，车牌原始尺寸每个字宽45mm，字高90mm，间隔符宽10mm，每个单元间隔12mm。根据汽车牌照的特点，需要充分利用这些特征，并结合一系列图像处理，对车辆牌照进行定位与分割。三个主要步骤：特征提取：灰度化、灰度拉伸、边缘检测粗略定位精细定位47(2)车辆牌照区域牌底与牌字颜色相差较大，边缘非常丰富。三车牌特征提取的第一步——灰度化为了便于后续的快速图像处理，以及对不同颜色的车辆牌照进行统一处理，需要把摄像头拍到的含车辆的图像由24位真彩色转化成灰度图。一般采用现行标准的平均值法:其中:g表示灰度化后的灰度值：R、G、B分别表示原真彩色图中的红、绿、蓝分量。48车牌特征提取的第一步——灰度化其中:g表示灰度化后车牌特征提取的第二步——灰度拉伸

对灰度化的图像进行对比度拉伸，把感兴趣的灰度范围拉开，使得该范围内的像素亮的更亮、暗的更暗，使图像的边缘更加凸显。灰度拉伸可以使牌照区域的笔画特征更明显，有益于下一步的边缘检测。假设原图像的灰度分布函数为f(x，y)，像素灰度分布范围为［a,b］。根据图像处理的需要，将其灰度范围变换到［a′,b′］，增强后图像的灰度分布函数为g(x，y)，则g(x，y)和f(x，y)之间存在如下关系:49车牌特征提取的第二步——灰度拉伸假设原图像的灰度分布如果图像的灰度范围超出了［a，b］，但绝大多数像素的灰度落在区间［a，b］内，只有很少部分的像素灰度分布在小于a和大于b的区间内，此时可以采用一种称作“截取式线性变换”的变换方法，其变换式如下:50如果图像的灰度范围超出了［a，b］，但绝大多数像素的灰度车牌特征提取的第三步——边缘检测

边缘检测对于车牌区域的分割有重要的作用。经过边缘检测之后的图像由各个物体的轮廓线组成，由于车辆牌照是边缘丰富的子区域，车牌的笔画轮廓凸现，而车体上其他部分的轮廓线特征并不突出。在车牌识别系统中，可以采用如下的算子来提取边缘:H1、H2分别是水平和垂直方向的算子。51车牌特征提取的第三步——边缘检测H1、H2分别是水平和垂粗略定位主要利用的信息是车牌部分的纹理分布，主要利用的是水平和竖直两个方向上的边缘。在车牌部分，边缘分布比较密集，可以利用这一点提取出候选的车牌区域，在图中用方框标出。车牌粗略定位52粗略定位主要利用的信息是车牌部分的纹理分布，主要利用的是水平之后输出的就是候选的车牌位置，这些位置中，只有一个是真正的车牌。而究竟哪一个是对的，要到字符识别阶段才能有结果。粗略定位的结果往往不是很准，可以利用颜色的连续性信息对定位的结果进行修正。车牌精细定位53之后输出的就是候选的车牌位置，这些位置中，只有一个是真正的车字符特征提取训练：字符识别分类器识别：车牌的具体内容汽车车牌识别——字符识别54字符特征提取训练：识别：汽车车牌识别——字符识别22字符分割要把车牌中的一个个字符逐一切分开，这样才能在下一步的识别中对每一个字符分别处理。分割的方法可以利用灰度图像往竖直方向的投影。在有数字或字符的部分，这个投影值应该比较大，而在字符之间的间隙处，投影的累计值就几乎为零了。利用这个特征，可以很好地将字符分割开来。同时，还需要得到对这个区域是不是车牌区域作个评价，如果划分结果比较合理，划分出的每个字符的宽度都差不多，且符合车牌特征，那么说明这个区域比较像车牌。如果字体太宽或者不符合车牌特征，说明是其它的字符。字符分割55字符分割要把车牌中的一个个字符逐一切分开，这样才能在下一步的在牌照识别中，需要利用光学字符识别(OCR)技术识别出牌照图像中的印刷体汉字、英文字母和阿拉伯数字，得到车牌号码。可以根据目前标准车牌中字符的具体排列顺序，设计不同的分类器。印刷体汉字(包括各省、直辖市的简称或军警)；英文字母(26个大写字母)；阿拉伯数字为0，1，…，9。56字符特征提取56在牌照识别中，需要利用光学字符识别(OCR)技术识别出牌照图57光学字符识别先要使识别系统学习待辩识字符的特征，然后再利用这些先验知识对输入图像进行判决，得到字符的识别结果。字符的特征：平面上的点阵位置特征：像素灰度特征（不好）频率特征：跳变统计特征投影特征：灰度统计特征语义特征：结构特征几种目前常采用的特征：HOG、Haar、LBP字符特征提取（续）5725光学字符识别先要使识别系统学习待辩识字符的特征，然后再利58

LBP（LocalBinaryPatte