数字图像处理第11章资料

1、本章重点：（以自学为主）本章的重点并不在于车辆(chling)牌照识别本身，而是通过该实例的学习，了解图像系统的设计过程。第11章 车辆牌照(pizho)识别系统设计 共三十八页11.1 概述 11.2 彩色图像(t xin)转灰度图像(t xin) 11.3 图像灰度拉伸 11.4 图像的二值化 11.5 图像的梯度锐化 11.6 图像的中值滤波 11.7 车牌牌照区域的定位 第11章 车辆牌照(pizho)识别系统设计 共三十八页11.8 确定牌照(pizho)区域的四个坐标值 11.9 车牌区域截取 11.10 牌照几何位置的调整 11.11 牌照区域的二值化 11.12 牌照字符的切分

2、 11.13 牌照字符的识别 11.14 小结 第11章 车辆牌照(pizho)识别系统设计 共三十八页11.1 概述(i sh)智能交通是当前(dngqin)交通管理发展的主要方向，汽车 牌照自动识别技术是智能交通系统的核心，在城市道路、高速公路等项目管理中占有重要地位。 汽车牌照自动识别主要包括车牌定位和车牌字符识别两部分。（1）车牌定位：通过分析车辆图像的特征，定位出图像中的车牌位置并对车牌字符进行分割。（2）车牌字符识别：对分割出来的车牌字符加以识别，获得文字形式的车牌。共三十八页 车牌定位流程共三十八页11.2 彩色图像(t xin)转灰度图像(t xin)用数码相机获取的图像是彩色

3、图像，它由R、G、B三个单色调配而成。在汽车牌照分割中，可以(ky)直接对彩色图像进行处理，也可以(ky)将彩色图像转换为灰度图像，然后再对灰度图像进行处理的方法。 共三十八页彩色图像转换为灰度图像的公式(gngsh)如下： Y=0.299R+0.587G+0.114B 汽车灰度图像 共三十八页为了增强车辆图像和牌照图像的对比度，有利于牌照分割，需要对它们进行灰度拉伸。假定原图像f(x,y)的灰度范围为a,b，变换(binhun)后图像g(x,y)的灰度范围扩展至c,d，M为原图像中的最大灰度值,可采用以下公式线性变换来实现： 11.3 图像(t xin)灰度拉伸c, 0f(x,y) a(d-

4、c)/(b-a)f(x,y)+c, af(x.y) bd , cf(x,y) Mg(x,y)=共三十八页 (a)原始(yunsh)灰度图像 (b) 经灰度拉伸后得到的灰度图像 灰度拉伸(l shn)处理共三十八页11.4 图像(t xin)的二值化将图像转换为只有两级灰度（黑白）的图像。阈值判定法 本系统(xtng)初始阈值T的确定采用如下公式： T=fmax-(fmax- fmin)/3 这里， fmax 和fmin分别是最高、最低灰度值。 共三十八页 (a)经灰度拉伸(l shn)后的灰度图像 (b) 经二值化处理后的图像 二值化处理(chl)共三十八页11.5 梯度(t d)锐化梯度的计

5、算可以采用(ciyng)Sobel算子、拉普拉斯算子等。(a) 原二值化图像 (b) 经梯度锐化处理后的图像共三十八页11.6 图像(t xin)的中值滤波图像在拍摄中总会(zn hu)添加一些噪声，从而影响了图像的质量。 可采用中值滤波去掉这些噪声。 共三十八页 (a)原图像(t xin) (b) 经中值滤波处理后的图像 中值滤波处理共三十八页11.7 车牌牌照(pizho)区域的定位车牌牌照区域的定位是正确进行汽车牌照识别的关键步骤之一。定位准确与否将直接关系(gun x)到后面的字符分割。共三十八页 (a)原图像(t xin) (b) 经车牌定位处理后的图像车牌区域定位11.8 确定牌照

6、(pizho)区域的四个坐标值共三十八页(a)原图像(t xin) (b)显示牌照区域的图像 11.9 车牌区域(qy)截取根据前面得到四个坐标值截下图片中牌照区域，显示牌照区域的灰度图片。共三十八页11.10 牌照几何(j h)位置的调整当摄像机与汽车牌照不是正对着时，所拍摄的汽车牌照会有左右或上下方向的倾斜。需要对其进行矫正，以便于对牌照字符进行切分。几何校正(jiozhng)过程如下： 首先找到牌照的上下边框，求出上下框的倾角，然后对图像进行水平矫正，随后在水平矫正的基础上进行左右矫正。共三十八页11.11 牌照(pizho)区域的二值化由于受光照、车牌本身颜色等因素的影响，不可能对所有

7、(suyu)分割出来的牌照区域采用固定阈值进行二值化。可采用最佳阈值二值化方法，对分割出来的牌照区域自动确定阈值，从而牌照区域进行二值化。共三十八页11.12 牌照(pizho)字符的切分字符的切分是将牌照(pizho)中的单个字符分割出来，以便于进行字符识别。字符分割算法是以垂直投影、字符间距尺寸测定、字符的长宽比、轮廓分析技术的组合为基础的。 由于二值化的原因，可能会产生粘连、断裂的字符。此时要根据牌照的大致宽度，结合各字符的轮廓，利用分裂、合并的方法正确地分割字符。 共三十八页11.13 牌照字符(z f)的识别字符识别有很多方法，如模板匹配法，神经网络方法等。采用数字字符轮廓(lnku

8、)结构特征和统计特征相结合的方法，并从中选出稳定的局部特征，利用结构语句识别的方法进行数字的识别。共三十八页 左侧轮廓(lnku)(LP(k)，k1，2，M)定义为字符最左侧边界像素点的水平方向坐标值。 LP(i)min(x|P(x,y)C，yi) i1，2,M式中，P(x,y)表示图像中坐标为(x,y)的像素点，C表示字符像素点的集合。右侧轮廓(RP(k)，k1，2，M)定义为字符最右侧边界像素点的水平方向坐标值。 LP(i)max(x|P(x,y)C，yi) i1，2,M1.字符轮廓(lnku)定义共三十八页顶部轮廓(TP(k)，k1，2，M)定义为字符最高边界像素点的垂直(chuzh)方

9、向坐标值。底部轮廓(BP(k)，k1，2，M)定义为字符最低边界像素点的垂直方向坐标值。 TP(i)min(x|P(x,y)C，yi) i1，2,N BP(i)max(x|P(x,y)C，yi) i1，2,N 共三十八页 字符(z f)轮廓定义示意图 2TPvxLPRPBP共三十八页 为了描述(mio sh)轮廓的变化持征，定义4个方向轮廓的一阶微分：共三十八页2.结构基元 竖直 定义：假设SL，SV和SR分别表示某侧轮廓一阶微分(wi fn)值大于零，等于零和小于零的个数，若SR=0，SL=0，则为结构V。左斜 定义：假设SL，SV和SR分别表示某侧轮廓一阶微分值大于零，等于零和小于零的个数

10、，若SR=0，SL大于阈值LT，则为结构L。 共三十八页右斜 定义：假设SL，SV和SR分别(fnbi)表示某侧轮廓一阶微分值大于零，等于零和小于零的个数，若SL=0，SR大于阈值RT，则为结构R。圆弧 定义：假设SL，SV和SR分别表示某侧轮廓一阶微分值大于零，等于零和小于零的个数，若SR大于阈值RT，SL大于阈值LT，则为结构C。共三十八页突变 连续的字符轮廓，其一阶微分值的变化(binhu)量比较小，而当字符轮廓不连续时，其一阶微分值相对较大。因此，定义：当轮廓的一阶微分值超过阈值PT时则字符轮廓有突变，即结构为P。基元结构(jigu)示意图共三十八页3.基元的检测 根据上述定义，考虑实

11、际应用中存在(cnzi)的干扰，基元的检测规则如下： 假设PD(k)表示某侧轮廓的一阶微分，k1,2,，K,SL,SV,SR分别为检测到的PD(k)大于零，等于零和小于零的个数，PT、RT和LT为正整数，则： （1）若 ，则在k处检测到的结构为突变(P)；共三十八页（2）由于字符轮廓突变处，表示字符不连续，则突变前后的轮廓特征必须分别检测。即若k1处检测到P，则在1,k1-1的字符轮廓范围内统计SL，SV和SR独立进行(jnxng)结构基元检测。若在k2处检测到P，则在k1+1,K2-1范围内进行基本检测， 以此类推。共三十八页（3）由于字符轮廓基元的形成需要一定数(T)轮廓像素点，即只有当

12、时，才能进行基元检测，否则不进行基元检测。例如，当 时，其形成的基元结构是不稳定。 （4）检测到突变结构P的有效范在 其中ST表示字符比划的宽度。这主要是为了避免干扰严重情况下，轮廓边缘光滑处理不够(bgu)理想时，可能检测到的假突变基元。 共三十八页4.轮廓的统计特征 采用(ciyng)上述的结构基元还不足以准确识别残缺和完整的数字，因此，需要引入轮廓的统计特征。（1）水平方向的最大字符宽度Wmax: 该特征主要用于识别数字1。当WmaxH/2，即为数字1 。共三十八页（2）垂直方向的笔划数 该特征主要用于识别数字和8。因为和8的轮廓结构特征及其相似，所以借助于垂直方向的笔划数加以区分。 受

13、数字底部残缺(cnqu)的影响，8在垂直方向的最大笔划数也可能为2。采用检测到笔划数为2时垂直方向的最小值来代替。 假设j列上像素P(j,i-1)，检测到垂直方向的笔划数为1，在P(j,i)检测到了第二个笔划，S2i，表示检测到第二个笔划的像素点位置。 当S2M-ST时，检测到的字符为8，否则为。共三十八页5.数字字符的识别(shbi)算法 将数字字符的顶部、左右两侧的局部轮廓结构特征和轮廓统计特征组合成特征向量，用以描述10个数字。根据特征向量，采用结构语句识别算法识别底部残缺的和完整的数字字符。由于底部特征丢失，会改变左右两侧的部分结构特征，但不会影响顶部特征，因此特征描述和结构匹配识别都从顶部轮廓特征开始。 共三十八页 局部轮廓结构特征和统计特征描述数字：0：TS=C，Size(LS)=Size(RS)=1；S2M-ST。9：TS=C，LS(1)=C，LS(2)=P。共三十八页11.14 小结(xioji)本章主要介绍了汽车(qch)牌照自动识别系统中的两个关键步骤：车牌定位和车牌字符识别两部分的实现。 通过该系统，了解一个图像系统的设计过程 。共三十八页内容摘要本章重点：（以自学为主）。11.14 小结。汽车牌照自动识别主要包括车牌定位和车牌字符识别两部分。用数码相机获取的图像是彩色图像，它由R、G、B三个单色调配而成。Y=0.299