交通标志的颜色与几何形状模型

交通标志的颜色与几何形状模型

1交通标志检测方法智能网络系统（iu）是为了解决日益严重的城市交通状况而提出的一个系统。它是一个集成了检测、通信、控制和计算机的综合信息系统。现在它是一个科学领域。道路交通标志识别(trafficsignrecognition,TSR)是其重要的组成部分,主要包括2个基本技术环节:首先是交通标志的检测,包括交通标志的定位及必要的预处理;其次是交通标志的判别,包括交通标志的特征提取与分类。其中,交通标志检测是要解决的关键问题,是实现交通标志正确判别的前提。目前的交通标志检测研究主要是通过2条技术路线进行的:首先,由于颜色信息容易受到光照等因素的影响,而灰度图像需要处理的信息量较少,因此,很多交通标志检测的研究都是基于灰度图像进行的。其缺点是不同颜色的灰度级别有时相差很小,难以区分,尤其当实景交通标志图像的对比度较小或光照不均匀以及有类似交通标志特征的干扰时,都会增加误识率;其次,就是基于彩色图像的交通标志检测。颜色是交通标志的重要属性,相对于背景区域,其颜色大都是鲜明醒目的,与周围区域形成较强的颜色对比;同时,彩色图像提供的信息比灰度图像更加丰富。因此,随着计算机处理能力的迅速提高,应用彩色图像处理技术进行道路交通标志检测的研究开始增加。采取的方法主要有以下几类:(1)利用交通标志的颜色信息进行图像分割,然后根据交通标志的大小、长宽比及其在图像中的位置检测出交通标志;(2)应用交通标志的颜色和形状信息检测出交通标志;(3)利用颜色空间对交通标志场景图进行分割后,采用遗传算法进一步检测出交通标志。虽然这些研究改善了交通标志的检测效果,但检测对象普遍比较单一,多以某一类或仅选某一类中的若干个标志为检测对象,当检测对象的样本数较多时,检测正确率明显下降。为了提高交通标志检测的有效性,应该充分利用交通标志的先验信息。已有的交通标志检测方法虽然考虑了交通标志的颜色和形状等信息,但却忽略了交通标志的一个重要特征,即其颜色与几何形状之间具有唯一的确定性关系。如果充分利用这一重要信息,那么不仅能有效地检测出交通标志,而且可以在检测的同时实现交通标志的粗分类。因此,本研究在分析了道路交通标志的颜色和几何形状这两种先验信息的基础上,提出了颜色形状对的概念,并据此构造了交通标志的颜色-几何模型。同时在该模型的基础上提出了一种新的道路交通标志检测方法,该方法覆盖了所有3大类116种中国交通标志,在实现检测的同时将交通标志初步分为7个子类,从而降低了TSR系统的复杂性,提高了系统的实时性和有效性。2典型样本描述我国直接与道路交通安全有关的交通标志分为3大类,共有116种(不包括可派生的标志)。其中,禁令标志42个,指示标志29个,警告标志45个。图1给出了部分典型样本示例。在116种交通标志的先验信息中,具有突出特征的是颜色属性和几何属性。下面先分别分析交通标志这2个基本的先验信息,然后在此基础上建立交通标志的“颜色一几何模型”。2.1结合于铜绿假设和交通标志的核心部分,采用黑色密分析上述116种交通标志可知,它们主要由5种基本颜色构成:红色、蓝色、黄色、黑色、白色。其中,禁令标志以红色为其基本颜色,白色为其底色,内核图案以黑色为主,另有2个特殊标志为白底黑色;指示标志的基本颜色为蓝色,内核图案以白色为主;警告标志以黄色为其基本颜色,边框及其内核的图符为黑色。考虑到45个警告标志中有约1/4的标志内核图案的黑色成分较多,以至于黄色部分不能形成一个规格的形状,如图1中的警告标志W10所示。因此,若采用黄色作为警告标志的基本颜色建立“颜色一几何模型”,将会使警告标志的检测变得很复杂。考虑到警告标志的外缘都是具有一定宽度的黑色,且具有规则的形状属性,于是,本研究采用黑色作为警告标志的基本颜色。另外,由图1可知,大部分交通标志都有一个很细的外轮廓线。实践表明,拍摄到的交通标志实景图中,轮廓线都比较模糊、甚至看不到。因此,这些轮廓线对交通标志识别的影响完全可以忽略不计。于是,若忽略白色、黄色和其他次要因素,则颜色与3大类道路交通标志之间的关系如图2所示,可表述如下:(1)以红色为基本颜色的交通标志必为禁令标志;(2)以蓝色为基本颜色的交通标志必为指示标志;(3)以黑色为基本颜色的交通标志或为警告标志、或为禁令标志。2.2大类道路交通标志的主要形状我国的116种交通标志共有5种基本形状:圆形、矩形、正三角形、倒三角形、正八边形。其中,圆形、矩形和正三角形的数量很多,为3大类道路交通标志的主要形状。倒三角形和正八边形各有1个,且都是禁令标志,其余40个禁令标志均为圆形。29个指示标志有圆形和矩形2种形状。45个警告标志的基本形状为正三角形。因此,几何形状与3大类道路交通标志之间的关系如图3所示,可表述如下:(1)圆形或为禁令标志、或为指示标志;(2)矩形必为指示标志;(3)正三角形必为警告标志;(4)倒三角形和正八边形必为禁令标志。3交通标志的几何形状根据以上对3大类116种道路交通标志的颜色属性与几何属性的分析,可以得到一个重要结论:道路交通标志的几何形状与颜色之间的确存在着唯一确定的关系,即红色圆形、红色倒三角形、红色八边形和黑色圆形(以上为禁令标志),蓝色圆形和蓝色矩形(以上为指示标志),黑色正三角形(以上为警告标志)。图4给出了这种唯一确定关系的基本框架图。3.1交通标志检测的颜色对为了进一步阐明道路交通标志的颜色-几何模型,本研究提出了“颜色形状对”(color-shapepair,CSP)及其集合的概念,其定义如下。定义1:若任一图像区域A具有n个颜色属性和m个形状属性,设颜色属性为Ci|i=1,2,…,n,形状属性为Sj│j=1,2,…,m;于是,区域A的任意一种颜色属性Ci和任意一种形状属性Sj均可构成一个二元对(Ci,Sj);若令CSPk=(ci,sj)│k=1,2,…,l,其中,l=n×m,则称二元对CSPk为图像区域A的一个颜色形状对。在定义1的基础上,可进一步给出颜色形状对集合的定义如下。定义2:设任一图像区域A的颜色属性为Ci,i=l,2,…,n,形状属性为Si,j=1,2,…,m,则颜色属性集合为VC={C1,C2,…,Cn},形状属性集合为Vs={S1,S2,…,Sm};设区域A的颜色形状对为CSPk=(Ci,Sj),k=1,2,…,l,其中,l=m×n,则图像区域A的颜色形状对集合为VCSP={CSPk│k=I,2,…,l},或记为VCSP={(Ci,Sj)│i=l,2,…,n,j=l,2,,…,m}。在交通标志检测过程中利用颜色形状对的概念,可以在检测时寻找满足交通标志颜色与几何形状匹配的有效区域。下面,以指示标志为例进一步说明颜色形状对的概念。首先,指示标志的基本颜色应为蓝色;其次,指示标志的形状应为圆形或矩形。这样,指示标志应具有固定的颜色形状对(蓝色,圆形)与(蓝色,矩形)。依此类推,便可以得到以颜色形状对表示的颜色-几何模型。3.2中国道路标志的交通标志设C1、C2、C3、C4分别表示我国道路交通标志的颜色属性为红色、蓝色、黑色和其他颜色(即白色和黄色);s1、S2、S3、S4、S5、S6分别表示其形状属性为倒三角形、八边形、圆形、矩形、正三角形和其它形状(即交通标志内核的各种形状)。那么,根据上面对交通标志颜色属性和形状属性的分析以及定义1和定义2可知,我国3大类116种交通标志的颜色属性集合可表示为VC={C1,C2,C3},形状属性集合可表示为VS={S1,S2,S3,S4,S5}。于是,进一步设我国道路交通标志的颜色形状对集合为VC-SPCN,禁令标志、指示标志、警告标志的颜色形状对子集分别为VCSP1、VCSP2、VCSP3,则有:由式(1)可知,我国道路交通标志的先验信息可用7个颜色形状对来描述。其中,禁令标志有4个、指示标志有2个、警告标志有1个颜色形状对。于是,设逻辑变量TS表示交通场景图中存在交通标志,设TSR、TSG、TSW分别表示交通场景图中存在禁令标志、指示标志和警告标志,则基于颜色形状对的“颜色-几何模型”(color-geometricmodel,CGM)可表示如下:式(2)就是用逻辑表达式表示的中国道路交通标志的颜色-几何模型,它表明,我国的3大类116种交通标志可以由7个颜色形状对CSP来表示,每个颜色形状对表示交通标志的1个子类。因此,116种交通标志被分为7个子类,具体分布情况如下:(1)42个禁令标志分为4个子类:38个红色圆形标志,2个黑色圆形标志,1个红色倒三角形标志,1个正八边形标志;这4个子类分别对应于颜色形状对(C1,S3)、(C3,S3)、(C1,S1)、(C1,S2)。(2)29个指示标志分为2个子类:16个蓝色圆形标志,13个蓝色矩形标志;这2个子类分别对应于颜色形状对(C2,S3)、(C2,S4)。(3)45个警告标志只有1个子类,对应于颜色形状对(C3,S5)。由于116种交通标志被分为7个子类,每个子类的样本数大为减少,因此将大大提高TSR系统的识别效率和正确率。于是,以道路交通标志的颜色-几何模型为基础,即可构成一个新的TSR方案,并探索在检测交通标志的同时进行粗分类的各种方法。因此,在交通标志的检测过程中采用上述颜色-几何模型,可以直接将3大类116种交通标志分为7个子类,为继续细分类奠定一个良好的基础。4交通标志的几何形状上文仅在理论上针对交通标志检测提出了颜色-几何模型,为了进一步验证该模型的可行性和可实现性,本研究针对基于上述颜色-几何模型的TSR方案进行了仿真实验研究。基于式(2)表示的颜色-几何模型的TSR解决方案的检测部分如图5所示。首先依次进行红色、蓝色和黑色的颜色提取,然后每次颜色提取后都按照交通标志的颜色形状对进行相应的几何形状检测,最后116种交通标志便被分为如图5所示的7个子类。这7个子类分别对应于上述7个颜色形状对。由于获得全部116种交通标志的实际场景图很困难,因此,除了采用部分交通场景图作为实验对象之外,主要是采用了大量模拟的交通场景图作为实验对象。所谓模拟交通场景图,就是将116种交通标志的标准图形(包括扭曲变形的图形)分别粘贴在不同的实拍交通场景图上来代替实拍的交通标志。模拟交通场景图的数据共有4组,其中1组是直接采用标准交通标志图制作的,另外3组是模拟几何失真的,即采用扭曲度分别为5°、10°和15°的标准图形制作的模拟交通场景图。每组数据均有116幅图片,共有464幅模拟交通场景图。4.1交通标志场景下的二值图像HSI颜色空间能够体现出人类视觉特征,且经变换后的图像属性明显,易于进行边缘检测、图像分割和目标识别的处理。因此,本研究以HSI颜色模型为基础实现图像分割。首先,对交通标志场景图求取颜色属性Ci(i=1,2,3),如果某一像素点的颜色属性Ci∈VC,则保留该点并将该点像素值置为(R,G,B)=(0,0,0),否则将其置为(R,G,B)=(255,255,255)。例如,对图6(a)所示的原始交通标志场景图像进行红色提取后,即可得到如图6(b)所示的二值图像。其次,由于利用颜色信息提取后的二值图像往往存在很多噪声点,因此为了去除噪声点并同时进行边缘检测,本研究利用形态学中的腐蚀和膨胀运算作了进一步处理。最后得到的候选交通标志区域图像如图6(c)所示。4.2交通标志的分类及判别继续对经过颜色信息分割后的交通标志二值图像进行处理。如果Ci(VC(i=1,2,3),则利用颜色-几何模型进一步分析该区域和此颜色匹配的形状属性sj(j=1,2,3,4,5)。若不满足匹配,则说明它不是交通标志区域;若满足匹配,则说明该区域为交通标志区域,然后根据颜色-几何模型确定其所属的子类。考虑到形状属性集合VS中交通标志形状的拐角特征,仿真实验利用拐角模板匹配法确定候选交通标志的5种形状属性。最后的检测结果如图6(d)所示。图6中每个子类的后续处理都是通过一个分类器或判别器进行的,且复杂度不同。例如,子类1和子类2由于都只有一个标志,所以后续处理很简单,只要一个判别器即可,目的是滤除误检测的结果。而子类7就不同了,共有45个标志,涵盖了整整一大类交通标志——警告标志。因此,子类7的后续处理比较复杂,需要进一步进行细分类和判别。仿真实验研究结果表明,采用该方案的检测和粗分类的正确率都达到了100%,同时,检测结果表明该方法不仅同时实现了3大类交通标志的粗分类,而且直接将这3大类116种交通标志分为7个子类。这一结果与本文提出的颜色-几何模型中所期望的结果相吻合,从而证明了该方案的可行性和可实现性。为了进一步验证该方法对于TSR系统的有效性,本文对检测出的4组交通标志进行了细分类(即判别)研究。未经过颜色-几何模型处理的对象是116个交通标志对应一个判别器,而应用了颜色-几何模型进行检测得到的是7个子类,每个子类对应一个判别器,因此后者对交通标志的判别更为有效。本文采用支持向量机网络作为判别系统,分别对2种方法的得到的结果进行了判别,判别的结果如表1所示。5交通标志的颜色-几何模型本研究提出了颜色形状对的概念及一种新的道路交通标志的颜色-几何模型,作为解决TSR问题的基本框架,同时给出了基于该模型的一个TSR解决方案。颜色-几何模