交通标志检测与分析：最新研究成果与新兴趋势

1、第十五届电子与电气工程师协会，关于智能交通系统的研究与讨论美国，阿拉斯加州，安克雷奇，2012年9月16日至19日交通标志检测与分析：最新研究成果与新兴趋势Andreas Mgelmose, Mohan M. Trivedi, and Thomas B. Moeslund摘要：在近十年中，交通标志识别（简称TSR）在研究领域显得很活跃。这篇文章主要引出了一些问题，并讲述了4篇关于交通标志检测的最新文章和4篇关于交通标志分类的最新文章。从而试图来提取该领域的最新研究趋势及涉及到的未知领域，尤其是在整合TSR在驾驶员环仿真系统中研究的缺乏，及面临的一些问题。TSR对于集成驾驶员帮助系统来说，是一个

2、拥有很大希望的有趣领域，而且是一个值得深入探索的特殊领域。.引言对于交通标志识别（TSR），在过去的十年里已经做了很多研究。伴随着越来越多的驾驶员辅助系统(DAS)的出现,比如自适应巡航系统，包括提供驾驶员支持的TSR的一部分，已经成为顶级汽车的下一步合乎逻辑的研究方向。一些车辆已经配备了TSR，用于限速检测，但是从驾驶员辅助系统的角度来说，很明显的，还有很多其他的标志值得去识别。该领域的最新研究基于以下几个方面：狭隘的视觉检测问题，分类，以及-在某种程度上-在图像中跟踪标志。在DAS中，对于准确的集成而言，一个TSR系统应该被视为驾驶员环仿真系统中，驾驶员不可分割的一部分，就像文献1,2,3

3、里面描述的一样。同时也是为了监测驾驶员，系统可以使它适应车辆对特殊情况的判断。此外，研究表明4，人对一些标志的察觉能力要比强其他的强，尽管如此，TSR系统也可以从把相关信息提交给司机中获得益处。没有任何迹象表明，呈现出的标志驾驶员已经注意到了。TSR系统被习惯上的分为检测阶段和分类阶段。检测阶段主要关心的是找到标志，而分类阶段主要目标是找出标志的特有的含义。这篇文章分别描述了每一阶段。可能性的增加了第三阶段，来跟踪检测的标志。文章的结构位于第一段。这篇文章的目的不是要做一份详细的报告，而是通过一些最新的杰出的文章来突出TSR研究领域的趋势。第二部分描述了在检测和识别交通标志方面的挑战和问题。后

4、面的部分主要讲了所选取的最新论文各自如何的作检测，分类和跟踪。那些关于未来方向的讨论已经继续深化，讨论内容为已被检测的最新趋势和新的或者正在发展的领域。关于交通标志交通标志的目的是指引人们以安全的方式通过交通。它们是通过法律所制定的，所以TSR的工作就很明确了。尽管如此，在某些情况下，由于内部类方差极低，仍然存在一个复杂的多分类检测和分类问题。交通标志是按照法律标准化设计的，但是每个国家的都不同。在欧洲，许多道路和信号标志的标准化都是通过维也纳公约。因此，不同类型的标志用不同的形状来分：圆形是包含限速的禁令标志，三角形是警示标志，矩形是提示标志或者是一个拥有连接标准形状的标志。另外，八角形标志

5、是用来暗示停止，向下标志用来指示三角形区域，每个国家还有其他补贴类型的标志等等来提醒城市限速。这些例子可以在图2中看见。在美国，交通标志是被手动交通控制设备所管理（MUTCD）的6。它规定了哪一个交通标志的存在和它们应该怎么用。伴随标准道路交通标志和标记（SHSM）的书,那些用来描述存在具体设计和测量的标志。在写这篇文章的时候，最近的MUTCD从2009年开始，而那时SHSM的自2004年起还没有被更新，因此，它从2003年开始描述了MUTCD。SHSM的更新版应该已经在进程之中。MUTCD包含了几百个不同的标志，分为了13类。美国用白色矩形来作为管理标志，黄色作为提醒标志，向下三角形用于指示

6、让车标志，八角形指示停止标志。一些美国的标志的例子可见图3.检测就像提到的那样，检测部分的目的是找到标志并让它们通过分类器。把检测盒分类作为两个分开的步骤很常见，但是他们之间的连接并不是那么标准的。一些分类器依靠检测不仅提供中心标志的信息，而且提供了大小，形状或者卷曲标志（如监管标志和警告标志的比较）。一般确定信号类型的属性是形状和颜色，也被检测所使用，因此这些信息直接有效。传统来说12,13，交通标志检测已经用基于颜色或者形状所分类。基于颜色检测可以基于独特的背景或者边框颜色，一些基于形状检测的方法会忽略的颜色信息，并找到标志形状来代替。这些检测的分类方法似乎有些过时，自从颜色检测并伴随形状

7、信息的深层过滤。基于形状第一的理论表明：随着光线的明亮的改变或者交通标志的磨碎带来的颜色检测是十分不可靠的。然而，相似的争论同样在形状检测提出反对意见：标志会在一定程度上被咬合，会被卷曲或者弯曲以至于他们的形状看起来不同，不是所有基于形状的检测都可以处理。一个更好的方法来看检测是通过把他们分为3块：分割，特征提取和检测。分类不包含在这里，它被作为系统的第二部分在第章出现。几乎所有的检测分类都可以被划分为这些块，这使得通过系统来比较简单。分割通常是基于颜色的，但是也可以被用于形状。这是缩小包含检测标志区域的一种方法。当用这种方法时，特征被从区域里面提取。特征的选择经常是和检测的选择联系在一起的，

8、使他们能一起检测出实际信号。在本文中，我们选择4篇最新的代表文章7,9,10,11来描述不同的检测标志方法。这些文章，大部分是最新的，包含在这领域的趋势：一些使用了理论标志模型，一些使用了学习模型，一些主要基于颜色，一些更多的基于形状，一些广泛的集中于跟踪。这些方法包含了大部分该领域的方向。在表格中我们可以看见选择的文章的综述。每一个接下来的子章节都会包含他们的理论并分为三块：分割，特征提取和检测。为了深层分析交通标志检测理论，见14。A 分割9选择基于颜色分割。他们打算用四叉树口令来操作。第一步是过滤，放大标志的红色和蓝色，然后计算每一种颜色的梯度值和相应的积分图像。现在评价图像是否包含总在

9、某一个颜色梯度阈值。假如没有，那么标志上就没有足够的带色边缘来构成标志。假如有，那么图像将被分成四部分，然后给每一部分做检测。这个过程一直持续到一个区域低于阈值，或者达到最小阈值大小。当相邻区域达到最小值，同时还包含了足够的梯度，就是集群和构成的标志候选区。在7中，他们遵循了他们早些时候发表在文章中的理论，15,在HIS颜色空间，在阈值内分割。这里认为，HIS空间对于光亮度改变比常规的RGB空间更加好。无论如何，增加一个理论（原始的在8中可见），可以看见非彩色颜色和使用这个方法来找白色标志。分割后，属于同一种颜色的图像像素被组合在了一起。11中使用了生物激励分割方法，试图找到图像中的感兴趣区域

10、。他们计算出基于多样特征的关注的地图，比如高斯差（DoG）和高博滤波器来模拟生物的大脑。自从模拟眼睛工作开始，这就在RGBY空间开始工作了。这些特征在高的价值区域可能包含标志地图中被加权。在10中，他们不是简单的选择做一些分割或者预处理，而是直接提取特征和检测。我们可以在16中看见关于分割的综述和比较。B 特征提取特征的提取必须与检测方法紧密联系。在9中，他们试验了基于边缘的检测和用海尔相似特征进行串联，但最终使用基于边缘检测。因此，他们的特征只是简单的图像梯度。7中采用了基于距离边界框（DtB）的检测方法。这种方法是测量物体边界距离矩形边界框的距离。当一个向上的三角形距离边界框底部零距离的时

11、候，一个矩形标志会距离边界框零距离，但是接近边界框上部的时候，距离会增加。在11中，介绍了获取特征，他们让图像经过一个颜色阈值，然后计算大量的几何学特征，比如角位置，大小和离心率。在10中，使用了两种不同的梯度直方图（HOG）特征。HOG直方图特征就是，像名字所表示的那样，在一个区域的详细梯度直方图。从而，所有的水平线都被接收，作为垂直线等等。C 检测检测一块就是评估特征作为候选目标，然后判断他们是否描述了一个标志。检测既可以通过特征的模型来匹配（比如考虑是否候选区域看起来像圆形）,或者通过已学模型匹配特征，看标志在特殊特征中看起来像什么。9,11使用了理论模型。在9中，基于圆形边缘的中心投票

12、拟合最先出现在18中，用来找到标志的候选区。11用一个模板来寻找转角的位置。7,10改为使用学习分类器。7使用支持向量机（SVM）分类器作用于DtB特征和10中使用了相似叠加分类器，和推进对数一起训练样本。.分类分类就是确定检测出来的标志的方法。这是一个经典的计算机视觉任务。最近，“德国交通标志识别标准”（GTSRS）的竞赛重新把目光聚焦于分类上。这是一个包含德国标志处于不低于43个分类的比赛。大量的单独分类使之变为一项有挑战的任务。比赛吸引了很多参赛者，并从最好的参赛者中诞生了四篇论文，19,20,21,22。这些文章可以称作是交通分类中顶尖的代表了。一个概述可见表格。他们从GTSRS数据中

13、获得了很好地分类速率。不像检测任务，一些系统用理论模型代替了学习模型，而所有参赛者都用了学习分类。19用了SVM分类的神经网络。它运行一个预处理来规范化和增强颜色并计算使用的特征：一组色调直方图和一组HOG特征。20中，比赛的获胜者用卷积神经网络（CNN）和不可提取的特定特征，使用完整的48x48的像素来归一化图像补丁。CNN被首要的视觉皮层24和进一步描述25,26所启发。21也用了卷积神经网络作用于整个图像补丁，但这次的时间大小变为了32x32像素，并转化为了YUV颜色空间。22使用了K-d数（和27相似），该算法在28中很好的描述了，还有基于HOG特征的随机森林。.跟踪跟踪是通过一些框架

14、跟踪标志的行为。跟踪不使用上面任何论文提到的分类章节，因为他们简单的传递了标志的图像，可以离开任何检测的跟踪。检测者，不管怎么样，可以大大受益于跟踪算法。不仅仅是因为能通过丢弃在单一框架中出现的标志来丢弃误信息，一般是噪声结果，而且还使用它来把标志呈现到分类器中，并增强系统的速度。此外，一个复杂的跟踪系统可以确保当新的标志再一次出现的时候可以暂时阻止而不被报告。所选的论文中，只有一篇用到了跟踪：9。它是一个基于标志表面改变的复杂的跟踪系统。当检测一个标志时，假设它没有失真。然后，特有的标志就有大量的随机变形。这些扭曲的看法用于列车动态跟踪。运动是为了跟踪框架匹配标志通过复原后天习得的。这种系统

15、被更深的在29,30中描述。.讨论和未来的发展方向TSR是一个看起来最近很有贡献的领域，并且是个研究很好的领域。现在，最主要的缺点是检测，没有一个标准化的数据集，因此对于文章的比较比较难。只有很少的一些数据集存在满足检测条件：瑞典交通标志数据集31，比利时交通标志分类基准库32和最近的LISA数据集14。他们中的任何一个都没有广泛使用。常见数据集的缺乏最近在分类阶段被纠正了，GTSRB数据已经作为一个不小的贡献被一些论文所引用。为了跟踪，复杂的图像已经被探索，见33，但是却被认为是不满意的，因此强调这些数据的重要性。更加彻底的测试和比较系统的趋势越来越强。这一结果是被GTSRB所引起，但是类似

16、的检测还是需要的。看起来学习系统比预定程序的启发方式要好。早些时候，常见的数据已经覆盖了检测和分类，但是通过GTRSB，系统变得更模块化，似乎已经成为一个只做分类的系统。总有一些方法会把混合和匹配方法变得更简单，用于系统来适合特定的应用。尽管如此，当用一个更大的视眼来看TSR时，还有很多事要做。好的检测和分类系统存在着，但是几乎没有实际操作把TSR应用于实际系统存在。就像引言中提到的一样，许多TSR系统把辅助司机作为它们的目的，但是仅仅一些标志的识别不能够帮助司机。为了让TSR更好的真正运用于驾驶员辅助系统，需要考虑至关重要。一个选择是看看司机的注意力：为什么提醒司机他已经看见的标志？这只会导

17、致信息的过载。还需要司机特别的注意标志，而仅仅只需看一眼，就像4中提到的那样。驾驶员辅助系统跟踪比想象中更显得至关重要。眼下，它主要用来提高鲁棒性，或者根本不是。当有一个司机的时候，重要的是它没必要把同样的标志提醒司机两次，再一次造成过载。这意味着当一个标志暂时出现时，它应该被跟踪，而不是作为一个新的标志，到它又一次出现。这同样是目前公认的如何把识别的标志告诉司机的问题。一般而言，在TSR系统中，真正的包括司机的区域几乎是没有探索的。.结束语这篇文章主要简述了4篇最新关于标志检测领域的代表性文章，和4篇关于分类方面的。TSR系统的研究最近很热，但是通过论文的比较可以看出，由于没有标准化检测方面

18、数据集的存在，进展遇到了瓶颈。尽管如此，非常好的系统仍旧有，特别是分类表现的很好。这归功于新的图像数据集，GTSRB。当然，从应用TSR到DAS领域的许多研究仍旧需要继续。适当的整合这两个应用，是一个非常值得关注，且有前途并存在的任务。虽然非常严格的把目标当做检测和分类任务，仍有很多系统在该领域有出色的表现，但是把此应用用于驾驶员辅助系统仍没有很多的进展。.感谢感谢我们学校LISA-CVRR实验室提供的帮助。参考文献1 M. Trivedi, T. Gandhi, and J. McCall, “Looking-in and looking-out of a vehicle: Computer

19、-vision-based enhanced vehicle safety,” Intelligent Transportation Systems, IEEE Transactions on, vol. 8, no. 1, pp. 108-120, 2007.2 M. Trivedi and S. Cheng, “Holistic sensing and active displays for intelligent driver support systems,” Computer, vol. 40, no. 5, pp. 6068, 2007.3 C. Tran and M. M. Tr

20、ivedi, “Vision for Driver Assistance: Looking at People in a Vehicle,” in Guide to Visual Analysis of Humans: Looking at People, T. B. Moeslund, L. Sigal, V. Krueger, and A. Hilton, Eds.,2011.4 D. Shinar, Traffic safety and human behaviour. Emerald Group Publishing, 2007.5 United Nations Economic Co

21、mmission for Europe, “Convention on Road Signs And Signals, of 1968,” 2006.6 State of California, Department of Transportation, “California Manual on Uniform Traffic Control Devices for Streets and Highways.”7 S. Lafuente-Arroyo, S. Salcedo-Sanz, S. Maldonado-Bascon, J. A.Portilla-Figueras, and R. J

22、. Lopez-Sastre, “A decision support system for the automatic management of keep-clear signs based on support vector machines and geographic information systems,” Expert Syst. Appl., vol. 37, pp. 767773, January 2010.8 H. Liu, D. Liu, and J. Xin, “Real-time recognition of road traffic sign in motion

23、image based on genetic algorithm,” in Machine Learning and Cybernetics, 2002. Proceedings. 2002 International Conference on, vol. 1. IEEE, 2002, pp. 8386.9 A. Ruta, F. Porikli, S. Watanabe, and Y. Li, “In-vehicle camera traffic sign detection and recognition,” Machine Vision andApplications, vol. 22

24、, pp. 359375, 2011. Online. Available: /10.1007/s00138-009-0231-x10 G. Overett and L. Petersson, “Large scale sign detection using HOG feature variants,” in Intelligent Vehicles Symposium (IV), 2011 IEEE, june 2011, pp. 326331.11 R. Kastner, T. Michalke, T. Burbach, J. Fritsch, and C

25、. Goerick, “Attention-based traffic sign recognition with an array of weak classifiers,” in Intelligent Vehicles Symposium (IV), 2010 IEEE, june 2010, pp. 333339.12 M.-Y. Fu and Y.-S. Huang, “A survey of traffic sign recognition,” in Wavelet Analysis and Pattern Recognition (ICWAPR), 2010 Internatio

26、nal Conference on, july 2010, pp. 119124.13 H. Fleyeh and M. Dougherty, “Road and traffic sign detection and recognition,” in 10th EWGT Meeting and 16th Mini-EURO Conference, 2005, pp. 644653.14 A. Mgelmose, M. M. Trivedi, and T. B. Moeslund, “Vision based Traffic Sign Detection and Analysis for Int

27、elligent Driver Assistance Systems: Perspectives and Survey,” IEEE Intelligent Transportation Systems Transactions and Magazine, vol. Special Issue on MLFTSR, dec 2012.15 S. Maldonado-Bascon, S. Lafuente-Arroyo, P. Gil-Jimenez, H. Gomez-Moreno, and F. Lopez-Ferreras, “Road-sign detection and recogni

28、tion based on support vector machines,” Intelligent Transportation Systems,IEEE Transactions on, vol. 8, no. 2, pp. 264278, 2007.16 H. Gomez-Moreno, S. Maldonado-Bascon, P. Gil-Jimenez, and S. Lafuente-Arroyo, “Goal Evaluation of Segmentation Algorithms for Traffic Sign Recognition,” Intelligent Tra

29、nsportation Systems, IEEE Transactions on, vol. 11, no. 4, pp. 917930, dec. 2010.17 P. Viola and M. Jones, “Robust real-time object detection,” International Journal of Computer Vision, vol. 57, no. 2, pp. 137154, 2001.18 G. Loy and N. Barnes, “Fast shape-based road sign detection for a driver assis

30、tance system,” in Intelligent Robots and Systems, 2004.(IROS 2004). Proceedings. 2004 IEEE/RSJ International Conference on, vol. 1. IEEE, 2004, pp. 7075.19 F. Boi and L. Gagliardini, “A Support Vector Machines network for traffic sign recognition,” in Neural Networks (IJCNN), The 2011 International

31、Joint Conference on. IEEE, 2011, pp. 22102216.20 D. Ciresan, U. Meier, J. Masci, and J. Schmidhuber, “A committee of neural networks for traffic sign classification,” in Neural Networks(IJCNN), The 2011 International Joint Conference on. IEEE, 2011,pp. 19181921.21 P. Sermanet and Y. LeCun, “Traffic

32、sign recognition with multi-scale Convolutional Networks,” in Neural Networks (IJCNN), The 2011International Joint Conference on. IEEE, 2011, pp. 28092813.22 F. Zaklouta, B. Stanciulescu, and O. Hamdoun, “Traffic sign classification using K-d trees and Random Forests,” in Neural Networks(IJCNN), The

33、 2011 International Joint Conference on, 31 2011-aug.5 2011, pp. 21512155.23 J. Stallkamp, M. Schlipsing, J. Salmen, and C. Igel, “The German Traffic Sign Recognition Benchmark: A multi-class classificationcompetition,” in Neural Networks (IJCNN), The 2011 International Joint Conference on. IEEE, 20

34、11, pp. 14531460. Online.Available: http:/benchmark.ini.rub.de/?section=gtsrb24 D. Hubel and T. Wiesel, “Receptive fields of single neurones in the cats striate cortex,” The Journal of physiology, vol. 148, no. 3, pp.574591, 1959.25 Y. LeCun, L. Bottou, Y. Bengio, and P. Haffner, “Gradient-based lea

35、rning applied to document recognition,” Proceedings of the IEEE,vol. 86, no. 11, pp. 22782324, 1998.26 K. Jarrett, K. Kavukcuoglu, M. Ranzato, and Y. LeCun, “What is the best multi-stage architecture for object recognition?” in Computer Vision, 2009 IEEE 12th International Conference on. IEEE, 2009,pp. 21462153.27 W.-J. Kuo and C.-C. Lin, “Two-Stage Road Sign Detection and Recognition,” in Multimedia and Expo, 2007 IEEE International Conference on, july 2007, pp. 14271430.28 J. Beis and D