一种基于图象处理的铁轨自动检测方法

1、第 33 卷 Vol.33 第 19 期 No.19 计 算 机 工 程 Computer Engineering 文章编号：10003428(200719020703 文献标识码：A 2007 年 10 月 October 2007 中图分类号： TP391 人工智能及识别技术 一种基于图像处理的铁轨自动检测方法 关 鹏，顾晓东，张立明 （复旦大学电子工程系智能与图像实验室，上海 200433） 摘 要：提出了一套局部线型检测算子（LLPD）用于货运编组站铁轨的自动检测。利用该算子提取铁轨边缘，去除检测结果中的干扰信 息，结合 Hough 变换的思想，实现了断线相连。该检测结果与其他边缘提取

2、方法相比较，对复杂背景上铁轨的检测更有效，该方法能定位 铁轨上的障碍物，对减少铁路调车事故有重要的意义。 关键词：局部线型检测算子；边缘检测；Hough 变换 Automatic Railroad Detection Approach Based on Image Processing GUAN Peng, GU Xiao-dong, ZHANG Li-ming (Intelligence and Image Lab, Dept. of Electronic and Engineering, Fudan University, Shanghai 200433 【Abstract】This pa

3、per proposes a set of local line pattern detector(LLPD for automatic rail detection in freight railway stations. It uses LLPD to extract the features of rail edges, and discards the fallacious patterns from the result of the previous step. It re-connects the broken lines using Hough transform. Compa

4、red with other edge detection methods, the new technique is efficient for rail detection with complex surrounding. The proposed method can locate the obstructions on the railroads and thus of great importance for reducing railroad accidents. 【Key words】local line pattern detector(LLPD; edge detectio

5、n; Hough transform 铁路调车事故的主要成因可归结为：驾驶员对前方障碍 物与本机车的距离判断有误，导致刹车不急，造成撞车事故。 为了解决以上问题，通过摄像头把机车前方的铁路状况记录 下来，利用图像处理的方法实现铁轨的自动检测，并有效地 判断出障碍物(一般是货车的可能存在位置(障碍物只可能位 于铁轨检测结果的尽头处。再利用激光探测技术精确定位障 碍物位置，计算障碍物与机车的距离，通过强制自动停车的 方法大大减少调车事故发生概率。必须指出，如果仅用激光 探测技术定位前方障碍物， 则无法判断障碍物是否在铁轨上， 从而造成大量虚警。 本文提出了一种基于图像处理的铁轨自动检测方法。依 次

6、对图像进行预处理、铁轨信息检测、修补细小断裂缺口、 消除干扰因素以及断线相连，最终能够得到较理想的铁轨轮 廓。整个过程分为 5 个模块：(1利用直方图均衡 12的方法 增强图像的对比度并进行全局最优阈值分割 2。(2根据本文 提出的局部线型检测算子(local line pattern detector, LLPD定 位铁轨位置。(3修补细小断裂缺口。(4利用种子生长的思想 去除只有少量像素相连的“干扰噪声” 。(5利用Hough变换 3 的思想将本该相连而由于操作中不慎断开的线段重新连接起 来。本系统能够有效、清晰地提取复杂背景下的铁轨边缘信 息。同时局部线型检测算子在边缘噪声较小的情况下能

7、够有 效地提取各种线条的连续边缘，在很多场合都有所应用。 白对比度较大的位置。当然，可以利用一些先验知识去除例 如电线杆和电网等干扰物，因为铁轨在图像中的反映不可能 完全水平也不可能完全竖直。 图1 实地拍摄的铁轨图像 基于以上分析，系统流程如图 2 所示。 局部线 型检测 算子 图像 预处理 (Local Line Pattern Detector 修补 细小 断裂 缺口 消除 干扰 因素 利用 Hough 变换实 现断线 相连 图2 系统流程 1 图 1(480*640，256 灰阶是一张实地拍摄的图像，地点 位于“车辆调度位置” 。根据图 1，容易发现铁轨检测的难点： (1图像背景相当复

8、杂；(2近处铁轨的特征比较明显，远处铁 轨特征不明显。同时，铁轨表征为长而连续的线，并且由于 铁轨的反光作用，使它和周围背景反差较大。于是问题可以 转化为：寻找图中“连续的长线” ，同时这些“长线”处在黑 系统介绍 图像预处理 首先对图像进行预处理， 目的在于去除全局光照的影响、 增强图像的对比度、凸现铁轨信息。预处理的过程分为直方 图均衡化和最优阈值分割。通过直方图均衡化，增强了图像 对比度；通过最优阈值分割，铁轨已经基本凸现出来。如 1.1 作者简介： 关 鹏(1983， 男，硕士研究生，主研方向： 图像处理， 模式识别等；顾晓东，博士后；张立明，教授、博士生导师 收稿日期：2006-10

9、-18 E-mail：pengguan1983 207 图 3、图 4 所示。 出，LLPD 算子对于直线和曲线都有良好的适应性。 (a (b (c (d 图3 直方图均衡化 图4 最优阈值分割 图6 LLPD 算子的有效性测试 局部线型检测 根据铁轨在图像中表征为“处在黑白相接位置的长而连 续的线”这一特征，从局部入手，找到符合上述特征的区域。 1.2.1 LLPD 算子的模版设计 假设曲线不会剧烈弯曲，利用计算机仿真图像对各种斜 率的直线以及随机曲线做了统计，并且用如下 8 个模版涵盖 了各种线条的边缘形态。在线条边缘没有噪声的情况下，能 够基本确保检测出的线条的连续性。 设计的 8 个模

10、版分别对应以下 8 种二值图像中可能出现 的线条边缘模式，如图 5 所示。 1.2 1 1 h1 = 1 1 1 1 h3 = 1 1 1 h5 = 1 0 0 1 1 0 0 1 1 1 h2 = 1 1 1 1 h4 = 1 1 1 h6 = 1 0 0 1 1 0 0 1 利用 LLPD 算子匹配铁轨边缘 由于铁轨图像背景相当复杂，为了减少误匹配的积累效 (1 应， 将LLPD算子分成独立的 2 部分分别应用： h1, h3, h5, h7； (2 h2, h4, h6, h8。这 2 部分互不影响。然后对 2 个结果分别进 行修补细小断裂缺口(1.3 节和消除干扰因素(1.4 节。 再

11、将二 者的合并结果进行断线相连(1.5 节。 根据图 7(a和图 7(b的结果，可以得出如下结论：LLPD 算子不可避免地会产生误匹配。 为了减少误匹配的积累效应， 可以根据待检测图像的复杂程度决定是否要将 LLPD 分为 2 组；LLPD 算子能够很好地找到图像中各种方向的线条，几 乎没有铁轨边缘线条丢失的情况；虽然 LLPD 算子引入了较 多干扰因素，但这些干扰因素和铁轨边缘的一个非常明显的 区别是：干扰因素是不连续的而铁轨边缘连续。根据这个特 点可以有效地将干扰噪声去除，同时保留铁轨。 1.2.3 0 1 0 h7 = 0 1 1 1 1 0 0 h8 = 0 1 0 1 1 1 1 0

12、 (a h1, h3, h5, h7检测结果 (b h2, h4, h6, h8检测结果 图5 LLPD 算子的 8 种模版 图7 2 组模版的输出结果 模版中的“1”对应二值图像中的“1”(白色。模版中的 “-1”对应二值图像中的“0”(黑色。模版中的“0”表示不 考虑此位置的像素值。因为LLPD算子针对二值图像(图像像 素只有 0 和 1提取线条的边缘， 所以对于h1,h2,h3,h4,h6,h7模版， 当它们与图像卷积后，输出最大为 2，并且此时肯定满足模 版中对应的“1”的位置在图像中是白色像素，而模版中对应 的“-1”的位置在图像中是黑色像素。当某一个模版达到最 大输出时，也就意味着

13、找到了一种线条边缘模式。同理，h5 ， h8模版的最大输出是 3。LLPD算子的最终输出结果将是各个 模版所检测到的边缘模式的并集。 根据对偶的特性， 可以把LLPD算子的 8 个模版分成两个 部分，即：h1, h3, h5, h7和h2, h4, h6, h8。每部分的模版相互对 偶，这体现了线型检测的对称性。必要时也可以分开应用。 假设图像 f(x,y为二值图像，则在像素(x,y处的 LLPD 算 子输出为 1 1 1 if : max(max1,2,3,4,6,7 ( f * hk ,max5,8 ( f * hk = 1 g( x, y = 2 3 0 else 修补细小断裂缺口 当线

14、条的边缘受到污染的时候，线条边缘上的噪声改变 了基本线型，这导致 LLPD 算子不能够实现目标边缘无断裂 的提取。解决这一问题的方法是：对 LLPD 算子的检测结果 进行“修补” 。一种典型的情况如图 8 所示。 1.3 1 1 1 1 1 0 0 1 0 0 1 1 0 1 1 0 0 0 0 0 1 1 1 1 1 0 0 0 0 0 (a (b (c 图8 典型的断裂缺口修补 图 8(a图 8 (c分别表示：有噪声污染的线型，LLPD 算 子检测结果，理想的输出结果。修补方法：在二值图像中， 如果某一黑点的邻域内(8 连接，存在 2 个不相邻的白点，则 把这一个黑点变成白点。 修补细小断

15、裂缺口算法 5如下： Step1 对于 3×3 的二值掩模，共有 512 种不同的可能性。根据 希望实现的目标，构造查找表。查找表中的每一种情况对应了断裂 边缘修补的一种可能性。例如 1 0 0 1 0 1 0 0 1 其中，*代表卷积符号。 1.2.2 LLPD 算子的有效性 LLPD 算子能 够很好地匹 配 数字图像中 各 种线条的边 缘。图 6(a和 6(b分别为经过预处理后的电路布线图及其相 应的 LLPD 算子检测结果。图 6(c和图 6(d分别为经过预处 理后的细胞示意图及其相应的 LLPD 算子检测结果。可以看 208 变成 1 1 1 就是查找表中的一种情况。 0 1

16、 1 1 1 0 Step2 对图像进行扫描，并应用该查找表。 1.4 消除干扰因素 根据“干扰信息不连续而铁轨是连续的”这一重要特性， 可以设定一个阈值 T，将连接像素不超过 T 的所有“干扰” 信息都去除。利用种子生长的办法对图像中的相邻像素标注 成同一值，并分别记录每种标记值的连接像素的数量。然后 设定合理阈值，将连接像素不超过该阈值的标注点去除。 消除干扰信息算法如下： Step1 从左上角开始扫描，找到第一个未被标注的点，并把它 设定为种子。 Step2 利用种子生长的方法，用相同的标注值标注与种子相连 接的所有像素。并记录该标注值对应的像素数目。如果仍有除背景 外的像素未被标注，则

17、转至 Step1。 Step3 设定合理的阈值 T，把连接像素少于 T 的区域去除。 地方。图 10(c为 Hough 变换断线相连后的最终结果。 (a (b 首先对图 7(a消除干扰因素(T=15，然后对图 7(b消除 干扰因素(T=15，最后将二者的结果合并后再消除干扰因素 (T=40，最后得到图 9。经过去除干扰因素处理后，我们有效 地把绝大多数干扰因素去除， 同时保留了绝大多数铁轨的边缘。 (c 图 10 利用 Hough 变换断线相连 2 2.1 图9 消除干扰因素后的结果 利用 Hough 变换实现断线相连 消除干扰因素后，虽然能有效地去除图像中的不连续噪 声，但阈值 T 的确定却

18、出现了一对矛盾：一方面希望尽量将 噪声去除干净，即 T 取的较大；另一方面又不希望目标边缘 被错误地去除，即 T 不能取的太大。而铁轨边缘毕竟不是理 想的长线，有时候铁轨可能被障碍物遮挡，有时候因为远处 铁轨特征不明显而没有被 LLPD 算子检测出来。观察图 9 可 发现，远处铁轨有几处断开的情况。但是这些断开的铁轨本 来是在一条直线上，如果找到了这些断开线段所在的直线， 就可以把它们连接起来。 首先对图 9 进行Hough变换，参数空间k,q(斜率和截距 的累计数组中的局部极值表明了原图中存在的直线 23 。例 如：如果在k,q空间有某一对k,q出现了较高的频率，则说明在 图像中有一条斜率为

19、k，截距为q的直线。实际应用Hough变 换的时候，为了避免 k = ，采用s,空间，即直线表达为 s = x cos + y sin 。同时对s,进行离散化处理。直线检测转 1.5 化成在s,空间寻找出现频率较高的参数s,。如果两段线段本 属于同一条直线而因为某种原因被断开，则它们的s,必然相 差无几。于是问题可以转化为：在Hough变换直线检测结果 中，将s,非常相近，并且在原图中不相连的线条连接起来。 Hough 变换断线相连算法如下： Step1 构 造 参 数 空 间 s, ， 对 于 每 一 个 像 素 点 (x,y ， 满 足 s = x cos + y sin 为何不采用经典的边缘检测算子提取铁轨边缘 当问题已经转化为在图中黑白对比度较大的位置寻找连 续的长线的时候，是否可以用经典的边缘检测算法 1,2,4 来实 现铁轨检测的目标呢？选取了 2 种比较有代表性的边缘检测 算子Sobel算子和Canny算子分别对经过直方图均衡化后的铁 轨图像做了试验，其他边