铁路机车快速超视距障碍物识别算法

铁路机车快速超视距障碍物识别算法向荣;蒋荣欣【摘要】Todealwithreal-timeobstacledetectingover-the-horizononrailline,thispaperdevisedafastover-the-horizonobstaclerecognitionalgorithm,whichconsistsofthreeparts.Edgedetectionisusedtopreprocessaccordingtotexturefeatures.Tracksarelocatedbyfindingthelongestconnecteddomainprojectionbasedonthelongitudinalextensioncharacteristicsoftwotracks.Finally,obstaclepositionislocatedbydifferenceofforegroundandbackgroundpixels,followingbycomputingitsscaleanddistance.Experimentsshowedthatthisalgorithmcostsaverage43msperrecognitionofoneframewitharecognitionrateat90.%针对超视距情况下，铁路行车路障监控的实时性问题，提出了一种快速超视距障碍物识别方法.先利用纹理特征进行快速预处理与边缘检测;再利用铁轨的纵向延展特点,用搜索连通域投影最长的方法定位铁轨区域并建立检测窗;并行的用帧差法比较当前帧与检测窗识别出障碍物，最后利用IPM模型计算障碍物大小与距离.实验结果表明,在确保90.3%识别率的前提下,本算法识别障碍物平均耗时43ms.【期刊名称】《湘潭大学自然科学学报》【年(卷)，期】2013(035)002【总页数】6页(P103-108)【关键词】障碍物识别;超视距;逆透视映射【作者】向荣;蒋荣欣【作者单位】浙江大学仪器科学与技术学系，浙江杭州310027;浙江大学仪器科学与技术学系，浙江杭州310027【正文语种】中文【中图分类】TP391.41铁路是我国主要的现代化交通工具，对经济、社会和科技发展，满足人民物质和文化生活需要起着非常重要的作用.但由于地震、水灾、车辆故障、公路铁路道口等突发事件等，大大小小的铁路交通事故频发不断.驾驶员接收的大部分突发事件信息、都来自车外，在超视距或能见度不好时，驾驶员观察障碍物信息就显得十分困难.我国列车平均时速200km/h，最高时速可达480km/h，这对2km以内超视距障碍物识别算法的实时性提出了很高的要求.目前，国外的路轨检测系统虽然已经有较成熟的产品，但大多是向待检测方位发出激光、磁感应、超声波等信号，通过传感器检测反射信号，如美国的SperryRailService公司的磁感应超声波铁轨检测车，但该方法只能对较大体积，有一定高度的障碍物进行检测.基于图像检测障碍物识别技术研究在公路领域起步较早，它通常有道路识别［1］,道路标志识别［2］,障碍物识别［3~7］几个方面.铁路方面，美国ENSCO公司研制的VIS轨道视频检查系统比较有影响力，但其功能并不成熟，超视距处理效果欠佳.我国铁路铁轨间距具有高度结构化特点，轨间距及轨宽具有非常严格的标准，所以通常借助于颜色、纹理、边缘等特征进行铁轨检测，对轨道障碍物的识别通常采用帧差法或者光流法［8~10］.本文针对机车障碍物检测的实时性要求，展开超视距列车前方图像信息分析，提出了一种铁路机车障碍物识别方法.拟用远程红外热成像与CCD图像传感技术超视距获得前方图像信息，并在此基础上进行图像处理与模式识别技术，将前方障碍物及沿线路行车信息自动提供给驾驶人员，在进一步提高行车安全的同时，也避免了驾驶人员人工观察的辛苦和误差.不仅使交通参与者以最佳的效率完成任务，而且还能大大减小伤亡事故发生.1铁路IPM模型基于视频处理的铁轨障碍物定位不同于磁感应超声波的识别方式，前者依据接受反射信号的时间来推算障碍物的距离.而视频图像中，由于摄像机视角拍摄会造成畸变现象，障碍物在图像中的位置和距离并不是简单的线性关系.为了准确定位障碍物的距离，本文采用Bertozzi等基于1991年由Mallot等［11］提出的逆透视映射的方法(inverseperspectivemapping，IPM).文献［11］中详细介绍了IPM方法及其在车道线检测和障碍物检测中的应用.该原理建立了图像坐标系下的二维场景与世界坐标系下的真实三维场景的转换关系.由于IPM经过精确的标定，其结果可以真实且准确地重现交通场景，极大的消除摄像机的视角拍摄造成的畸变，为定位障碍物距离提供可靠的理论依据.由图1所示，建立坐标系，IPM转换公式如下所示［12］：其中m、n分别为摄像机的拍摄图像宽和高，r、c分别为图像平面中像素点所在的行和列，h为摄像机距离地面的高度(一般位于机车首节车厢顶部，距离约为4.4m);a为摄像机视角的1/2;0为摄像机安装的俯角.2障碍物识别算法设计考虑到摄像机拍摄具有帧延续性，因此确定铁轨区域，建立检测窗可以极大的缩小障碍物搜索范围，避免对每一帧图像进行铁轨检测的处理，降低时间复杂度，从而提高识别速度.本文采取了铁轨动态建模的算法设计，如图2所示.利用在短时间内背景基本不变的特点，将采集到的图像码流的起始部分取一帧作为背景帧.考虑到实时性要求，可以从中分割出包含障碍物检测区域的检测窗，这样每次检测将只在检测窗中进行，可以大大缩减障碍物检测时间.对每一帧作障碍物检测处理，然后将后续帧与背景的信息进行加权求和，更新为新的背景.另外，每隔20s识别铁轨区域，重构检测窗，完成铁轨动态建模任务.由于这个过程只需要进行加权加运算，时间复杂度很低，故能够有效的加快识别速度.另外，这种背景建模方式不需要对弯道进行特殊处理，在弯道的情况下也能动态更新出背景.2.1预处理与边缘检测在铁路视频图像序列获取、传输和接收过程当中，难免会受到各种因素的干扰而存在噪声，影响铁轨检测的精度.为了降低噪声干扰，必须对图像进行预处理.另外，由于采用的是黑白CCD摄像头，省去了灰度化的步骤，也降低了时间开销.预处理具体步骤如下：a） 给当前处理帧加上时间信息，以备存档；b） 去掉摄像机采集图像的边框，这些地方经常会是全黑或者全白的像素；c） 采用低通高斯滤波进行图像去噪.边缘检测是突出图像纹理细节的关键，它的处理效果直接决定了铁轨的定位是否准确.本文实验了Roberts，Sobel，Prewitt，Canny，Gauss-Laplace常用的边缘检测算子，从处理效果，时间消耗上进行比较.结果可参看表1与图3.表1640x480分辨率下各边缘检测算法对比Tab.1Timespentofedgedetectionsin640x480类别URobertsSobelPrewittCannyGauss-Laplace用时/ms32444612134由图3可见，Roberts,Sobel,Prewitt,Canny处理后的铁轨完整度高，可识别度高.而Gauss-Laplace的铁轨与路基的区分度不够，无法采用.另考虑到Roberts的时间复杂度低于其他算法，故本文采用Roberts边缘检测识别铁轨.2.2铁轨定位经过边缘检测，可以发现，铁轨具有明显的纵向延伸性利用这个特点，可以对图像中的连通域进行Y轴方向的投影，取投影最长的两个连通域为双轨.但是，图像中连通域的数量很多，直接进行二值化检测连通域时耗太长.可以采用形态学滤波，不仅增强铁轨连通域的连续性，而且加快铁轨定位速度，采用的具体方法如下：a） 垂直方向压缩为原来的1/4，水平方向压缩为原来的1/2，增强铁轨的连续性;b） 改进Otsu算法自适应二值化图像；c） 形态学开运算；d） 连通域检测，并同时计算当前连通域的Y轴方向投影长度，并记录最长的两个连通域；e） 填充两轨之间的像素，建立检测窗.边缘检测算法虽然能够强化图像中的边缘细节，但对铁轨的连通性有所破坏，为了解决这个问题，可将图像水平与垂直方向压缩，在不影响图中物体形态的同时，增加连通体如铁轨的完整性，同时也可以将后续处理的时耗大大降低.本文改进Otsu算法，在与传统Otsu算法效果基本一致的情况下，使时耗降低为原来的1/8.假设边缘检测后的图像均值为方差计算如下：对于黑底白字图片，r1为背景像素比例，g1为背景灰度，r2为字符像素比例，g2为字符灰度.为把白字从黑底中分离出来，选取假定阈值式中字符像素点所占比例r1/r2可以通过字符点阵数据估算，经统计该比例约为0.15.然后利用整个区域的均值和方差进行M与C的近似.计算公式如下：采用T1作为可能的二值化分割阈值，上下放宽10个灰度值进行最大类间方差处理得到准确的分割阈值.在步骤d）中，在每一次连通域检测中引入了铁轨预判定机制，简单地说，就是筛掉像素和过少的连通域，避免重复计算Y轴投影的时耗.经过以上步骤，铁轨间区域的检测窗就可以建立了，为了更加安全，检测窗水平方向向铁轨外沿放大10%，用以检测近轨障碍物.结果如图4所示.2.3障碍物判定识别与定位路轨上的障碍物是列车行进过程中随机出现的、形状特征无法预测，故很难给障碍物下一个明确的定义.本文认为，一切高于铁轨平面的物体定义为列车前方障碍物，具体判定与识别步骤如下：a） 提取当前帧的检测窗区域；b） 与背景帧进行逐像素差分；c） 改进Otsu算法自适应二值化图像；d） 形态学开运算；e） 将去噪结果与二值化的检测窗进行或运算；f） 提取障碍物的连通域，进行大小及距离计算；g） 发送控制信号进行预警，并将该帧压缩存档.在识别了铁轨，建立检测窗后，只需要关注检测窗的区域.首先将当前帧与背景帧进行差分，与铁轨识别一样，也进行自适应二值化与开运算的操作，以减少高频噪点干扰.将去噪的结果与检测窗区域进行或运算，即若铁轨中间有不明物体时，或运算结果为1，反映在图像上为白色物块，则可以认定该物块为障碍物.接下来，搜索所有的障碍物连通域，并记录连通域Y轴方向上的最小像素坐标值rmin，假定该值为物体最接近铁轨的坐标，利用公式（1）则可以计算出该障碍物与机车的距离：假定障碍物为平面体，可推导出图像中障碍物的像素点和与其切面面积关系约为：其中式（10）~（13）中，m、n分别为摄像机的拍摄图像宽和高，rmin为连通域Y轴方向上的最小像素坐标值；h为摄像机距离地面的高度；a为摄像机视角的1/2;0为摄像机安装的俯角；au与av参见公式（3）和（4）.最后，汇总当前帧的时间信息T,障碍物的切面面积S,距离机车的距离「给无线模块发送预警信号.同时通知DSP压缩该帧图像，结合以上报警参数存入数据库，完成预警.3实验结果与分析在一段弯道铁路上，采用分辨率为640x480的CCD摄像机进行拍摄，添加障碍物进行系统有效性检验.3.1铁轨识别图5（a）为内存中存储的背景帧，每一轮障碍物识别后，当前帧会以0.3%的加权值叠加更新，此权值越大背景更新的速度就变快.图5（f）为Roberts边缘检测后二值化的结果，Otsu二值化具有很强的自适应性，处理后铁轨具有很强的可分离性.但是，由图中可见，两条铁轨的完整连接性都被边缘检测破坏.图5(g)中，将图像进行纵、横向4:2压缩后，进行最长两条连通域的识别就可以得到完整的铁轨区域，如图5(h).最后，填充两轨间区域，建立检测窗，如图5(i)所示，整个铁轨识别过程平均耗时415ms.表2为该视频分辨率下本文铁轨识别关键步骤与其他文献［8~10］的比较.表2铁轨定位算法时耗对比Tab.2Timespentoflocationalgorithmms灰度化需要24不需要步骤其他文献耗时/ms本文算法耗时/0边缘检测Canny121Roberts32压缩图像不压缩直接Otsu二值化9141垂直水平压缩比4:2再Otsu二值化893二值化传统Otsu二值化893改进Otsu二值化1073.2障碍物识别图5(b)为当前帧的原始图像.在实验了多个间隔时间后，可以发现间隔帧数较小时处理任务量较大，间隔帧数设置过大时，弯道往往不能实时更新，准确的反应路况.最后本文的间隔帧数为15帧.图5(c)利用帧差法处理当前帧与背景帧，再进行二值化，差分结果在铁轨区域和OSD区域有明显差值.而检测窗的引入良好的解决了差分铁轨外区域的不必要时间消耗与虚警情况.经过前景图和背景图的差分之后，利用形态学开运算对其中的高频小噪点进行滤除，得到图5(d).最后与检测窗区域进行与运算判定出障碍物，实验安装的摄像机视角a为4°，俯角。为3°,通过IPM模型得算得距离为151m，与实际的160m较为接近.整个障碍物检测过程平均耗时43ms，检测窗的建立极大减少了障碍物的识别时间.从表3可以看出，识别准确率为90.3%，误报率为6.6%，漏报率为3.1%.表3障碍物检测结果Tab.3Obstacledetectionresult处理视频帧数有障碍物总帧数识别正确总帧数误报帧数漏报帧数1128778101974354结束语提出了一种基于智能图像分析的快速障碍物识别方法，针对超视距检测列车前方障碍物的实时性，获取障碍物大小及位置等难点问题进行了研究.文中提出的铁轨动态建模方式使铁轨识别与障碍物识别并行处理，降低了处理器的识别运算任务，压缩图像后连通域识别铁轨方法能快速有效定位铁轨区域，改进的快速Otsu算法能极大加快二值化的处理速度，利用IPM模型获得障碍物的距离与大小都具有很强的参考价值.该算法在识别率90.3%的前提下，障碍物识别平均耗时43ms.参考文献宋蕾.复杂地形下的道路识别[J].计算机应用研究，2012，29（10）：3964.刘义杰，张湘平，谭霜.基于视觉注意机制的交通路标检测方法[J].计算机应用研究，2012，29（10）：3960.沈志熙，黄席樾，杨振宇