基于自适应形态学的深海底避障系统信息融合技术

基于自适应形态学的深海底避障系统信息融合技术

海洋中的富钴结壳（1000.4000m）和热液氧化物（800.0300m）的储存范围是可变的，环境是复杂的。需要实时监控集矿机的工作环境，并选择安全的操作路径。针对深海特殊环境,基于超声波技术,王随平等设计出了集矿机智能避障系统,基本实现了智能避障的目的,但超声波传感器具有一定的发射角,方向分辨率较差.使用多个声纳传感器,不仅产生相互干扰,且不能完全消除盲区.海底大量的悬浮物,对检测信号产生干扰.本文从海底图像有效提取出各种地形轮廓,并进行分类,计算出障碍物距离、高度等信息,具有较高的探测精度,为集矿机避障系统信息融合技术提供可靠的数据.1图像边界层变换光在海水中衰减很快,距摄像机较远的区域成像较暗,细节较低,需通过亮度调整来提高低亮度区细节.图1为分别采用直方图均衡化、分段线性变换和对数--指数变换对海底同一幅图像进行处理的情况.直方图均衡化可以使图像像素在整个灰度区域均匀分布,提高图像对比和量化间隔,但降低了量化级数和图像细节.分段线性变换可以提高低亮度区细节,但同时会降低高亮度区细节,即如图1(a)所示的左上部低亮度区和图像中下部高亮度区.其变换方法如下式所示:集矿机在深海底采矿过程中会扬起海底沉积物,形成海底“羽状流”.在图像中表现为白点和黑点,形成椒盐噪声,干扰障碍物和地形的识别与检测.分别采用低通滤波、均值滤波和中值滤波,处理结果见图2.通过低通滤波、均值滤波,不仅不能完全消除图像中的椒盐噪声,且图像的边界被弱化,造成边界模糊.而中值滤波滤不但消除了噪声,同时保护了地形边界,如图2(d)所示.对比图2(b)、(c)和(d)各图可以发现,低通滤波的去噪效果不如均值滤波和中值滤波明显.将边界区域放大后,如图3所示,在保护边界方面,中值滤波要优于均值滤波.2传统形态学梯度算子深海底环境复杂多变,集矿机行走底质表面布满大小不一、形状各异的裂缝或碎石,为提高图像的质量,必须进行边缘检测.利用传统空域边缘检测算子和抗噪膨胀腐蚀型梯度算子进行边缘检测的结果见图4.由于裂缝和细粒碎石的影响很大,前者边缘检测效果不理想.为提高边缘检测算子抗噪声性能,本文利用数学形态学梯度算子进行边缘检测.传统的形态学梯度算子如下式所示:G(f,S)=δ(f,S)-ε(f,S)(2)式中,δ(f,S)为膨胀运算,ε(f,S)为腐蚀运算,S为结构元素.处理结果如图4(b)所示.可以看出,处理效果依然不是很理想.本文采用如下算式,在膨胀运算前先作一次开运算,减小亮点对膨胀运算的影响,在腐蚀运算前先作一次闭运算,减小暗点对腐蚀运算的影响.G(f,S)=δ(f。S,S)-ε(f·S,S)(3)式中,f。S为开运算,f·S为闭运算.处理结果如图4(c)所示.可以看出,改进后的梯度算子具有较高的抗噪声性能,但提取出图形的边界连续性不够好.为减少计算量,需先对边界进行分类.3目标物的提取在深海环境下,各种障碍物和地形的形状、颜色和纹理多样,且无规律,故不易以形状、颜色或者纹理为依据提取目标物.深海底没有自然光,光源来自于集矿机.不同底质、障碍物反光度不同,故不能根据图像亮度提取目标物.海水中光衰减很快,物体表面反射光的亮度对距离很敏感,每一种地形都有独特的亮度变化特征.故本文以图像亮度在不同方向的变化率为依据来提取目标物.3.1地形特征海底各种地形对反射光的亮度变化特征及处理方法如表1所示.3.2分段线性拟合法深海图像任一种地形表面亮度均为线性或分段线性变化,下面用分段线性拟合法进行验证.以深海底图像中一点(340,57)为例,分别对其所在行、列进行分段线性拟合,结果如图5所示.图5(b)为纵向拟合结果,图5(c)为横向拟合结果.从图中可以看出,分段线性拟合法可以较好地表示底质表面亮度变化率,且不受噪声干扰.拟合后,该点纵向变化率为-0.4176,横向变化率为0.2000,根据表1所列的地形亮度变化特征,判定该点区域为地面.按上述方法,计算出该点附近各点的所属地形,综合数据对该点进行分类.该边界点两侧分别为地面和斜坡,则该边界点既属于地面边界点,又属于斜坡边界点.分类结果如图6所示.4边缘间断裂隙处理利用抗噪声梯度算子提取出了障碍物和地形边缘,但深海底图像由于噪声、对比度或其他因素使得边缘提取的效果并不理想,边缘出现不连续的间断空隙,如图6(b)～(f)所示.本文采用下述后处理方法将不连续的边缘间断空隙连接起来.(1)精细和精细过程由等式4确定A⨂B=A-(A*B)=A∩(A*B)C(4)式中,A*B为击中击不中变换.边缘细化过程由多次细化运算完成.(2)bk型X1=A⨂{B}=((((A⨂B1)⨂B2)…)⨂BK)(5)X2=∪k=1K(X1*Bk)X2=∪k=1Κ(X1*Bk)(6)X3=δ(X2,H)∩A(7)X4=X1-X3(8)(3)自适应膨胀运算法A■B={c|c=a+b,其中a∈A且b∈[B×S(t)×Φ(t)]}(9)式中,S(t)为比例放缩因子,Φ(t)为旋转因子.通过自适应膨胀运算使边界向前延伸一段距离,将不连续点连续化.(4)重复1、2和3步骤，直到不存在端点或重复次数停止以障碍物边界为例,边缘连续化结果如图7所示.对于达到迭代次数后仍然无法连接的端点,直线连接.5张角和张角的选取实际作业中需增大摄像机俯角,以消除行进方向盘及远方障碍物的影响.再通过坐标系的转换,计算出障碍物的高度.当摄像机俯角增大时,拍摄方向不再与障碍物垂直,障碍物大小与成像大小不再是线性关系.因此,本文在成像面和底面分别建立坐标系,并推导出两者坐标值之间的关系,进而计算出障碍物底点与集矿机的水平距离,然后计算出顶点在地面的映射点与集矿机水平距离,根据摄像机的高度、俯角和拍摄范围的张角,可以计算出顶点与底点的竖直高度.5.1集矿机中心到第四面的距离集矿机至2010.如图8所示,O为摄像机所在位置,假设摄像机拍摄张角为45°,A′B′C′D′为摄像机拍摄的地面范围,ABCD为该拍摄范围在照片中的映射.调整ABCD的角度,使AB平行于底面G,则该映射区域为矩形,A′B′C′D′为等腰梯形.在ABCD所在平面建立如下坐标系:以照片中心为原点,AB方向为x轴正方向,BC方向为y轴正方向,坐标值为(x,y).在底面G建立如下坐标系:以摄像机在地面的投影O′为原点,以与AB平行的方向为x轴正方向,以集矿机前进方向为y轴正方向,坐标值为(x′,y′).由图9可以得到y′=htanθ+arctanyLPθ+arctanyLΡ(10)x′=xy′sin(θ+arctanyLP)y2+L2P√x′=xy′sin(θ+arctanyLΡ)y2+LΡ2(11)障碍物距集矿机的距离为d=x′2+y′2−−−−−−−√d=x′2+y′2(12)式中,π2−θπ2-θ为摄像机俯角,h为摄像机高度,LP为摄像机镜头焦距.对于一种地形,对其轮廓的各个顶点分别计算,便可以获得该地形的宽度、长度等信息.如图9所示,障碍物高度l=h−h⋅dEdFl=h-h⋅dEdF(13)式中,dE和dF可由式(12)得到.5.2坡度i.计算如图10所示.当摄像机探测到斜坡时,摄像机的拍摄范围为E′F′,当坡底进入探测范围时,可由A点到集矿机的距离dA计算出.δ=arctandAhδ=arctandAh(14)根据光学知识可知,斜坡面沿AC−→−AC→方向的亮度变化与斜坡角γ的关系为:(1)当γ≤δ时,亮度沿AC−→−AC→方向减小;(2)当δ<γ<η时,亮度沿AC−→−AC→方向先减小后增大;(3)当γ≥η时,亮度沿AC−→−AC→方向增大.按照以下步骤粗略估算该斜坡的坡度i.(1)当摄像机探测到斜坡时,即A点在E′F′区域内时,根据式(14)计算δ.(2)若斜坡内各点亮度沿AC−→−AC→方向先减小后增大、或一直增大,则认为γ≥δ,此时δ值一般较大,超过集矿机最大爬坡度i,坡度估算结束,选择绕行;亮度沿AC−→−AC→方向减小,则认为γ<δ,需要作进一步估算,进行第(3)步.(3)设图像采集间隔为Δt,若t=t1时γ≤δ1,而t=t1+Δt时γ≥δ2,则取γ=12(δ1+δ2)γ=12(δ1+δ2),然后根据γ大小来判断是否应该绕行;(4)若在A沿F′E′−→−−F′E′→方向靠近集矿机的过程中,亮度始终沿AC−→−AC→方向减小,则认为γ≤λ,若设置tanλ<i,则认为集矿机可以爬坡.6模拟实验通过实验室环境的模拟实验,验证上述参数计算方法的准确性.(1)海底集矿机避障实验结果如图11(a)所示,“障碍物”为计算器(尺寸0.135m×0.075m×0.008m).障碍物并不在图像中心,处理后如图11(b)所示.“摄像机”为300万像素数码相机,图像分辨率为2048×1536像素,像素点距为2.2μm,LP=5.78292mm.摄像机俯角π2−θ=42°π2-θ=42°,拍摄范围45°,距离地面高度0.6m.计算器距离摄像头横向水平距离0.11m,纵向水平距离0.80m,直线水平距离0.81m.拍摄后,统计出该“障碍物”外接矩形的左顶点与左底点在图像中相对于中心的坐标为(xA,yA)=(682,1150.6),(x,y)=(682,462).将xA,yA,x,y,θ,h,LP代入式(10)～(13)中可计算得:纵向水平距离y1=0.8041m,横向水平距离x1=0.1179m,直线水平距离d=0.8127m,障碍物高度h1=0.1341m.实验结果证明,利用本文计算方法得出的距离与高度参数已经达到海底集矿机避障的精度要求.(2)坡面纵向硬度变化率在集矿机前进过程中,保持摄像机俯角不变,对长1.18m、高0.52m的斜坡进行等时间间隔连续拍摄,拍摄三次,拍摄结果如图12所示.摄像机高度为1.4m.由斜坡的长度和高度可得,坡度γ=26.15°.依拍摄时间,该斜坡与摄像机的水平距离分别为:初始第1时刻距离da=0.875m,第2时刻距离db=0.510m,第3时刻距离dc=0.144m,对应图10,可得δa=32.01°,δb=20.02°,δc=5.87°.用分段线性拟合法计算坡面纵向亮度变化率,结果如图13所示.从图13(a)中可以看出,对于斜坡所在区域(纵坐标大于650),表面亮度沿纵向减小;从图13(b)中可以看出,对于斜坡所在区域(纵坐标大于390),表面亮度沿纵向增大;从图13(c)中可以看出,对于斜坡所在区域(纵坐标大于100),表面亮度沿纵向增大.估算出斜坡坡度γ′=12(δa+δb)=26.015°γ′=12(δa+δb)=26.015°,而实际坡度为26.15°.从结果可以看出,本文坡度估算方法可以达到集矿机避障的精度要求.7自适应形态学梯度算子(1)将图像处理技术应用于深海底环境探测,分段非线性变换在保持图像高亮度细节的同时有效提高低亮度区的细节,中值滤波在保护边