多维度深海鱼类识别算法

1、多维度深海鱼类识别算法摘要：针对深海光线分布不均匀导致鱼类识别检测困难的问题，提出了符合视觉认知的多维度深 海鱼类识别算法.该方法从时间维度优化传统的高斯混合模型（GMM）初步确定变化区域，从空间 维度构建目标特征，完整提取运动目标，从时空关联维度建立深度学习的鱼类识别框架，试验结果 表明：本算法可在多种复杂条件下准确提取运动目标，面积交迭度（AOM）达到80%以上，优于当 前主流算法.关键词：鱼类；认知；运动目标提取；深度学习；识别Multi-dimensional deepisea fish recognition algorithmAbstract: To solve the diffi

2、culty of fish recognition and detection due to the nonuniformly distributed deep-sea light, the multi-dimensional deep-sea fish recognition algorithm was proposed based on visual cognition. The traditional GMM was optimized to initially determine the changing area from time dimension and construct t

3、he target features from space dimension for extracting the moving target completely. The fish recognition framework based on deep learning was established from spatio-temporal correlation dimension. The results show that the proposed algorithm can accurately extract moving objects under variously co

4、mplex conditions. The AOM is more than 80% , which is better than that of current mainstream algorithms.Keywords： fish; cognition; moving target extraction; deep learning; recognition随着成像技术的飞速发展，人们渴望通过成像 角度理解海洋动态，尤其是海底生物.通过固定摄像 头拍摄特定区域，是一种直观和有效的方式去记录 和理解场景.随着摄像头的彩色化、高清化，使得 通过视频监控获取更多的海洋信息成为可能.计算 机处理

5、视频监控涉及运动目标提取和识别技术.运动目标提取算法可分为2类.一类是基于图 像增强的算法:图像超分辨，增强信噪比，显著 度增强，时域、频域增强等.该类算法从信号角 度出发忽略了目标的形态属性，造成虚警率较高.第 二类是基于运动目标建模的算法：帧间差异模 糊集模型囱，Bayesian模型气趋向性模型，运动 预测模型皿，局部约束模型皿，GMM运动模型， 低秩模型问，纹理模型邱等.该类算法充分考虑了 目标形态特征，但所建模型复杂度高，面对复杂条件 目标提取效率较低.目标识别算法也可分为2类.一类基于传统特 征的算法:声学特征区，多角度形态学特征询，鱼 群分布特征阀，颜色特征询，纹理特征邸等.该类

6、算法基于目标先验信息予以建模，但对于复杂条件 下,如遮挡、阴影等条件下，识别性能不足.第二类是 基于深度特征的算法:SVM21 ,AdaBoost22，梯度森 林模型23，基于神经网络的数据融合模型等.该 类算法基于深度学习理论构建网络，建立训练样本 和测试样本之间的映射关系，取得了不错的效果，是 当前主流的研究方向.虽然利用计算机手段对鱼类的提取与识别已取 得了一定的效果，但仍存在以下问题:目标运动 形态多变，导致提取不完全.如目标突然运动，出现 拖尾.当目标运动后，保持长时间静止，使得运动 目标淹没在背景中，导致目标提取失败.鱼行进 的不确定性，同一类鱼形态会发生改变，仅从空间维 度建立模

7、型，无法有效对鱼类识别.为此文中对视觉认知原理进行研究:从时间维 度改进GMM算法得到变化区域;从空间维度根据 局部边界相似性,完整提取运动目标;从时空维度建 立关联的深度学习模型，实现鱼类识别.1算法视频监控是通过固定摄像头拍摄特定区域的技 术.视频监控可视为一组图像数据组成.图像，可以 表示为=C + F.，(1)式中：C为纯背景图像，即在整个视频中客观存在, 并且一直保持静止状态的图像；F,为运动目标.从 时间维度分析，_1和之间具有连续性.从空间维 度分析，F-具有完整性，局部相似性.从时间与空间 维度分析，随着时间的推移C会因光照变化产生变 化，而其在空间结构不会产生变化.基于以上分

8、析文中提出运动目标提取与鱼类识 别算法，流程如图1所示，从时间维度建立改进 GMM模型提取运动区域，在空间维度基于传统帧差 法建立物体特征模型实现完整运动目标提取，抑制 拖尾以及阴影的影响.在时空维度，引入投票机制， 与数据库中的数据动态判断，得出识别结果.图1算法流程图1.1时间维度算法从时间维度分析连续帧之间的差异是判别运动 目标的主要方式.文献25提出了 GMM算法，该算 法符合人类认知过程，具有运算速度快，可较好地提 取出运动目标的优势.其基本思想是使用多个高斯 分布表示序列图像中每个像素点的特征，如果当前 帧中的某像素的特征与高斯分布相匹配，则被判定 为背景像素，否则为前景像素：(

9、X?) = & -，? X .( x?泓”,!-，?)，(2)=1式中: 表示高斯模型的个数顷是高斯概率密度函 数；-,?、$,?、！-,?分别是？时刻对第-个高斯模型 权值、均值、协方差矩阵.权值-,?更新：-,? =( 1 - /)-,?-1 + /( M-,?)( 3)将各高斯模型分布按照优先级次序进行排列，构建 背景模型:C = arg minfe (& - T),( 4) =1式中：/是学习因子；A?是匹配模型；T是设定阈 值,用于真实反应背景的数据占总数据的最小比重.GMM算法仅从像素值变化角度建模分析，但未 充分考虑目标、噪声等因素带来的影响,导致检测错 误.所以从像素变化的稳定

10、性角度予以分析，主要思 想是为寻找图像中稳定的像素点来抑制不稳定的像 素点.GMM算法判断像素点m的状态记为0( m).统 计像素点在*帧图像前景与背景转化的次数记为 ( M).设定阈值T用于判断是否为稳定像素点. 当*( M) T说明像素点稳定，当前像素点状态 +( m)为0( M)；反之为不稳定像素点，则用*( X) 变化最小的点记为H，采用0( H)的计算结果，公式 如下:+( M)(5)Jg( m)，*+( M)(5)g( H)，*( m) T,*( H)=min( *( X) ) ,y(X,g( m)，g( H)( C，F,从而将图像划分为C与F,令为输入视频中第 帧图像，集合Ra

11、*表示&包含*个前景区域,表示的第-个前景区域.通过本节算法可提 取出运动目标的大致区域，但模型中未考虑运动幅 度小或者运动目标因长时间停留的情况，导致目标 湮没在背景中，则需要从空间维度进一步修补.1.2空间维度算法根据改进的GMM算法,从时间维度动态更新C 与F,降低C与F错分类的概率，后续需要从空间维 度进一步判别，完整提取运动区域,图像帧差算法, 其主要思想是选取两帧图像逐点计算像素值差的绝 对值，以特定阈值来衡量其差别,传统算法背景帧的 选取是固定的.背景帧和阈值的选取直接影响提取 结果,在GMM算法初步提取出运动区域的基础上， 构建自适应的差分体系,实现完整提取运动区域.步骤1：令

12、第 帧图像对应的灰度图像为 Ga，更新的第 帧彩色背景图像记为C，其对应 的灰度图像为Gb，其中C =.步骤2: Ga与Gb自适应的计算分割阈值为 T.令 Q(m，h)= Ga( M，H)- Gb( M，H), & Q(m，h)T =，一，* ) 0，( 6)T-+，* = 0,式中：*为Ra所含像素点个数，m，h( Ra .步骤3:根据T计算Ga与Gb的差异，得到潜 在的运动点GX(m，h):GX(m，H)= +，Q) Tlo,其他，对GX进行数学形态学操作，并标记连通区域记为 Rd A，表示共有A个连通区域.步骤4:完整提取运动目标：*pRa * &网,j ( ,/=1=1(B)R虹,j

13、+ ,式中：=Ra , Rd* ) , = 1,2,，*.当j(，说明Ra为运动区域，并且存在于 中，但GMM模型建模过程中考虑时间渐变因素，对 于运动目标幅度会提取不完全，则需要对其区域进 行修补得到F .当j + ，说明Rd为运动区域，但无法确定 Rd是由于目标运动后保持长时间静止状态，导致 湮没在，还是需要对C进行更新提取运动区域. 单从颜色角度计算机很难区分以上情况,所以引入 边界特征予以判别，令Rfk为包含区域F的最小矩 形,利用Canny( C)算子提取Ga、Gb、F边界.统 计边界均为1的个数作为相似度的度量!:L ( Ga ,F)= & C Ga ( M ,y) &M,yvC

14、F(M,y) ,( 9)L( Gb,F) = & C Gb(M,y)&M,yC F (M,y),式中：M,y( Rf .若L( Ga,F L( Gb,F)测说 明F( Ga，从Ga提取F ;反之,则说明F( Gb,从 Gb 提取 F .由于鱼运动的不确定性,使得同一类鱼在空间 上展示为不同体态,导致识别失败,根据鱼类运动的 连续性，需要关联时间维度和空间维度建立模型，引 入投票机制,动态对鱼类识别.2试验结果与分析试验平台为WIN7环境，VS2015编写的程序. 试验数据采用10组视频数据和10组监控数据组成 数据库,将数据库分为3类,包括类型1:首帧为纯 背景图像，目标一直运动,类型2:目标

15、运动后，长期 保持静止状态,类型3:目标保持长时间静止然后 运动.2.1性能展示类型1：首帧没有运动目标，后续鱼一直运动， 如图2所示.首先根据时间维度模型对变化的区域 进行提取，得到疑似运动区域.然后通过空间维度对 阴影部分予以去除,准确得到运动目标.类型2：首帧没有运动目标，然后有一条鱼进入 视野,与类型1类似，在第30帧图像鱼开始运动，随 着时间的推移这条鱼长时间保持静止状态，如图3 所示.传统的算法由于仅从时间维度建模，导致鱼会 渐渐淹没至背景中,导致提取失败，而文中提出的算 法在时间维度的基础上，建立空间模型实现目标分 割，完整地提取出鱼.类型3：首帧包含运动目标，随着时间的推移目

16、标运动，如图4所示,由于引入了时间和空间维度，使 得目标运动后不会产生拖尾现象,完整地提取出鱼.运动目标图2类型1数据处理效果图图3类型2数据处理效果图运动目标图4运动目标图2类型1数据处理效果图图3类型2数据处理效果图运动目标图4类型3数据的处理效果图为验证文中算法的有效性，从分割精度与处理 时间予以分析.采用面积交迭度也(area overlap measure,)4A)作为分割效果的评价指标,定义为AOM( o,i) = 3( 0,1)x 100% ,(10)3( 0 * 1)式中：AOM表示面积交迭度；0为人工标记的运动 区域；1为算法分割出的运动区域；3( )表示对应 区域的像素点数

17、.AOM取值越大表明分割效果越 好.检测结果如表1所示.传统GMM算法监通过前景与背景像素分布的 不同，用多个高斯模型予以拟合，计算速度快，可实 现运动目标的提取.SGMM算法13在GMM基础上 建立shadow分布模型.FGMM算法从频域角度改 进GMM算法，较传统GMM模型效果有所改善. MPM算法皿建立运动预测模型，判别目标运动速 度进而实现目标提取.LRM算法14建立低秩模型， 可实现较小目标的有效提取，但速度较慢.EEM算 法根据边界不变性，提取运动目标，对于类型 2，3的情况算法效果有所改善.通过对比ROC曲 线可直观地得出，文中提出的算法从时间、空间两 个维度综合考虑，时间维度改

18、进GMM算法，空间 维度引入边界判别机制，降低了错误判别的概率. 虽然面对类型1文中的算法略低于LRM.然而面 对类型2，3较主流算法均大幅度提高，并且处理 速度达到0.04 s 帧41.表1 AOM值和处理时间统计算法A0M-时间/（ s 帧）类型1类型2类型3GMM75.364.368.30. 03SGMM76.169.471. 20. 04FGMM80.868. 670. 70. 06MPM81.270. 172. 60. 06LRM83. 472. 271. 50. 16EEM82. 577. 578.60. 09文中82.981. 280.50. 042.3鱼类识别性能比较为验证算法有效性，引入受试者工作特征曲线 (receiver