（模式识别与智能系统专业论文）基于生物视觉原理的双目立体视觉研究.pdf

国防科学技术大学研究生院学位论文 摘要 本文由浅到深、由易到难详细分析了一个双目生物视觉理论及其具体实现模型的动力 学行为特性，在综合前人研究成果的基础上，对双目生物视觉进行神经动力学建模和计算 机仿真研究。 生物视觉系统对视觉信息输入时有两个重要的通道，分别抽取图像中的形状边界特征 和表面区域的亮度特征。本文详细分析了这两个通道针对单目图像输入进行处理的神经动 力学规律，综合前人研究成果，纠正了原模型中存在的错误，设计了各向异性沿方位“中 间激励，两边抑制”的椭圆锐化模板来增强模型对模糊边界锐化处理的能力，同时提高了 模型效率。 双目生物视觉系统模型对无遮挡关系的双目图像输入进行处理和表示的动力学行为 分析是本论文的一个重点。论文中介绍了双目视觉系统仿真过程必须具备的一些双目感知 特性，指出已有的模型并不适于用来做真实场景的图像处理工作，设计了自适应视差滤波 器，并以此为核心提出了一新的由双目特征感知场景深度的神经动力学模型，该模型可以 用来处理真实场景立体图像对，实现三维表面深度感知。 在对存在各种遮挡关系的双目图像输入进行处理的分析中，结合已有的模型，设计了 单目特征滤波器，将双目特征感知场景深度的神经动力学模型进一步发展和完善，提出了 一个新的计算模型以实现单目特征的“深度”分派和表面恢复机制。该模型不但可以分析 和处理一般的真实场景的立体图像对，还可以处理遮挡场景的立体图像对，实现表面深度 感知以及景物与背景的分割。 关键词：双羁生物视觉，f a c a d e 理论，立体视觉，深度感知，遮挡，视差滤波器 第1 页 国防科学技术大学研究生院学位论文 a b s t r a c t b a s i n go nt h er e c e n tr e s e a r c h e so nb i o v i s i o n ，t h i sp a p e rm a k e sad e t a i l e dr e s e a r c ho nt h e b i n o c u l a r b i o v i s i o nm o d e l t h e r ea r et w oc h a n n e l si nb i o v i s i o ns y s t e mt oe x t r a c tb o u n d a r yf e a t u r ea n db r i g h t n e s s f e a t u r er e s p e c t i v e l yad e t a i l e da n a l y s i so nt h ed y n a m i c so ft h et w oc h a n n e l sw h e nt h e y p r o c e s s i n gm o n o c u l a ri m a g ei sp r e s e n t e d i n t e g r a t i n gt h er e s e a r c h e so nb i o v i s i o n ，w er e c t i f yt h e m i s t a k e si nt h eo r i g i n a tm o d e la n dd e s i g nan e we l l i p t i cs h a r p e n i n gt e m p l a t et oe n h a n c ei t s e f f e c t i v e n e s st ot h ef u z z yb o u n d a r i e sa sw e l la si t se f f i c i e n c y i t sv e r yc o m p l e xf o ra n a l y z i n gt h ed y n a m i c so fb i o v i s i o nm o d e lp r o c e s s i n go c c l u s i o n - f r e e b i n o c u l a ri m a g e s t h i sp a p e ri n t r o d u c e ss o m ee s s e n t i a lp e r c e p t i o nc h a r a c t e r i s t i c si nb i n o c u l a r b i o v i s i o na n di n d i c a t e st h a tt h em o d e l sp r e s e n t e di nr e c e n ty e a r sc a n tp r o c e s st h ei m a g e so f r e a l - w o r l ds c e n e c o n s e q u e n t l yw ed e s i g n san e wa d a p t i v ed i s p a r i t yf i l t e rw h i c hi m p l e m e n t st h e b i n o c u l a rm a t c h i n go fd i s p a r i t yf e a t u r e si ns t e r e oi m a g e s ，a n dc o n s t r u c t sab i n o c u l a rb i o v i s i o n m o d e la sw e l la sas t e r e o p s i ss y s t e mb a s e do nt h ed i s p a r i t yf i l t e rt og a i nd e p t hp e r c e p t i o no f s u r f a c e st h r o u g hb i n o c u l a rf e a t u r e s b yu s i n gt h i ss t e r e o p s i ss y s t e m ，d e p t hp e r c e p t i o no fs u r f a c e s i nr e a l - w o r l ds t e r e oi m a g e si ss i m u l a t e da n dr e a l i z e d w h e nt h ed y n a m i c so fb i o v i s i o nm o d e lp r o c e s s i n gb i n o c u l a ri m a g e sw i t ha l lk i n d so f o c c l u s i o ni sa n a l y z e d ，i n t e g r a t i n gt h eo r i g i n a lm o d e l s ，w ed e s i g nam o n o c u l a rf e a t u r ef i l t e r b a s i n gn e u r o nd y n a m i c s ，d e v e l o pf u r t h e rt h ea d a p t i v ed i s p a r i t yf i l t e ra n dp r o p o s ean o v e l c o m p u t a t i o n a lm o d e lo fs t e r e ov i s i o nt h a tc a r lg a i nt h ed e p t hp e r c e p t i o no fm o n o c u l a rf e a t u r e s t h i sm o d e lc a nr e a l i z et h ed e p t hp e r c e p t i o no ft h eo b j e c t sa n dt h ef i g u r e - g r o u n ds e p a r a t i o nn o t o n l yi nt h en o r m a ls c e n i ci m a g e sb u ta l s oi nt h eo c c l u d e ds c e n i ci m a g e s e x p e r i m e n t a lr e s u l t s t e s t i f i e dt h em o d e l sf e a s i b i l i t y k e y w o r d s ：b i n o c u l a rb i o v i s i o nm o d e l ，f a c a d et h e o r y , s t e r e ov i s i o n ，d e p t hp e r c e p t i o n ， o c c l u d e ，d i s p a r i t yf i l t e r 第1 i 页 独创性声明 本人声明所呈交的学位论文是我本人在导师指导下进行的研究工作及取得 的研究成果尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含 其他人已经发表和撰写过的研究成果，也不包含为获得国防科学技术大学或其它 教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任 何贡献均已在论文中作了明确的说明并表示谢意。 学位论文题目：基土垒塑塑鲎厦翌煎瑟垦童签煎鲎盟窭 学位论文作者签名：盔羔垒整 日期：2 口。争年，月。日 学位论文版权使用授权书 本人完全了解国防科学技术大学有关保留、使用学位论文的规定。本人授权 国防科学技术大学可以保留并向国家有关部门或机构送交论文的复印件和电子 文档，允许论文被查阅和借阅；可以将学位论文的全部或部分内容编入有关数据 库进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。 ( 保密学位论文在解密后适用本授权书。) 学位论文题目：基王生塑塑堂厘垄垃塑旦童篷塑鲎煎窒 学位论文作者签名：翻坠垒墓 日期：2 。千年，月口日 作者指导教师签名：王旦聋日期：u 呷年1 1 月t o 日 国防科学技术大学研究生院学位论文 第一章引言 1 1 问题提出 对于许多智能生命而言，与阁围环境进行交互的能力是天生的。这种变蛙是通过4 i 断 的感知与动作而实现的。在所有的感知类型中， ：! l 觉感知是最复杂的。生物视觉感知具有 相当强的适应性和稳定性。人们从两个方【f l f 入手研究视觉感知：一个方面足研究视觉环境 及视觉系统对视觉目：境的总体反映；另方面研究视觉系统的具体机制，其着重于详细分 析视觉系统是如何组成、视觉系统的各个部分是如何响应视觉刺激以及视觉系统中各个部 分是如何相瓦作用。其中，前一个方面的研究始于古代哲学家对视觉心理现象的研究，后 个与田f 的研究始j ：生理解剖方法的出现。 人仃j 对视觉系统、视觉环境的研究一方面是为了探索自然奥秘，另一方面也是为v 厂人 类自身生存和发展。现代医学、神经生理学等学科的发展使得医治视觉神经系统的某些疾 病成为n t 能。采用计算机视觉技术，人们在许多工程应用领域中町以采用人造器件来模拟 人体视觉的某些功能，从而提高生产率，降低劳动强度，减少一f 作危险性。 在视觉研究的工程应，e f j 领域中，仁世纪7 0 年代，m a r r 提出“视觉计算理论”，奠定了 计算机视慌理论的基础| 1 4 1 。“视觉计算理论”依照“初始信号图一要素图一2 5 维刚一二- i 维 结构”的流程进行视觉信号处理，希望达到三维熏建的目的。近些年，科研人员相继发展 了计算机视觉的几个方向：以l o w e 为领导进行的特征群集感知的计算机视觉理沦；以 b r o o k s 为领导进行的“行为一目的”引导的计算机主动视觉理论；基于多传感器信息融合的 汁算机视觉集成理论。这些以场景结构特征( 如角点、边线、几何形体等) 为分析要素的 计算机视觉理论框架，目前仅能较好地处理结构化环境口“，丽生物视觉系统在复杂的视赏 环境中能毫不费力的处理自然景物图像。这使得人们希望用生物视觉领域的研究成果来指 导、启发和促进计算机视觉技术的研究，用计算机模拟生物视觉功能。 在乍物视觉系统的构成中，叔f 1 视觉系统是自然界中很常见的一种视觉信息获取和处 理的配置方式。双目视觉系统由立体图像中的视差信息获取物体的深度一。直是个重点雨i 难 点。这样，双目生物视觉系统的神经动力学研究不但探索r 一条计算机视觉研究的新途径， 而且也有助于实现利用具有相心功能的生物芯片替代视残人员部分视神经通路这一宏伟 目标。 1 2 国内外研究现状 很 1 _ 以前，人什j 就开展了针对视觉心理现象的研究。但是直到近两个世纪，随着解剖 学和生理学的发展，人们对生物视觉系统的研究才步入神经元细胞级阶段。二： 。世纪以隶， 第l 页 r l 防科学技术人学研究生院学位论文 脑科学研究的火热，吸引- r 大量的人员从神经构成和总体功能模拟两个方面来探索生物视 觉系统的作用机制，至今取得了不少成果。但是在这些众多的研究成果中，多数偏重于纪 录某种神经元细胞的刺激响应数据片由此得到简单的统计结论，少数将某些神经元细胞对 刺激的响应机制建立了模型f 5 , 6 1 ，而很少有从整体视觉系统的高度来分柝视觉信息动，j 学规 律1 7 , 8j 。 始】j 上世纪4 0 年代的神经网络技术研究为探索生物视觉的神经系统动力学规律奠定 r 基础。上舭纪7 0 年代，g r o s s b e r g 分析了存在于神经元细胞群体之间的侧抑制作用，指 h 这些侧抑制作h 会产生“中心激励、闫边抑制”的效果并进而具备“胜者为王”的功能 9 1 。这一原理已广泛用在许多神经叫络算法中。迸步，g r o s s b e r g 针对生物栈觉系统存生 理解剖结构上所表现出的通道特性和在视觉过程中信息处理的层级特性，于一：十世纪8 0 年代提出了边界轮廓系统( b c s ：b o u n d a r y c o n t o u rs y s t e m ) 和特征轮廓系统( f c s ：f e a t u r e c o n t o u rs y s t e m ) 的概念，从而对牛物视觉系统解剖结构中获取单目图像输入情况卜边界轮 廓信息的通道和进行农面恢复的通道建立了基本原理模型f j ”i 。b c s 基于近距竞争远距合 作产乍边界轮廓，f c s 利用扩散原理实现了表面亮度信号的扩散以恢复对表【f 【的感知。b c s 系统和f c s 系统能较好地反映视神经通路中各神经元细胞处理阶段对视觉信息的处理过 程1 1 3 1 。b c s 和f c s 这两个概念的提出，推动了生物视觉神经动力学原理的研究。 1 9 9 4 年，为了探索双目生物视觉的信息处理机制，g r o s s b e r g 提出综合 rb c s 和f c s 功能的f a c a d e ( f o r ma n dc o l o ra n dd e p t h ) 模型思路，重点分析了一些视觉心理现象 和神经生理发现对构造f a c a d e 系统的启发1 1 3 1 。】9 9 7 年，g r o s s b e r g 等提出厂f a c a d e 模型的动力学框架原理，奠定了双日生物视觉系统模型的基础【1 4 ”l 。为了解释关于知觉的 发育、学习、组群和注意等方面的实验数据，g r o s s b e r g 等于1 9 9 9 年提出了l a m i n a r t 模型”l ，进而将其推广到= 三维视觉中于2 0 0 3 年提出了3 dl a m i n a r i 模型。3 d l a m a r t 模型是f a c a d e 理论的一个实例，是f a c a d e 模型的发展和完善，足迄今为 i i 能够解释寺体视觉和二二维表面感知的神经生理学、解剖学和心理物理学的实验数据最多 的一个模型”i 。 但是严格地讲，目前g r o s s b e r g 的双目立体视觉模型还处j ：总体框架原理的阶段，有 些还只是思路性的假设，需要具体化。在其模型构思巾，还采用了大量经验性的参数和结 构。这就使得其在面对多方位特征、多视差特征和多灰度特征双目场景输入情况进行处理 时遇到了较大困难| 1 9 i 。这些困难包括双目信息的汇合机制、视差特征如何自适应地实现仞 始分派、双目边界特征如何在各个深度结构上一致地绑定起来等。另外，目前g r o s s b e r g 的模型难j j 处理双目观察条件下涉及到的各种遮挡情况，也忽略了，色彩亮度感知不能代表 场景巾物体特征在此深度上的表现这一现象。需要指出的是，生物视觉系统所表现出的强 大学习能力和灵活的调整能力并没有在g r o s s b e r g 的f a c a d e 模型中加以体现。这些题 更深层次地触及j ，双目生物视觉系统实现深度感知的神经动力学行为，也是双耳生物视觉 系统动j 学研究的难点利重点所在口。 虽然f a c a d e 理论建立了个仞级视觉系统的理论框架，但在其具体实现上，无论是 第2 页 国防科学技术大学研究生院学位论文 f a c a d e 模型还是3 dl a m i n a r t 模型，都只是考虑如何根据生物视觉的机理来解释一些 视觉特有现象( 例如幻觉现象) 以及相关的实验数据，只针对规则的几何图形进行了仿真 实验，对在日常真实场景中大量存在的诸如含噪声，边缘模糊，结构非单一等图像的分析 和处理则有很大的困难。同时，这两个模型过于复杂，计算量太大，因此应用到实际图像 处理中并非是实用的模型【“i 。 1 3 论文的内容和组织结构 本论文由浅到深、由易到难详细分析了一个双目生物视觉理论及其具体实现模型的动 力学行为特性，研究了这个理论系统如何利用神经元细胞活性的变化来反映场景中各特征 的深度关系，研究了遮挡关系如何影响双目生物视觉系统模型对场景的感知。 论文各章的主要内容和组织结构具体如下： 第二章全面分析了生物视觉系统模型的两个基本模块边界轮廓系统和特征轮廓 系统在针对单目图像输入时的动力学行为。b c s 系统包括简单细胞处理阶段、复杂细胞处 理阶段以及由超复杂细胞处理阶段、高阶超复杂细胞处理阶段和双极细胞处理阶段构成的 合作竞争回路。f c s 系统则包括细胞活性的扩散填充过程。针对b c s 在实际处理中的一些 不足，综合前人的研究成果对其进行了改进，纠正了原模型中实现双极细胞感受野的数学 公式中存在的错误，设计了各向异性沿方位“中间激励，两边抑制”的椭圆锐化模板来增 强模型对模糊边界锐化处理的能力，减少了合作竞争回路收敛到稳定点的迭代次数，提高 了模型效率。本章内容，为深入分析双目生物视觉系统模型的打下了理论基础。 第三章首先介绍了双目生物视觉系统模型应该至少具备哪些感知特性才能与双目生 物视觉系统及其感知现象保持一致；简要地介绍了f a c a d e 理论的两个具体实现模型 ( f a c a d e 模型和3 dl 气m i n a r t 模型) 并指出二者并不适于用来做真实场景的图像处理 工作，为此提出了一个新的双目立体视觉模型来处理真实场景立体图像对，详细分析了该 模型对无遮挡现象双目场景输入的三维感知所表现的动力学行为。针对f a c a d e 模型和 3 dl a m i n a r t 模型所需计算量过大和参数鲁棒性差的缺点，设计了这一新的立体视觉模 型的核心一自适应视差滤波器。实验表明，自适应视差滤波器可以有效地获得各个视差层 上视差特征的活性响应分布，且只需做一步运算就可以得到该处理阶段的输出信号，节省 了大量的计算时间；同时，自适应视差滤波器的视差竞争处理阶段不需要固定的阈值，从 而提高了模型参数的鲁棒性。最后，用真实图的测试结果验证了模型的可行性和有效性， 该模型能够实现真实三维场景中景物表面的深度感知，从而拓展了f a c a d e 理论的应用范 围。 第四章在进一步发展和完善自适应视差滤波器以及设计了单目特征滤波器的基础上， 结合f a c a d e 模型和3 dl a m i n a r t 模型将第三章提出的双目立体视觉模型进一步发展 和完善，提出了一个新的计算模型。仿真实验表明，该模型不但可以分析和处理一般的真 实场景的立体图像对，还可以处理遮挡场景的立体图像对，实现物体表面的深度感知以及 第3 页 国防科学技术大学研究生院学位论文 物体与背景的分割，解决了仅靠改进特征匹配算法或者景物分割算法所无法解决的一些问 题。并指出该计算模型提供了可以解决立体视觉中大量存在的关于遮挡问题的一种新的方 法和框架，在该框架下，任何数学实现方式只要可以实现模型中各个单元的功能，都可以 作为模型的数学实现方式。 第五章对全文进行了总结，并对生物视觉系统模型的研究做了一些展望。 第4 页 国防科学技术大学研究生院学位论文 第二章双目生物视觉系统模型的基础 2 1 引言 要研究生物视觉必须先对生物视觉系统的生理解剖结构和功能结构进行研究，建立了 对生物视觉系统的形象了解，将生物视觉系统的生理结构与功能流程对应起来。再次还要 知道生物视觉系统模型应该至少具备哪些感知特性才能与生物视觉系统及其感知现象保 持一致。这些工作可参见相关的文献，本文不再详细论述。 要研究双目生物视觉系统就必须先研究单日生物视觉系统的视觉信息处理过程。这项 工作已开展了多年，开始对大家将视觉信息的处理归结为对图像中真实边界之间几何关系 的处理，但是后来学者们逐渐发现，呈现在人们视觉系统面前的场景图像中，亮度对比形 成的边界并不是唯一的感知结构。人体视觉系统是基于“突发边界”而对图像进行分割和 组群的 2 2 4 “。许多例子表明：知觉世界与现实世界存在着差异，知觉到的模式比看到的现 实表面现象更深刻，更具有本质性。 生理解剖学和生理物理学等学科的研究成果已告诉我们，生物视觉系统首先由视网膜 细胞和l g n ( l a t e r a lg e n i c u l a t e n u c l e u s ，外膝体、外膝核或侧膝核) 细胞进行图像的亮度 均衡处理，处理后的信息送入到大脑皮层中相应的细胞处理阶段进行处理；大脑皮层中至 少存在两条神经通路分别对应着场景图像的边界形状和彩色亮度的处理。对应边界形状处 理的通路上进行视觉信患处理的细胞类型有简单细胞、复杂细胞、超复杂细胞、高阶超复 杂细胞和双极细胞，这条通路在视觉信息处理功能上基于图像亮度均衡后的信息具体完成 有向对比滤波( o c 滤波) 、竞争和合作组群等功能；对应着色彩和亮度处理的通路上进行 的视觉信息处理主要由填充细胞群来完成，其对应的视觉信息处理的功能是亮度填充。大 脑皮层中的这两个通道并不是孤立存在的，它们之间有许多相互作用，在功能上相互补充。 f a c a d e 理论系统中分别构造了b c s 和f c s 两个系统来对应这两个信息处理通道。 b c s 和f c s 是两个层级的视觉信息处理系统，各处理阶段以及一些处理阶段之间的反 馈作用和前馈作用使得对b c s 和f c s 的动力学分析变得十分复杂。视觉输入也是复杂的， 包括单目图像输入、双目图像输入、单目运动图像输入和双目运动图像输入等情况。一个 模型只有在对一些基本场景的视觉感知研究基础上才有可能进一步处理更为复杂的场景。 针对生物视觉理论系统- - f c a d e 理论系统而言，其对单目图像输入进行的处理所反映 的动力学特性基本揭示了生物视觉系统对各种视觉输入进行处理的一些本质特性。因此， 本章将着重分析f a c a d e 对单目图像处理所反映的各种细胞处理阶段动力学特性，并根据 双目生物视觉处理的要求而有针对性地对各处理过程进行相应的改进。 在单目图像输入的情况下，边界轮廓系统生成关于边、纹理、阴影、对比度差别等信 息的突发边界分割，其边界轮廓信号用于合成边界。这些合成边界可能是“实边界”，也 第5 页 国防科学技术大学研究生院学位论文 可能是“虚幻边界”。因为在感知系统中，边界轮廓信号本身并不可见，它得通过捕获扩 散中的特征轮廓信号而获得可见性。图2 1 给出了b c s 系统模型框图。 合作竞争回路 ( c c 回路) 有向对比滤波 单目预处理 胞 。胞 图2 - 1b c s 系统模型 复杂细胞 超复杂细胞 特征轮廓系统触发色彩和亮度信号的扩散填充过程，这些色彩和亮度信号以各向同性 的方式向外扩散，直到它们遇到边界的阻挡或由于活性扩散的衰减而消失。通过这个色彩 和亮度的填充过程，生物视觉系统得以重建场景中表面的亮度和色彩信号。 生物视觉系统所接收的场景输入包括多种色彩的信号。由于各种色彩的信号在生物视 觉系统的这些通道中是以并行的方式分别进行处理的，并且他们的处理机制是基本一致 的，故面在本论文中仅针对灰度图像进行说明。 另一方面，人观看一个画面，第- - l t a 得出的是概略感知，而以后便是对此画面有了逐 步细致的印象。概略感知对应着视觉系统对画面的大尺度空域通道的处理，而细致感知对 应着视觉系统对画面的小尺度空域通道的处理f 2 ”。因此，生物视觉系统中存在多个尺度的 第6 页 国防科学技术大学研究生院学位论文 并行处理通道，但这些并行处理通路的差别大体体现在感受野的大小及其掩模的汇聚权值 分布上，其信息处理机制在多个尺度之间是无差别的。为此，本论文均以单个尺度的信息 处理的动力学机制加以分析。 2 2 细胞活性动力学方程 细胞膜电位方程也称神经元动力学方程，它是整个f a c a d e 理论系统的动力学基础。 神经细胞之间的合作与竞争都是通过这个细胞膜电位方程来实现的。 一般来说，每个神经细胞的功能实现都可以建模为一个变化的电压 ，( f ) ( 也称为该神 经细胞的活性) ，它的动力学方程如下： c。掣=一(矿(f)一层。)gleag-(f)eexcm)g。xcrre(t)ati z l l 一( ：1 7 q 、一e l n h l r r 、g l n h l 8 r r q ) 在方程( 2 一1 ) 中，e 。、n u 衍、。r 分别代表对应泄漏、激励和抑制的反电势，g 。 是定常的泄漏电导，时变的电导g e x c i 。( f ) 和g l u m b t ，( f ) 分别是该神经细胞对应于激励和抑制 的总输入的函数。在具体计算中，我们不考虑暂态过程的状态变化，因为我们假定所有状态 达到稳态后才对活性进行计算。通过重新标定时间，电容项巴可以设为1 。通过平移矿( f ) ， 泄漏反电势色。可以设置为0 。这样变换后，抑制反电势兄。是非正的。 于是方程( 2 1 ) 改写为 - = 一a 矿+ ( c ，一矿) g 册一( r + 三) g 舢( 2 2 ) 这罩口= g 删r 是定常的衰减率，u = e 黜m ，工= i e ，r 【。 方程( 2 2 ) 的细胞膜电位方程是f a c a d e 系统模型的基础，f a c d e 系统内的几乎所有 方程都是以这个细胞膜电位方程为基础进行相应拓展的。在方程( 2 2 ) 中，引入“邻域”的 激励和抑制信号，便能使方程隐含合作和竞争作用。神经细胞问的相互作用在方程( 2 2 ) 的 规律控制下达到平衡，从而实现了神经细胞活性的自组织。在具体使用中，【，、上分别是 相应功能神经细胞的最大活性值和最小活性值，g e x c m ( ，) 和g l n m b ，( f ) 以一定的策略和连接 权值汇聚从前一处理阶段上对应邻域来的信号以形成激励输入和抑制输入。视觉神经系统 中细胞的活性变化规律基本是相同的，但通过不同的连接接受不同的激励性输入和抑制性 输入就能够实现各种不同功能的视觉处理。 令方程( 2 2 ) 中的竺三= 0 ，可得平衡后的细胞活性为： 讲 = u _ g r x c n x - _ l g t n m m r( 2 3 、 “十g m 十g t u m b r r 可以证明一l m u 1 2 0 l 。 膜电位方程描述了一秘分流相互作甩，输入变动时，电位p 在一和u 之瞄变化。膜 第7 页 国防科学技术大学研究生院学位论文 电位方程具有自动增益控制的特性1 2 9 l 。 2 3 单日预处理 生物在复杂多变的环境中生活，生物视觉系统的进化也完全适应了对这复杂多变的场 景输入进行处理的要求。一个良好的信息处理系统，应该在信息处理的每一步都抽取尽量 多的信息、丢失尽可能少的信息。同时，生物视觉系统本身有盲点和分布各处的大最静脉 血管存在于视网膜上，这些都造成视觉系统所获得的电位信号并不能直接而完整刻画出场 景，那么，面对这些困难，作为视觉信息处理的第一步功能处理，其动力学特性应该如何 解决上述困难? 场景输入的多变性首先体现在我们需要在变化的照明条件下感知物体，到达视网膜上 的亮度刺激混合了不均匀的照明条件和物体本身固有的反射特性。生理实验和视觉实验表 明感知的色彩亮度决定于图像中的相对对比度，而且，由它启动了生物视觉系统对视觉输 入信息的处理过程 2 9 , 3 0 。 生物视觉系统中的单目预处理阶段实现了亮度均衡的功能。在信息处理研究领域中， r a t c h i f f 在1 9 6 5 年已证明一种“中心周边”相互作用的分离通道机制能实现抑制输入信息 中的渐变特征的功能。在生理神经学等研究领域中，根据实验发现，在生物视觉系统中， 亮度均衡由对应于视网膜和外膝体中的两个并行通道“中心周边”相互作用的o n 通 道和o f f 通道来完成1 3 l 】。这里将其建模为l g no n 细胞和l g no f f 细胞。o n 中心一o f f 周边的o n 细胞和o f f 中心o n 周边的o f f 细胞的综合作用，可以减少视觉信号受照明 条件的影响，使得在暗背景下微弱的信号对比也能清晰可见。这两种类型细胞都只敏感于 其感受野所处理的局部图像区域内的相对对比度。o n 和o f f 通道对原始视觉信号的处理 结果分别进行单向整流( 或叫半波整流，即只保留正的部分) 后，作为对b c s 和f c s 的 输入信号。 l g n 细胞活性，x ：，服从下面的微分方程： f 矗+ ，一 苎一= 一a 1 工；卜+ ( u l 一工；卜) g f l 一( x j 卜+ 工i ) g ，l ( 2 - 4 ) 在方程( 2 4 ) 中，上标“+ ”代表o n 通道，上标“”代表o f f 通道，下标( f ，) 表示 位置信息；q 是定常的衰减率，u 、厶分别是细胞的最大活性值和最小活性值。每个细 胞接受从中心区域来的输入的高斯加权和g 。以及对抗的从周边区域来的输入的高斯加权 和g 儿= 鼬= k 。，g n = 嚷k 。( 2 - 5 ) p qp ，g 其中， 第8 页 国防科学技术大学研究生院学位论文 = 畚e 冲( - 等) g 2 = 鑫e 即( 一舒 ( 2 - 6 ) ( 2 7 ) 在公式( 2 5 ) 到( 2 7 ) 中，l 表示输入图像的灰度值，届和屈是中心和周边高斯核的尺 度常数：盯。和盯：是中心和周边高斯核的标准方差；并且一p 2 时不适用，本文重新推导将其修改为： z 肿= 岛s i g n ( p , ) e x p ( t g + 瓦+ i )( 2 2 9 ) 其中， 7 ：一坐：! ：二型 ( 2 - 3o ) 2 2 卜击卜q c o s ( k z k ) + p s i n ( k t r k ) 1 l pc o s ( k z qs i n ( k r r k ) j “ 2 ij 、 卜去卜i q c o s ( r x k ) + p s i n ( r a - k ) 2 p s ：， 在公式( 2 2 9 ) 中，p 根据公式( 2 1 0 ) 求得，s i g n ( - ) 是符号函数。在公式( 2 3 0 ) 至u ( 2 3 2 ) 中，参数p 是双极细胞所在位置到双极细胞感受野的瓣中心的距离，它控制着双极细胞感 受野的两个瓣离双极细胞中心的远近；仃。是对双极细胞感受野中一点与中心之间的距离的 聚教度的一种“方差”度量，它控制着双极细胞感受野的两个瓣在沿该方位向上的作用域 的大小；盯，和o - k 控制着双极细胞的两个瓣形状的尖锐程度。 双极细胞实现了在一个方位带中的边界组群和完成过程，增加了将各分离的边界线端 组群成一个全局一致边界的可能性。然而，如果不进行后续补偿处理的话，这个方位不定 的性可能会引起锐度严重丧失，会出现一个模糊的完成了的边界带，而不是一条锐化了的 边界。为此，当双极细胞的输出反馈到第一级超复杂细胞时，它们会进行反向方位竞争和 反向空间竞争。这个反馈通路是前馈通路竞争级的镜象。在双极细胞输出的反馈通路中， 双极细胞的输出首先经过相同位置上的方位竞争以确定哪个方位获得最大的合作支持。而 下一级的位置竞争发生在临近位置之间以选择突发边界的最优空间位置。通过这些竞争性 相互作用选择和锐化双极细胞宽感受野造成的多个边界组群中最好的边界组群。 第1 3 页 国防科学技术大学研究生院学位论文 反向方位竞争阶段和反向位置竞争阶段的细胞动力学方程与前馈通路中的前向方位 竞争和前向位置竞争类似，这里不再重复列出。 通过上述分析可知，这个合作竞争回路中的合作反馈使得网络具有对比增强特性，即 它能通过短程竞争性相互作用从一个可能的边界带中选择出单个锐化了的边，并使细胞的 活性快速收敛于一个最终的边界分割，它完成了统计意义上最受支持的边界，同时抑制了 那些统计意义上不受支持的边界，从而将图像中特征的正确组合绑定下来。正是通过合作 竞争回路，生物视觉系统才能完善边界，进而获得封闭的边界。 2 。6 亮度填充 从前面2 3 节的单目预处理阶段中可知，对照明条件变化引起的不确定性，生物视 觉系统中通过“中心周边”的相互作用抑制内部区域的色彩和亮度而消除了照明变化的影 响，但同时又丢失了内部区域的真实色彩和亮度信息。因此，在视觉信息处理过程中，生 物视觉系统需要填充以恢复内部区域的亮度和色彩f 4 叫列。另外，在前述的突发边界的形成 过程中，边界反映的是局限于某个方位上的一维特征，通过封闭边界内的填充形成的区域 这个二维结构将多个一维特征( 如边界) 全局一致的绑定起来而达到特征集成的目的。 针对亮度填充的视觉感知现象，可以通过一个“神经元细胞活性的扩散填充”的过程 来加以实现。生物视觉系统中，f c s 对“亮度填充”的视觉信息处理过程建立了模型。对 于由b c s 来的边界信号和一对由l g n 处理阶段而来的亮度特征信号而言，在f c s 中有两 个填充域( f i d o ：f i l l - i nd o m a i n ) 与它们对应。即l g no n 信号和边界信号在o n 填充 域中进行扩散填充处理，而l g no f f 信号和边界信号在o f f 填充域中进行扩散填充处理。 这样，输入图像中的白色区域在o n 填充域中通过细胞的活性来体现，输入图像中的黑色 区域在o f f 填充域中通过细胞的活性来体现。在f i d o 中的扩散填充过程中，l g n 输入 激活了其对应的f i d o 细胞，f i d o 细胞允许其活性通过边界间隙快速扩散到邻近的f i d o 细胞。这些扩散性填充过程仅限于b c s 边界轮廓所限定的范围内，因为b c s 边界轮廓信 号通过急剧减少相邻的f i d o 细胞之间的穿透性而形成一个填充壁垒。因此，只有近似封 闭的边界才能通过亮度填充过程形成表面感知，而那些不能形成封闭边界的b c s 信号在扩 散填充过程中由于不能阻挡亮度信息的扩散平均所以不能形成表面，如图2 - 3 所示。 练上所述，f c s 填充域细胞活性的动力学行为表现为： 等一心一翟篙 ( 2 - 3 3 ) 其中，扩散发生在最邻近的细胞之间，即 q = ( f ，j 一1 ) ，( f ，j + 1 ) ，( f 一1 ，_ ，) ，( i + 1 ，) f 2 - 3 4 ) 边界轮廓信号按照下式减少相邻的填充细胞之间的穿透性而形成填充壁垒 第1 4 页 国防科学技术大学研究生院学位论文 甲h u = 艿 r + g ( 瓦+ 瓦) 瓦= r 2 3 5 ) 在公式( 2 3 5 ) 中，k 是边界挤压函数甲删的一个参数，占是扩散尺度参数，占是阻塞 尺度参数。 平衡时，胃和巧可以分别由下式迭代解出： 胃“+ 搿一甲。， 譬。_ 荸藏( 2 - 3 6 ) p 4 e n o n 填充域和o f f 填充域的输出进行竞争最终形成了表面亮度感知： _ = 譬一百 ( 2 _ 3 7 ) ( a ) 封闭 ( b ) 开放边界的亮度填充不能形成表面 图2 3 亮度填充示意图 2 7 真实图例测试 为了更好的说明b c s f c s 模型的图像处理效果，我们利用如图2 4 所示的图像进行测 试。在仿真实验中，我们用计算机在v c 。n e t 开发平台上对b c s f c s 模型进行仿真，选取 了1 2 个对比方位进行处理。图2 5 给出了b c s 的处理结果( 即合作竞争回路稳定后双极 细胞的输出结果) ，图2 - 6 给出了f c s 的处理结果。 第1 5 页 国防科学技术大学研究生院学位论文 图2 _ 4 测试图像图2 - 5b c s 的最终输出结果 图2 - 6f c s 的输出结果 2 8 本章小节 生物视觉系统模型对单目图像输入进行