（生物医学工程专业论文）基于SOM和ELMAN神经网络组合的HIV感染细胞图像识别研究.pdf

a b s t r ac t t h ea i d ss p r e a d si nt h ew h o l ew o r l dq u i c k l ys i n c ei tw a sd i s c o v e r e di nt h e 8 0 so f 2 0c e n t u r i e s t h ea i d si sak i n do fs e r i o u si n f e c t i o u sd i s e a s ew i t hh i g hd e a t h r a t e c u r r e n t l y ，t r e a t i n ga n dp r e v e n t i n go f t h ea i d sb e c o m et h ek e yr e s e a r c ha l lo v e r t h ew o r l d i nt h er e s e a r c ho ft h ea i d s t h ee x a m i n a t i o no fv i r u sc a r r i e si nt h eb o d yo f t h ea i d si n f e c t o r si st h ei m p o r t a n tr e f e r e n c eo fm a n u f a c t u r i n ga i d sm e d i c a m e n t s p r e s e n t l y ，t h ee x a m i n a t i o no fv i r u sc a r r i e sm a i n l yd e p e n d so nt h ea r t i f i c i a l i m a g e s c o u n t i n go ft h eh i vi n f e c t i n gc e l l s ，w h i c hw a s t e sn o to n l yt h em a n p o w e r ，b u ta l s oh a s v e r yl o we m c i e n c y t h e r e f o r ei t i sv e r ys i g n i f i c a n tt oa u t o m a t i c a l l yi d e n t i f ya n d c o u n tt h ei m a g e so ft h eh i vi n f e c t i n gc e l l s t h i sp a p e ri sb a s e du p o nt h er e s e a r c ho ft h ea r t i f i c i a ln e r v en e t w o r k ，u s i n gt h e c o m b i n a t i o no ft h es o mn e r v en e t w o r ka n dt h ee l m a nn e r v en e t w o r kt oc a r r yo n t h ee d g ed e t e c t i o n t h ea n nh a sav e r ys t r o n gm e m o r ya n de x t e n s i v ea b i l i t y , a n di ti s c o m p a r a t i v e l ye f f e c t i v et oh a n d l et h ep r o b l e m sw h i c ha r ea f f e c t e dl a r g e l yb yn o i s e a n dt h ep r o b l e m sw h i c hh a v es m a l ls n r ( s i g n a l - t o - n o i s e ) f r o mt h ep r o c e s s i n gr e s u l t o ft h eh i vi n f e c t e dc e l l s w ek n o wt h i sm e t h o dc a ns e g m e n tt h en o r m a lc e l l sa n dt h e b a c k g r o u n de f f e c t i v e l y t h ek e yp o i n to fu s i n gn e r v en e t w o r kt oi d e n t i f ym o d e si st h es e l e c t i o no ft h e c h a r a c t e r i s t i cv e c t o r t h i sp a p e rt a k e st h ep i x e lv a l u eo fo n ep i x e lp o i n t s t o p e s t r u c t u r e ) t ob et h ec h a r a c t e r i s t i c ，w h i c hm e a n st os e l e c tat w o d i m e n s i o n a l s t r u c t u r es u r r o u n d i n gt h ep i x e lp o i n t a n dt h et w o d i m e n s i o n a ls t r u c t u r ei sf o r m e db y t h r e el i n e sa n ds e v e nr o w s n a m e l ya3 7p a n e t h ei n p u to ft h es o mn e r v en e t w o r ki st h eg r a yv a l u e so ft h e21p i x e lp o i n t s a n d t h eo u t p u ti ss e l e c t e d 。a s5 5a c c o r d i n gt ot h ee x p e r i m e n tr e s u l t n a m e l y2 5n e r v e s c e l l s a n dt h es t r u c t u r eo ft h es o mn e r v en e t w o r ki s21 5 5 n l ei n p u to ft h ee l m a nn e r v en e t w o r ki st h eg r a yv a l u e so ft h e21p i x e lp o i n t s a n dt h eo u t p u ti ss e ta st w o d i m e n s i o n ，n a m e l y ( 0 ，1 ) p r e s e n t sa ne d g ep o i n t ，w h i l e ( 1 ， o ) d o e sn o tp r e s e n ta ne d g ep o i n t t h em i d d l el a y e ri ss e ta s3 0n e r v ec e l l sa c c o r d i n g t ot h ee x p e r i e n c e a n dt h es t r u c t u r eo ft h ee l m a nn e r v en e t w o r ki s21 3 0 2 u s i n gt h et r a i n e dn e r v en e t w o r kt oc a r r yo nt h ee d g ed e t e c t i o no ft h ei m a g e so f t h eh i vi n f e c t e dc e l l s ：i n p u t t i n ge a c hp i x e lp o i n ta n di t s2 0p i x e lp o i n t ss u r r o u n d i n g o ft h ei m a g e sn e e d i n gt ob ei d e n t i f i e d ，a n dj u d g i n gw h e t h e ri ti sa l le d g ep o i n to rn o t a c c o r d i n gt ot h eo u t p u to ft h en e t w o r k ，t h e ng e t t i n gd o u b l ev a l u e ) i m a g e so ft h ee d g e p o i n t t h i sp a p e rl i s t st h ee x a m i n a t i o nr e s u l tp a r t l yo ft w oh i v i n f e c t e dc e l li m a g e s ， f i n a l l yw ed e v e l o pt h es o f t w a r eo nh i vi m a g e sr e c o g n i t i o nb a s e do nv i s u a l c + + 6 0 k a yw o r d s ：s o mn e u r a ln e t w o r k ；e l m a nn e u r a ln e t w o r k ；i m a g ep r o c e s s i n g ；e d g e d e t e c t i o n i i 独创性声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研 究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他 人已经发表或撰写过的研究成果，也不包含为获得北京工业大学或其它教育机构 的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均 已在论文中作了明确的说明并表示了谢意。 签名：z 习盈弛日期：2 丛坌基! ：加 关于论文使用授权的说明 本人完全了解北京工业大学有关保留、使用学位论文的规定，即：学校有权 保留送交论文的复印件，允许论文被查阅和借阅；学校可以公布论文的全部或部 分内容，可以采用影印、缩印或其他复制手段保存论文。 ( 保密的论文在解密后应遵守此规定) 签名丑垃导师虢斟雄红日期：瑚：鼻 第1 章绪论 1 1 课题背景 第1 章绪论 艾滋病( a i d s ) 是由人类免疫缺陷病毒( h u m a ni m m u n o d e f i c i e n c yv i r u s ，h i v ) 感染引起的一种传染性疾病。自美国1 9 8 1 年诊断出首例艾滋病患者以来，艾滋病 在全球范围内以惊人的速度传播。联合国艾滋病联合规划署( u n a i d s ) 和世界 卫生组织( w h o ) 2 0 0 5 年1 2 月发布的最新年度报告显示，2 0 0 5 年，全世界 已有3 1 0 万人死于艾滋病，新感染的艾滋病病毒人数约为4 9 0 万，报告警告说， 目前全球艾滋病病毒感染者总数已达到4 0 3 0 万人，如果不采取更加有效的预防 措施，到2 0 1 0 年前，全世界1 2 6 个中、低收入国家还将有4 5 0 0 万人感染艾滋 病病毒。目前，中国现有艾滋病毒感染者和病人约6 5 万人，所以遏制艾滋病的 发展已经到了刻不容缓的地步。 在艾滋病的研究中，检测艾滋病感染者体内的病毒载量是研制各种治疗艾 滋病的药物的重要参考依据。目前对病毒载量的检测主要依靠人工对h i v 感染 细胞的图像计数，不仅耗费人力，效率也非常低。因此对h i v 感染细胞的图像 进行自动识别和记数，并开发出相应功能的软件，有着重要的意义。 1 2 图像识别技术概况 图像识别所提出的问题，是研究用计算机代替人们自动地去处理大量的物理 信息，解决人类生理器官所不能识别的问题，从而部分地替代人的脑力劳动，它 属于模式识别的范畴，也可以把模式识别狭义地理解为图像识别【2 ，3 】。图像识别 与图像处理的关系非常密切，互相交错，很难把它们截然分开，为了进行图像识 别，首先要进行图像处理，而有时候处理和识别是同时进行的。一般来说，图像 处理包括图像编码、图像增强、图像压缩、图像复原、图像分割等内容，对图像 处理环节来说，输人是图像，输出也是图像。而图像识别以研究图像的分类与描 述为主要内容，找出图像各个部分的形状和纹理特征，亦即特征提取，以便对图 像进行分类，并对整个图像作结构上的分析。因而对图像识别环节来说，输人是 北京工业大学 _ 学硕七学位论文 图像( 通常是处理过的图像) ，输出是类别和图像的结构分析，在图像识别的特征 提取过程中，常常也包括对图像的分害- j ( i m a g es e g m e n t a t i o n ) 4 5 】。图像识别和处理 的研究涉及许多学科，许多不同领域的科技工作者都在从事这方面的工作，每年 都有大量的文章发表和日益增多的专著出版，各种图像识别与图像处理系统陆续 出现。 图像的边缘是图像的最基本的特征，广泛地存在于物体与背景、物体与物体 之间，是图像分割所依赖的重要特征。边缘检测方法可分为并行法( p a r a l l e l ) 和串 行法( s e q u e n t i a l ) 两种，并行法对边缘点的判定是基于被检测点和它的邻域，主要 包括一些局部微分算子，其优点是速度快，但得到的往往是断续的、不完整的结 构信息；而串行法判定一个象素点是否为边缘点取决于周围已检测的象素点，属 于多阶段决策过程，因而可以检测到感兴趣边缘的单线连接的结构信息，但速度 较慢。经典的边缘提取方法是考察图像的象素邻域内灰度的变化，利用边缘邻近 一阶或二阶方向导数的变化规律，用简单的方法检测边缘，即边缘检测局部算子 法。最基本的一类边缘检测算子是微分类算子，如r o b e r t 梯度算子、s o b e l 算子、 k i r s h 算子、p r e w i t t 算子，l a p l a e i a n 算子、h a r a h c k 拟合算子【6 】。等，这类算子因 为简便易行仍被广泛使用。微分算子类边缘检测方法的效果类似于空间域的高通 滤波，有增强高频分量的作用，因而，这类算子对噪声较为敏感，通常在检测边 缘前都要进行平滑滤波。滤波平滑了噪声，同时也平滑了真正的边缘，所以，边 缘检测实际上是寻求噪声平滑和边缘定位的最佳折中。由于真实图像的复杂性以 及噪声的影响，简单的局部边缘算子不一定能可靠地检出所有的边缘，于是就有 了改进的简单边缘算子的方法，如r o s e n f i e l d 的非线性边缘检测、边缘松弛、假 设检验的统计边缘检测等【7 1 。文献8 基于一般梯度边界模型提出了一种结合信噪 比与定位精度的新的边缘检测算子，导出了满足最佳性质的边缘检测算子，并且 可以通过递推计算高效实现。 另一类方法是基于边缘的曲面拟合的检测方法，这种方法最早是由p r e w i t t 提出来的，其基本思想是先对图像的小区域进行曲面拟合，再对拟合出的曲面使 用微分算子类方法进行边缘检测。由于拟合用的曲面是满足一定平滑性的有理曲 面，因而能使图像的噪声得到有效的平滑。较有代表性的方法是p r e w i t t 多项式 拟合、h a r a l i e k 斜面模型和h u e e k e l 算法。 #i*0 神经网络方法是指用神经网络f n e u f a ln e hr o k ) 1 9 12 伯算法对图像进行 识别的方法，神经网络系统是由大量简单的处理单元( 神经元) 广泛地互相连接而 形成的复杂网绍系统，它反映了人脑功能的许多基本特性，是人脑神经网络系统 的简化、抽象和模拟。句法方法但0 重于模拟人的逻辑思维，而神经网络侧重于模 拟和实现人的认知过程中的感知觉过程、形象思维、分布式记忆和自学习自组织 过程，与符号处理是一种互补的关系。但 十经网络具有大规模并行、分布式存储 和处理、自组织、自适应和自学习的能力，特别适用于处理需要同时考虑许多因 素和条件的、不精确和模糊的信息处理问题，近几年来在图像识别与理解方面的 应用日益增多。但目前还主要集中在用单个神经网络对图像特征的学习和识别方 面，还未有运用组合神经网络进行图像识别的研究报告。 刘细胞图像的识别，目前常见的做法是根据传统的各种算子算法进行边缘分 割和特征识别“3 “”1 ，还未有用组合神经网络的方法进行特征识别的论文。 1 3 本文主要研究内容 一 检测病毒载量即为识别出被感染的细胞和正常细胞，得出二者总个数的比 北京工业大学工学硕士学位论文 值。识别细胞首先要进行边缘检测。由于感染细胞灰度值和周围区别明显，很容 易分割出来。而正常细胞和背景境灰度差别较小，通常的图像分割的算子算法 ( 如：剃度算子，r o b e r t s 算子，p r e w i t t 算子，s o b e l 算子等等) 效果均很不理想 本文在本人以往对人工神经网络研究的基础上【l 】，运用s o m 神经网络和 e l m a n 神经网络的组合来进行边缘检测。选取检测点周围三行七列共2 1 个点 为特征向量。先用s o m 网络对样本聚类，e l m a n 网络根据聚类的结果按照不 同的类进行训练和边缘检测。a n n 具有很强的记忆和泛化能力，处理受噪声影 响较大和信噪比较小的问题往往有比较好的效果。对h i v 感染细胞图像的处理 结果表明，该方法能有效分割正常细胞与背景。 本课题研究任务和主要工作如下： ( 1 ) 研究设计恰当的用于图像分割的组合神经网络结构，包括s o m 和 e l m a n 神经网络的具体结构，以及网络参数的设定，并编程实验。 ( 2 ) 对原始h i v 图像运用通常的图像处理方法进行预处理。首先分割识别 出感染细胞。对已经边缘分割出来的图像，运用数学形态学的方法进行记数。 ( 3 ) 对于本课题的难点正常细胞的分割识别，则运用组合神经网络的方 法，分割识别出感染的细胞。即首先选取具有代表性的图像，手工标定出图像中 每个细胞的边缘线，然后以此为训练样本对组合神经网络进行训练，训练后的网 络即可对图像进行边缘识别。 ( 4 ) 根据以上的方法用v i s u a lc + + 6 o 开发出自动进行图像识别的系统。 系统应达到以下要求： ( 1 ) 系统性能稳定，能够长时间运行； ( 2 ) 能够适合各种类型的h i v 感染细胞图像； ( 3 ) 在手工标定细胞图像的情况下，记数准确率不低于9 5 第2 章人工神经网络介绍及组合s o m 和e l m ；l n 神经网络原理 第2 章人工神经网络介绍及组合s o m 和e l m a n 神经 网络原理 人工神经网络是模拟人的大脑活动，它特有的非线性适应性信息处理能力， 克服了传统人工智能方法对于直觉，如模式，语音识别，非结构化信息处理方面 的缺陷，使它在神经专家系统、组合优化、预测等领域得到成功应用。由于它具 有极强的非线形逼近、大规模并行处理、自训练学习、自组织和容错能力等优点， 因而可将神经网络理论应用于预测领域之中，从而克服传统预测方法的一些缺 陷，快速、准确地得到预测结果。本章主要论述人工神经网络基本组成单元、结 构分类以及几种主要的学习方法，从而为第3 章及第4 章提供充分的理论基础。 2 1 人工神经网络概述 人工神经网络( , a r t i f i c i a ln e u r a ln e t w o r k ，a n n ) 亦称神经网络( n e u r a l n e t w o r k ，n n ) 。是由大量处理单元( 神经元n e u r o n s ) 广泛互联而成的网络，是 对人脑的简化、抽象和模拟，反映人脑的基本特性。人工神经网络的研究是从人 脑的生理结构出发来研究人的智能行为，模拟人脑信息处理的功能。它是根植于 神经科学、数学、统计学、物理学、计算机科学等学科的一种技术。 人工神经网络是由简单的处理单元所组成的大量并行分布的处理机，这种处 理机具有存储和应用经验知识的自然特性，它与人脑的相似之处概括为两个方 面：一是通过学习过程利用神经网络从外部环境中获取知识；二是内部神经元( 突 触权值) 用来存储获取的知识信息。 神经网络也经常被称为神经计算机，但它与现代数字计算机的不同之处主要 表现在以下方面： 1 ) 神经网络的信息存储与处理( 计算) 是合二为一的，即信息的存储体现 在神经元互连的分布上；传统计算机的存储与计算是独立的，因而在存 储与计算上存在着瓶颈。 神经网络以大规模计算为主；数字计算机是以串行离散符号处理为主。 动 t， 北京工业大学工学硕士学位论文 3 ) 神经网络具有很强的鲁棒性和容错性，善于联想、概括、类比和推广。 4 ) 神经网络具有很强的自学习能力，能为新的输入产生合理的输出，可以 在学习过程中不断完善自己，具有创新特点。 5 ) 神经网络是一大规模自适应非线性动力系统，具有集体运算的能力，这 与本质上是线性系统的现代数字计算机迥然不同。 2 1 1 神经网络由来 人类对自身的智能已经经历了许多阶段的研究，现代人工智能可以从来源分 类成两大类：首先是从研究人类心理的角度入手的传统式人工智能研究，从知识 表示到专家系统都是这种研究的代表。这个方向的智能研究存在种种困难是众所 周知了的，关键在于人类思考问题的过程还没有研究的比较清晰，也就没有办法 将人类的思维与机器的运作进行类比从而指导机器；另外一种就是人工神经网络 这类，它的研究基础于生物智能的生理角度，简单的说就是我们暂时不等待生理 医学弄清生物智力与人类自我意识的基理，而是直接通过神经生理学的理论剖析 大脑己知的构造，通过模仿这些构造来组建一个数学模型。如果这个数学模型能 自动的学习，甚至自动的工作甚至自动的生长与构造，那我们就认为从生物智能 那里得到了我们需要的抽象。 2 1 2 生物神经网络的工作机制 生物神经网络是由神经元与它们之间的连接组成的；大量的神经元通过稀疏 连接形成强大的并行处理模式，每个处理单元就是一个神经元细胞。我们把焦点 聚在单个的神经元上，神经元由细胞体、树突与轴突三个部分组成，其中树突相 当于神经元的“输入”，而轴突相当于神经元的“输出 ，整个生物神经网络就是 由一个个神经元细胞通过互相的“输入 与“输出 相连而形成的，也就是说神 经元的轴突会连接到别的神经元的树突，而自己的树突则会接受来自其它神经元 轴突的连接。 整个生物神经网络是一个个单元组成，每个单元都有输入与输出部分，而每 个单元的输入都是与其它单元的输出相连的，同时输出部分也只能与其它单元的 输入部分相连。形成这个巨大的神经网络的过程是生物的细胞分裂与生长，这是 第2 苹人t 神经网络介绍及组合s o m 和e l m 。- nf 申经网络嗄理 一个漫长的过程，无论是来自基因的遗传信息与外界对生长中的细胞的刺激都对 形成这个结构产生了作用。 生物神经元的工作过程：神经元有两种状态，一种是兴奋，一种是抑制。当 从树突传入的神经冲动( 某种形式的电流) 使细胞膜的电位上升到一定的阈值( 大 约4 0 m v ) 时，细胞处于兴奋状态，轴突向外产生神经冲动；当树突传入的神经 冲动低于阈值时细胞处于抑制状态，没有神经冲动产生从图上可以看到神经元 的树突比较多，但都离细胞核非常近，这样尽可能多的接收到细微的信号；而轴 突相当的长而且粗，应该能通过更多的电流。 2 1 3 人工神经网络的基本单元 人工神经网络是由许多人工神经元组成，人工神经元是也是由生物神经元的 模式启发得来的。神经网络都是由权值连接后的神经元组成的，但是神经网络的 种类繁多，神经元的种类也是非常多，1 6 17 1 9 1 。通用神经元模型如图2 1 所示 分圃_ 一y f i g2 - 1t h em o d e lo f n e u r o n 它模拟了生物神经元的结构，神经元由多个输入薯，f = l ，2 ，刀和一个输出 y 组成。多个输入与单个输出的关系可以用下面公式来表示： ，月、 乃o ) = f l 嘞薯一gl i = 1 其中， 嘭为神经网络单元歹的偏置( 即阈值，相当于生物神经网络中的电 压阂值) ； 为神经单元f 到单元，的连接权值，它使得第f 个输入薯到达单元 北京工业大学_ 学硕士学位论文 的数值变得可调；而厂o 是激励函数，它代表了利用某种函数关系去处理加总得 到的输入信号，这个函数可以是线性的，也可以是非线性的，这取决于神经网络 学习任务的性质。常用的激励函数有阶跃函数、s i g m o i d 函数、反正切函数、双 曲正切函数。而最近十年来又有许多新神经网络涌现出来，一个重要的变化就是 使用了新的激励函数，例如模糊神经网络、小波神经网络、s p i k i n g 神经网络等， 所以神经元的激励函数是神经网络中的关键点之一。 2 2 人工神经网络功能 联想记忆 联想记忆功能是指神经网络能够通过预先存储信息或自适应学习机制，从不 完整的信息和噪声干扰中恢复原始信息。神经网络的这种能力是通过神经元之间 的协同结构以及信息处理的集体行为而实现的。神经网络是通过其突触权值和连 接结构来表达信息的记忆，这种分布式存储使得神经网络能存储较多的复杂模式 和回复记忆的信息。 非线性映射 在客观世界，许多系统的输入和输出之间存在复杂的非线性关系，对于这些 关系，往往很难用传统的数理方法建立其数学模型。设计合理的神经网络通过对 系统输入输出“样本对”进行自动学习，能够以任意精度逼近任意复杂的非线性映 射。神经网络的这一优良性能使其可以作为多维非线性函数的通用数学模型。该 模型的表达是非解析的，输入输出数据之间的映射则由神经网络在学习阶段自动 抽取并分布式存储在网络的所有连接中。 分类和识别 神经网络对外界输入样本具有极强的识别与分类能力。对输入样本的分类实 际上是在样本空间找出符合分类要求的分割区域，每个区域内的样本属于一类。 优化计算 优化计算是指在已知的约束条件下，寻找一组参数组合，使由该组合确定的 目标函数达到最小值。某些类型的神经网络可以把待求解的问题的可变参数设计 为网络的状态，将目标函数设计为网络的能量函数。 知识处理 葛2 荦人1 神经网络介绍及组合s o m 和e l m a n 神绛网络原理 神经网络是模拟人类大脑的工作过程而建立的数学模型，所以其获得知识的 途径与人类相似，也是从对象的输入输出信息中抽取规律而获得关于对象的知 识，并将知识分布在网络的连接中予以存储。 鲁棒性( 容错性) 由于神经网络采取分布式存储信息的方式，即使网络局部受损或者外部信息 部分丢失也不会影响整个系统的性能，使得它比传统计算机具有较高的抗毁性。 2 3 人工神经网络的结构分类 了解了神经单元后，将这些神经单元连接起来就可以形成某种神经网络。这 些有权值的连接将直接影响到神经网络的动力机制与学习方法。大体上可以分以 下几类2 0 2 1 2 2 2 3 2 4 ，2 5 加6 ： 2 3 1 前向网络 神经元分层排列，分别组成输入层、中间层( 也叫隐含层，可以有几层) 和 输出层。每一层的神经单元只接受来自前一层的信号，信号从输入至输出依次经 过每个隐含层，没有返回到曾经经过的隐含层。如图2 所示。 图2 - 2 前向神经网络 f i g2 - 2f o r w a r dn e u r a ln e t w o r k 2 3 2 有反馈的前向网络 有输入层与输出层有信息反馈。只要有反馈的连接存在，网络就具备了某种 程度的记忆功能，因为输入的信息会因为反馈而反复的存在于网络内部，而且随 着时间有可能会加强或削弱这种记忆，这有助于对存储的信号进行某种筛选。神 北京工业大学工学硕士学位论文 经认知机就具备这样的网络结构。如图2 所示。 图2 3 有反馈的前向网络 f i g2 - 3f o r w a r dn e t w o r kw i t hf e e d b a c k 2 3 3 层内有相互结合的前向网络 通过层内神经元的相互结合，可以实现同一层内神经元之间的横向影响相互 问兴奋与抑制状态的机制。如图2 所示 2 3 4 循环网络 图2 4 层内有相互结合的前向网络 f i 9 2 - 4f o r w a r dn e t w o r kw i t hi n n e rl i n k 这种网络中的每个神经单元之间都有可能会有联接，根据联接的联接的数量 由大变小可从全联型网络一直变成稀疏型网络，而且联接也可能是单向或者是双 向的。就大部分生物型神经网络在模式上是循环的，所以这种神经网络更加贴近 生物神经网络的原型。解决了t s p 问题的h o p f i e l d 网络就是属于对称性相当 强的循环型网络。在前三种网络中信号走向一致，可以形成信号流，可是在循环 网络里信号的走向是不定的，每个信号可能向各个方向传递。进入网络的信号需 要经过一段时间的初始状态才能达到平衡点，而且还可能进入到周期振荡或者混 沌状态，对于模拟许多非线性系统十分有利。循环网络图2 所示。 第2 章人工神经网络介绍及鲴合s o m 和e l l n 神经网络啄理 图2 - 5 循环网络的核心 f i 9 2 - 5t h ec o r eo fc i r c l en e t w o r k 2 3 5 传统b p 网络结构 目前，在众多神经网络，误差反向传播网络( e r r o rb a c kp r o p o r g a t i o n ) 网络 由于其良好的逼近能力和成熟的训练方法而得到了最为广泛的应用。b p 网络由 r u m e l h a r t 等人由1 9 8 5 年建立，它是一种多层前向神经网络，由一个输入层，输 出层和一个( 或多个) 隐藏层组成，图2 7 为1 个隐藏层。位于同一层的节点之 间不许有连接，而且各层的节点只能向更高层的节点发出信息，也就是第，l 层的节点的输出是仅受第 1 层的输出决定的，这也是前向网络的显著特征。一 个三层的b p 网络结构如图2 所示。 图2 - 6 基本b p 网络的拓扑结构 f i 薛一6t h es t r u c t u r eo fb pn e u r a ln e t w o r k 它含有一个输出层、一个输入层以及处于输入和输出中间的隐藏层。隐藏层 虽然不和外界连接，但是它们的状态则影响输入输出之间的关系。这也就是说， 改变隐藏层的权值，就可以改变整个多层神经网络的性能。 设有一个m 层的神经网络，并在输入层加有样本x ；设第k 层的f 个神经 北京工业大学t 学硕士学位论文 元的输入总和表示为u 髓，输出以；从第k - 1 层的个神经元到第七层的第i 个 神经元的权值为的各个神经元的激励函数为厂，则各个变量的关系可用下面 的数学式表示： x i k = f i 0 = 墨( 纠) f 2 4 人工神经网络的学习方法与运行机制 生物之所以能适应环境，是因为生物神经系统具有从周围环境进行学习的能 力。对于人工神经网络，学习能力也是其最为重要的特点。总的来说，神经网络 现有的训练方法分成两大类，一类是无监督学习，当输入的样本模式进到网络后， 网络按照预先设定的原则自动调整权值，以使网络最终具有模式分类等功能，其 中以h e b b 学习规则最常见；另外一类是有监督学习，即将网络的输出与期望 的输出进行比较，然后根据两者之间的差的某种函数来调整网络的权值，最后达 到两者之差最小化的目的。 2 4 1 无监督学习 不存在教师，网络根据外部数据的统计规律来调节系统参数，以使网络输出 能反映数据的某种特性。即是说，无监督学习不是提供教师信号，而是只规定学 习方式或某些规则，具体的学习内容随系统所处环境( 输入信号情况) 而异，系 统可以自动发现环境特征和规律。其中最为典型的无监督学习为h e b b 学习。 h e b b 学习规则是这样的2 7 - 2 8 2 吼3 0 1 ：当两个神经元同时牌兴奋状态时，它 们之间的连接权值应加强令w ，表示神经元f 到神经元，的连接权当前值，“ ，表示神经元f 与，的激活水平，那么h e b b 规则可以描述成如下公式： ( 尼+ 1 ) = w j z ( 尼) + 厂( 厶) 厂( ) = _ 一q j 咒= f ( i g ) 第2 章人t 神经网络介绍及组合s o m 和f i m a n 神经网络原理 其中厂( ) 是某种形式的激活函数，这样些规则就可以进一步表示成公式2 4 ： f ( 尼+ 1 ) = f ( k ) + y y j 2 4 2 有监督学习 一般情况下，有监督学习的训练样本是输入输出对( x ir , d ，) ，i = 1 ，2 ，3 ， 其中t 为样本输入，d ，为样本输出( 教师信号) 。神经网络训练的目的是：通过 调节各神经元的自由参数，使网络产生期望的行为，即当输入样本x 。时，网络输 出尽可能接近d ；。 一个有监督的学习系统可以用图2 一表示。这种学习系统分成三个部分：输 入部，训练部和输出部。 训练部 l 。一。一- i x 教师信号( 期望输出信号) 图2 7 神经网络学习系统框架 f i 醇一7t h ef r a m e w o r ko fn e u r a ln e t w o r kl e a r n i n g 输入部接收外来的输入样本x ，由训练部进行网络的权系数形调整，然后 由输出部输出结果。在这个过程中，期望的输出信号可以作为教师信号输入，由 该教师信号与实际输出进行比较，产生的误差去控制修改权系数形。 2 4 3 梯度下降学习法 梯度下降法是最常见的有师学习方法，其中的最核心的思想是根据希望输出 和实际输出之间误差的平方和最小化来修改网络的权值向量。定义误差函数如下 1 3 - 北京工业大学工学硕七学位论文 式： ，( 形) = 三( m ) 一7 ( w ，枷2 其中：y ( k ) 表示希望输出，y ( w ，k ) 表示实际的输出，矿是网络所有权值组成的 向量，梯度下降法就是这样沿着j ( w ) 的负梯度方向不断修正w ( k ) 的值，直到 w ( k ) 达到了最小值为止。使用数学公式的方式来表示这种学习思想如下式： 瞰+ 1 ) = + 榈曙) l 删 式中的r l ( k ) 是控制权值修改速度的变量，通常它是一个经验值，需要根据网络的 学习情况来进行调整 2 5 组合s o m 和e l m a n 神经网络的原理与运行步骤 一般的神经网络的预测原理是通过对影响目标变量的各因素进行组合，建立 组合与目标变量之间的映射关系。利用这种映射关系的过往历史数据训练神经网 络，从而使得神经网络可以输出在新的组合情况下目标变量的值。 具体的来说，通常的神经网络预测方法是：以系统的主要影响要素作为网络 输入用训练样本反复迭代训练，直到网络性能误差达到要求。预测的目的就是从 有限个训练样本点中找出系统的内部规律。但是由实际经验可知，系统的某些影 响因素类似时，系统遵循的规律更为相似。比如就粮食产量预测来说，南方多雨气 候地区与北方干旱地区粮食丰歉的规律差别较大，但南方( 或北方) 广大地区由于 气候因素相似，粮食丰歉的规律则比较类似。根据这个规律，若能通过样本预处 理对分散的样本进行预先分类，可得出系统在各种相似规律下的预测函数，再用其 作相应情况的预测，预测精度就会有所提高。现在国内外学术界已有不少学者提 出了很多用于分类和预测的神经网络模型3 1 ，3 2 ，3 3 3 4 3 5 3 6 , 3 l 3 8 3 ，例如各种改进 的b p 算法以及各种神经网络最优化组合的方法。笔者在对这些现有的改进的神 经网络模型进行研究之后，选用了自组织特征映射s o m 模型以及e l m a n 神经网 第2 章人工神经网络介绍及组合s o m 和e l m a n 神经网络啄理 络组合预测的方法，并且针对这种组合预测方法在操作上存在的局限性，在s o 卜1 和e l m a n 网络之间添加了一个最传统的b p 模型形成一种数据从输入、自适应 训练到输出整个流程完全脱离人工手动记录的新型结构。利用s o m 神经网络先 把训练样本分为遵循不同规律的若干类( 聚类过程) ，使得在同一个类中的对象 之间具有较高的相似度，而不同类中的对象差别可能较大。然后用传统b p 神经 网络根据聚类结果为每一组训练样本贴上自己的类标号( 分类过程) ，本文中， 笔者设定将输入数据分为两类。最后针对不同的类单独训练出对应于每一类的 e l m a n 神经网络预测模型( 训练输出过程) ，分别称为s b e l 和s b e 2 。对于要 预测的数据，输入后首先判断其属于哪一类，然后选择相应的属于该类的网络模 型来进行计算，从而得到一个合理的输出结果。相比未经过s o m 网络分类直接 学习训练后再进行新数据运算的预测方法，具有更高的预测精度。 以下简要介绍网络的结构和主要运算步骤。 ( 1 ) s o m 神经网络 在计算机中可以采取定的恰当步骤对自组织特征映射模型s o m 进行学 习。这些步骤介绍如下： 1 ) 权系数初始化 对于有刀个输入神经元，p 个输出神经元的s o m 网络，对连接输入神经元 和输出神经元之间的权系数设定为小的随机数a ，一般有：0 _ 口- 1 。同时，设 定邻近区域的初始半径。 2 ) 给出个新的输入模式五，五= ( 五t ，五护凡) ，七= 1 ，2 ，疗 3 ) 求模式以七和所有的输出神经元的距离。 对于输出神经元_ ，它和特定的输入模式x l 之间的距离用d 庐表示，并且有 ( 1 ) 式： - 吆= 0 五一0 = j = 1 , 2 p 4 ) 选择最优匹配的输出神经元c 和输入模式x k 的距离最小的神经元就是最优匹配的输出神经元c 。用表 一 北京t 业大学t 学硕士学位论文 示神经元c 对输入神经元的权系数向量，则应有( 2 ) 式： i i 五一i i = 舰 呶) ( 2 ) 5 ) 修正权系数 根据设定的邻近区域，或递减变小后的区域，对区域c 中的神经元进行权系 数修正。修正按( 3 ) 式执行： ( f + 1 ) = + 7 7 ( f ) 置( f ) 一( f ) ( 3 ) 对于区域c 外的神经元，其权系数不变，即有( 4 ) 式： ( f + 1 ) = ( f ) ( 4 ) 其中，叩o ) 是递减的增益函数，并且有o r l ( t ) 1 。 通常取：7 7 ( f ) = 1 t 或r l ( t ) = 0 2 ( 1 一t 1 0 0 0 ) 6 ) 对于不同的f = l ，2 ，z ( 5 0 0 z 1 0 0 0 0 ) ，重新返回第2 步去执行。 在自组织特征映射模型的学习中，当c 不止包含一个神经元时，这种竟 ( 2 ) e l m a n 神经网络 e l m _ a n 神经网络的非线性状态空间表达式如( 5 ) 式： x ( 尼) = 厂( w l t ( 尼) + w 2 ( “( 七一1 ) ) t ( 后) = x ( 尼一1 ) y ( k ) = g ( w 3 x ( 尼) ) 其中y ，x ，“，x c 分别表示聊维输出节点向量，刀维中间层节点向量， 维输入向量和刀维反馈状态向量连接权为联系单元与隐层单元的连接权矩 阵，1 4 , 2 为输入单元与隐层单元的连接权矩阵，w 3 为隐层单元与输出单元的连接 权矩阵，石c ( 舫，x ( 尼) 分别表示结构单元和隐层单元的输出，y ( 尼) 表示输出单元 的输出， ，弟2 草人上柙绛嘲貉j r 烈殷绀合s o m 丰l ie l m a n 仰经嗍络j 鼠理 g ( ) 为输出神经元的传递函数，是中间层输出的线性组合，( ) 为中间层神 经元的传递函数，常用s i g m o i d 函数 在联系单元中，有一个自反馈增益a ，0 a - - j 算法，如( 9 ) 式： a w 3 = 7 7 3 掣x ，( 尼) ，i 一1 ，2 ，m ；j = 1 ，2 ，” a w 2 = 7 7 2 6 ，h u g ( k - 1 ) ，= 1 ，2 ，n ；q = 1 ，2 ，厂 w l 砘和嵋，筹驴墟，棚舻墟， 其中，7 1 ，礓，为w 1 ，w 2 ，w 3 学习步长，则有3 2 9 ，3 3 0 ，3 3 1 式。 6 尸= ( y 击( 尼) 一y i ( 尼) ) ( 1 0 ) ( 6 ，嵋) 胛斟 = ， 6 北京w q k 大学工学硕七学位论文 学= f j x 姒) + 跏甚 ”7 苏，( 后一1 ) ( 1 2 ) 组合a n n 用于图像分割的建模可分为6 个步骤： 步骤l调查研究，分析系统的特性和影响因素，确定主要的状态变量和主要 影响因素： 步骤2 按照样本序列的维数作为输入节点个数，取输出层( 竞争层) 节点个数 等于或略少于输入样本向量的个数，构成一个s o m o 经网络； 步骤3 用s o m 网络对样本点的主要因素进行分类，并训练该s o m 网络，根据 输出的获胜样本的聚集中心点的个数可以确定样本的分类数，将远离样本聚类中 心点、输出值接近于零的竞争层节点取掉，重复训练直至收敛，以减少s o m o 经网 络竞争层节点的个数； 步骤4以训练成功的s o m 中经网络的输出层节点为输入层节点，以图像分 割输出的变量个数为输出节点的个数，构建一个e l m a n 神经网络，并对其权值进 行初始化； 步骤5 连接s o m o 经网络与e l m a n 神经网络，以s o m 丰o 经网络的输出层 连接e l m a n 神经网络的输入层，利用训练s o m o 经网络的输入样本点和期望输 出的样本点( 期望的结果) 对s o m 和e l m a n 组合神经网络进行训练，在此过程 中，s o m 网络的权值保持不变，只使用b p 算法对e n 嗄a n 网络的权值进行训练； 步骤6 训练收敛后，即可得到s o m 神经网络和e l m a n = o 经网络组合的、具 有预先分类功能的a n n