（计算机系统结构专业论文）mca神经网络理论与应用.pdf

摘要 摘要 最小主元的提取在波束形成、频率估计、曲线曲面拟合等应用中扮演着重 要的角色。作为一个重要的统计分析工具，最小主元分析( m c a ) 已经被广泛的 应用到了信号处理和数据分析领域。神经网络能用于从高维输入信号中自适应 的提取最小主元。与传统的矩阵代数方法相比，神经网络方法具有更低的计算 复杂度。 m c a 神经网络的收敛性对于其实际应用是至关重要的。近年来m c a 神 经网络的动力学问题引起了学术界的广泛关注。通过使用传统的确定连续 时间( d c t ) 方法，关于m c a 神经网络的许多收敛性结论已经被得出。但 是，d c t 方法的使用需要基于许多严格的限制条件，而这些条件在实际应用中 通常是无法被满足的。最近，确定离散时间( d d t ) 方法被用于分析许多前馈 神经网络的动力学行为。d d t 方法的使用不需要d c t 方法的严格条件，是一种 更为合理的分析方法。本论文主要使用确定离散时间( d d t ) 方法对m c a 神 经网络的收敛性进行研究。除此之外，对m c a 学习算法收敛速度的分析、对现 有m c a 学习算法的改进措施也被详细的讨论。具体地说，本论文涉及到如下内 容： 1 具有固定学习速度的m c a 学习算法的收敛性分析 根据随机逼近理论，当确定连续时间( d c t ) 方法被用于分析m c a 学习算 法的收敛性时，学习速度被要求趋于零。但是，在许多实际应用中，学习速度通 常取为一个常数。在另一方面，确定离散时间( d d t ) 方法却允许学习速度为一 常数。因此，d d t 方法是一种更为合理的收敛性分析方法。在本论文中，通过使 用d d t 方法，分析了一些重要的m c a 学习算法在具有固定学习速度情况下的动 力学行为，获得了保证算法收敛的充分条件。 2 对m c a 学习算法收敛速度的分析 m c a 学习算法的快速收敛对于实际应用是十分重要的。在本论文中，介绍 了影响m c a 学习算法收敛速度的因素；比较了不同的m c a 学习算法的收敛速 度；提供了一些关于通过选择初始权值向量以加速算法收敛的建议。 3 对m c a 学习算法的改进 在一些m c a 学习算法中存在着范数发散问题。在本论文中，通过引入可变 学习速度和范数归一化步骤，提出了对一些现有m c a 学习算法的改进措施，以 摘要 确保算法中权值向量的范数可以稳定的收敛到一个常数。 4 一般的m c a 学习算法 在本论文中，提出和分析了一个一般的m c a 学习算法。许多其他m c a 学习 算法都可以看作是该算法的特例。 5 串行m c a 学习算法 在一些实际应用中，提取多个最小主元是必要的。在本论文中，一个串 行m c a 学习算法被提出用于从输入信号中提取多个最小主元，同时使用d d t 方 法证明了在学习速度满足某些条件的情况下，该算法是全局收敛的。 关键词：神经网络，最小主元分析，特征向量，特征值，确定离散时间系统 i i a b s t r a c t a b s t r a c t e x t r a c t i o no fm i n o rc o m p o n e n tp l a y sa ni m p o r t a n tr o l ei nb e a m f o r m i n g f r e q u e n c ye s t i m a t i o na n dc u r v e s u r f a c ef i t t i n g a sa ni m p o r t a n ts t a t i s t i c a lt o o l ， m i n o rc o m p o n e n ta n a l y s i s ( m c a ) h a sb e e nw i d e l ya p p l i e di nt h ef i e l d so fs i g - h a lp r o c e s s i n ga n dd a t aa n a l y s i s n e u r a ln e t w o r k sc a d b eu s e dt oa d a p t i v e l y e x t r a c tm i n o rc o m p o n e n tf r o mh i g h - d i m e n s i o n a li n p u ts i g n a l s c o m p a r e dw i t h t r a d i t i o n a lm a t r i xa l g e b r a i ca p p r o a c h e s ，t h en e u r a ln e t w o r k sm e t h o dh a sal o w e r c o m p u t a t i o n a lc o m p l e x i t y c o n v e r g e n c eo fm c an e u r a ln e t w o r k si se s s e n t i a lt op r a c t i c a la p p l i c a t i o n s t h ed y n a m i c a lb e h a v i o r so fm c an e u r a ln e t w o r k sh a v ea t t r a c t e dw o r l d w i d ea t - t e n t i o ni nr e c e n ty e a r s m a n yc o n v e r g e n c er e s u l t sa b o u tm c an e u r a ln e t w o r k s w e r ed e r i v e dv i at h et r a d i t i o n a ld e t e r m i n i s t i cc o n t i n u o u st i m e ( d c t ) m e t h o d i nt h ep a s ty e a r s h o w e v e r d c tm e t h o dr e q u i r e sm a n yr e s t r i c t i v ec o n d i t i o n s t h a ta r eu s u a u yn o ts a t i s f i e di np r a c t i c a la p p l i c a t i o n s r e c e n t l y , ad e t e r m i n i s t i c d i s c r e t et i m e ( d d t ) m e t h o dh a sb e e np r o p o s e dt oa n a l y z et h ed y n a m i c so ff e e d f o r w a r dn e u r a ln e t w o r k s ，d d tm e t h o dd o e sn o tr e q u i r er e s t r i c t i v ec o n d i t i o n sa s t h a to fd c tm e t h o da n di sam o r er e a s o n a b l ea n a l y s i so n e t h i st h e s i sm a i n l y f o c u s e so nt h ec o n v e r g e n c ea n a l y s i so fm c an e u r a ln e t w o r k sw i t hd d tm e t h o d i na d d i t i o n ，t h ec o n v e r g e n c es p e e d so fm c al e a r n i n ga l g o r i t h m sa n dm o d i f i c a t i o n st os o m ee x i s t i n gm c a l e a r n i n ga l g o r i t h m sa r ed i s c u s s e di nd e t a i l t h em a i n c o n t r i b u t i o u sa r ea sf o l l o w s ： 1 c o n v e r g e n c ea n a l y s i sf o rm c al e a r n i n ga l g o r i t h m sw i t hc o n s t a n tl e a r n i n g r a t e s a c c o r d i n gt os t o c h a s t i ca p p r o x i m a t i o nt h e o r y , w h e nd e t e r m i n i s t i cc o n t i n u - o u st i m e ( d c t ) m e t h o di su s e dt oa n a l y z ec o n v e r g e n c eo fm c a l e a r n i n ga l g o - r i t h m s ，t h el e a r n i n gr a t ei 8r e q u i r e dt oa p p r o a c ht oz e r o h o w e v e r ，t h el e a r n i n g r a t ei su s u a l l yt a k e na sac o n s t a n ti nm a n yp r a c t i c a la p p l i c a t i o n s o nt h eo t h e r h a n d ，d e t e r m i n i s t i cd i s c r e t et i m e ( d d t ) m e t h o da u o w st h el e a r n i n gr a t et ob ea c o n s t a n t t h e r e f o r e ，d d tm e t h o di sam o r er e a s o n a b l em e t h o df o rc o n v e r g e n c e a n a l y s i s i nt h i st h e s i s ，d y n a m i c so fs o m ei m p o r t a n tm c al e a r n i n ga l g o r i t h m s i a b s t r a c t w i t hc o n s t a n tl e a r n i n gr a t e sa x ea n a l y z e dv i ad d tm e t h o da n ds o m es u f f i c i e n t c o n d i t i o n sa r eo b t a i n e dt og u a r a n t e et h ec o n v e r g e n c e ， 2 a n a l y s i sf o rc o n v e r g e n c es p e e d so fm c al e a r n i n ga l g o r i t h m s f a s tc o n v e r g e n c eo fm c al e a r n i n ga l g o r i t h m si si m p o r t a n tt op r a c t i c a la p p l i c a t i o n s i nt h i st h e s i s ，t h ef a c t o r st h a ta f f e c tt h ec o n v e r g e n c es p e e d so fm c a l e a r n i n ga l g o r i t h m sa r ei n t r o d u c e d c o m p a r i s o no fc o n v e r g e n c es p e e d so fd i f f e r - e n tm c al e a r n i n ga l g o r i t h m si sc a r r i e do u t s o m eg u i d e l i n e sf o rs e l e c t i n gi n i t i a l w e i g h tv e c t o r sa r ep r o v i d e dt os p e e du pt h ec o n v e r g e n c e 3 m o d i f i c a t i o n st os o m ee x i s t i n gm c al e a r n i n ga l g o r i t h m s t h e r ee x i s t san o r md i v e r g e n c ep r o b l e mi ns o m ee x i s t i n gm c al e a r n i n ga l g o - r i t h m s i nt h i st h e s i s b yi n t r o d u c i n gav a r i a b l el e a r n i n gr a t ea n dn o r m a l i z a t i o n s t e p ，s o m em o d i f i c a t i o n st oe x i s t i n gm c al e a r n i n ga l g o r i t h m sa r ep r o p o s e dt o g u a r a n t e et h a tt h ew e i g h tv e c t o rn o r mc a ns t a b l yc o n v e r g et oac o n s t a n t 4 g e n e r a l i z e dm c al e a r n i n ga l g o r i t h m i nt h i st h e s i s ，ag e n e r a l i z e dm c al e a r n i n ga l g o r i t h mi sp r o p o s e da n da n a - l y z e d m a n yo t h e rm c al e a r n i n ga l g o r i t h m sc a nb ec o n s i d e r e da si n s t a n c e so f t h eg e n e r a l i z e do n e 5 s e q u e n t i a lm c al e a r n i n ga l g o r i t h m i ns o m ep r a c t i c a la p p l i c a t i o n s ，e x t r a c t i n gm u l t i p l em i n o rc o m p o n e n t si sn e e - e s s a r 矿i nt h i st h e s i s as e q u e n t i a lm c al e a r n i n ga l g o r i t h mi sp r o p o s e dt oe x t r a c t m u l t i p l em i n o rc o m p o n e n t sf r o mi n p u ts i g n a l s i ti sp r o v e nv i ad d t m e t h o d t h a ti ft h el e a r n i n gr a t es a t i s f i e ss o m em i l dc o n d i t i o n s ，t h ep r o p o s e ds e q u e n t i a l a l g o r i t h mi sg l o b a l l yc o n v e r g e n t k e y w o r d s ：n e u r a ln e t w o r k s ，m i n o rc o m p o n e n ta n a l y s i s ，e i g e n v e c t o r ，e i g e n v a l u e d e t e r m i n i s t i cd i s c r e t et i m es y s t e m i v 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工 作及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地 方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含 为获得电子科技大学或其它教育机构的学位或证书而使用过的材料。 与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明 确的说明并表示谢意。 关于论文使用授权的说明 本学位论文作者完全了解电子科技大学有关保留、使用学位论文 的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁 盘，允许论文被查阅和借阅。本人授权电子科技大学可以将学位t 舀更 的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或 扫描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后应遵守此规定) 签名：删导师签名- ：菇夏 日期：办”g 年f2 ，月，9 日 第一章引言 第一章引言 人工神经网络作为一种由简单处理单元( 神经元) 所构成的并行分布式处 理器，是对人脑结构和功能的建模【1 】【2 】o 自从上世纪4 0 年代人工神经网络诞生 以来，人工神经网络因其高度的自适应性、容错性和强大的并行处理能力，获得 了巨大的发展，被广泛的应用在了电子、国防、制造、电信等众多领域【2 】。对人 工神经网络的动力学行为进行研究具有十分重要的理论价值和应用价值。 1 1最小主元分析和最大主元分析 最小主元分析( m i n o rc o m p o n e n ta n a l y s i s ，m c a ) 作为一种重要的统计方 法，用于寻找空间中的一个方向，使得信号数据在该方向上的投影有着最小的方 差。与之相对应的是最大主元分析( p r i n c i p a lc o m p o n e n ta n a l y s i s ，p c a ) ，用于 寻找空间中的一个方向，使得信号数据在该方向上的投影有着最大的方差。经 过简单的计算可以发现，最小主元正是信号数据的关联矩阵的最小特征值所对 应的特征向量；而最大主元则是信号数据的关联矩阵的最大特征值所对应的特 征向量【3 】【4 】。 提取输入信号的最小主元( m i n o rc o m p o n e n t ) 和最大主元( p r i n c i p a l c o m p o n e n t ) 具有十分重要的意义和非常广泛的应用。在图像压缩、模式识 别、特征提取等领域中，最大主元分析( p c a ) 被广泛的使用。而最小主元分 析( m c a ) 则被大量地应用到了曲线曲面拟合、数字波束形成、移动目标检测、 计算机图形处理、频率估计、总体最t j 、- - 乘法( t l s ) 等众多领域。研究最小主 元分析技术具有十分重要的理论价值和现实意义。 虽然传统的矩阵代数方法，例如特征值分解( e i g e n v a l u ed e c o m p o s i - t i o n ，e v d ) 或奇异值分解( s i n g u l a rv a l u ed e c o m p o s i t i o n ，s v d ) ，可以用于 解决最小主元或最大主元的提取问题。但是，这些矩阵代数方法必须先获得对输 入信号关联矩阵的估计，然后才能对其进行主元分析。显然，这样一种处理方式 使得矩阵代数方法不适宜在实时环境中在线的进行主元提取。另一方面，在许 多信号处理的实际应用中，输入信号常常被表示为高维的数据向量，这导致对其 关联矩阵进行特征值分解或奇异值分解具有相当高的计算复杂度。而人工神经 网络具有高度的自适应性、容错性和巨大的并行处理能力，使其非常适合于对 高维信号的在线主元提取。因此近年来，众多的神经网络模型及其学习算法被 电子科技大学博士学位论文 提出用于进行最小主元分析【5 1 f 3 0 1 和最大主元分析 3 1 卜 4 6 1 。这些m c a 和p c a 神 经网络大都采用线性神经元模型，将输入信号作为神经元的输入，然后将输入 值加权求和计算出神经元的输出，再根据相应的学习算法，对神经元的权值向 量进行更新，最终使得神经元的权值向量收敛于输入信号的最小主元或最大主 元。在本论文中将主要对采用线性神经元模型的m c a 神经网络的理论和应用进 行深入研究。 1 2m c a 神经网络学习算法的收敛性研究 了解和认识m c a 神经网络的动力学行为及其收敛性对于其实际应用是至 关重要的。但是，绝大部分的m c a 神经网络学习算法都被描述为随机离散时 间( s t o c h a s t i cd i s c r e t et i m e ，s d t ) 系统，而直接研究这些s d t 系统的收敛性 是非常困难的【4 7 卜 4 s 】。因此需要通过某种间接的研究方法来获得对s d t 系统 的动力学行为的了解和认识。研究s d t 系统收敛性的传统方法是确定连续时 间( d e t e r m i n i s t i cc o n t i n u o u st i m e ，d c t ) 方法 4 9 】 6 2 】od c t 方法是根据随机 逼近理论 6 4 】，在满足某些假设的情况下，将随机离散时间( s d t ) 系统转换为与 之对应的确定连续时间( d c t ) 系统。通过这样的转换，s d t 系统可以被描述为 对应的微分方程，例如，o j a 基于著名的反h e b b 规则，提出了一个如下的m c a 学 习算法f 6 1 ： w ( k + 1 ) = w ( k ) 一叩i ( ) z ( ) 一y 2 ( ) 叫( ) l ， ( 1 1 ) 其中目 o 为学习速度，( ) 是一个标量用于表示神经元的输出，x ( k ) 舒是一 个维的列向量用于表示神经元的输入，w ( k ) 彤是神经元的r b 维权值向量。为 了间接的研究s d t 系统( 1 ，1 ) 的收敛性，根据随机逼近理论【6 4 】在满足某些假设 的情况下，系统( 1 1 ) - f 以被转换为如下的确定连续时间( d c t ) 系统 7 】： 竺掣= 一r w ( t ) + p r ( ) 冗”( t ) 钮( 砖， 其中r = e x ( t ) x t ( t ) 】是输入向量 x ( t ) l x ( t ) 研( t = 0 ，1 ，2 ，) ) 的关联矩阵。对 于以上的微分方程，根据相关的稳定性理论，研究其动力学行为，由此得到的 分析结果可以间接的反映原始的s d t 系统( 1 1 ) 的收敛性质。通过使用d c t 方法， 许多描述为随机离散时间( s d t ) 系统的神经网络学习算法的动力学行为被广 泛的研究 4 9 1 一 6 2 1 。 但是，在采用确定连续时间( d c t ) 方法将s d t 系统转换为与之对应 的d c t 系统时，根据随机逼近理论需要满足一些严格的限制条件f 6 3 】一( 6 4 j ，其中 2 第一章引言 之一便是要求算法的学习速度必须趋于0 。但是在许多实际应用中，学习速度通 常被设置为一个大于0 的常数 4 7 】【4 8 】 6 5 】。因此使用d c t 方法所需要的严格限制 条件在实际应用中是很难被满足的，我们需要一种更为合理的研究方法来分析 随机离散时间( s d t ) 系统的动力学行为。 最近确定离散时间( d e t e r m i n i s t i cd i s c r e t et i m e ，d d t ) 方法被用于研究许 多s d t 系统的收敛性 4 7 1 一 4 s 】 6 5 一【7 3 】。d d t 方法通过取条件期望将随机离散时 间( s d t ) 系统转换为对应的确定离散时间( d d t ) 系统。例如，针对o j a sm c a 学习算法( 1 1 ) ，分别在( 1 1 ) 的左右两侧取条件期望e 伽 + 1 ) w ( 0 ) ，z ( ) ，t 0 表示学习速度。o j a sm c a 学习算法通过使用( 2 2 ) 不断的更新权值向 量w ( k ) ，最终使得权值向量”( 女) 收敛到输入信号的最小主元。 2 1m c a 神经网络学习算法概述 自从o j a 8m c a 学习算法被提出以后，陆续有许多学者提出了一些不同形 5 电子科技大学博士学位论文 式的柙经嗍络掌习算法采元成最小主兀昀提取，兵甲比较夏璺明m c a 学习算法 包括： ( 1 ) f e n g sm c a 学习算法( 5 i ： w ( k + 1 ) = 训( 七) 一叼 w r ( 七) 叫( 南) 可( 七) z ) 一叫( 七) 。 ( 2 3 ) ( 2 ) m c ae x i n 学习算法f 7 | ： 吣删叫旷踹一黼 o a ， ( 3 ) l u o m c a 学习算法【8 】1 9 】： ( 七+ 1 ) = 训( 后) 一叼 w 丁( 后) t j ( 七) 可( 七) z ( 七) 一y 2 ( 七) ( 七) 。 ( 2 5 ) ( 4 ) o j a nm c a 学习算法【1 1 】： w + ) = ” ) 一”可) p ( m ) 一老5 筏景黠 。 ( z 。) ( 5 ) o j a + m c a 学习算法【6 】 w ( k + 1 ) = 叫( ) 一7b ( ) z ( ) 一( y 2 ( ) + 1 1 b o ( k ) 1 1 2 ) ”( ) 。( 2 7 ) ( 6 ) o j a mm c a 学习算法【1 2 】 ”( 七+ 1 ) = ”( ) 一刀 可( 七) z ( 七) 一高”( ) ) a ( 2 8 ) ( 7 ) d o u g l a s m c a 学习算法【1 3 】 t u ( 七+ 1 ) = t 。( 孟) 一? 7 t u ? ( 南) t u ( 尧) 2 ( 觅) 。( 后) 一分2 ( 惫) 缸，( 后) ) 。 ( 2 9 ) ( 8 ) a m e xm c a 学习算法【1 4 】： ” + 1 ) = 甜( ) 一叩p ( 七) 。( 七) 一禹 。( z t 。) 这些m c a 学习算法均是通过自适应的调整神经元的权值向量 ( ) ，使得 随着k o 。，权值向量 ( 七) 收敛于输入信号 z ( 七) i z ( ) 舒晴= 0 ，1 ，2 ，) ) 的 最小主元。显然，m c a 神经网络学习算法的收敛性对于其实际应用具有十 6 第二章m c a 神经网络学习算法的收敛性分析 分重要的意义。但是，许多m c a 学习算法都存在范数发散问题。下面，我们 以o j a 8m c a 学习算法( 2 2 ) 为例，简单说明一下m c a 学习算法的发散问题。 为了简化问题的讨论，我们设想神经元的输入为常量 z ( ) i x ( k ) 三1 ( 七= 0 ，1 ，2 ，) 的一维情况，令算法的学习速度q 为一常数，并且满足1 q 0 。又 因为y ( k ) = z t ( ) 埘( 七) = 枷( ) 。将z ( ) - - 1 和( ) = w ( k ) 代入( 2 2 ) ，经过简单 的整理，f 2 2 ) 可以被简化为： 叫( 后+ 1 ) = 叫( 七) 1 一叩+ r w 2 ) 。 ( 2 1 1 ) 下面我们分成两种情况来讨论一下系统( 2 1 1 ) 的动力学行为。 情况1 ：初始权值w ( 0 ) 1 由( 2 1 1 ) 可知 ( 七+ 1 ) = w ( k ) ( 伽2 ( 后) 一1 ) ，7 + 1 a 因为w ( 0 1 1 ，显然 叫( 1 ) 叫( 0 ) 不难推断，对于所有的k 2 均有 ( 忌) 伽( 1 ) w ( o ) 1 。 因此 叫 + 1 ) 2 训( 南) ( 叫2 ( o ) 一1 ) 町+ 1 2 叫( o ) ( 叫2 ( o ) 一1 ) 7 7 + 1 ， o ) 。 因为( 加2 ( o ) 一1 ) 町+ 1 1 ，所以 h mw ( k ) = o 。 k + o o 情况2 ：初始权值1 w ( o ) 0 根据( 2 1 1 ) ，可以得到 w ( k + 1 ) = 加 ) 1 一( 1 一w 2 ( ) ) 目 。 由1 ( 0 ) 0 和1 q 0 ，可知 0 w ( 1 ) ( o ) 。 7 电子科技大学博士学位论文 不难推断，对于所有的k 2 均有 因此 0 w ( k + 1 ) w ( k ) w ( 1 ) w ( o ) 1 。 + 1 ) s ( 七) 1 一( 1 一舻( o ) ) 矸 s ”( o ) 1 一( 1 一w 2 ( o ) ) 叫2o ) 。 因为0 a 。0 ( 2 1 2 ) 设 口1 ， 是舻空间的一组标准正交基，其中的每一个讧0 = 1 ，2 ，n ) 是关 联矩阵尉 q 特征值a ；所对应的单位特征向量。显然，对于每一个k 0 ，权值向 量( ) 都可以被表示为： n w ( k ) = ：麓( ) ， ( 2 1 3 ) = 1 其中五( 七) = 1 ，2 ，n ) 是某些常数。同时，根据r a y l e i 曲商的相关性质 8 0 】f 8 l 】， 可知对于所有的w ( k 1 o 均有 枢鬻妯， ( 2 1 4 ) 8 第二章m c a 神经网络学习算法的收敛性分析 并且 蜘7 ( ) 砌( 七) w 7 ( ) 叫( ) w t ( k ) r w ( k ) w t ( 七) ( 七) = a l ，当r w ( k ) = l l w ( k ) ， = a 。，当r w ( k ) = a 。t u ( ) 。 ( 2 1 5 ) ( 2 1 6 ) 有了上面的基本知识以后，下面我们使用确定离散时间( d d t ) 方法对两个 典型的m c a 学习算法( f e n g sm c a 并f l o j a nm c a ) 的收敛性进行分析，获得保 证相应算法收敛的充分条件。 2 2 f e n g sm c a 学习算法的收敛性分析 为了解决总体最小二乘法问题，f e n g - 等人提出了一个如下的最小主元分 析( m c a ) 算法【5 ： w ( k + 1 ) = w ( k ) 一叩 t ( ) t j ( ) g ( ) 。( 七) 一伽( ) ， ( 2 1 7 ) 其中” 0 是学 - j 速度。 使用确定离散时间( d d t ) 方法，通过在( 2 1 7 ) 左右两边取条件期望e 伽 + 1 ) 加( o ) ，z ( ) ，i 的关联矩阵。 根据( 2 1 3 ) 和( 2 1 8 ) ，可以得到 麓 + 1 ) = 1 + 7 ( 1 一九1 1 w ( k ) 1 1 2 ) 魂( 七) ，o = 1 ，2 ，n ) 。 ( 2 1 9 ) 为了保证d d t 系统( 2 1 8 ) 的有界性，我们提出如下的“不变集”定义【4 8 】 定义2 1 舻空间的一个子集s 被称为系统( 2 1 8 ) 的一个不变集，如果对于任 何w ( o ) s ，开始于 ( o ) 的任何轨迹将始终被包含在集合s 内部。 显然，因为不变集提供了一种保j 正f e n g sm c a 学习算法不发散的方法，因 此对不变集的研究是非常有意义的。为了研究f e n g 8m c a 学习算法的动力学行 为，下面的引理是有用的。 引理2 1 如果k = 0 ，那么系统俾砂中的权值向量 ( 七) 是发散的 9 电子科技大学博士学位论文 证明根据( 2 1 9 ) ，如果k = 0 ，那么 ，2 i ( 七+ 1 ) = ( 1 + q ) ；。( ) ，( 0 ) 。 因为学习速度叼 0 为一常数，因此 证毕。 。l i r a m ( ) = o o 。 口 征讦多上程应用甲，由于噪声信号明存在，输入佰号的关联矩阵r 的最小特 征值h 通常是大于零的。不失一般性，在本论文中，我们假设k 0 。 引理2 2 如果叩o 5 那么对于所有的s o ， 可碉，均有 1 + 可( 1 一a 。s 2 ) s s 、百7 忑 证明定义在区间 0 ， 可_ 上的一个可微函数： f ( 8 ) = 1 + q ( 1 一k s 2 ) s 。 函数，( s ) 的一阶导数可以被表示为： ，( s ) = 1 + 叩一3 q a 。s 2 ，s 0 ，、百7 x - 。 显然， ，( s ) o ，如果。s 葛罢a 这意蝴在区卟，阙上是单调递增的o 蛳那么 。，倜c o ，阕。 这样，对于任意s 0 ， 可碉，都有 ，( s ) ，( 以压) = 以压a 证毕。n 1 0 墨三童 坚旦垒塑丝堕塾兰翌簦鲨塑坚箜丝坌堑 2 2 1 不变集 为了研究系统( 2 1 8 ) 的收敛性，获得确保其有界的条件是十分必要的。下面， 我们将给出系统( 2 ，1 8 ) 的一个不变集以保证其权值向量( 后) 的范数不会发散到 无穷大。 定理2 3 设 s = h 哦i i 训2 扑 如果 叩 o ，o = l ，2 ，n ) 。 根据( 2 1 3 ) ，( 2 1 8 ) 和( 2 1 9 ) ，可以得到 f f w ( k + 1 ) 俨= 露 + 1 ) = 塞 z + ”( ，吐忡( 珊) 2 掷) l + r 1 - a , 。懈) f f 2 ) 2 妻棚 = i + n ( i kj j 叫( k ) 1 1 2 ) 2 i l w ( k ) 1 1 2 ， 即， 1 w ( c + 1 ) 1 1 1 + q ( 1 一a 。1 1 w ( k ) 1 1 2 ) l l 叫( ) i l 。 由引理2 2 ，可知 0 ”( + 1 ) 0 、百万i 。 这意味着 + 1 ) s ，即s 是一个不变集。证毕。口 皇王型堇奎堂竖圭堂垡丝奎 2 2 2 收敛性分析 在上一个小节中，一个不变集被提取出来以确保系统( 2 1 8 ) 中的权值向 量 ( 七) 是有界的。在本小节中，我们将迸步分析系统( 21 8 ) 的收敛性。 引理2 4 设 叶_ 0 ，使得对于所有o 均有 1 1 w ( k ) 1 1 2 e ， 其中 e = m i n 1 1 坤) 1 1 2 ，暮) 。 证明，根据定理2 3 ，s 是一个不变集，因此对于所有的是20 ，均有i f ( 功i | 2 1 a 。下面，分成两种情况来完成证明： 情况1 ：1 1 w ( k ) 1 1 2sl 从l n n l l w ( k ) 1 1 2 1 a 。，那么 1 + 叩( 1 一九1 1 w ( k ) 1 1 2 ) 1 ，o = 1 ，2 ，n ) 。 m ( 2 1 9 ) ，可知 露 + 1 ) = 1 + 4 ( 1 一走1 1 w ( k ) 1 1 2 ) 2 孝 ) 看( 动，o = 1 ，2 ，n ) 。 因此，对于所有的| | 叫( ) 1 1 2 1 a 1 ，均有 1 1 w ( k + 1 ) 1 1 2 1 1 w ( k ) 1 1 2 。 情况2 ：l a 1 1 a 1 ，根据( 2 1 9 ) 可以得到 “) | j 2 = 娄 + ”( ，圳删j 2 ) 心硼酬陉誓。 第二章m c a 神经网络学习算法的收敛性分析 有 综合情况1 和情况2 的分析结果，不难得出以下结论：对于所有的0 ，均 川2 面小) il ，孙 证毕。口 引理2 5 设 叩r a i n 馀o s ) 如果( o ) s 且加7 ( o ) 。0 ，那么存在常数巩 0 乖1 0 使得对于所有 的k20 ，都有 亏( 惫) 1 1 - e 却” 证明根据定理2 3 ，s 是一个不变集，因此对于所有的o 均有l l w ( k ) l 2 1 a 。因为叩k a l ，显然私11 1 w ( k ) 1 1 2 k 1 1 w ( k ) 1 1 2 1 。因此， 1 + 叼( 1 一i i ”( k ) 1 1 2 ) = 叩+ ( 1 - v l a j l l w ( k ) 1 1 2 ) o ，( j = l 2 ，n ) 。 根据引理2 4 ，可知对于所有的k 0 ，均有 1 1 w ( k ) 1 1 2 ( ， 且 z毛去黼三糊。，。=-，。，-，n一-， 令 盯= 告舞等 2 。 显然口是一个常数，并且0 盯 0 。 因为s 是一个不变集，所以( 七) 必然有界，即存在常数d 0 ，使得对于所有 的膏2o 均有2 ：( ) d 。因此，对于任何k o 均有 霎卅薹黝2 圳蛐e 川 ， 其中 。= d 萎j = i 器 2 。 - - d l 瑞l 。 l ，j 证毕。口 引理2 6 刀s 商n 滢o s ) 如果 ( o ) s e w 7 ( o ) 。0 ，那么存在一个常数0 1 ( o 口1 1 ) ，使得对于所有 的20 ，均有 f 1 - r a , ，f f 叫 ) 1 1 2 ) 2 一w 2 a 。1 1 ” ) 1 1 2 1 0 ，自媚l l w ( k ) 1 1 22 ( 20 ) 。令矿= r a 。l l w ( k ) 1 1 2 ，显 然， 0 ，( p + ) f ( r ) ，( 1 ) ， 即 1 ，( 叩a 。) f ( o + ) 1 2 町 一叼。 因为叩s0 5 ，所以存在常数q l = ( h a 。( ) 0 ，使得i f ( o + ) i 0 ，使得对于所有 的后0 ，均有 1 1 一a 。o 伽( + 1 ) 1 1 2 l + 1 ) 2 e - 0 2 ( 2 + 1 ) - i - m a x e 一8 2 ，e 一以) 。 证明根据( 2 1 9 ) ，可知对于所有的0 ，均有 w t ( k + 1 ) + 1 ) = 考 + 1 ) = 1 + r ( 1 l l w ( k ) 1 1 2 ) 2 捆 ：壹 ，+ ”1 - a , 。) i | 2 ) 】2 裥 + 芝 ( 圳啡) 1 1 1 + r 12 ) 阳+ l( 凡愀2 ) l 露( 七 一基 ，+ 叩1 - a , , 川2 ) 阳m ) = 1 + 叩( 1 一a 。1 1 w ( k ) 1 1 2 ) 21 1 w ( k ) 1 1 2 + 日) ， 1 5 电子科技大学博士学位论文 其中 n 一1 日( ) = 叼( 2 + 2 目- r a t i t 叫( k ) 1 1 2 一q a 。ir ”( k ) 1 1 2 ) ( h a 洲”( 珊z 。 ；1 显然，对于所有的o 均有 令 显然 1 一a 。i i 叫( k + 1 ) 1 1 2 = 1 一a 。 1 + 7 ( 1 一a 。i i ”( k ) 1 1 2 ) 21 1 w c k ) 1 1 2 一a 。日( ) = 1 - 吣) 1 1 2 ) ( 1 - - f i x , , i i 吣) 1 1 2 ) 2 一怫2i i 啡) 1 1 2 _ 。 y ( 南) = 1 1 一k 1 1 w ( k ) 1 1 2 l 。 矿+ 1 ) y ( ) 。( 1 - r a , 。i i 伽( ) 1 1 2 ) 2 一叩2 a 。i i ”( ) 1 1 2 i + a 。i h ( ) i 。 令 6 = l ( 1 一卵a 。i i 伽( ) 1 1 2 ) 2 一”2 a 。i i ”( ) 1 1 2 i 。