（运筹学与控制论专业论文）扩展独立成分分析的若干算法及其应用研究.pdf

大连理工大学博士学位论文 摘要 独立成分分析( i n d e p e n d e n tc o m p o n e n ta n a l y s i s ，i c a ) 是一种新兴的数据处理与 分析方法，主要用于在源信号和混合信道未知的情况下，从观测数据来提取原始的独 立源信号。近年来，该方法已经成功地应用于语音信号处理、生物医学信号处理、神 经计算、图像特征提取、远程通信、人脸识别等众多领域。i c a 具有广阔的应用前景， 吸引了众多的科研工作者献身其中，因此近些年获得了长足的发展。然而，i c a 的研究 尚处于发展阶段，仍有许多问题有待进一步深入研究和解决。 本文首先对i c a 的国内外研究现状以及应用作了较详细的介绍，然后介绍了标准 i c a 和扩展i c a 的相关知识。最后，针对i c a 现有的几个问题，例如按顺序输出独立成 分、只提取一个或多个感兴趣信号的盲抽取问题以及带噪观测信号的盲信号分离问题 等进行了研究，提出了几个较为有效的算法。本文的主要工作概括如下： 1 针对独立成分输出顺序的不确定性问题，提出了一种基于约束i c a 模型的排序 算法。由于现有的标准i c a 算法往往仅探求独立成分的方向，认为所得到的源信号的 顺序对于通常所考虑的问题影响不大，从而忽略了这种不确定性。然而，在某些特殊 应用中，确定输出成分的顺序是必需的。针对这种需要，本文提出了一种基于投影方 法的约束i c a 模型，根据某些统计量的大小来规定输出成分的顺序，并结合n e w f p 算 法得到了相应的约束不动点算法。由于算法是不动点型算法，从而避免了其它梯度型 算法中学习率的选择问题。基于模拟信号、语音信号的仿真实验以及实际的胎儿心电 数据的处理结果证实了算法的有效性。 2 针对时间i c a 的盲源抽取问题，提出了两个基于待抽取信号时间结构特性的盲 抽取算法。首先，利用待抽取信号的广义自相关性以及其新息的非高斯性，提出了基 于两者的凸组合模型，得到了梯度型的盲抽取算法，并在理论上给出了算法的稳定性 分析。与一般的只利用非高斯性或只利用时间结构性的算法不同，该算法有效结合了 这两个特性，从而能够较大限度地挖掘数据中的隐含的信息。在图像数据以及胎儿心 电信号的抽取实验中，取得了较好的抽取效果。其次，以待抽取信号的先验参考信息 为基础，将待抽取信号的参考信号和广义自相关性相结合，构造了基于两者的目标函 数并提出了一种新的盲抽取算法。与现有的盲抽取算法相比，新算法更充分利用了待 抽取信号的先验参考信息。需要指出的是，该算法并不过分地依赖于参考信号，即使 选取的参考信号较一般时，也能得到较为满意的效果。基于胎儿心电数据的实验证实 了算法的较好性能。 3 针对带噪数据的抽取及分离问题，提出了两个基于源信号时间结构特性的去噪 算法。首先，将待抽取信号广义自相关性与高斯矩函数相结合，通过最大化这种广义 自相关性，给出了感兴趣信号的去噪盲抽取算法。该算法采用偏差移除技术，是对无 扩展独立成分分析的若干算法及其应用研究 噪i c a 算法的修正，以去除或减少由噪声引起的偏差。与现有的一些噪声盲抽取算法 相比，即使在噪声协方差较大时，也能得到较满意的效果。而且本算法对时间延迟的 估计误差不敏感。基于模拟信号、图像数据以及胎儿心电数据的实验结果证实了算法 的有效性。其次，将源信号的非线性新息表示与高斯矩函数相结合，提出了种适用 于源信号协方差非平稳情况的去噪盲源分离算法。并针对现有噪声方法较少考虑噪声 未知这一问题，进一步将其推广到噪声协方差未知情况，实验证实了算法的有效性和 实用性。 关键词：独立成分分析；盲源分离；盲信号抽取；约束独立成分分析；时间独立成分 分析；噪声独立成分分析 r e s e a r c ho ns e v e r a la l g o r i t h m s a n a l y s i sa n d f o re x t e n d e di n d e p e n d e n tc o m p o n e n t t h e i ra p p l i c a t i o n s a b s t r a c t i n d e p e n d e n tc o m p o n e n ta n a l y s i s ( i c a ) i san e w p r o m i s i n gm e t h o df o rd a t ap r o c e s s - i n ga n da n a l y s i s t h ea i mo ft h ei c ai st oe ) ( t r a c 七o r i g i n a li n d e p e n d e n tc o m p o n e n t sf r o m o b s e r v e dd a t at h a ta r em i x t u r e so ft h eu n k n o w ns o u r c e sw i t h o u ta n yk n o w l e d g eo ft h e m i x e dc h a n n e l r e c e n t l y , i c ah a sr e c e i v e dg r e a ta t t e n t i o nd u et oi t sp o t e n t i a l s i g n a lp r o - c e s s i n ga p p l i c a t i o n ss u c ha ss p e e c hs i g n a lp r o c e s s i n g ，b i o m e d i c a ls i g n a lp r o c e s s i n g ，n e u r a l c o m p u t a t i o n ，i m a g ef e a t u r ee ) c 七r a c t i o n ，t e l e c o m m u n i c a t i o n sa n df a c er e c o g n i t i o ne t c d u e t oi t sw i d ea n da t t r a c t i v ea p p l i c a t i o n s ，m a n yr e s e a r c h e r sh a v es t u d i e di c ai nt h ep a s t t w e n t yy e a r sa n dm a d et h i st e c h n i q u ec o n s i d e r a b l ed e v e l o p e d h o w e v e r ，i c ai ss t i l li na n i n i t i a ls t a g eo fd e v e l o p m e n t ，s o m ep r o b l e m sa b o u ti t st h e o r ya n da p p l i c a t i o nn e e dt ob e e n h a n c e da n di m p r o v e df u r t h e r i nt h i sd i s s e r t a t i o n ，w ef i r s tp r o v i d ea ni n t r o d u c t i o na b o u tt h er e s e a r c hs t a t u sa n d a p p l i c a t i o n so fi c ab o t ha th o m ea n da b r o a d t h e n ，p r e l i m i n a r yk n o w l e d g eo fb a s i ca n d e x t e n d e di c aa r eg i v e n ，i na d d i t i o n ，s o m ep r o b l e m so fe x t e n d e di c a ，f o re x a m p l e ，t h e o r d e r i n go fi n d e p e n d e n tc o m p o n e n t s ，t h eb l i n de x t r a c t i o no fo n eo ras e to fi i l t e r e s t i n g s i g n a l sa n dt h en o i s yb l i n ds o u r c es e p a r a t i o n ，a r ei n v e s t i g a t e dd e e p l ya n ds e v e r a ln o v e l e f f i c i e n tm e t h o d sa x e p r o p o s e d t h em a i nw o r k si nt h i sd i s s e r t a t i o nc a nb ei n t r o d u c e da s f o l l o w s ： 1 b a s e do nt h ec o n s t r a i n e di n d e p e n d e n tc o m p o n e n ta n a l y s i sm o d e l ，w ep r o p o s e am e t h o df o re l i m i n a t i n gt h ei n d e t e r m i n a c yo np e r m u t a t i o no ft h ei c a m o s to ft r a d i t i o n a li c aa l g o r i t h m so n l ye x p l o i tt h ed i r e c t i o no fi n d e p e n d e n tc o m p o n e n t sb u ti g n o r e t h e s ei n h e r e n ti n d e t e r m i n a c y , w h i c hi sc o n s i d e r e da 8u n i m p o r t a n ti m p a c tf a c t o r si nt h e s i g n a lp r o c e s s i n g h o w e v e r ，i nm a n ys p e c i a la p p l i c a t i o n s ，t h i si n h e r e n ti n d e t e r m i n a c y n e e d st ob ed e t e r m i n e d c o n c e r n i n gt h i sc a s e ，w ep r o p o s ea na l g o r i t h mf o rc o n s t r a i n e d i n d e p e n d e n tc o m p o n e n ta n a l y s i sm o d e lb a s e do np r o je c t i o nm e t h o d sa n d i n c o r p o r a t et h e n e wf i x e d p o i n t ( n e w f p ) a l g o r i t h mi n t ot h i sc o n s t r a i n e di c am o d e lt oc o n s t r u c tan e w c o n s t r a i n e df i x e d p o i n ta l g o r i t h m t h i sm e t h o di sa p p l i e dt oo r d e rt h ei n d e p e n d e n tc o m p o n e n t si nas p e c i f i cs t a t i s t i c a lm e a s u r e s m o r e o v e r ，i ti sm o r es i m p l et oi m p l e m e n t t h a no t h e re x i s t i n ga l g o r i t h m sd u et oi t si n d e p e n d e n c eo ft h el e a r n i n gr a t e c o m p u t a t i o n s i m u l a t i o n so ns y n t h e s i z e ds i g n a l s ，s p e e c hs i g n a l sa n dr e a l - w o r l df e t a le l e c t r o c a r d i o g r a p h ( e c g ) d a t ad e m o n s t r a t et h a tt h i sm e t h o dn o to n l ys y s t e m a t i c a l l ye l i m i n a t e st h ei n d e - i i i 扩展独立成分分析的若干算法及其应用研究 t e r m i n a c yo fi c ao np e r m u t a t i o nb u ta l s op e r f o r m sb e t t e r 2 w ef u r t h e rs t u d yt h ei s s u eo fb l i n ds o u r c ee x t r a c t i o n ( b s e ) o nt e m p o r a li c a ( t i c a ) a n dp r e s e n tt w ob s ea l g o r i t h m sf o re x t r a c t i n gt h ed e s i r e ds i g n a lw i t ht e m p o r a l s t r u c t u r e s f i r s t l y , t h r o u g hc o m b i n i n gt h eg e n e r a l i z e da u t o c o r r e l a t i o n so ft h ed e s i r e ds i g n a la n d t h en o n - g a u s s i a n i t yo fi t si n n o v a t i o n s ，w ed e v e l o pa no b j e c t i v ef u n c t i o n ，w h i c hi sf o r m u - l a t e da st h ec o n v e xc o m b i n a t i o no ft h e s ep r i o r is p e c i a lt e m p o r a lc h a r a c t e r i s t i c s m a x i - m i z i n gt h i so b j e c t i v ef u n c t i o n ，w eo b t a i na ne f f i c i e n tg r a d i e n tb s ea l g o r i t h ma n df u r t h e r g i v ei t ss t a b i l l t ya n a l y s i si nt h i sp a p e r n o t et h a ti c aw i t hi t sb a s i cf o r mi g n o r e st h e t i m es t r u c t u r ea n du s e so n l yt h en o n - g a n s s i a n i t yc r i t e r i a h o w e v e r ，t h ep r o p o s e da l g o - r i t h mc o m b i n e sb o t ho ft h e s ee s t i m a t i o nc r i t e r i a ( n o n - g a u s s i a n i t ya n dt i m e - c o r r e l a t i o n s ) i no r d e rt oe x p l o i tt h ed a t ai n f o r m a t i o na sm u c ha sp o s s i b l e s i m u l a t i o n so ni m a g ed a t a a n de c gd a t ai n d i c a t ei t sb e t t e rp e r f o r m a n c e s e c o n d l y , b a s e do nt h et e m p o r a lc h a r a c t e r i s t i c sa n do t h e rp r i o ri n f o r m a t i o no fd e s i r e d s i g n a l s ，w ed e v e l o pa no b j e c t i v ef u n c t i o nf o re x t r a c t i n gt h ei n t e r e s t i n gs i g n a l s ，w h i c h c o m b i n e st h eg e n e r a l i z e da u t o c o r r e l a t i o n sa n dr e f e r e n c ei n f o r m a t i o no fd e s i r e ds i g n a l s m a x i m i z i n gt h i so b j e c t i v ef u n c t i o n ，ab s ef i x e d - p o i n ta l g o r i t h mi sp r o p o s e d c o m p a r i n g w i t ho t h e rb s em e t h o d ，t h i sm e t h o dm a k e sf u l lu s eo fm o r ep r i o r ii n f o r m a t i o no ft h e d e s i r e ds i g n a l i ts h o u l db ep o i n t e do u tt h a tt h eg o o dp e r f o r m a n c eo ft h ep r o p o s e d a l g o r i t h mm a ya t t r i b u t et ot h ea p p l i c a t i o no fap r o p e r l yr e f e r e n c es i g n a l f o r t u n a t e l y , t h ep r o p o s e dm e t h o dd o e sn o te x c e s s i v e l yd e p e n do nt h es e l e c t i o no ft h er e f e r e n c es i g n a l s ， w h i c hg e n e r a l i z e st h i sm e t h o df o rb r o a d e ra p p l i c a b i l i t y s i m u l a t i o n so i la r t i f i c i a le c g s i g n a l sa n dt h er e a l - w o r l de c gd a t ad e m o n s t r a t et h eb e t t e rp e r f o r m a n c eo ft h en e w a l g o r i t h m 3 w es t u d yt h ep r o b l e mo fe x t r a c t i n go rs e p a r a t i n gs o u r c es i g n a l sw i t ht e m p o r a l s t r u c t u r e s m o r e o v e r ，w ep r o p o s et w on o i s ya l g o r i t h m sb a s e do nt h e s ep r i o r is p e c i a l c h a r a c t e r i s t i c sa n dg a u s s i a nm o m e n t s f i r s t l y , w ea d d r e s st h ee x t r a c t i o no ft h en o i s ym o d e lb a s e do nt h et e m p o r a lc h a r a c t e r - i s t i c so fs o u r c e s a no b j e c t i v ef u n c t i o n ，w h i c hc o m b i n e sg a u s s i a nm o m e n t st og e n e r a l i z e d a u t o c o r r e l a t i o n s ，i sp r o p o s e d m a x i m i z i n gt h i so b j e c t i v ef u n c t i o n ，w ep r e s e n taf i x e d - p o i n t n o i s yb l i n ds o u r c ee x t r a c t i o na l g o r i t h m ，w h i c hi sg i v e nb yb i a sr e m o v a lt e c h n i q u e s t h i s m e a n st h a to r d i n a r y ( n o i s e - f r e e ) i c am e t h o d sa r em o d i f i e ds ot h a tt h eb i a sd u et og a u s - s i a nn o i s ei sr e m o v e d ，o ra tl e a s tr e d u c e d c o m p a r i n gw i t ho t h e re x i s t i n ge x t r a c t i o n a l g o r i t h m s ，t h ep r o p o s e da l g o r i t h ms h o w si t sr o b u s t n e s st ot h ee s t i m a t e de r r o ro ft i m e d e l a ye v e nt oh i g hn o i s el e v e l s i m u l a t i o n so ns y n t h e s i z e ds i g n a l s ，i m a g e sa n de c gd a t a d e m o n s t r a t et h eb e t t e rp e r f o r m a n c eo ft h ep r o p o s e dm e t h o d s e c o n d l y r ep r e s e n tan o i s yb l i n ds o u r c es e p a r a t i o na l g o r i t h mw h i c hi n c o r p o r a t e s j a u s s i a nm o m e n t si n t ot h en o n l i n e a ri n n o v a t i o no f o r 逗i n a ls o u r c e s t h j sm e t h o di s a p p l i c a b l et ot h es i t u a t i o nw h e nt h en o i s ec o v a r i a n c ei sk n o w na n ds o u r c es i g n a l sa r e n o n s t a t l o n a r yi nt h es e n s et h a tt h ev a r i a n c eo fe a c hi sa s s u m e dt oc h a n g es m o o t h l va s af u n c t i o no ft i m e f u r t h e r m o r e ，t h i sm e t h o di se x t e n d e dt ot h ec a s eo fn o i 8 ec d v 乏i - a t l e eu n k n o w ni na d v a n c e v a l i d i t ya n d d e m o n s t r a t e db yc o m p u t e rs i m u l a t i o n s p e r f o r m a n c eo ft h ed e s c r i b e da p p r o a c h e sa r e k e yw o r d s ：i n d e p e n d e n tc o m p o n e n ta n a l y s i s ；b l i n ds o u r c es e p a r a t i o n ；b l i n ds o u r c e e x t r a c t i o n ；c o n s t r a i n e di n d e p e n d e n tc o m p o n e n ta n a l y s i s ；t e m p o r a li n d e p e n d e mc o m p o n e n ta n a l y s i s ；n o i s yi n d e p e n d e n tc o m p o n e n ta n a l y s i s 。v 一 独创性说明 作者郑重声明：本博士学位论文是我个人在导师指导下进行的研究工 作及取得研究成果。尽我所知，除了文中特别加以标注和致谢的地方外， 论文中不包含其他人已经发表或撰写的研究成果，也不包含为获得大连理 工大学或者其他单位的学位或证书所使用过的材料。与我一同工作的同志 对本研究所做的贡献均已在论文中做了明确的说明并表示了谢意。 大连理工大学博士学位论文 大连理工大学学位论文版权使用授权书 作者签名：塑兰查& 聊始煌墨鱼 堕年生月丛日 象芝 士部授怖 硕关入递 学有席据 一一一一一 馓一一一 解学始捕秒了大分嘣存全工托功锵教大版墒制戥献硼瑚删挣雕电瑚争黜，和汶描争”件论扭 大连璎工大学博士学位论文 1绪论 独立成分分析f i n d e p e n d e n tc o m p o n e n ta n a l y s i s ，i c a ) 是近年来出现的一种新的 数据分析工具，旨在揭示随机变量、观测数据或信号中的隐藏成分，具有广泛而重要 的应用前景。该方法以非高斯源信号为研究对象，在它们彼此统计独立的假设下，对 多路观测到的混合信号进行盲分离，从而提取出隐含在混合信号中的独立源信号。本 章首先介绍了i c a 研究的重要意义，然后介绍了i c a 的国内外研究现状及应用概况， 最后给塞本论文的主要研究内容和章节安排。 1 1引言 i c a 是从多维统计数据中寻找其内在因子或成分的一种方法，被看作是传统 的统计方法一主成分分析( p r i n c i p l ec o m p o n e n ta n a l y s i s ，p c a ) 和因子分析( f a c t o r a n a l y s i s ，f a ) 的一种扩展。薹c a 的基本原则是：基予各个源信号之闻的相互统计独 立性，利用表征独立性的高阶累积量信息，挖掘出潜在的源信号。与p c a 和f a 相 比，i c a 是一项更强有力的技术，当传统的统计方法完全失效时，它仍然能够找出支 撑观测数据的内在因子或成分。对予i c a 方法，不同领域的学者对其关注点也不尽相 同，比如，神经科学家和生物学家关注的是生物意义上的无监督神经网络模型及其发 展，健们希望月更为可靠的技术手段，从复杂昀生物信号中提取出“有用 信号来。 对于从事科学计算的专家和工程人员，他们希望研究的模型尽可能的简单，或者希望 计算上能提出更为灵活有效的算法，用于解决不同领域中出现的科学和工程应用问 题。而另类群体数学家和物理学家，他们更注重基础理论的发展，对已有的算法 的机理、性能的理解，以及考虑如何将其推广到更复杂、更高层的模型中去。也正是 不嚣领域的学者的持续努力和合作，使得至c a 能够褥以迅速的发展和完善埘。 i c a 最初的动机是希望解决鸡尾酒会问题( c o c k t a i lp a r t yp r o b l e m ) ，它是信号处 理中的经典问题一盲源分离( b l i n ds o u r c es e p a r a t i o n ，b s s ) 1 划闽题的特例。这里所谓的 “富弦是指源信号及其混合方式都是未知的，一般而言，因为其双喜性，盲源分离闯 题是很难解决的。事实上，i c a 正是在这种需求下应运而生的，它正是解决该问题的 有效方法之一。一誊以来，i c a 方法的发展与畜源分离问题息息相关，两实际的盲源分 离问题又是方方面面的，因此需要将各种实际情况转化为相应的数学模型来解决。目 前人们重点研究的是扩展的独立成分分析，其模型是标准的i c a 模型的扩展和补充， 来进一步满足实际需要，比如冥有嗓声的独立成分分析p 瑶4 ，稀疏和超完备表示问题 ( o v e r c o m p l e t er e p r e s e n t a t i o n s ) u 4 。埔1 ，具有时间结构的独立成分分析问题u 卜圳，非线性 的独立成分分析弘h 训和菲平稳信号的独立成分分析m 弱等。 i c a 从出现到现在不过二十几年，然而凭论从理论上还是应用上，它正受到越来 越多的关注，无论在神经网络领域，还是高级统计学和信号处理领域，它已经成为国 扩展独立成分分析的若干算法及其应用研究 内外研究的一个热点。特别是从应用角度看，它的应用领域与应用前景都是非常广阔 的，目前主要应用于盲源分离、生物信号处理、语音信号处理、无线信号、故障诊 断、特征提取、图像处理、金融时间序列分析、数据挖掘等。因此，深入研究i c a 具 有重要的理论意义和应用价值。 1 2 独立成分分析的国内外研究综述 2 0 世纪8 0 年代早期，法国学者h 6 r a u l t 、j u t t e n 和a n sp ”1 在神经生物学的背景 下，提出了一个特别的反馈电路( f e e d b a c kc i r c u i t ) ，用于解决肌肉收缩运动编码的 简化模型羽，自此引入了i c a 技术，尽管那时还没有采用i c a 这个名称。1 9 8 6 年， h 6 r a u l t 和j u t t e n 在美国举行的神经网络计算会议上，进一步提出了一种反馈神 经网络模型和一种基于h e b b 学习规则的学习算法，它能实现两个独立源信号的盲分 离。h 6 r a u l t 和j u t t e n 的工作开辟了一个崭新的研究领域一盲信号分离。随后，两入较 为详细地描述了盲源分离问题，并给出了著名的h j 算法。虽然他们的学习算法属于 启发式的，且没有明确指出需要利用观察信号的高阶统计量信息，但是其迭代计算公 式已经具备了后来算法的雏形。1 9 9 1 年，发表于s i g n a lp r o c e s s i n g 杂志的三篇经典文 章删，标志着盲源分离研究的重大进展。1 9 9 4 年，c o m o n p q 从数学角度给出了i c a 的 统一框架，界定了解决b s s 问题的i c a 方法的基本假设条件，明确指出了应该通过使 某个称之为对比函数( c o n t r a s tf u n c t i o n ) 的目标函数达到极大值来消除观测信号中的 高阶统计关联，从而实现盲源分离。从此以后，“i n d e p e n d e n tc o m p o n e n ta n a l y s i s ” 成为文献中的正式用语，关于它的研究工作也随之发展起来。 1 9 9 5 年，b e l l 和s e j n o w s k i 基于信息极大化原理，发表了i c a 发展史上的里程碑文 章p ”剐。其重要贡献在于：1 ) 利用神经网络的非线性特性来消除观测信号中的高阶 统计相关性。2 ) 用信息极大化准则建立目标函数，从而将信息论方法与i c a 结合起 来。3 ) 给出了神经网络式的最优迭代学习算法( 简记为：i n f o m a x 算法或者b - s 算法) ， 成为后续各种算法的基础。4 ) 对具有1 0 个说话人的鸡尾酒会问题给出了很好的分离效 果。因为算法模仿人脑的信息处理原理、高效且形式简单，因此迅速引起了神经网络 学界的广泛关注，从而带动了一大批后续的研究工作。其中，日本学者a m a r i 等人陋如1 从参数空间的黎曼几何结构出发，给出了改进的i n f o m a x 算法，该方法基于自然梯度方 法，克服了原始i n f o 】n 8 x 算法需要计算逆矩阵、收敛速度较慢这一问题。同期，法国学 者c a r d o s o 等人p “”从i c a 问题的李群结构出发，基于等变化性，提出了类似于自然梯 度型算法的相对梯度型算法，并就学习算法的等变化性、稳定性和分离精度等问题给 出了重要的思路和方法。与最初的i n f o m a x 算法相比，自然梯度型算法和相对梯度型算 法避免了矩阵逆的计算，提高了算法的计算效率。需要指出的是，当源信号得以完全 分离时，i n f o m a x 算法中的非线性项就是未知的源信号的概率分布函数。因此为了拓宽 该算法解决问题的广度，1 9 9 6 年，p e a r l m u t t e r 等3 9 4 叫通过多变量概率密度函数的定义 2 一 大连理工大学博士学位论文 和在线参数估计方法，将最初的i n f o m a x 算法迸一步推广，得到了极大似然估计算法， 从而使可分离的源信号类型的范围得以扩大。基于上述极大似然目标函数，涌现出了 众多的学习算法，比如极大似然的臻然梯度法、相对梯度法等p l 一卅，并且c a r d o s o 指 出极大似然估计和信息极大原理是等价的。同样地，为了克服原始的i n f o m a x 算法只能 解决超高斯信号混合的盲源分离问题这一缺陷，g i r o l a m i 、l e e 和s e j n o w s k i 啪等学 者将基于信息极大化的i c a 作了迸步的扩展，通过稳定性分析来设置开关缀数以选 择不同的非线性函数来分别实现超高斯信号和亚高斯信号的盲源分离，这就是著名的 扩展信息极大纯算法( e x t i c a 算法) 。 前面所论述的众多i c a 学习算法均是梯度上升或梯度下降方法，这类方法的 缺点是收敛速度较慢，尤其是在进行大规模的数据处理时，计算的时闻较长，效 率低，并且需要针对不同的问题来选取合适的选取学习率( 学习步长) 。针对这种情 况，h y v 蕴r i n e n 和o j a 等学者基于负熵极大化准则，提出了i c a 的不动点算法( f a s - t i c a 算法或f 砾痞粉i 贰算法罗毹h 硼。这种王c a 算法的优点是收敛速度快，不需要用户选 择学习率( 学习步长) 。由于该算法的优异性能，在实际计算中被广泛应用。目前，在国 际上广泛使用的是f a s t i c a 算法和l e e 等的扩展的i n f o m a x 算法( e x t i c a ) 。s h i 等删综 合了f a s t i c a 算法和e x t i c a 算法两者的优势，提出了一个新的不动点算法，能够自动 的分离具有超高斯和亚高斯分布源的混合信号，并且算法具有收敛速度较快、分离精 度更高、不需要设定学习步长等优势。 不仅如此，2 0 0 0 年，l e e 等学者归基于另一个很重要的估计方法互信息极小化方 法，提出了梯度学溺算法。h y v i r i n e n p 磁和l e e 阱1 等学者还诬硝了基于极大似然估计方 法、负熵极大化方法以及互信息极小化方法的学习算法与基于信息极大化得到的学习 算法是等价的，由此可见标准的i c a 可以用一个统一的信息论学习准则来实现，所得 算法的形式也是基本类似的。 除了上述方法之外，还有一些处理盲源分离的重要方法，比如说，基于高阶统 计量的方法、基于非线性去相关和菲线性p c a 的方法等。c 皴d o 鼢删较旱的用霾阶 矩进行盲源分离( f o u r t h - o r d e rb l i n di d e n t i f i c a t i o n ，f o b i ) ，提出了一种简单的正交和 加权两步代数算法，使用该算法，独立源信号可以较容易的作为改进了的协方差矩 阵的特征矢量被辨识出来，但该算法的缺点之一是不能辨识出具有相同分布的源信 号。针对这一问题，t o n g 和l i u 等p 卅首先通过正交变换，然后对观测信号的四阶矩进 行奇异值分解，得到了扩震的露阶膏辨识( e x t e n d e df o b i ，e f o b i ) 和多未知信号抽 取算法( a l g o r i t h mf o rm u l t i p l eu n k n o w ns i g n a l se x t r a c t i o n ，a m u s e ) 。c a r d o s op 叫还 提如了用联合近似对角化( j o i n ta p p r o x i m a t ed i a g o n a l i s a t i o no fe i g e n m a t r i c e s ，j a d e ) 豳阶累积量的特征矩阵进行盲提取的方法，通过联合对角化累积量矩阵，使得处理 所有累积量集合的计算效率与基于特征值分解的技术相当。另一类非线性去相关方 法可以看作是二阶方法如白化和p c a 的推广，上文提到战联j 算法就隶属予该类方 一3 扩展独立成分分析的若干算法及其应用研究 法。由h j 算法出发，c i c h o c k i 及其合作者们发展了一个性能和可靠性更好的算法一 c i c h o c k i u n b e n a u e n 算法p 卜甜1 。需要指出的是2 0 世纪9 0 年代初提出的这个算法与后来 a m a r i 等人提出的自然梯度法实际上是相同的。此外，受i c a 方法的启发，o j a 、x u 和 k a r h u n e n 等人【5 1 最早在p c a 【4 9 棚7 川方法中引入某种非线性性，提出了非线性p c a 的概念，并将其应用于盲信号分离中。但最早提出的非线性p c a 方法只适用于亚高斯 信号。因此，1 9 9 7 年g i r o l a m i 和f y f ef 将其发展到亚高斯和超高斯两类源信号混合 的分离问题，此方法可以看作是c o m o n 批处理优化算法p 刨的自适应推广。该方法并不 是建立在信息论框架下的，但从判据的最终形式看，与建立在信息论框架下的结果大 致相同。 与此同时，i c a 在国内的研究也发展起来，下面简要介绍一些国内的研究情 况。1 9 9 4 年，胡波和凌燮亭 引3 1 结合传感器阵列接收信号的微分信号，利用自学习盲 信号分离方法实现了延时狭带信号的盲分离，并利用反馈式神经网络根据h e b b i a n 的 学习算法，实现了近场情况下一般信号的盲分离。利用天线阵列，接收信号可以看作 是由n 个独立信号源激励的线性传输混合系统的输出，由于信道存在码间干扰，混合 矩阵的元素不是常数，而是一个线性子系统，针对这一情况，凌燮亭p 卅于1 9 9 5 年提出 了一个新的盲分离器结构，首先将接收信号进行盲分离，然后利用基于模型的盲均衡 器消除每一路输出信号的码间干扰，从而实现了多用户信号的分离。张贤达p 叫在1 9 9 6 年出版的时间序列分析一高阶统计量方法一书中，系统的介绍了有关盲分离的基本 理论，并给出了相关的算法。2 0 0 2 年张贤达、朱孝龙和保铮p q 提出了分阶段选择盲分 离算法学习率的方法。2 0 0 4 年，张贤达、朱孝龙等提出了基于自然梯度的递归最小二 乘盲信号分离算法p 丌，并对音频信号的盲分离与半盲分离进行了相关的研究p q 。1 9 9 6 年，汪军和何振亚q 讨论了一般情况下的宽带盲辨识和信号盲分离问题。1 9 9 8 年， 何振亚等p 叫证明了l i n s k e r 的i n f o m a x 算法在输入一输出为非线性映射且无输入噪声条件 下与i c a 算法等价，而当输入- 输出为线性映射且输入信号和噪声为高斯分布条件下 i n f o m a x 算法与p c a 算法等价。1 9 9 8 年，刘琚等p 叫给出了一种新的基于信息理论的盲 信号分离判据，该判据基于统计独立的假设，同时利用了最大信息传输和输出互信息 最小化，同i n f o m a x 方法相比，该方法可分离范围更广的信号。刘琚等p 硐给出一种瞬 时混迭信号分离的自适应方法，该方法将预白化和正交化合二为一。1 9 9 9 年，刘琚 等一刮根据统计独立的假设，利用概率密度函数的e d g e w o r t h 展开，提出了一种基于互信 息最小化准则的分离方法。同时对盲反卷积和盲信道均衡的算法做了研究p 州纠。2