（通信与信息系统专业论文）非线性混合信号的盲源分离研究.pdf

摘要 盲源分离是宜信号处理的一个重要分支，现有的盲源分离方法大多是关于线性寅源 分离的；而在实际环境中，信号大多是经过嚣线性混合得到的，在非线性混合的情况下， 线性盲源分离方法不再适用，因此，非线性盲源分离的理论研究具有十分重要的实际作 用，对深入拓展盲源分离的应用领域具有非常重要韵意义。 本文综述了现有菲线性盲源分离方法的基本原理、阐述了非线性盲源分离所需的数 学模型及常用的代价函数，指出了现有非线性盲源分离方法的优缺点。本文针对现有的 非线性盲源分离存在的问题，从以下两个方面展开了研究： 首先基于后置非线性模型的非线性盲源分离需要求解混合函数的逆函数，现有的粒 子群算法可以用于求解逆函数，但是该算法经常如现早熟收敛。针对这一问题，本文对 粒子群算法进行改进，通过引入适应度方差及满意解来判断算法的收敛状态，如果算法 进入早熟状态，用混沌思想使粒子跳融早熟状态，解决该算法的早熟问题，得到混沌粒 子群算法。再将混沌粒子群算法用于逆函数的求解，以加快算法的收敛速度和提高算法 的分离精度。最后通过计算机仿真验证了该算法的可行性，使用语音信号作为输入信号 进行仿真，可知基于混沌粒子群算法的非线性富源分离效果比经典的粒子群算法及遗传 算法豹分离效果都好，且该算法还能分离出多辨语音信号。 其次针对信道间存在毒线性交叉混合时，基于后置非线憔模型的非线性盲源分离方 法不再适用，本文用径向基函数神经网络解决这种混合情形下的非线性盲源分离。首先 分析了径向基函数神经网络昀基本原理，它具有局部逼近特性，可闵于非线性盲源分离 中逆函数的逼近过程中。径向基函数的中心是求解径底基函数神经网络的关键，现有求 解中心的方法是必均值聚类方法，僵鬈均值聚类对h 枣刃值比较敏感，还经常陷入局部最优， 使得中心不准确，分离出来的信号精确度不高。针对这些问题，本文用粒子群算法通过 聚类的形式求解径向基函数的中心，得到改进型的径向基函数神经网络，弗将该神经网 络用于非线性盲源分离中。透过将调制信号及余弦信号作炎输入信号进行仿真，可知基 于改进型径向基函数神经网络的非线性盲源分离方法分离散果更好。 关键词：盲源分离；后置非线性模型；混沌粒子群算法；聚类；径向基函数神经网络 非线性混合信号的盲源分离研究 a b s t r a c t b l i n ds o u r c es e p a r a t i o ni sa ni m p o r t a n tp a r to fb l i n ds i g n a lp r o c e s s i o n a tp r e s e n t ，m o s t a l g o r i t h m sb a s e do nl i n e a rb l i n ds o u r c es e p a r a t i o n , b u tm a n ys i g n a l sa r eo b t a i n e db y n o n l i n e a rm i x t u r ei nr e a l w o r l d ，l i n e a ra l g o r i t h m sd on o tw o r ki nt h i sc o n d i t i o n c o n s e q u e n t l y , t h er e s e a r c ho nn o n l i n e a rb l i n ds o u r c es e p a r a t i o nn o to n l yh a sg r e a ts i g n i f i c a n c ef o rp r a c t i c a l a p p l i c a t i o n s ，b u ta l s oh a sg r e a ts i g n i f i c a n c ef o re n l a r g i n ga p p l i c a t i o nf i e l d s t h i sp a p e re x p l a i n e df u n d a m e n t a lt h e o r i e so fe x i s t i n gn o n l i n e a rb l i n ds o u r c es e p a r a t i o n a l g o r i t h r n s ，i n t r o d u c e dm a t h e m a t i c a lm o d e l sa n dc o s tf u n c t i o n sw h i c hn e e d e db yn o n l i n e a r b l i n ds o u r c es e p a r a t i o n , i n d i c a t e da d v a n t a g e sa n dd i s a d v a n t a g e so fn o n l i n e a rb l i n ds o u r c e s e p a r a t i o n t ot h ep r o b l e m so fn o n l i n e a rb l i n ds o u r c es e p a r a t i o n , t h i sp a p e rc a r r i e do n r e s e a r c hf r o mt w oa s p e c t sa sf o l l o w i n g s ： f i r s t l y , n o n l i n e a rb l i n ds o u r c es e p a r a t i o nt h a tb a s e so np o s tn o n - l i n e a rm o d e la l g o r i t h m n e e d st oc o m p u t ei n v e r s ef u n c t i o n p a r t i c l es w a r mo p t i m i z a t i o na l g o r i t h mc a nb eu s e dt o c o m p u t ei n v e r s ef u n c t i o n , b u tt h i sa l g o r i t h mh a st h ep r o b l e mo fp r e m a t u r ec o n v e r g e n c e t o s o l v et h i sp r o b l e m ，w ei m p r o v et h i sa l g o r i t h ma n do b t a i nc h a o sp a r t i c l es w a r mo p t i m i z a t i o n b yu t i l i z i n gf i t n e s sv a r i a n c e ，s a t i s f a c t o r ys o l u t i o na n dc h a o s ，w h i c hc a nm a k ep a r t i c l e sg e to u t o fl o c a lo p t i m u mq u i c k l ya n ds o l v ep r e m a t u r ep r o b l e m t h e nw eu s e di m p r o v e dp a r t i c l e s w a m io p t i m i z a t i o na l g o r i t h mt oc o m p u t ei n v e r s ef u n c t i o n , t h i sa l g o r i t h r nc a ni m p r o v e c o n v e r g e n c es p e e da n ds e p a r a t i n ga c c u r a c y a tl a s t , w e p r o v e d t h ef e a s i b i l i t ya n d e f f e c t i v e n e s so fa l g o r i t h m sb ys i m u l a t i o nr e s u l t s ，t o o ks p e e c hs i g n a l sa si n p u ts i g n a l s ，t h i s s i m u l a t i o nr e s u l t ss h o wt h a tt h e s e p a r a t i o na f f e c to fc h a o sp a r t i c l es w a r mo p t i m i z a t i o n a l g o r i t h mi sb e t t e rt h a to fp a r t i c l es w a r mo p t i m i z a t i o na l g o r i t h ma n dt h i sa l g o r i t h ma l s oc a n s e p a r a t em u l t i p l es p e e c hs i g n a l s s e c o n d l y , a l g o r i t h m sb a s e do np o s tn o n - l i n e a rm o d e ld i d n tw o r kw h e nt h e r ea r e n o n l i n e a rc r o s sm i x t u r ea m o n gc h a n n e l s ，w eu s e dr a d i a lb a s i sf u n c t i o nn e u r a ln e t w o r kt o s o l v et h i sp r o b l e m a tb e g i n n i n g ，w ei n t r o d u c e df u n d a m e n t a lt h e o r i e so fr a d i a lb a s i sf u n c t i o n n e u r a ln e t w o r k , w h i c hh a sl o c a la p p r o x i m a t i o np r o p e r t y ；t h i sp r o p e r t yc a nb eu s e dt oc o m p u t e i n v e r s ep r o c e s so fn o n l i n e a rb l i n ds o u r c es e p a r a t i o n t h ek e yp o i n to fr a d i a lb a s i sf u n c t i o n n e u r a ln e t w o r ki st oc o m p u t ei t sc e n t e r s ；w eu s e dt om a k eu s eo fk - m e a n sc l u s t e ra l g o r i t h mt o o b t a i nt h e s ec e n t e r s h o w e v e r , t h i sa l g o r i t h mi ss e n s i t i v et oi n i t i a lv a l u e sa n do f t e nf a l l si n t o 晗尔滨工程大学颈士学位论文 置薯誊i 嗣皇；警蔫暑奄篁罩毒暑萱皇暑譬薯暑嵩皇置眷暑i 黼；i 喾耐i i i i i 篁；i 篁；眷宣暑麓i 篁喾葺置赢i 薯昌i 蕊鲁鲁薯i i 皇昌眷薯j 簟鲁置麓i 萱高宣警焉景喾暑罱眷i i 眷昌篁葺暑i 薯 l o c a lo p t i m u m , t h e s ep r o b l e m sm a k ec e n t e r sa n ds e p a r a t i o ns i g n a l sa r ei n a c c u r a t e t os o l v e t h e s ep r o b l e m s ，w eu s e dp a r t i c l e $ w a l l l lo p t i m i z a t i o na l g o r i t h mt oc o m p u t e rc e n t e r sb y c l u s t e r i n ga n do b t a i ni m p r o v e dr a d i a lb a s i sf u n c t i o nn e u r a ln e t w o r k a tl a s t , w e 璐et h i s n e u r a ln e t w o r kt os e p a r a t es i g n a l s 。w e 幻o km o d u l a t e ds i g n a la n dc o s i n es i g n 甜a si n p u t s i g n a l s ，t h i ss i m u l a t i o nr e s u l t ss h o wt h a tt h es e p a r a t i o na f f e c to fn o n l i n e a rb l i n ds o u r c e s e p a r a t i o na l g o r i t h m sb a s e do ni m p r o v e dr a d i a lb a s i sf u n c t i o nn e u r a ln e t w o r ki sb e t t e r k e yw o r d s ： b l i n ds o u r c es e p a r a t i o n ；p o s tn o n - l i n e a rm o d e l ；c h a o sp a r t i c l es w a r m o p t i m i z a t i o n ；c l u s t e r i n g ；r a d i a lb a s i sf u n c t i o nn e u r a ln e t w o r k 第1 章绪论 第1 章绪论 1 1 研究背景及意义 在自然界和现实生活中存在着很多信号，人们渴望得到真实的源信号并对其进行处 理，以获得信息和提高改造自然的能力【。盲信号处理( b l i n ds i g n a lp r o c e s s i n g ，b s p ) 是在源信号和传输通道特性未知的情况下，从一个传感器阵列或转换器的输出混合信号 中恢复或提取源信号的一种信号处理方法【1 。2 1 。它与传统的信号处理方法不同，是二十 世纪末发展起来的一个新的研究方向；它结合了信息论、高阶统计理论、神经网络及计 算机智能算法等方面的知识，在语音信号处理、生物医学信号处理、地震信号检测、卫 星通信、图像处理、声纳探测等领域发挥了重要的作用i 卜2 1 。盲信号处理包括盲源分离、 盲辨识、盲解卷积、盲均衡等。 盲源分离( b l i n ds i g n a ls e p a r a t i o n ，b s s ) 是盲信号处理的一个重要分支，即从检 测的混合信号中恢复或估计源信号的过型。它起源于“鸡尾酒问题，“源 是指待 分离的原始信号，如鸡尾酒会中参会者的发言；当盲源分离中的各个源信号彼此是相互 独立的，分离出源信号及求解出分离矩阵的过程就称为是独立分量分析，也就是说独立 分量分析( i n d e p e n d e n tc o m p o n e n ta n a l y s i s ，i c a ) 是实现盲源分离的一种方法【创。盲源 分离根据源信号经过传输信道的混合形式不同，分为非线性盲源分离和线性盲源分离； 线性混合又分为线性瞬时混合和线性卷积混合。盲源分离的研究在医学、语音处理、地 震勘探等领域有着十分重要的理论价值及实际作用。 现有的盲源分离算法大多是针对源信号线性瞬时混合问题的研究，像基于i c a 的一 些线性盲源分离算法已具有良好的性能【7 1 。然而，在实际环境中，由于传输信道的动态 性等，使得传感器检测到的混合信号通常是由非线性混合得到的【9 i 。实际中，传输信道 特性呈现非线性的例子有很多，比如，在卫星转发器中，作为功放级的行波管放大器是 一个非线性放大器，它的幅度特性是非线性的，行波管在饱和状态下工作效率最高，此 时非线性失真也最严重；再比如，当麦克风使用c 类放大器录音时得到的多路语音信号， 也是非线性混合的；还有就是在进行阵列信号处理过程中，在特定的信号传输坏境中， 传感器呈现非线性，像波束形成等【9 l 。非线性混合比线性混合要复杂很多，使得非线性 盲源分离比线性混合情况的分离难度更大；若将线性盲源分离算法引用到 e 线性盲源分 离中，可能会出现完全相反的结果i 引。因此，非线性盲源分离的理论研究具有十分重要 的实际作用，对深入拓展盲源分离理论的应用领域具有非常重要的意义。 哈尔滨i ：w 人彳：硕十学何论文 1 2 国内外研究现状 盲源分离过程一般包括两部分：混合系统和分离系统，如图1 1 所示；其中，分离 系统是混合系统的逆过程【n 1 2 l 。观测信号是经过传感器检测到的信号，是已知的；源信 号和混合系统特性是未知的，分离信号是所求的对源信号的估计信号。分离系统大多都 是依据一定的理论知识，建立目标函数进行无监督学习得到的【引。 源信号观测信号分离信号 混合系统分离系统 图1 1 盲源分离的一股框图 线性盲源分离的混合系统是线性的，一般用一个未知矩阵表示源信号的传输信道混 合特性：在分离系统中，依据信息论或者高阶统计量的知识，建立目标函数，然后用算 法寻优进行无监督学习得到分离矩阵【2 1 。 非线性盲源分离的混合系统是非线性的，分离系统也是非线性的，所以解决非线性 盲源分离是十分复杂的，需要知道传输信道的一些先验信息或施加一定的约束1 2 】o 一般 需要建立模型，用模型来拟合实际混合系统中的非线性，若混合函数已知或可以估计出 来且其逆也存在时，非线性盲源分离就可以转化为线性盲源分离进行分离。本文重点研 究的是求模型中分离系统中的逆函数【2 1 。 1 2 1 非线性盲源分离的发展历程 国外在盲源分离领域研究的学者主要有：法国的c o m o n 和c a r d o s o 、美国的b e l l 和s e j n o w s k i 、日本的c i c h o c l d 及芬兰的o j a 纠1 1 。h e r a u l t 及j u t t e n 在1 9 8 6 年用递归神 经网络模型和h e b b 学习算法，分离了两路相互独立的信号，标志着盲源分离研究的开 始；之后l i n s k e r 提出了适合自组织映射的最大互信息准则1 1 3 l 。二十世纪九十年代初， j u t t e n 等人第一次将人工神经网络思想引入到盲源分离；t o n g 等人提出了关于盲源分离 相对完善的数学框架，可以将盲源分离问题用成熟的线性代数方法进行解决，这时对盲 源分离的研究才取得了真正的进展。随之，有更多的人加入到盲源分离的研究中来，使 得这一领域得到很大的发展。做出突出贡献的有b u r e l ，他用b p 网络实现了线性和非线 性盲源分离：另外，还有c o m o n 于1 9 9 4 年首次提出了独立分量分析的概念，并将其用 于盲源分离：再有就是c i c h o c k i 等人第一次提出了非常有用的自然梯度学习算法1 1 4 l 。 到了1 9 9 5 年，b e l l 和s e j n o w s k i 将盲源分离问题纳入到信息论，使用神经网络消除 2 第1 苹绪论 混合信号之间的相关性，用信息论创建代价函数，将独立分量分析与信息论相结合：这 成为盲源分离发展史上的里程碑。随之，c a r d o s o 等人于1 9 9 6 年对i c a 进行了完善， 提出了“相对梯度”及“等变化性 概念，并且对算法性能的评价提供了具有指导性的 思想；与此同时，k m a t s u o k a 提出了另一种代价函数的创建方法，即使用最大似然函数； 之后，c a r d o s o 发表文章说明上述两种创建目标函数的方法是等效的【l 】。此外，还有很 多人研究基于高阶累量的算法等。后来随着盲信号专辑的出版及有关i c a 会议的召开， 有许多盲源分离算法相继提出，像基于i n f o m a x 理论的自然梯度算法、f a s t l c a 算法等； 这里面的很多算法都具有很好的性能，也被应用于语音识别、地震预报、通信信号处理、 图像恢复与理解等领域。 非线性混合作为更加一般的混合形式，这几年来，受到越来越多学者的青睐。b u r e l 于1 9 9 2 年用b p 网络最先实现了非线性盲源分离；因为非线性盲源分离很复杂也很难实 现，所以发展比较缓慢，时隔几年后，p a r r a 在1 9 9 6 年用前向信息记录非线性映射结构， 成功的分离了非线性混合信号：同年，p a j u n m e n 等人利用自组织特征映射 ( s e l f - o r g a n i z i n gf e a t u r em a p ，s o f m ) 神经网络，将信号从非线性混合信号中分离出 来，然而这种方法非常复杂且不可避免地出现失真：后来y a n g 和a m a r i 用信息后向传 输学习方法实现了某些特殊非线性混合信号的分离【1 5 1 。t a l e b 在1 9 9 8 年发表文章阐述了 后置非线性混合( p o s tn o n - l i n e a r ，阶儿) 模型具有可分离性，并用多层感知器实现了对 非线性混合信号的估计【t 6 - t 7 1 。从这之后，基于p n l 模型的非线性盲源分离算法得到了 迅速全面的发展【_ 7 1 。为了使模型更具一般性，w o o 和k h o r 在2 0 0 2 年提出了线性非线性 线性( l i n e a r - n o n l i n e a r - l i n e a r ，l n l ) 模型，这种模型相对复杂，且不能保证结果的唯 一性1 9 】。w o o 和s a l i 在2 0 0 4 年又提出了m o n o 模型。 在国内对盲源分离研究的起步较晚，张贤达最早在1 9 9 6 年出版书阐述了有关盲源 分离的原理；直到最近几年里，关于盲源分离的研究才慢慢变多。冯大政和史维祥研究 了自适应盲源分离算法，对噪声进行抑制：胡光锐和虞晓等提出了最大熵法增强算法， 实现了卷积混合信号的盲源分离：何振亚和汪军提出了基于高阶谱的盲源分离算法；凌 燮亭利用h e b b 算法，成功分离了在近场混合情况下的信号【1 1 。 1 2 2 非线性盲源分离方法的研究现状 现有的线性盲源分离方法主要有基于信息论的方法和基于高阶统计量的方法，这两 种方法大都在源信号是统计独立的这一个假设条件下进行的，它们都有自己的不足之 处，基于信息论的方法在建立目标函数时，需要知道输出信号的联合概率密度函数，但 哈尔滨工程大学硕士学能论文 它们都是未知的，就需要根据数据对它们进行估计，常用的估计方法有对概率密度函数 进行级数展开或利用特定的非线性函数进行简化等，这个过程比较复杂有时也不准确； 基于高阶统计量的方法在输出信号的路数超过三路时，计算量很大，不太实用；所以使 用范围比较广的是基予信息论的方法p l 。 基于高阶统计量的盲源分离算法的基本思想是：在多路源信号的情况下，当输出信 号中每个分量相互独立时，联舍累积量中全部互累积量都等于0 ，依据这个原理创建嗣 标函数进行寻优分离源信号【熨。比较经典的算法有h - j 算法，它通过求解误差函数的全 局最小值得到分离矩阵；有基于峭度极值的算法，它嗣用高阶统计峭度作为暨标蕊数， 通过随机梯度下降法进行寻优得到分离矩阵，从而得到混合矩阵及源信号；还有 k a r h u n e n 等人提出的定点算法等。 基予信息论的盲源分离算法可以分为三类：输出互信怠最小化( m i n i m u mm u t u a l i n f o r m a t i o n ，m m i ) 、最大信息传输( 1 a f o m a x ) 、最大似然估计( m a x i m u ml i k e l i h o o d e s t i m a t i o n ，m l e ) ；这三类算法在本质上没有什么区别，它们是等价的h 】。互信息最小 化算法的基本思想是：利用输出各个分量的互信息建立雷标函数，各个分量的边缘概率 密度函数通过g r a m - c h a r i e r 展开进行逼近，然盛使用自然梯度下降法进行训练得到分离 矩阵，从而实现盲源分离【5 l 。 躁前为止，非线性盲源分离的方法主要有两种：一种是直接获得非线性特性实现分 离；另一种是用非线性混合模型模拟传输信道的非线性特性，再通过算法对混合模型中 的逆过程进行估计，若非线性特性可以估计出来并且它的逆过程也存在，非线性盲源分 离就可转化为线性亩源分离进行求解 2 1 。 鱼接提取非线性特性的方法主要是由p a j u n e n 等人提出的基于囱组织映射神经网络 的方法【璃0 1 。s o f m 神经网络使二维直角坐标系上的数值服从均匀分布，所以沿着坐标 系中的各坐标轴的边缘概率密度就是统计独立的；另外，s o f m 神经网络能够保持数据 的结构，可以保证分离结果的唯一性；当源信号服从均匀分布时，s o f m 神经网络可以 实现菲线性盲源分离 2 1 。后来l i n 等人对s o f m 神经网络进行了修改，可以快速分离超 赢斯源信号：b i s h o p 等人提出了生成地形映射方法，对源信号分布条件没有了限制婆玎。 上述三种方法，都是在s o f m 神经网络基础上提出的，这类方法的优势是可以实现完全 非线性混合情况下的信号分离，不受模型的限制，并且还可以提供非参数解；然而，这 类方法随着源信号数嗣的增多，网络的复杂性程指数增长，还存在误差，这些缺点限制 了它的发展及应用l 球嘲。 器前利用非线性混合模型来拟合传输信道= 线性特性的方法主要是针对器藿非线 4 第1 苹绪论 性混合模型提出的【2 1 。后置非线性混合模型的基本思想是直接将线性盲源分离的方法通 过引入非线性进行扩展，使线性混合的方法适用于非线性混合的情况；具体过程是对源 信号进行线性混合之后再对其进行非线性混合，通过信息论或高阶统计量建立目标函 数，然后使用优化算法进行优化，得到分离矩阵及非线性函数的逆函数【2 】。基于p n l 模 型的非线性盲源分离算法比较典型的有神经网络法、核函数法、遗传算法、几何法、b a y e s 统计法等【2 1 1 。近几年来，为了提高算法的求解精度和收敛速度，相继提出了一些高性能 的算法，主要有粒子群算法、多目标进化算法、相干函数法等【i l 】。虽然基于p n l 模型 的非线性盲源分离算法得了很大的发展，但是由于这种模型一般是根据源信号的先验信 息或者对先验信息的估计实现分离的，并不是真正意义上的盲源分离，而是“半盲 分 离；另外，基于p n l 模型的非线性盲源分离在一些领域中得到了应用，但是这种模型 是一类特殊简单的模型，不具有的普遍性，在一定上影响了其在实际中的应用【l 叫。 由上可知，有关非线性盲源分离的方法大都停留在算法的研究上，而对于算法的稳 定性及鲁棒性研究还缺乏理论基础；非线性盲源分离的问题比较复杂，因此算法实现也 比较困难，加快算法的收敛速度对其实际应用有很大的作用；对后置非线性混合模型的 研究取得了一定的成果，但对于更符合实际环境的模型的研究很少【2 1 。对非线性盲源分 离算法和模型进行研究，并将其用于实际应用中，是非线性盲源分离发展的方向。 1 3 论文内容安排 非线性盲源分离具有十分重要的实际应用价值，但是由于其复杂性，有关非线性盲 源分离算法的研究也很复杂，需要建立非线性混合模型，常用的非线性混合模型是后置 非线性混合模型。本文主要研究了混沌粒子群算法在基于p n l 模型的非线性盲源分离 中的应用，另外还研究了径向基函数神经网络在非线性盲源分离中的应用。本文的具体 内容安排如下 第一章主要介绍了非线性盲源分离的研究背景和意义，阐述了盲源分离的发展历 程。阐明了非线性盲源分离的主要研究内容。介绍了目前主要的非线性盲源分离方法及 各自的优缺点。 第二章详细介绍了非线性盲源分离算法需要的数学模型及常用的代价函数；另外还 介绍了自组织特征映射神经网络及遗传算法的基本原理，阐明了将它们用于非线性盲源 分离的基本思想，并对它们存在的不足之处进行了简单的分析。 第三章介绍了粒子群算法的基本寻优思想和步骤，并从理论上说明了该算法存在的 问题及用混沌思想解决这些问题的可行性和基本步骤。阐述了将混沌粒子群算法用于后 哈尔滨工群大学硬士学位论文 置菲线性混合模型下的非线性盲源分离的基本原理；最薅通过实验仿真证明了该算法的 有效性。 第蠲章介绍了径向基涵数神经网络的基本原理及其主要的参数学习算法，阐述了粒 子群算法在聚类中豹基本原理及步骤：并将基于粒子群聚类分析的方法用于求解径向基 函数神经网络的中心，对基予置均值聚类的径向基函数神经网络进行改进。阐明了将改 进后的径向基函数神经网络用于非线性盲源分离的基本原理，最后通过实验仿真验证了 该方法能够分离出通道闻存在交叉失真的混合信号。 最后对本文的主要研究内容进行了总结，分析了未来非线性盲源分离的研究方向。 6 第2 章： # 线性宙源分隅冤法 _ _ ii l l 第2 章非线性盲源分离算法 本章详细介绍了现有非线性富源分离的数学模型、代价函数及经典算法，介绍了他 们各自的原理及在非线性盲源分离中的应用。重点介绍了基于白组织特征映射神经网络 的非线性盲源分离方法及遗传算法在毒# 线性盲源分离中的应用。 2 。1 数学模型 设源信号的个数为m ，用掰1 维的列矢量s ) = ，0 x s ：) ，s 。o 妒来表示；设传 感器的个数为珂，观测到的混合信号震刀l 的列矢量x ( ，) = k 。) ；x ：1 5 f x ，o ) 表示；线 性混合系统用# ixm 的矩阵a 表示；噪声用n 0 表示，则得到线性瞬时混合盲源分离的数 学模型为 如) = 缸) + 精) ( 2 - 1 ) 现有的富源分离算法通常不考虑噪声，即假设不存在噪声或在盲源分离前对噪声进 行处理使其可以忽略不计，再或将噪声当成一路源信号进行处理，此时，公式( 2 - 1 ) 就爵简化为刚 x e ) = a s 0 ) ( 2 2 ) 在假设源信号是统计独立的条件下，用w 表示分离矩阵，用 y ) = 陟；鼢y 2 辕，搿表示分离信号，爱| j 有公式( 2 - 3 ) 成立 y 章) 嚣w x ( t ) = w a s ( t ) = g s ( t ) 中， a l ，a 2 ，a ，；是所嬲的混合矩阵；釜，暑协，g ( s - o 是阈 值；f o ) = k ，爿，z r ，翟f 1 ) ，f ”，f ( - l 是模型中s o ) 到x ) 之间的菲线性映射函数， 它们是非线性的。前面所说的p n l 模型和m o n o 模型都可以看成是这个模型的特例。考 虑到线性混合的情形，设一为线性函数，s ( 1 ) 等予零，此肘l n l 非线性混合模型就由 线性矩阵的乘积构成：a = a ，a ：x a 3x - x a ，得到的矩阵a 是线性的，这样l n l 模型就转化为了线性混合模型，其表达式为 x ) = 陋。x a ：x a ，x a 孓0 ) = a s ) ( 2 一1 7 ) 由图2 3 可知，l n l 模型由一1 个j # 线性特性层构成，要想很好的分离岛源信号， 选择合适的表示非线性特性的遗数和非线性层的个数是关键。由予反蓝非线性函数是非 恒定单调递增的有界非线性函数，可以将它们用到l n l 模型中来表示非线性特性。理 论上讲，有一个位于两个矩阵之间的非线性函数层就可以逼近任意一个连续的非线性蘧 数。然面，在实际中，非线性特性不仅存在于混合传输介质中还存在于信号产生及接收 过程中，所以仅有层非线性特性并不能很真实地提供现实环境中所需要的非线性特 性。另外，通用的遥近理论经常假设在神经网络中有无数个神经元，即在硭) 中掰一。 很明显，在模型中要求一个薯# 线性特性层中包含无数个神经元是不现实的。所以这种模 型不能保证盲源分离具有唯一解，在这种模型下，要实现菲线性盲源分离，需要额外的 先验信息或者其他限制。 2 。2 代价函数 现有的富源分离算法大多是通过独立分量分析来完成的，如果输蹬信号y 的各个分 量是两两相互统计独立的，那么输出信号y 就是相互统计独立的。要实现各个随机分量 之间的独立性测量，就需要用到代价函数，且要求代价函数的值与y 各个分量的排序及 绝对幅度的大小无关。在盲源分离过程中，只要建立合适的代价亟数并对其进行最小化 l o 或最大化，那么在满足输出信号y 各个分量统计独立的同时也就实现了盲源分离。常用 到的代价函数有互信息最小化、信息最大化、极大似然估计及高阶累积量【1 1 。下面对这 几种代价函数进行详细的介绍。 2 2 1 互信息最小化 定义2 1 ：设x = i x ，x ：，x 】为个信号源矢量，p ( x ) 是它们的联合概率密度， 则联合熵为 h ( x ) = 日g 。，x ：，x ) = 一f p ( x ) l g p ( x ) d x = 一e 【l g p ( x ) 】 ( 2 1 8 ) 当x = k 。，x ：，x 】中各个分量互相独立时，此时它们的联合熵等于各个分量熵的之和 【5 1 。见下式 h ( x = 日“) ( 2 1 9 ) 定义2 2 ：设随机变量x 的两种概率密度函数分别是p g ) 和q ( x ) ，则它们的 k u u b a c k - l e i b l e r ( 1 江) 散度为【5 1 碰删= m l g 鬻出 ( 2 - 2 0 ) k l 散度是两个概率密度函数之间相似程度的度量，它的值大于等于0 ，当且仅当 p g ) = g g ) 时其值等于o 。它具有比例不变性，即当x 发生比例变化时，它的k l 散度 值不发生变化。 在定义2 2 中，如果用p ( x ) 表示多变量x = b 。，工：，h 】的联合概率密度函数， p b ，x f = 1 , 2 ，) 表示各分量的边缘概率密度函数，得到这两个概率密度函数的k l 散 度为 一 尬私灿枷g 嵩出 ( 2 - 2 ” 称为此时的k l 散度为互信息，用，( x ) 来表示。有k l 散度可知，( x ) 0 ，当且仅 当x 各分量相互独立时，即p ( x ) = 兀p g ，) 时，( x ) = o 。这就是用互信息度量各分量相 互独立程度的理论依据【5 1 。互信息和熵之间的关系为 ，( x ) = g ，) 一( x ) ( 2 2 2 ) 由上可知，互信息等于各分量熵的和减去联合熵，当且仅当各分量相互独立时，各 分量熵的和等于联合熵。在盲源分离过程中，互信息最小化代价函数如下式所示。使用 学 - - 3 或优化算法使输出变量y 的互信息最小，互信息最小时对应的参数即为分离参数【5 1 。 哈尔溱工程大学殒士学位论文 i ii - - i ii ；暑；暑誊 ，) = 耳( y ，) 一君) ( 2 2 3 ) i = 1 计算，) 需要知道输出变量y 的联合概率密度p ) 及各个分量的边缘概率密度 p o , ；) ，但是它们是未知的，需要对它们进行估计。常用的方法是把概率密度展开戒高 阶统计量的级数或通过在输患端引入菲线性蘧数；这些估计方法复杂且存在着误差【5 l 。 2 2 2 信息最大化 美国s a l ki n s t i t u t e 萨克生物研究学院的研究者首次提出了信息最大化代价函数，基 本思想是在输出变量y 的各个分量之后分别加个非线性函数r j = g i ，) 来代替对离阶统 计量的估计。选取适当的非线性函数或，计算输出量r = 阢，吃，】的熵总和好) ，使 其最大，就得到了信息最大化代价函数。岛，) 越接近源信号的累积分布函数，p ，) 越 戆接近p 0 ，) ，y 越能接近s ，一般要求其为单调递增函数 i - 5 】。 当非线性丽数舒抚) 为魏的累计分布函数时，这个代价函数等价于m m i 代价函数， 此时互信息j b ，r ) 最大【h 。由于非线性变换是由单调函数致一个一个的实现的，所以变 换前后互信息量相等。又由于各个菲线性交换是确定的已知量，即给出y 的情况下r 也 是确定量，所以胃r | y 的值等于0 ，则有下式成立 i ( y ，r ) 一片0 ) 一胃( r | y ) = 日 ) 慧粒t ) 一z 0 ) ( 2 2 4 ) i = 1 由上式可知，当互信息z 0 ) 极小且r 中各个分量的熵总和最大时，歹，1 ) 值达到最大， 可见信息最大化代价霜数和互信息最小化代价函数是等价的。 2 2 3 极大似然估计 极大似然估计是统计理论中很重要的参数估计方法，郎用随机变量x 的组采样值 b ，x ：，而】来实现对其概率密度函数的参数模型g g ，秽) 中参数移的估计。该方法用使 下式值达到最大的参数值毒为估计值f 1 2 1 。 五p ) 一1 司兀g 如，扫) | 恭l g k 传，硼 ( 2 2 5 ) l 加|j i - i 在盲源分离过程中，使用最大似然函数去估计观测信号x 的概率密度函数，待估计 的参数是混合矩阵a 及源信号的概率密度函数p ( s ) ，i t 得o = ( a ，p ) ，观测信号x 的参数 模型为 雪k 拶) = 謇& ；a ，p ) ( 2 - 2 6 ) 现有观测信号x 的样本x = g o x x ( 2 ) ，x p ) ) ，假设它们是相互独立的，则得到 1 2 g ( x ) = g ( x ( 1 ) ) g ( x ( 2 ) ) g ( x 仃) ) = 兀g ( x ( f ” ( 2 2 7 ) 在上式中，g ( x ) 表示观测信号的真实概率密度函数，那么归一化的对数似然函数为 l r ( a ，p ) = 睾l g 隆( x ；a ，p ) 】 ( 2 2 8 ) 利用大数定理，可得到下式 ，( a ，p ) = 舰岛( a ，p ) = 舰亭善l g 隆( x ；a ，p ) 1 = e 纰( x ；a ，p = g ( x ) l g 隆( x ；a ，p 肛 ( 2 _ 2 9 ) = 。l g 赫出+ 1 9 k ( x 妞 = 一d ( x i 舢) 一z ( x ) 上式中，d ( x l a s ) 表示x 和a s2 觥jk l 散度，日( x ) 表示观测信号的熵值，令y = a x ， 根据k l 散度对样本空间的可逆变换保持不变的特性，得到下式 i ( a ，p ) = 一d ( x i 舢) 一日( x ) = 一d ( a 一1x l s ) = 一d i x ) 一日( x ) ( 2 3 0 ) 上式中，日( x ) 是与混合矩阵无关的常数，可以忽略不计，此时可得到极大似然估计的 代价函数为 p ) = d p l s ) ( 2 3 1 ) 基于极大似然代价函数的盲源分离可以表述为，通过寻优寻找混合矩阵a ，让a x 的概率密度函数尽可能在k l 散度的意义上逼近源信号的概率密度函数p ( s ) m 】。 可以证明互信息最小代价函数和极大似然估计代价函数是一致的，见下式 ，) = 一( x ) 一l ( y ) ( 2 3 2 ) 由于h ( x ) 是常量，由公式( 2 3 2 ) 可知，互信息，) 最小化意味着似然估计三) 极 大，两者是等价的。 2 2 4 高阶累积量 定义2 3 ：对于随机向量x = k ，x ：，x 。】r ，其第一联合特征函数定义为 v ( v ) - 研e x p lf ，以旷 ( 2 3 3 ) 上式中，v = 卜。，1 ，2 ，v 。r ，驴( v ) 的对数称之为其第二联合特征函数，它可表示为 ( v ) = 1 n e e x p 【v 以旷 ( 2 3 4 ) 定义2 4 ：随机向量x = i x 。，x ：，x 。r 的，阶矩函数用第一联合特征函数可定义为 掰毛，。，毛2露k，x参，x】=；)7荔器j吩。喙。，神(235) 上式中，毛+ 老2 + + 吒- - r 。类似子上述定义，得到x = i x i ，x 2 ，矗r 的r 阶累积量的 定义为 j“。呶=。；)，j；器魄。，。曲 e2 3 6 ， 尤其当如篇k 2 拳嚣以燃l 时，便得到最常见的珂阶累积量的表示形式，见下式 c u m ( x l ，x 2 ，x 。) = c 。嚣q 挑l ( 2 3 7 ) 定理2 。1 ：对于随机向量x = - ，x ：，苫。f ，它的箨阶矩和稚阶累积量满足下丽的 关系 嘶拊一= 舯 ) i e i r l x , 胁eh 酬防3 8 ) 掰舰g ，镌，矗) = ( - 1 ) 0 一1 ) i lln x ，| 剖n 雄l ( 2 一 上式就是著名的m - c 公式，式中奴，葶：，s p j 是p = l ，2 ，腔的撑个整数的所有p 个分块 的集合。 累积量具有这样的一个性质：两个统计独立的随机向量的组合向量的累量恒等于零 诩。所以利用高阶累积量作为代价函数的理论根据可以表示为：当输出变量y 中各个分 量两两相互独立时，它们的联合累积量中所有的互累积量都等于零泌删。 对输出变量y 进行预处理，使其变为零均值的变量。当信号的路数分剐为两路、三 路、网路时瞄删，它们的四阶联合高阶累积量的分别由下面的式子得到 c u m ( 并，y ；) = e l 一2 y 一2 一e p ；k 【y ；】一2 - ；，y ：2 ( 2 3 9