盲源分离问题综述

1、盲源分离问题综述摘要：盲源分离，是从观测到的混合信号中恢复不可观测的源信号的问题。作为阵列信号处理的一种新技术，近几年来受到广泛关注。本文主要阐述了盲源分离问题的数学模型、典型算法以及盲源分离的应用，并结合盲源分离问题的研究现状，分析了其未来的发展方向。主题词：盲源分离;盲源分离的典型算法1. 引言盲信号分离问题起源于人们对“鸡尾酒会”问题的研究。 在某个聚会上，我们正在相互交谈，同一时刻同一场景下其他人的交谈也在同时进行着，可能还有乐队的音乐伴奏，这时整个会场上是一片嘈杂。但是非常奇妙的是，作为交谈对象的双方，我们能够在这混乱的众多声音中很清晰的听到对方的话语，当然，如果我们偶尔走神，将精力

2、放在乐队奏出的音乐时，我们也同样可以听清楚音乐的主旋律。这种可以从由许多声音所构成的混合声音中选取自己需要的声音而忽视其他声音的现象就是鸡尾酒会效应。如何在这种从观察到的混合信号中分离出源信号的问题就是所谓的盲分离（Blind Signal Separation, BSS）问题，有时也被称为盲源分离（Blind Source Separation）问题。1986年，法国学者Jeanny Herault和Christian Jutten提出了递归神经网络模型和基于Hebb学习律的学习算法，以实现两个独立源信号混合的分离，这一篇开创性论文的发表使盲源分离问题的研究有了实质性的进展。随着数字信号处理

3、理论和技术的发展以及相关学科的不断深入,大量有效的盲分离算法不断被提出,使盲分离问题逐渐成为当今信息处理领域中最热门的研究课题之一,在无线通信、图象处理、地震信号处理、阵列信号处理和生物医学信号处理等领域得到了广泛的应用。2. 盲源分离问题的数学模型盲源分离是指在不知道源信号和信道传输参数的情况下,根据输入信号的统计特性,仅由观测信号恢复出源信号各个独立成分的过程。盲源分离研究的信号模型主要有三种:线性混合模型、卷积混合模型和非线性混合模型。2.1 线性混合模型线性混合模型在神经网络、信号处理等研究中常常用到,其数学模型描述为:S1t，S2t Snt是一个随机的时间序列，用m个话筒表示接收到的

4、混合信号，用X1t，X2t Xmt来表示。它们有如下关系：X1t=a11S1t+a1nSntXmt=am1S1t+amnSnt其中aij是未知的混合系数，在线性瞬时混合中，一般假定aij是未知的常数矩阵。盲源分离需要解决的问题就是如何从接收到的观察信号中估计出源信号S1t，S2t Snt和混合矩阵的过程。实际上式还应该存在一个干扰存项，如果考虑到噪声的存在，那么上式可以推广到更一般的情况，即为：X(t)=AS(t)+n(t)X(t)= (X1t，X2t Xmt)为接收到的m维随机向量，又称为观察向量，也是唯一可以利用的条件，S(t)= (S1t，S2t Snt)是n维独立的源信号组成的向量，又

5、称为隐含向量，因为它们是未知的观察不到的向量，有时也称为独立分量，n(t)为噪声向量，A是aij系数组成的混合矩阵。盲分离问题就是求得一个分离矩阵W，通过W就可以仅从观察信号X(t)中恢复出源信号S(t)。设y(t)是源信号的估计矢量，则分离系统可由下式表示：Y(t)=WX(t)2.2 卷积混合模型考虑到延迟和滤波的混迭信号的线性混合，这通常被称为卷积混合，其数学模型描述为:Y(t)=k=-W(k)x(t-k)因为传输的延时以及接收系统频响的差异，瞬时混合系统盲分离算法一般不能够处理卷积混合问题。一类很有研究前景的方法就是频域盲源分离算法，利用频域算法可以提高BSS方法的收敛速度和学习速度，另

6、外时域卷积问题可以变换为频域相乘问题。2.3 非线性混合模型非线性混合是一种研究最为广泛的模型,即将源信号线性混合后再通过一个非线性函数得到观察信号，其数学模型描述为:Y(t)=f(Z(t)=f(AS(t)求解时首先寻找一个非线性函数g(t)，使得g(t)=f-1(t)，即非线性的校正阶段,然后同线性瞬时混合的盲分离求解一样寻找一个分离矩阵从而求得源信号的近似。3. 盲源分离问题的典型算法3.1 H-J算法Herault和Jutten可能是最早对盲源分离问题进行研究的，他们引进了仿神经的算法，是一种逐步调整权重的神经网络。图一 H-J算法仿神经网络由图可知，Y(t)= X(t)- WY(t)，

7、即Y(t)=(I+W)-1X(t)，算法的实质就是引入了信号的高阶统计信息，不过由于学习每一步过程中都要对矩阵（I+W）求逆，导致运算量增加。H-J算法中非线形函数的选取具有随意性，在理论上没有给出令人满意的收敛性证明，但是在实际应用中的收敛性相当不错。不过需要注意的是H-J算法仅用于观察信号数目与源信号数目相同的情况下，仍然具有一定的局限性。3.2 最大熵算法从信息理论角度来考虑，盲信号分离问题就是一个以分离系统最大熵为准则，利用神经网络或自适应算法，通过非线性函数来间接获得高阶累积量的过程。这种方法的思想就是当神经元输出Z的各个分量zi相互独立时，其熵最大，所以这种方法又称为最大熵算法。B

8、ell和Sejnowski的这种方法是将Linskers的信息传输最大化理论推广到非线性单元来处理任意分布的输入信号。这一原理具体内容如下：假设信号通过S型函数传输时，如果该S型函数的斜率部分与信号的高密部分保持一致时，则可以实现信息的最大化传输。由最大熵原理可以知道，当输出熵最大时，互熵也最大，即有最多的信息通过了可逆变换从输入端传输到输出端。这时输入变量的概率密度函数和可逆变换G之间的关系由Linsker的最多信息原理（Infomax Principle）描述：当函数G的最陡部分与输入变量的最陡概率部分向重合时，最大的信息从输入端传导了输出端。图二 最大熵算法网络结构示意图对于最大熵算法所

9、处理的最基本的问题就是要使得一个神经网络处理单元的输出Y(t)中包含的关于其输入X(t)的互信息最大。这个算法只能够分离出超高斯信号的混合，这个限制的重要原因是在算法中使用了非线性函数log，非线性函数是log就相当于强加一个先验知识超高斯分布给源信号。3.3 最小互信息算法最小互信息（Minimum Mutual Information, MMI）的基本思想是选择神经网络的权值矩阵W，使得输出Y的各个分量之间的相关性最小化。这里的信号间的相互依赖关系可以用Y的概率密度函数及其各个边缘概率密度函数的乘积间的K-L散度来表示。在使用互信息作为信号分离的代价函数时，对输出的各个分量无需使用非线性变

10、换这种预处理手段。由随机梯度算法得到：dW(t)dt=tW-T-(Y)xT其中t为学习率,(Y)函数的选取与独立元的本身性质有关。函数(Y)的选取对于整个算法的性能有很大的影响，如果知道了真正的概率密度函数，最好的选择就是使用它们，但是实际中我们很难知道这些知识，只能够进行概率密度的自适应估计，所以对这个关键的非线性函数进行研究，也是一个值得关注的问题。3.4 最大似然算法最大似然估计（Maximum Likelihood Estimation, MLE）是利用已经获得的观测样本来估计样本的真实概率密度。具有诸如一致性、方差最小性以及全局最优性等很多优点，但是最大似然估计需要知道关于输入信号概

11、率分布函数的先验知识，这是很难满足的，所以必须尽量避开它。最大似然估计首先是由Girolami和Fyfe于1996年提出用于盲分离问题，而Pearlmutter和Parra从最大似然估计推导出通用的ICA学习规则。目前，最大似然算法是解决盲分离问题的一个非常普遍的方法。通过推导可以得到标准化的最大似然函数：L (x1,x2,xn;)=pxxlogpx(x;)dx=-Dpxx|px(x;)-H(pxx)由此式我们可以发现最大似然函数是由Kullback-Leibler散度和熵值得到的，而第二项的熵不依赖于参数，相当于一个常数项。Cardoso将上式转化为一个盲源分离问题：pxx为x的概率分布函数

12、，混合信号由X=AS给出，=A为所要求的未知的混合矩阵，参数集是一组可逆的NN的矩阵。这样由上式可以得到最大似然估计的代价函数就变成L=-Dpxx|px(x;)3.5 独立分量分析算法(ICA)信号经过变换后,使不同信号分量之间的相关性最小化,并尽可能相互统计独立。目前已经有很多有效的在线ICA算法,如自然梯度算法、EASI算法、广义ICA算法、灵活ICA算法和迭代求逆ICA算法等。这些算法都可归类为最小均方算法(LMS),但LMS型算法存在收敛速度和稳态性能之间的矛盾，一般有如下几种典型的独立分量分析算法。1.快速定点算法(FastICA)FastICA算法基于非高斯性最大化原理,使用固定点

13、迭代理论寻找WTX 的非高斯性最大值。该算法采用牛顿迭代算法,对观测变量X的大量采样点进行批处理,每次从观测信号中分离出一个独立分量,是一种快速的寻优迭代算法。FastICA算法适用于任何非高斯信号,具有良好的收敛性(二次收敛) ,同时不需要选择学习步长。但该算法只能以批处理的方式进行,不适合实时应用的需要,而且随着信号源个数的增加,算法性能会明显变差。算法的梯度公式如下:W = diag (i)diag (i)+Eg(y)yT W式中: i=-1i+Egyi; i= - Eyigyi。2.自然梯度算法由于分离矩阵的变化空间是黎曼空间,而自然梯度J( y;W )WWTW是随机梯度J( y;W

14、)W在黎曼空间的扩展,所以自然梯度更真实地反映了最速下降方向,同时由于右乘正定矩阵消去了矩阵求逆运算,因此自然梯度算法在收敛速度和稳定性方面都较随机梯度有所改善。梯度公式如下:W =I - g ( y)yTW，式中：为学习步长3.等变化自适应算法( EASI)EASI算法用相对梯度J( y;W )W代替一般的随机梯度进行优化计算,是一种将白化过程和去除高阶相关过程同时进行的一种具有等变化性的算法。但是EASI算法需要选取学习率参数,且其选取是否合适直接影响算法的收敛性能,且其对于超高斯信号的收敛速度没有递归最小二乘(RLS)算法快。其梯度公式如下:W =I - yyT + g ( y) yT-

15、 ygT( y) W自然梯度算法、EASI算法和迭代求逆算法都具有等变化性,但只适合于亚高斯或超高斯信号单独存在的情况。在亚高斯和超高斯信号同时存在时,可以使用广义ICA算法和灵活ICA算法等自适应算法,但它们的计算比较复杂。3.6 非线性PCA算法主分量分析PCA是以输入数据协方差矩阵的最大特征值以及相应的特征向量定义的常规的统计信号处理方法，标准的PCA方法仅仅用到了输入数据的二阶统计量，输出数据之间满足互不相关。将高阶统计量引入标准的PCA方法中就称为非线性PCA（Nonlinear PCA, NLPCA）方法，利用非线性PCA可以完成对输入信号的盲分离。高阶统计量是以隐含的方式引入计算

16、的，算法采用自适应迭代的方法，易于工程实现。非线性PCA有两个优点：一是输入输出间的映射是非线性的，而标准PCA只能够实现线性映射；二是非线性PCA在处理输入数据时，考虑了高阶统计量，而不仅仅是其二阶统计量，这个特性对于盲信号处理是特别有用的。非线性PCA的代价函数为：J(W)=E|V-Wg(WTV)|2这里的权值W是mm的矩阵,g()是对矢量的非线性函数，在非线性准则里，g()通常是一些奇函数，如亚高斯信号g(t)=tanh(t)，超高斯信号g(t)= t3等。3.7 非线性混合盲分离算法在非线性混合模型中,盲信号分离算法的分离目标是获取逆线性混合矩阵。非线性盲分离的研究主要有以下几类方法:

17、1.自组织映射(SOM)法:该算法不考虑非线性混合的具体形式,但其网络复杂性会随着源信号数目的增多呈指数增长,且在分离连续源信号时存在严重的插值误差。2.感知器模型法:1992年,Burel首先提出用一个两层感知器和基于BP思想的无监督训练算法,通过梯度下降算法最小化互信息量准则,得到一种可用于非线性混合信号的盲分离算法。1998年,Yang和Amari利用两层感知器网络结构,通过最大熵和最小互信息作为测量独立的代价函数,提出了BP网络训练算法,当合理选择非线性函数时,该算法可以分离出一些特定非线性混合的源信号。3.径向基函数网络法:2001年,Tan等人提出了使用径向基函数(RBF)神经网络

18、逼近非线性混叠的逆映射,实现盲信号分离。4.后非线性混合盲分离方法: 1997年,Taleb和Jutten首先提出了后非线性混合模型,同时指出这类模型具有可分离性,并针对这类模型提出了一种非线性混合盲分离算法。Solazzi和Uncini也针对后非线性混合模型,基于信息量最大化准则,利用自适应样条函数,提出了样条神经网络后非线性盲分离算法。利用多个独立同分布信号的线性组合仍服从高斯分布的特性,先将观测信号变成高斯信号,然后用瞬时线性混合的算法分离提取源信号,这种算法省去了求逆的过程。5.贝叶斯集合学习算法:该算法采用多层感知器神经元网络(MLP) ,能够对非线性静态和动态过程实现盲分离。6.基

19、于遗传算法的盲分离方法:该算法基于非线性混合模型:X(t)= AfHS(t)式中: A和H为线性、瞬时结构的混合矩阵。利用遗传算法使信号非线性混合度最小化,然后对去除非线性后的数据进行线性分离,从而实现盲分离。与传统的梯度算法相比,基于遗传算法的盲分离方法有着更快的收敛速度和稳定性,能够在全局范围内寻找最优解。4. 盲源分离的应用4.1 语音信号处理Bell和Sejnoski于1995年提出了最大熵算法，并且给出了语音信号分离的试验，证实了该方法的可行性和有效性。Lee和Bell将基于自然梯度的信息最大传输盲源分离算法进行盲反卷积，并用于真实环境的语音信号分离，试验证实分离后，可以提高语音识别

20、率。4.2 生物医学信号处理由于生理信号常常是由若干独立成分的加权（例如，诱发脑电总是被自发脑电所淹没，且常常伴随有心电、眼动、头皮肌电等干扰），用独立分量分析技术来分解，所得到的结果更具有生理意义，并有利于去除干扰等。4.3 金融数据分析Back和Weigend于1998年利用独立分量分析对日本三年中每天的股票的portfolio进行分析，假设得到的多维时间序列（例如每天股票的returns）是反映了一个系统（股票市场）的一些统计独立的时间序列相互作用的结果，并同PCA获得的结果进行比较。结果显示，应用ICA分解得到的独立成分能够对股票的价格完好的重建。因此ICA是PCA的一种有效的补充工具

21、，它允许数据的基本结构能更轻易的观察得到。4.4 在阵列信号处理以及在移动通信中的应用一个未知的有限的带宽信道的频率响应经常会带来码间干扰（Inter symbol Interference, ISI），当输入未知时，要消除这种干扰，得到信道的传输函数，就必须要进行“盲”处理。在移动通信中“盲”处理显得格外重要。在移动通信中，由于时变多径衰落会产生很严重的码间干扰。为了得到正确的实时的信息流，就必须对信道的时变特性进行辨识和均衡。虽然有很多技术，如码分多址访问（Code Division Multiple Access, CDMA）等的发展和应用使得信道的容量增大，但是由于进行辨识与均衡的部分所占的比例仍然很可观。如果我们不使用训练序列，而采用盲信道辨识，从接收信号直接估计信道的特征，就会大大节省信道容量，提高信道容量的利用率。利用盲分离技术可以成功的