一种优化动量因子的盲分离算法论文演示教学

1、Good is good, but better carries it.精益求精，善益求善。一种优化动量因子的盲分离算法论文-一种优化动量因子的非线性主分量分析算法摘要盲源分离算法收敛速度和稳态误差存在冲突，针对这一问题提出了通过引入动量项并且对动量因子进行优化的方法来使收敛速度和稳态误差之间冲突达到最小。该算法通过优化的动量项使非线性主成分分析的代价函数最速下降，从而使算法收敛速度加快。仿真实验证明了本文算法在平稳及非平稳环境下具有比LMS和RLS更好的分离性能。关键词动量项,非线性主成分分析,自适应,盲源分离AnewNPCAalgorithmforblindsourceseparation

2、AbstractThispaperaddressestheproblemofblindsourceseparation(BSS)andpresentsanoptimummomentumfactorwhichmakesthenonlinearprincipalcomponentanalysis(NPCA)costfunctiondescendinthefastestway.Byusingthemomentumiteminself-stabilizedNPCAalgorithm,thenewalgorithmminimumsthecontradictionbetweenconvergencespe

3、edandsteady-stateerror.Simulationsshowthatthenewalgorithmhasfasterconvergencethantheexistingleast-mean-square（LMS）algorithmsandrecursiveleast-squares(RLS)algorithmforBSSinstationaryandnon-stationaryenvironments.Keywordsmomentumfactor,NPCA,adaptive,blindsourceseparation盲源分离是指从未知观测信号的线性混合信号中恢复出相互独立的源信

4、号，线性混合系数是未知的。由于这是实际应用中经常遇到的问题，近年来盲源分离在信号处理和通信方面引起广泛关注。现有的盲源分离算法分为批处理算法和自适应算法两大类。批处理算法复杂度高，需要对大量数据进行统计处理，自适应算法复杂度低，对数据边输入边处理，具有可以实现混合信号在线处理的实时性特点，故自适应在线算法得到广泛研究和应用。盲源分离算法中非线性主分量分析法采用自适应算法，同大多数算法一样存在收敛速度和稳态误差冲突的问题。为缓和这一冲突，通过改变步长参数使两者平衡,但变步长算法通常需要引入多个调节参数,调节参数具有不确定性且部分算法易陷入局部极小点,不能实现对于突变环境的快速跟踪，因此本文提出通

5、过引入动量项来加快收敛速度。但是固定动量因子过大时可能导致发散，过小时可能算法收敛太慢。针对这一问题，本文提出通过对动量因子进行优化，基于传统最小均方算法（LMS）和动量项LMS算法推导出使算法的收敛速度和稳态误差之间矛盾最小化的最优化动量因子迭代公式。仿真实验证明了本文算法在平稳及非平稳环境下具有比LMS和RLS更好的分离性能。1基于NPCA的盲源分离的描述噪声通常符合高斯分布，可忽略。盲源分离问题可用如下方程式表示：(1)其中，是未知的满秩（）的混合矩阵，是无法观察的独立源信号的向量，源信号至多一个是高斯信号。是观测信号组成的向量。盲源分离的目的是通过线性变换处理每个观测信号得到输出向量：

6、(2)由上述可知，当完全实现盲源分离时，合成矩阵是一个广义置换矩阵（即矩阵每行每列只有一个非零元素）。分离矩阵可以由一层或者两层分离系统确定，第一种方法是直接最小化目标函数更新，第二种方法称为非线性主分量分析法，是首先用白化矩阵对观测数据进行白化处理使白化信号满足，然后用正交矩阵实现信号分离。因此，总分离矩阵。本文主要讨论NPCA算法。考虑分离矩阵的正交约束性，可以得到两种NPCA算法。一种是基于自然梯度NPCA算法：(3)另一种是自适应NPCA算法：(4)上述(3)和(4)算法可以统一改写为形如：其中，是与寻找方向相关的矩阵，由1,9理论分析和仿真结果显示了(4)优于算法(3)，从而最好选择

7、。算法(3)和(4)都属于LMS算法。2传统融合动量项LMS算法在LMS算法基础上，引入动量项可加快算法的收敛速度，提高系统性能。神经网络领域中，动量项技术通过在当前时刻算法的自适应迭代规则中加入前一时刻抽头系数的更新量，目的是提高系统收敛效率和跟踪速度、改善算法输出性能。动量项技术具有计算量小、动量因子上下边界极值确定、且能有效加速系统收敛速度和避免算法陷入局部极小值等优点，近年来在信号处理领域也正逐渐得到学者们的重点关注。为了进一步提高算法的收敛速度，从而改善盲源分离算法分离性能，借鉴动量项技术的思想，在LMS算法中引入动量项，提出融合动量项LMS算法。算法结构图如下：图1传统融合动量项L

8、MS算法结构图Fig.1IllustrationofthetraditionalLMSalgorithm其核心数学表达式：(5)其中，动量项，为动量项因子，取值范围。动量项能够记忆分离矩阵的前一时刻变化方向，即时刻分离矩阵由时刻和时刻分离矩阵的变化方向共同决定，当上两次分离矩阵的变化方向相同时，说明算法处于收敛过程中，通过式(5)则会增大时刻分离矩阵的变化量，从而可以使算法快速收敛；而当两次分离矩阵的变化方向不同时，说明算法处于稳态阶段，则通过式(5)可以减少分离矩阵的变化量，从而起到避免分离矩阵陷入局部极小值的作用。3优化动量因子LMS算法在融合动量项LMS算法基础上，对动量因子进行优化获得

9、最优动量因子，使算法收敛速度和稳态误差之间矛盾最小化，这就构成了本文提出的新算法。NPCA的代价函数：(6)其中，为非线性函数，信号符合亚高斯时选择，信号符合超高斯时选择。利用“投影近似”，上式中，为非线性变换的向量，从而得到更新代价函数：(7)将(5)代入(7)有如下关于的方程：(8)其中，上式明显是关于动量因子的二次函数，因此有唯一的极值，令上式对求导的结果为零，得到最优化动量因子：(9)考虑最优动量因子的在线可实现性，引入两个辅助变量来代替数学期望，这时(9)改为：(10)其中，将变动量因子(10)应用于(5)，得到本文优化动量因子LMS算法，算法过程为：(11)另外，若分离矩阵无任何先

10、验信息，则初始化为阶单位方阵，考虑算法计算量，自适应NPCA非线性操作量是相同的，(4)每次迭代需要次乘法计算，(5)每次迭代需要次乘法计算，1需要次乘法计算，新算法(11)每次迭代需要，该算法计算量比传统LMS算法要大，但是在容忍范围内。该算法结构图如图2所示：图2本文算法结构图Fig.2DesignoftheNewLMSalgorithm4仿真结果下面通过计算机仿真验证本文算法的整体性能，考虑5个源信号分别为：其中，=区间内均匀分布的源信号，仿真中混合矩阵通过随机产生，对混合信号的采样频率为10kHz。传统LMS算法中步长均设置为0.01，动量因子取值0.7，新算法(11)中步长设置为0.

11、06，取值0.01，取值0.3。对于RLS算法1，遗忘因子取值0.983。为估计盲源分离算法的性能，可用串音误差作为性能指标：(12)其中，是混合白化分离矩阵的结合矩阵，的值越大，算法分离性能越差，越小性能越好。为估计分离矩阵与正交性的绝对偏差，可用距离指数作为指标：(13)其中，是由对角线元素组成的对角矩阵，为矩阵的范数。平稳环境即混合矩阵始终保持不变，20次蒙特卡洛实验后结果如图3、图4和图5，非平稳环境即混合矩阵在某时刻发生突变，算法仿真结果如图6、图7和图8。如图3、图4和图5分别显示了在平稳环境情况下各算法的性能、偏离距离和性能与乘法计算量的关系。图6、图7和图8分别绘制了在非平稳环

12、境情况下(在2000次迭代时环境突变)各算法的性能、偏离距离和性能与乘法计算量的关系。从这些图中，可以看出：平稳环境和非平稳环境下，每次引入优化动量因子的迭代，新算法(11)的收敛速度明显快于原来的算法(4)和(5)，甚至比基于自然梯度RLS算法稍微快一点；平稳环境和非平稳环境下，新算法的分离矩阵更快更好的与正交性重合，环境突变时，由图(7)看出对分离矩阵的偏离性影响不大;平稳环境和非平稳环境下，在计算量相同时，与其它算法相比，本文算法(11)性能指标最低，分离性能最好。另外，RLS算法比LMS算法分离性能好。图3算法收敛性能(平稳环境)Fig.3Averageperformanceindex

13、versusiterationnumber(stationaryenvironment)图4分离矩阵偏离正交性(平稳环境)Fig.4Averagedeviationsoftheseparationmatrixawayfromorthogonality(stationaryenvironment)图5相对于计算量的算法特性Fig.5AverageperformanceindexversusOperations(stationaryenvironment)图6算法收敛性能(非平稳环境)Fig.6Averageperformanceindexversusiterationnumber(non-sta

14、tionaryenvironment)图7分离矩阵偏离正交性(平稳环境)Fig.7Averagedeviationsoftheseparationmatrixawayfromorthogonality(non-stationaryenvironment)图8相对于计算量的算法特性Fig.8AverageperformanceindexversusOperations(non-stationaryenvironment)5结论在LMS算法基础上引入动量项，然后利用投影近似和相邻时刻代价函数相减法，得到关于动量因子的二次函数，求极值得到最优动量因子，从而使代价函数最速下降，提高了算法收敛速度。在线

15、盲源分离仿真实验结果验证了算法的可实现性，并同时仿真了传统LMS算法和RLS算法。References1X.Zhu,X.Zhang,AdaptiveRLSalgorithmforblindsourceseparationusinganaturalgradient,IEEESignalProcess.Lett.9(12)(2002)432-435.2CovielloCM,YoonPA,SibulLH.Sourceseparationandtrackingfortime-varyingsystems.IEEETransactionsonAerospaceandElectronicSystems,2

16、008,44(3):1198-12143DouglasSC,CichockiA.Adaptivestepsizetechniquesfordecorrelationandblindsourceseparation.In:Proceedingsofthe32thAsilomarConferenceonSignals,Systems,andComputers.PacicGrove,USA:IEEE,1998.1191-11954OuSF,ZhaoXH,GaoY.Variablestepsizetechniqueforadaptiveblinddecorrelation.In:Proceedings

17、ofthe8thACISInternationalConferenceonSoftwareEngineering,ArtificialIntelligence,Networking,andParallel/DistributedComputing.Qingdao,China:IEEE,2007.823-8265YuanLX,WangWW,ChambersJA.Variablestep-sizesignnaturalgradientalgorithmforsequentialblindsourceseparation.IEEESignalProcessingLetters,2005,12(8):

18、589-5926HsiehST,SunTY,LinCL,LiuCC.Effectivelearningrateadjustmentofblindsourceseparationbasedonanimprovedparticleswarmoptimizer.IEEETransactionsonEvolutionaryComputation,2008,12(2):242-2517Arenas-GarciaJ,Gomez-VerdejoV,Figueiras-VidalAR.NewalgorithmsforimprovedadaptiveconvexcombinationofLMStransversalflters.IEEETransactionsonInstrumentationandMeasurement,2005,54(6):2239-22498XLZhu,etal.AfastNPCAalgorithmforonlineblindsourcesep