《独立分量分析》ppt课件

1、独立分量分析独立分量分析1 盲信号处置导论2 独立分量分析概述3 根本概念4 ICA的优化判据5 ICA的优化算法盲信号处置导论盲信号处置导论一盲信号处置BSP，Blind Signal Processing 问题：当传输信道特性未知时，从一个传感器或转换器 的输出信号分别或估计原信号的波形。 注：不确定性是指被估计信号恣意比例伸缩，排序和 时滞。依然保管了原信号的波形，是可以被BSP 接纳的，对于BSP不是最关键的。盲信号处置导论盲信号处置导论三个主要方向： 盲信号分别与提取BSS：Blind Signal Separation 确定一个或几个具有特殊统计或性质的子分量，舍弃不感兴趣的信号或

2、噪声。 用二阶统计量可以完成。 独立分量分析ICA：Independent Component Analysis) 得到相互独立的输出分量。在实践运用中应作一定的处置。 用高阶统计量来进展分析。 多通道盲解卷积和平衡MBD盲信号处置导论盲信号处置导论二处置方法和思绪四个 1HOS：高阶统计量衡量信号的独立性和高斯性， 或稀疏性ICA。 2SOS：有时序构造用二阶统计量SOS即可， 不能分别具有一样功率谱外形或独立同分布信号。 3NS+SOS：利用非平稳信息和SOS结合，可以分 开功率谱外形一样的源信号。但假设非平稳性也相 同就不可以分别。 4STF多样：运用信号不同多样性：时域多样性， 频域多

3、样性，空域多样性。 TDMA， FDMA， SDMA盲信号处置导论盲信号处置导论三运用：医学，语音加强，无线通讯 1生物医学处置：非侵入式评价人体器官不同生 理变化。 典型：胎儿心电图信号提取。 丈量方法：在母体腹部放置假设干体表电极，测 量电位差信号ECG：包括MECG，FECG。 母体心电图信号=胎儿心电图信NN=1.5100 自顺应滤波；胎儿的心率与母体心率不同的，可看作 是独立的。丈量盲信号处置导论盲信号处置导论2声音提取： 典型例子：“鸡尾酒会的问题。 人的大脑可以很快辨出或集中听某种需求关注声音。)()()()()()()()()()()()(3332321313323222121

4、23132121111tsatsatsatxtsatsatsatxtsatsatsatx麦克风1麦克风2麦克风3)(1tx) (2tx)(3tx11a12a13a21a22a)(1ts)(2ts)(3ts23a31a32a33aija的设计，声音识别，可以识别微弱声音信号。的设计，声音识别，可以识别微弱声音信号。归结为归结为 盲信号处置导论盲信号处置导论3数字通讯系统：M1M0平衡器，滤波器。YYYYYYY符合盲信号处置对多通道的要求，不需求有干扰信号的训练样本。盲信号处置导论盲信号处置导论 4图像处置：建立一系列具有独立特征的组合，去 掉高阶关联性。 降噪，识别，紧缩。独立分量分析概述独立分

5、量分析概述一前提：普通假设S中各分量相互独立；零均值， 且方差为1。 以多导信号处置为根底，即：必需借助于一组把信源 按不同比例组合起来的多通道信号同步察看。 多导 信号包括：主分量分析PCA； 奇特值分解SVD。SXH独立分量分析概述独立分量分析概述二多导信号处置根底 对于M通道的察看值每通道N点采样数据组成数 据阵XNMNNMMNMVUX其中，UV是正交归一阵，,MTTIUUUUNTTIVVVVNM 是准对角阵，N 不失普通性；通常设不失普通性；通常设, 0.21M i为奇特值。 MM21独立分量分析概述独立分量分析概述0.000.00.2121112112111211mMMMMMMNMM

6、NuuuuuuxxxxxxMNmmmmmNMMMMMvvvvvvuuuuuu.21111211112111211MMMNmMNMNMMmmMMMMNmNNMmmuvuvuvuvuvuvuvuvuvuvuvuv.222111122121111112221111111221211111NNNNNvvvvvv.2111211独立分量分析概述独立分量分析概述 列向量列向量u反响在不同通道的分量，空间方式；反响在不同通道的分量，空间方式； 列向量列向量v反响在不同时辰的奉献，时间方式。反响在不同时辰的奉献，时间方式。 在均值为在均值为0时，其协方差阵可表示为：时，其协方差阵可表示为：TTTTxUUUVV

7、UXXC,.,.,2122221mMTDiagDiag2mmxC为特征值，是对的主分量分解 。分解出的分量是按能量大小排序的。0.21M主分量分解:TTVXUPTPP是按能量大小进展排序，反映信号主要分量。独立分量分析概述独立分量分析概述ICA的简单思绪 ICA的义务明确为：在S，A均未知的情况下，求B，使Y=BX是 S的最优逼迫。 根本原那么: (1)非线性去相关。求B，使恣意两输出yi, yj(ij)不相 关; 且经非线性变换g(yi), h(yi)也不相关高阶统计量。 (2) 使输出尽能够非高斯化。Y的非高斯性的每个部分极 大值都给了一个独立分量。SX=ASY=BX混合矩阵混合矩阵解混矩

8、阵解混矩阵 AB独立分量分析概述独立分量分析概述 对对X求协方差阵假设各导记录的均值皆为求协方差阵假设各导记录的均值皆为0，那么有：，那么有： 为特征值，上式是对为特征值，上式是对Cx的主分量分解。的主分量分解。 分解出的分量按能量大小排序分解出的分量按能量大小排序 。假设原始数据。假设原始数据的的 秩小于秩小于M，那么某些奇特值，特征值将等于，那么某些奇特值，特征值将等于0。 SVD，PCA分解分解, 保证分解出来的各分量不相关，不能保证分量保证分解出来的各分量不相关，不能保证分量 相互独立。相互独立。 ICA最早是针对最早是针对“鸡尾酒会问题，从酒会嘈杂人声中提取所关怀鸡尾酒会问题，从酒会

9、嘈杂人声中提取所关怀 对象的语音，针对对象的语音，针对CDMA把各用户码分解开来。把各用户码分解开来。TTTTTxUUUVVUXXC,.,.,2122221MMTDiagDiag 2mm0.21M独立分量分析概述独立分量分析概述三ICA最简单框图阐明 ICA义务：S，A均未知，求B，使Y=BX是S的最优逼迫。 分解根本原那么： 1非线性去相关。求B，使恣意两输出yi, yj(ij)不相 关；且经非线性变换g(yi), h(yj)也不相关高阶统计 量。 2 使输出尽能够非高斯化,Y方差恒定， Y的非高斯性的每一个部分极大值给出了一个独立分量。iiixbySY=BX混合矩阵混合矩阵解混矩阵解混矩阵

10、X=ASBA独立分量分析概述独立分量分析概述主要研讨构造: (1)美国加州大学生物系，计算神经生物实验室，提出 信息极大化( infomax )。 . (2)日本Riken的数量神经科学实验室，互信息极小化 minimization of mutual information MMI)采用人 工神经网络优化。 brain.riken.jp/lab/mns/amari独立分量分析概述独立分量分析概述3芬兰赫尔辛基工业大学神经网络研讨中心 cis.hut.fi/oja cs.helsinki.fi/aapo.hyvarinen 高阶统计量引入PCA，提出了立足于逐次提取独立

11、分 量的固定点算 法fixed point algorithm) 。fast ICA :使提取信号 非高斯性极大化。 计算量小，收敛速度快。 4法国学者：J.F.Cardoso tsi.enst.fr/cardoso. JADE 算法 批数据处置算法 近年来引人留意的稀疏分量分析。 优化判据 优化算法 运用根本概念与根本概念与ICA相关相关一n阶矩： 一阶均值 三阶偏斜度 二阶均方 四阶峰度 统计估计时，偏斜度，峰度是对规范化了的数据x (均值 为0，方差为1进展的。二n阶累计量：)(nnxEm0)(snndssd )(nnxEdxxpxdxexpssx)()( sxeEnsnnnmsdssd

12、k)(1)(0)(log)(ss)(log!)(0sknssnnn11mk 2122mmk31123323mmmmk4121213224461243mmmmmmmk第二特征函数第二特征函数特征函数特征函数 均值 方差 Taylor展开展开 momentcumulant单单变变量量根本概念与根本概念与ICA相关相关阐明：阐明： (1)对单变量高斯型信号，二阶以上的矩和累计量或为对单变量高斯型信号，二阶以上的矩和累计量或为 0，或可由一，二阶推导，是冗余的，因此，高斯型随，或可由一，二阶推导，是冗余的，因此，高斯型随 机变量可由一，二阶统计特征来完好描画。机变量可由一，二阶统计特征来完好描画。 (

13、2)当当pdf关于原点偶对称，关于原点偶对称，m3=k3=0。 (3) k40 超高斯超高斯, k40 亚高斯亚高斯, k4 常用于对非高斯，常用于对非高斯，但但 对称的对称的pdf分类。分类。 用用k4大小作为衡量信号间隔高斯型程度的度量。大小作为衡量信号间隔高斯型程度的度量。根本概念与根本概念与ICA相关相关三结合矩，结合累计量 性质：1当x各分量相互独立，互累计量必为0。 2比例性： cum(w1x1,w2x2,w3x3,w4x4)=w1w2w3w4cum(x1,x2,x3,x4) 结合矩：MMnnnnMnnMnnnssss.0321212121!.!.)(0.21.,212121,.,

14、)(MMMsssnMnnnnnnssssM根本概念与根本概念与ICA相关相关四熵： 反映平均信息量。 1当随机变量取值一定范围时，其取值作均匀分布将具有最大熵值。 2当随机变量的功率一定时，高斯分布具有最大熵值 五KL散度: 描画的是两个概率密度函数间类似程度kullback-leibler 散度 单变量： 多变量： KL0；p(x)=q(x), KL=0. 反映了p(x),q(x) 在某种意义下的间隔。KLp,q KLq,p 与间隔对 称性不同，不宜称为间隔。 重要运用：用来度量恣意多变量概率密度函数中各分量相互独立程度。kiiippH1logdxxqxpxpxqxpKL)()(log)()

15、(),(dXXqXpXpXqXpKL)()(log)()(),(dxxpxpH)(log)(X代表矩阵代表矩阵干扰最正确方式根本概念与根本概念与ICA相关相关六互信息：定义当p(X)为多变量x1,x2,xN的结合 pdf，p(xi)为各分 量边沿pdf. 称为互信息Imutual information). 性质：1I(x) 0，I(x)=0，x 中各分量相互独立。 可作为独立程度度量。 2与信息熵的关系： 各分量信息熵的总和结合熵 3反映了每个分量携带另一分量信息的含量。NiixHxHxI1)()()()()(1NiixpXpdxxpxpxpxpxpKLxINiiNii11)()(log)(

16、)(),()(def根本概念与根本概念与ICA相关相关七负熵：恣意pdf p(x)和具有一样协方差阵的高斯分布pG(x)的KL散 度，作为该pdf 非高斯程度的度量。 负熵negentropy) 单变量： 多变量： 性质：1Jp(x) 0，p(x)=pG(x)：当且仅当Jp(x)=0代表高斯分布。 2 Cx是行列式 互信息与负熵的关系。dxxpxpxpxpxpKLxpJGG)()(log)()(),()()()(xHxHG Xx xNiiiNiiCCxJxJxI11log21)()()(ICA的优化判据解混系统解混系统B球化球化W正交系统正交系统UZ(t)混合系统混合系统Ax(t)y(t)s(

17、t)系统简图系统简图一、概述一、概述 独立分量分析的本质是优化，即在某一衡量独立性判独立分量分析的本质是优化，即在某一衡量独立性判据最有意义下寻求近似解。解是近似解，且陈列次序据最有意义下寻求近似解。解是近似解，且陈列次序 上，幅度上允许不同上，幅度上允许不同ICA的优化判据步骤：两步法解混步骤：两步法解混1 1球化：球化：确定线性变换确定线性变换W W使使z(t)z(t)的各分量的各分量zi(t)zi(t)的方差为的方差为1 1，且不，且不相关未必相互独立相关未必相互独立ICA的优化判据2 2正交变换：正交变换：yiyi的方差坚持为的方差坚持为1 1，且尽能够相互独立，且尽能够相互独立第一步

18、曾经满足独立性对二阶统计量的要求，因此第二第一步曾经满足独立性对二阶统计量的要求，因此第二步只思索三阶以上的统计量步只思索三阶以上的统计量1( )()MTiyMipp yEyCyyI ICA ICA：各分量在方差相等的情况下尽能够独立，：各分量在方差相等的情况下尽能够独立，“对恣意多变量数据寻求某种非正交坐标系的分解对恣意多变量数据寻求某种非正交坐标系的分解 PCA PCA：按能量大小排序进展分解，分解出的分量相：按能量大小排序进展分解，分解出的分量相互正交互正交ICA的优化判据ICA的优化判据NoImageICA最优判据最优判据最优算法最优算法独立性判据统计学意义：结合独立性判据统计学意义：

19、结合pdfpdf能否可以表示称各能否可以表示称各边沿边沿pdfpdf的乘积？的乘积？1( )()Miipp yy？ICA的优化判据最直接的判据：互信息I(y)11( )( )( ),()( )log()MiMiiipIKL pp ypdp y )yyyyy由于由于 ， 未知，需求对其估计，实践做法是将未知，需求对其估计，实践做法是将pdfpdf变成高阶统计量的技术，或在输出端引入某种非线变成高阶统计量的技术，或在输出端引入某种非线性环节，来自动引入高阶统计量性环节，来自动引入高阶统计量)(iyp)(yp一、统计独立性与互信息测度间的关系一、统计独立性与互信息测度间的关系ICA的优化判据11(

20、)( ),()()( )MMiiiiIKL pp yH yHyyyy中分量独立时中分量独立时( )0Iy互信息极小化判据互信息极小化判据判据：选择判据：选择B，由，由x求求 到达到达 极小极小yBX( )I y判据的优点：判据的优点：y y中各分量的排序和幅度比例变化具中各分量的排序和幅度比例变化具有不变性有不变性仍涉及仍涉及pdf，需求用高阶统计量近似，需求用高阶统计量近似ICA的优化判据最简单的逼近思绪最简单的逼近思绪( )( )logHHyxB1( )()( )logMiiIH yHyxB1()logMiiH yB341(),()MiiiF kyky224234343341(),()47

21、648iiF kykykkkk k 输入信号的熵与B无关等效于等效于极小极小表示为高阶统计量表示为高阶统计量的组合的组合2i假设假设 不等于不等于1，那么，那么 应除以应除以nkni二、信息极大化判据二、信息极大化判据InformaxICA的优化判据By(t)x(t)y1(t)y2(t)yM(t)g1(*)g2(*)gM(*)r1(t)r2(t)rM(t)用非线性函数用非线性函数 来替代高级统计量的估计来替代高级统计量的估计()iiirg y由于由于 是单调可是单调可逆，变换前后互逆，变换前后互信息具有不变性信息具有不变性 接近信源接近信源的累计分布的累计分布igir 判据：给定适宜的 后，使

22、输出的 总熵量极大，或 极小，或 极大ICA的优化判据()iig y,21Mrrrr( )I r),(ryI()iig y 是接近信源的累积分布函数， 单增， 极小， 极大01( )I r),(ryIig可以用sigmoid，tanh等ICA的优化判据经过非线性环节送出去的信息量最大， 最大),(ryI( , )( )( |)IHHy rrr y由于非线性环节确定，y一定下，r也确定1( )( )( )MiiHH rIrr01( , )( )( )MiiIH rIy rr( )iH r( )I r极大，极小( , )I y r极大，iiyr极小，各分量互信息极小( )I r极大，( )I r，

23、三、极大似然判据三、极大似然判据ICA的优化判据Asx ，定义 最大为极大似然估计)|( logAxp)()|( log)()|( logAxAxxAxdefLdpppE目的函数极大似然估计含义：选择A，使 极大( )L A)()(ttBxy，B给定，y分量独立ICA中：中：x的对数极大似然函数)|(logBxp在独立的条件下，可以证明Miiypp1)(log|log)|(logBBxICA的优化判据TtMiiTttypTpTL11)(log1|log)|(log1)(BBxB1TtMijjijtxbpT11 )(log1|log B11log()()MMiiiiEp yH y 使使L(B)极

24、大极大1()log|( )MiiH yL BBMiiyHL1)(|log)(BBICA的优化判据1( ),()( )log|( )( )( )MiiIpp yHLHL yyBBxB 与B无关，可见 极大，意味着互信息 极小( )H x( )L BMiiyppI1)(),(yICA的优化判据四、高阶统计量独立性判据四、高阶统计量独立性判据在多变量情况下，y中个分量相互独立时，全部累计量=0，y的维数高时，计算量大，不太适用ICA的优化判据五、判据近似逼近五、判据近似逼近判据涉及pdfpdf未知pdf级数展开适中选取非线性函数()iig y简化，逼近如：Informax，逐分量引入 使 极大()i

25、iirg y1( )MiiH rgi的选择，单增， 之间，常用sigmod，tanh， 等013iyICA的优化算法批处置法：JADE对一批已获得的数据进展优化自顺应算法： 对输入信号自顺应处置逐次提取Joint Cumulant and Correlation based signal seperationwith application to EEG data analysisICA的优化算法一、逐次提取法一、逐次提取法 投影跟踪投影跟踪1 1、思绪：从、思绪：从“最独立的方向投影最独立的方向投影实践任务中，以“投影后数据的pdf概率密度函数间隔高斯分布最远，将各独立分量逐个提取出来，每提

26、取一个，把该分量从原始数据中剔除理由：理由：xAsyBxyBAsVsVBA对y中的某个元素 有jyICA的优化算法1Njijiiyv s假设si非高斯的， 比yj更接近高斯分布当vij其中只需一个为1，其他为0， yj=sk，间隔高斯分布最远最接近信源实践上，A未知，只能经过改动B中的元素，使yj的分布最非高斯ICA的优化算法度量非高斯程度-负熵( ) ( ) ( ),( )( )log( )GGp yJ p yKL p ypyp ydypy( )( )0GHyH y当 分布是高斯分布 ( )0J p y ( )J p y越大，阐明离高斯变量越远ICA的优化算法2 2、方法：、方法：1负熵可以

27、表示称高阶统计量的函数4( )( )J yky2242343341( )4( )( )2( ) 18( )( )48J ykykykyky ky较小，偶对称较小，偶对称3( )0ky 结论：结论：4( )ky与独立分量间的关系：与独立分量间的关系：调理调理v使使 到达最大到达最大/极大，就能得到独立分量极大，就能得到独立分量在一定约束条件下，在一定约束条件下， 的极值对应与权重矢量的极值对应与权重矢量v中只需一个元素为中只需一个元素为1，其，其他皆为他皆为0的情况，此时的情况，此时y的独立分量为某一独立分量的独立分量为某一独立分量s4( )kyICA的优化算法设有两个独立源设有两个独立源 ，经

28、混合阵，经混合阵A，B得得12 ,s ssyBAsVs11Mjijiiyv sjM2,M 1 12 2yv sv s由于由于s1，s2独立，有独立，有444141242( )( )()kyv ksv ks或或444141242( )( )()kyv ksv ks由于由于s1，s2，y是零均值，方差为是零均值，方差为122121vv11.5 ICA的优化算法义务：使义务：使 极大极大4( )ky为便于讨论，设为便于讨论，设4142( )()1k sk s4422441222( )(1)kyvvvv2422122vv 上式极大发生在上式极大发生在21120,10,1vvvv 或此时此时12yss

29、或极大能得到独立分量极大能得到独立分量s1，s24( )kyICA的优化算法2为消除数据中的野点呵斥估计结果不够稳健的景象，可采用非多项式函数逼近概率密度函数 与 规范高斯分布方差为1，均值为0相差不太大时， 可用假设干非多项式函数 的加权和来逼近：( )p y221()2yp ye( )p y( )( )1iFyiN( )1( )( ) 1( )NiGiip ypyc Fy满足：满足：( )( )iFy正交归一性正交归一性( )( )0( )( )( )1ijGijpy Fy Fy dyij矩消逝性矩消逝性( )( )( )00,1,2kiGpy y Fy dykICA的优化算法( )( )

30、( )( )( )iiE Fyp y Fy dyc可以证明可以证明同时还可证明同时还可证明2( )11( )( )( )2NiGiH yHyEFy2( )11 ( )( )( )( )2NiGiJ p yHyH yEFy负熵负熵极大极大只需选定适宜的 ，求各 的统计均值就可以近似估计得( )F y2( )Fy ( )J p yICA的优化算法问题：如何选择( )F y 统计特性统计特性 不难求不难求 的增长速度不能快于的增长速度不能快于 对野点不敏感对野点不敏感y ( )F y2y ( )E F y实验中，N常取1，2 和 ， 奇函数，用来表示概率密度的非对称性； 偶函数，表现原点左右的双峰性

31、(1)( )Fy(2)( )Fy(1)( )Fy(2)( )Fy22(1)(2)(2)12 ( )( )( )( )J p ywE FywE FyE Fv 正常数， 是与 同样方差的零均值高斯变量12,w wvyICA的优化算法可用方式(1)( )Fy11111logcosh121a yaaa通常取2(/2)yye(2)( )Fy2(/2)ye(2)1( )2E Fvy(2)2( )E FvICA的优化算法( )F ,( )f ( )f 与( )F y( )f y( )fy111logcosha ya2(/2)ye4y3y23y22yye1tanha y2111tanh ()aa y222(1

32、)yyeICA的优化算法M NM NM NM NXUVT 12TSU 12TZSXU X Z是一个分量相互正交，能量=1过程：输入x 方差x，cov(x) 特征向量，特征值白化阵( )*Tinv sqrtu ,(cov( )ueigx ICA的优化算法三、固定点算法三、固定点算法由牛顿迭代中固定点映射而来，是一种递推算法求方程 的根 ，可将 写为 ，那么称为固定点映射( )0f x x( )f x( )xg x( )g1()kkxg x()1kg x1dgdx如 那么可收敛 ()()()kkkkf xg xxfx迭代1yx2( )yg x1kxkxxykkyx11kkyxICA的优化算法1、四阶累计