第1章高阶统计量的定义与性质讲课讲稿

1、第 1 章高阶统计量的定义与性质第 1章高阶统计量的定义与性质§1. 1 准备知识1. 随机变量的特征函数若随机变量 x 的分布函数为 F ( x) ，则称()Ee j x e j x dF ( x)ej x f (x)dx为 x 的特征函数。其中f (x) 为概率密度函数。离散情况：()E e j x e j xk pk ,pkp xxk k* 特征函数 ( ) 是概率密度 f (x) 的付里叶变换。例：设 x N (a,2 ) ，则特征函数为( )1e ( x a)2 / 2 2 ej x dx2令 z( x a) / 2 ，则( )1e z2 j 2 z j a dzAx 2A

2、CB 2根据公式：e2BxCxdxeA，则Aj a1222()e122若 a 0 ，则( )e2。2. 多维随机变量的特征函数设随机变量 x1, x2 , xn 联合概率分布函数为 F ( x1 , x2 , xn ) ，则联合特征函数为(1,2,n )Ee j (1 x12 x2n xn ) e j ( 1x12x2n xn ) dF ( x1 , x2 , , xn )令 x x1 , x2 , xn T , 1 , 2 ,n T ，则()e jT x f (x)dX矩阵形式njk xk或(1,2, n )e k 1f ( x1 , , xn ) dx1 , , dxn 标量形式其中， f

3、 (x )f (x1, x2 , xn ) 为联合概率密度函数。例：设 n 维高斯随机变量为x x1 , x2 , xn T , aa1 ,a2 , an Tc11c12c1nccn1cn2cnncikcov xi , xk E( xiai )( xkak )x 的概率密度为P( x)11/ 2 exp1 (x a)T c(x a)(2) n / 2c2x 的特征函数为()expjaT 1 Tc2其中， 1 ,2 ,n T ,(1,2,n )n1 nnexp jaii2 i 1Cij i ji1j 1矩阵形式标量形式3. 随机变量的第二特征函数定义：特征函数的对数为第二特征函数为()ln()(

4、1)单变量高斯随机过程的第二特征函数j a22122( ) ln e2j a2(2)多变量情形( 1 , 2 , , n ) jn1nnai i2 iCij i ji11ji 1§1. 2 高阶矩与高阶累积量的定义1. 单个随机变量情形（ 1） 高阶矩定义随机变量 x 的 k 阶矩定义为mkE x k xk p(x)dx显然 m0 1， m1E x 。随机变量x 的 k 阶中心矩定义为kE( x) k ( x) kp( x)dx(1)由式 (1)可见，01,10 ,22 。若 mk (k1,2, n) 存在，则 x 的特征函数( ) 可按泰勒级数展开，即()1nmk ( j) kO(

5、n )(2)k 1k!并且 mk 与() 的 k 阶导数之间的关系为mk( j ) k d k( )( j ) k k (0), k ndk0（ 2）高阶累积量定义x 的第二特征函数() 按泰勒级数展开，有()ln( )nck( j) kO(n )(3)k1k!并且 ck 与( ) 的 k 阶导数之间的关系为ck1d kln()1d k()( j )kk(0), knjkdkjkdk00ck 称为随机变量 x 的 k 阶累积量，实际上由(0)1及 () 的连续性，存在0 ，使时，()0，故第二特征函数()ln( ) 对有意义且单值（只考虑对数函数的主值）， ln( ) 的前 n 阶导数在0 处

6、存在，故 ck 也存在。(3)二者关系下面推导 ck 与 mk 之间的关系。形式地在式(2)与式 (3)中令 n，并利用()1mk( j) kexpck( j) kk 1k!k1k!ck1ck21ckn1( j)k( j)k( j)k1 k!2!k 1 k!n!k 1 k!k比较上式中各 ( j) k (k1,2, ) 同幂项系数，可得 k 阶累积量与 k 阶矩的关系如下：c1m1Exc2m2m12E x 2 ( E x) 2E( xE x) 2 2c3 m33m1m22m13E x3 3E xE( x 2 )2(E x) 3E( xE x) 3 3c4m3m24m m312m 2 m6m4E

7、( xE x)4 4421121若 E x0 ，则c1m10c2m2E x2 c3m33442422E xc2E x 3( E x )m3m由上可见，当随机变量x 的均值为零时，其前三阶累积量与前三阶矩相同，而四阶累积量与相应的高阶矩不相同。2. 多个随机变量情形(1)高阶矩给定 n 维随机变量 ( x1 , x2 , xn ) ，其联合特征函数为(1 ,2 ,n )Eexp j ( 1 x12 x2n xn )(4)其第二联合特征函数为( 1 ,2 ,n )ln( 1 ,2 , n )(5)可见，联合特征函数( 1 ,2 ,n ) 就是随机变量 ( x1 , x2 , xn ) 的联合概率密

8、度函数p(x1 , x2 , xn ) 的 n 维付里叶变换。对式 (4)与(5)分别按泰勒级数展开，则阶数 r k1k2kn 的联合矩可用联合特征函数 (1 ,2 ,n ) 定义为kr( 1, 2 , n )mk1 k2kkrknE x1 1 x22xn n ( j )k1k2kn12n12n 0(2)高阶累积量同样地，阶数 rk1 k2kn 的联合累积量可用第二联合特征函数(1 ,2 , n ) 定义为ck k2kn(j ) r( 1,k2 , n )( j ) rr ln( 1 ,2 , n )1k12knkk2kn112n12n 012n12n 0(3)二者关系联合累积量ck1k2 k

9、n 可用联合矩 mk1k 2 kn 的多项式来表示，但其一般表达式相当复杂，这里不加详述，仅给出二阶、三阶和四阶联合累积量与其对应阶次的联合矩之间的关系。设 x1, x2 , xn 和 x4 均为零均值随机变量，则c11cum( x1 , x2 )E x1 x2 (6a)c111cum (x1 , x2, x3 )E x1 x2 x3 (6b)c1111cum( x1 , x2 , x3, x4)E x1 x2 x3 x4E x1 x2E x3 x4 E x1 x3 E x2 x4 E x1 x4 E x2 x3 (6c)对于非零均值随机变量，则式(6)中用xiE xi 代替xi 即可。与单个

10、变量情形类似，前三阶联合累积量与前三阶联合矩相同，而四阶及高于四阶的联合累积量则与相应阶次的联合矩不同。注意，式 (6)中采用 cum(?) 表示联合累积量的方法在以后将时常用到。3. 平稳随机过程的高阶累积量设 x(n) 为零均值 k阶平稳随机过程，则该过程的 k 阶累积量 ck, x ( m1 , m2 , mk 1 ) 定义为随机变量 x(n), x(n m1 ), x( nmk 1 ) 的 k 阶联合累积量，即ck, x (m1 , m2 ,mk 1 )cum( x(n), x(n m1 ), , x(n mk 1 )而该过程的 k 阶矩 mk,x (m1 , m2 , , mk 1

11、) 则定义为随机变量 x(n), x(n m1 ), x(n mk 1 )的 k 阶联合矩，即mk ,x (m1, m2 , mk 1 )mom( x(n), x( nm1 ), x( nmk 1 )这里， mom(?) 表示联合矩。由于 x(n) 是 k 阶平稳的，故 x(n)的 k 阶累积量和k 阶矩仅仅是时延m1, m2,mk 1 的函数，而与时刻n 无关，其二阶、三阶和四阶累积量分别为c2,x(m)E x(n) x( nm)c3,x (m1 , m2)E x(n)x(nm1 )x(nm2 )c4, x (m1 , m2 , m3 )E x( n)x(nm1 )x(nm2 )x(nm3

12、)c2, x ( m1 )c2 ,x (m2m3 )c2, x (m2 )c2 , x (m3m1 )c2, x ( m3 )c2,x (m1m2 )可以看出， x(n) 的二阶累积量正好就是其自相关函数，三阶累积量也正好等于其三阶矩，而 x(n) 的四阶累积量则与其四阶矩不一样，为了得到四阶累积量，必须同时知道四阶矩和自相关函数。§1. 3 高阶累积量的性质高阶累积量具有下列重要特性：（）设 i (i 1,2, , k) 为常数， xi (i 1,2, k) 为随机变量，则kcum( 1x1, , k xk )i cum(x1, xk )i1（）累积量关于变量对称，即cum(x1

13、, xk )cum(xi1 , xi2 , xik )其中 (i1 , ik ) 为 (1, k) 中的任意一种排列。（）累积量关于变量具有可加性，即cum( x0y0 , z1, zk )cum(x0 , z1 , zk )cum( y0 , z1, zk )（）如果为常数，则cum(z1 , z2 , zk )cum( z1 , z2 , zk )（）如果随机变量 xi(i1,2, k ) 与随机变量 yi (i1,2, ,k ) 相互独立，则cum( x1 y1, xk yk )cum( x1 , , xk )cum( y1 , yk )（）如果随机变量 xi(i1,2, , k ) 中

14、某个子集与补集相互独立，则cum(x1 , xk ) 0§1. 4 高斯过程的高阶累积量1. 单个高斯随机变量情形设随机变量 x 服从高斯分布 N (0,2 ) ，即 x 的概率密度函数为x 21e 22p( x)222故有( )e2x 的第二特征函数为22( )ln ( )2(7)利用累积量 ck 与( ) 的关系式 (3)，并比较 (3)与(7)两式，可以得到随机变量x 的各阶累积量为c1 0 ，c22， ck0, k 2由此，我们有下列结论：(1)高斯随机变量 x 的一阶累积量 c1 和二阶累积量 c2 恰好就是 x 的均值和方差。(2)高斯随机变量 x 的高阶累积量 ck (

15、k2) 等于零。(3)由于高斯随机变量 x 的各阶矩为1? 3 ?( k1)k ,k为偶数mkE xk 0，k为奇数可见，高阶累积量与高阶矩不一样。由于高斯随机变量x 的高阶矩并不比其二阶矩多提供信息，它仍取决于二阶矩的统计知识2 ，所以人们宁愿选择高阶累积量这一统计量，直接把多余的信息用零来处理。2. 高斯随机过程情形先讨论 n 维高斯随机矢量 x x1 , x2 , xn T ，设其均值矢量为aa1 , a2 ,an T ，协方差矩阵为c11c12c1nc21c22c2nccn1cn2cnn其中cikE( xiai )( xkak )i ,k1,2,nn 维高斯随机变量x 的联合概率密度函

16、数为p(x)11/ 2 exp1 (x a) T c 1 (x a)(2)n / 2c2x 的联合特征函数为()expj aT 1 T c2其中， 1 ,2 ,n Tx 的第二联合特征函数为()ln()T1Tn1nnj a c jaiicij ij2i 12 i 1j 1由于阶数 rk1k2kn 的联合累积量 ck1k2k n 可由第二特征函数定义为( j )rr( )ck k2knkkkn1122n112n0于是， n 维高斯随机变量 ( x1 , x2 , xn ) 的各阶累积量为：（1） r1，即 k1 , k2 , k n 中某个值取 1(设 ki1)，而其余值为零，于是c0 1 0

17、( j )()aiE xi i12n0（2） r2 ，这有两种情况：1） ki (i1,2, n) 中某两个值取 1(设 kik j1, ij )，其余值为零，这时c0 1 1 0(j )2()cijE( xiai )( x ja j ) ijijn 012上式利用了关系式 cijc ji 。2)ki(i1,2, n) 中某个值取2（设 ki2 ），其余值为零，这时22()2c0 2 0(j )ciiE( xi2ai )i12n0（3） r3 ，由于() 是关于自变量 i(i1,2, n) 的二次多项式，因而() 关于自变量的三阶或三阶以上（偏）导数等于零，因而x 的三阶或三阶以上联合累积量等

18、于零，即ck1k2 kn 0, k1 k 2kn 3由上一节关于随机过程的累积量的定义可知，对于高斯随机过程 x(n) ，其阶次大于的 k 阶累积量 ck ,x (m1 , m2 , mk 1 ) 也为零，即ck,x (m1 , m2 ,mk 1 )0,k3由于高斯过程的高阶累积量（当阶次大于时）等于零，而对于非高斯过程，至少存在着某个大于的阶次k ，其 k 阶累积量不等于零。因此，利用高阶累积量可以自动地抑制高斯背景噪声（有色或白色）的影响，建立高斯噪声下的非高斯信号模型，提取高斯噪声中的非高斯信号（包括谐波信号）。正因为这样，高阶累积量这一统计量已日益受到人们的重视并已成为信号处理中一种非

19、常有用的工具。因此，文中在今后的算法研究中均代用高阶累积量而不采用高阶矩。§1.5 双谱及其性质1. 高阶谱的定义设 x(n) 为零均值平稳随机过程，则其k 阶累积量 ck, x (m1 , m2 , mk 1 ) 的 (k1) 维付里叶变换定义为 x(n) 的 k 阶谱 (kth-order spectrum)，即k 1Sk, x ( 1 , 2 , k 1 )ck , x ( m1 , m2 , , mk 1 ) expji mi(8)m1mk 1i 1通常， Sk,x ( 1 , 2 , k 1 ) 为复数，其存在的充分必要条件是ck , x ( m1 , m2 , , mk

20、1 ) 绝对可和，即ck, x ( m1 , m2 , mk 1 )m1mk 1高阶谱又称作多谱 (Polyspectrum)，通常 k 阶谱对应于 (k1) 谱。例如三阶谱对应双谱(Bispectrum)，四阶谱对应于三谱 (Trispectrum)，今后我们大多数采用多谱这一概念。取 k2,3,4 时，式 (8)分别简化为功率谱、双谱和三谱公式，即N 2 ，为功率谱S2, x ( )c2, x ( m) exp j m(9)m1N 3 ，为双谱S3, x ( 1 , 2 )c3,x (m1 , m2 ) exp j ( 1 m12 m2 )m1m2N 4 ，为三谱S4, x ( 1 , 2

21、 , 3 )c4,x (m1 , m2 , m3 ) exp j ( 1m12 m2 3m3 )m1m2m3容易看出，式 (9)就是维纳 -辛钦定理。可见，功率谱也是高阶谱的一种特殊形式。2. 双谱的性质在高阶谱中，双谱处理方法最简单，且含有功率谱中所没有的相位信息，是高阶谱研究中的“热点”。因此下面着重研究双谱及其性质。设 x(n) 为零均值、三阶实平稳随机过程，其自相关函数和功率谱分别为rx (m)c2 , x (m)E x(n) x( nm)S()S2, x ()r x ( m) expjmm而其三阶累积量和双谱分别为c3, x (m1, m2 ) E x(n) x( n m1 )x(

22、n m2 )(10)B( 1 ,2 )S3, x (1, 2 )c3, x (m1, m2 ) expj ( 1m12m2 ) (11)m1m2由式 (10)可知，三阶累积量c3,x (m1 ,m2 ) 具有如下对称性：c3, x (m1 , m2 ) c3,x (m2 , m1 )c3, x (m2 , m1m2 )c3,x (m2 m1 , m1 )c3,x (m1 m2 , m2 )c3,x (m1 , m2m1 )(12)由式 (11)双谱的定义及式 (12)三阶累积量的对称性可知：(1) B( 1 , 2 ) 通常是复数，即包含幅度和相位。B( 1 ,2 )B( 1,2 ) exp

23、j B ( 1 ,2 )(2) B( 1 , 2 ) 是以 2 为周期的双周期函数，即B(1,2)B(12,22)(3) B( 1, 2 ) 具有如下对称性B( 1, 2)B( 2, 1)B* (2 ,1) B*( 1, 2)B(12,2)B( 1,12 )B(12,1)B(2,12)此外，双谱在实际应用中还具有如下重要特性：(1) 高斯过程如果 x(n) 为零均值、高斯平稳随机过程，则对于所有m1 , m2 ，都有c3 ,x (m1, m2 )0 ，因此 B(1 , 2 )0 。(2)非高斯白噪声过程如果 w(n) 是具有 E w(n)0 ， E w( n) w(nm)Q(m) ，Ew( n

24、) w( nm1 )w(nm2 )(m1 , m2 ) 的非高斯白噪声过程，则其功率谱和双谱分别为一直线与一平面，即S()Q ， B(1,2)。(3) 非高斯白噪声通过线性系统设线性系统的传递函数为 H ( z) ，系统的输入为零均值非高斯白噪声w(n) ，且 E w(n)0 ， E w 2 ( n)w2， E w 3 ( n)3w ，则系统输出 y(n)的功率谱与双谱分别为S()w2H (2)B( 1, 2)3 w H ( 1 ) H ( 2 ) H * ( 12 )设H ()H () exp j ()B(1,2 )B(1 , 2 ) exp jB (12)则B( 1, 2)3w ? H (

25、 1 ) ? H ( 2 ) H ( 12 )B( 1, 2)( 1 )( 2 )( 12 )由上可见，双谱的幅度谱和功率谱均由H () 决定，因而双谱的幅度谱与功率谱的信息一样多。但功率谱不含相位信息，而双谱则包含相位信息，这就使双谱在信号处理领域得到越来越多的应用，因为有些场合如对图像处理来说，相位信息比幅度信息还重要。(4) 非最小相位系统的辨识双谱含有相位信息，因此在非最小相位系统辨识中变得十分有用，现用一个简单的例子加以说明。设输入为非高斯平稳白噪声过程 w( n) ，它有E w(n)0， E w 2 (n)w2 ， E w 3 (n)3w 。线性系统为下列三种情形的二阶FIR 系统

26、。1) 最小相位系统H 1 ( z)(1az 1 )(1bz 1 ),0a1,0b1系统输出为y1 (n)w(n)(ab)w(n1)abw(n2)2) 最大相位系统H 2 ( z)(1az)(1bz)系统输出为y2 ( n)w(n)(ab)w( n1)abw(n2)3) 混合相位系统H 3 ( z)(1az)(1bz 1 )系统输出为y3 (n)aw(n1)(1ab) w(n)bw(n1)输出 y1 ( n) ， y2 (n) 及 y3 (n) 具有相同的自相关序列，即r ( m) E y1 ( n) y1 (nm)E y2 (n) y2 (nm) E y3 ( n) y3 ( n m)r (

27、 0) 1 a2b2( a b)22wr (1) (ab)(1ab)2wr (2)abw2r (m)0,m3这就意味着它们具有相同的功率谱，因此利用功率谱无法将三个系统区分开来。然而利用双谱则可以区分，因为 y1 ( n) ， y2 (n) 及 y3 (n) 具有不同的三阶累积量，见表1.1。这表明三阶累积量可以用来辨识非最小相位系统，这在地震信号反褶积及数据通信中有重要的应用。表 1.1具有相同自相关的三个系统的输出的三阶累积量累积量最小相位系统最大相位系统混合相位系统c( 0,0)1 (a b)3a3b3 3 w1(ab) 3a3 b3 3w(1 ab) 3a 3b 3 3 wc(1,1)

28、(ab) 2( a b) a 2b2 3w ( ab)ab(a b) 2 3 w a(1ab)2(1ab)b 2 3 wc( 2,2)a2 b23wab3wab 23wc(1,0) (ab)ab (a b) 2 3w( ab) 2(ab)a 2b 2 3w a2 (1ab )(1ab )2 b3wc( 2,0)ab 3wa 2b 23wa 2 b3wc( 2,1)(ab)ab3 w(ab) ab 3wab (1ab)3 w(5) 混合高斯和非高斯系统的辨识设一过程的功率谱为 S( ) ，双谱为 B( 1 , 2 ) 。若与S( ) 相匹配的线性系统的传递函数为H ( z) ，即S( )2(13

29、)H ( )而与(1,2 )相匹配的线性系统的传递函数为T ( z) ，即BB( 1, 2) T(1)T( 2)T* ( 12)(14)当由式 (13)求得的 H ( ) 与由式 (14)求得的 T () 不同时，可用来辨识高斯与非高斯分量组合的系统。下面就来研究这个问题。考虑如图 1-1 所示的过程 zn ，它由两个过程组成：一为高斯白噪声(n) 通过 AR 滤波器的输出 x( n) ，另一为非高斯白噪声w(n) 通过 AR 滤波器的输出y( n) 。设(n) 与 w(n) 相互独立，(n)x( n)1B(z)z(n)1A( z)w( n)y(n)图 1-1混合高斯和非高斯系统因此 x( n) 与 y(n) 相互独立。为方便起见，设221 ， 3w1 。于是 z(n) 的双谱是 x(n)w和 y(n) 各自双谱的和，因为 x(n) 是高斯过程，其双谱为零，故z(n) 的双谱就是 y( n) 的双谱。 y(n) 的双