第1章 高阶统计量的定义与性质

1、第1章高阶统计量的定义与性质§1.1准备知识1. 随机变量的特征函数若随机变量x的分布函数为F(x)，则称(w)=Ee；®x=J®ejxdF(x)ef(x)dxgg为x的特征函数。其中f(x)为概率密度函数。离散情况：(w)=Eej®x=工ejwxkp,p=px=xkkkk*特征函数(w)是概率密度f(x)的付里叶变换。例：设xN(a,b2)，则特征函数为g1(w)=g.e(xa)2/2b2ejwxdxgJ2兀b令z=(xa)/£2b，则1fL(w)=ez2+j2bwz+jwadzg根据公式：丫Ax2土2Bx-Cxdx飞*ACB2A，则3)，则

2、联合特征函数为n)=Jg.Jgej(w1x1+w2x2+巴gg令x=x,x，,xT,&=w,w，,wT，贝U12n12n0(©)=Jej®Txf(x)dX(w,w，,w)=Eej(w1x1+w2x2+w”x”12n”)dF(x,x，x)12n矩阵形式(w)=ejwa2w2b2若a=0，贝U(w)=e2“"。2. 多维随机变量的特征函数设随机变量x,x，,x联合概率分布函数为F(x,x,x1 2n12标量形式(w,w，w)=JgJge'¥"kf(x,，x)dx,，dx12ngg1n1，其中，f(x)=f(x,x,x)为联合概率密度

3、函数。12n例：设n维高斯随机变量为x=x,x，xT,a=a,a，aT12n12ncc1112c1nccn1n2cnnc=covx,x=E(x-a)(x-a)ikikiikkx的概率密度为P(x)二(2兀)n/2CI1exp<j_(x-a)tc(x-a)1/2I2x的特征函数为I1(=expjaT&-&tg矩阵形式其中，&=回,，,T,12n,3，,)=expj工a-1工工c!12nii2ijijIi=1i=1j=1丿3.随机变量的第二特征函数定义：特征函数的对数为第二特征函数为>标量形式(1)单变量高斯随机过程的第二特征函数屮)=Ine丽-严2=ja-2Q

4、22(2)多变量情形屮(,，)=j工a-C12nii2ijiji=1i=1ji=1§1.2高阶矩与高阶累积量的定义1.单个随机变量情形(1)高阶矩定义随机变量x的k阶矩定义为m=Exk=卜xkp(x)dxk-8显然m=1,0m=n=Ex。随机变量x的k阶中心矩定义为1卩=E(x一耳)k=J8(x一耳)kp(x)dxk-8(1)由式(1)可见，卩二1,卩=0,卩=G2。012若m(k二1,2,n)存在，则x的特征函数佃)可按泰勒级数展开，即knm)=1+Ek(je)k+0(3n)k=1k!并且m与()的k阶导数之间的关系为km二(-j)少?®)=(-j)kk(0),k<

5、nkd®k0=0(2) 高阶累积量定义x的第二特征函数屮(o)按泰勒级数展开，有屮(®)=In(®)=丫二(jo)k+O(on)(3)k!k=11dokln(o)1dk屮(o)jkjkdok并且c与屮(o)的k阶导数之间的关系为kcko=0o=0=(-j)k屮k(0),k<nc称为随机变量x的k阶累积量，实际上由(0)=1及(o)的连续性，存在60，使01Y5k时，(o)丰0，故第二特征函数屮(o)=In(o)对01Y5有意义且单值(只考虑对数函数的主值)，ln(o)的前n阶导数在o=0处存在，故c也存在。k(3)二者关系下面推导c与m之间的关系。形式地在式

6、(2)与式(3)中令nfg，并利用kk(o)=1+k=1k!(jo)k=expk=1k-(jo)k!gc1=1+k(jo)k+k!2!k=1k=1k(jo)k!n!k=1k(jo)k!比较上式中各(jo)k(k=1,2,)同幂项系数，可得k阶累积量与k阶矩的关系如下:c=m=Ex=n11c=mm2=Ex2-(Ex)2=E(xEx)2二卩2 212c=m3mm+2m3=Ex33ExE(x2)+2(Ex)3=E(xEx)3=卩3 31213c=m3m24mm+12m2m6m4丰E(xEx)4=卩4 42131214若Ex=n=0，贝Uc=m=0c=m=Ex21122c=m=Ex3c=m3m2=Ex

7、43(Ex2)233442由上可见，当随机变量x的均值为零时，其前三阶累积量与前三阶矩相同，而四阶累积量与相应的高阶矩不相同。2.多个随机变量情形(1) 高阶矩给定n维随机变量(x,x,x)，其联合特征函数为12n,)二Eexpjxxd®x)(4)12n1122nn其第二联合特征函数为屮,e，,)二In,，,)(5)12n12n可见，联合特征函数(e,e，,e)就是随机变量(x,x,x)的联合概率密度函数12n12np(x,x,x)的n维付里叶变换。12n对式与(5)分别按泰勒级数展开，贝尬数r二k+k+k的联合矩可用联合特征函12n数(e,e，,e)定义为dr(e,e，e)12nd

8、ekQek2.Qekn12n12nm=Exkxk2.xkn=(j)rkkk12nei=e2=-=e=012n(2)高阶累积量同样地，阶数r二k+k+k的联合累积量可用第二联合特征函数屮(e,e，,e)定义为12n12nd屮(e,e，e)C=(j)r+2nkik2kdekdek2.dek”12n(3)二者关系联合累积量c可用联合矩m的多项式来表示，但其一般表达式相当复杂，这里k1k2kk1k2k不加详述，仅给出二阶、三阶和四阶联合累积量与其对应阶次的联合矩之间的关系。ei=e2=.=e”=0/.、drln(e,e，e)=(j)r12ndekdek2.dek”12nei=e2=.=e”=011设x

9、,x，,x和x均为零均值随机变量，则12n4(6a)(6b)c=cum(x,x)=Exx11 1212c=cum(x,x,x)=Exxx111 123123c=cum(x,x,x,x)11111234=ExxxxExxExxExxExxExxExx(6c)1234123413241423对于非零均值随机变量，则式(6)中用xEx代替x即可。与单个变量情形类似，前三阶联iii合累积量与前三阶联合矩相同，而四阶及高于四阶的联合累积量则与相应阶次的联合矩不同。注意，式(6)中采用cum()表示联合累积量的方法在以后将时常用到。3. 平稳随机过程的高阶累积量设x(n)为零均值k阶平稳随机过程，则该过程

10、的k阶累积量c(m,m，,m)定义为k,x12k1随机变量x(n),x(n+m),x(n+m)的k阶联合累积量，即1k-1c(m,m，m)二cum(x(n),x(n+m),x(n+m)k,x12k-11k-1而该过程的k阶矩m(m,m，,m)则定义为随机变量x(n),x(n+m),x(n+m)k,x12k-11k-1的k阶联合矩，即m(m,m，m)二mom(x(n),x(n+m),x(n+m)k,x12k-11k-1这里，mom()表示联合矩。由于x(n)是k阶平稳的，故x(n)的k阶累积量和k阶矩仅仅是时延m,m，,m的12k-1函数，而与时刻n无关，其二阶、三阶和四阶累积量分别为c(m)二

11、Ex(n)x(n+m)2, xc(m,m)二Ex(n)x(n+m)x(n+m)3, x1212c(m,m，m)二Ex(n)x(n+m)x(n+m)x(n+m)c(m)c(mm)4, x1231232,x12,x23c(m)c(mm)c(m)c(mm)2,x22,x312,x32,x12可以看出，x(n)的二阶累积量正好就是其自相关函数，三阶累积量也正好等于其三阶矩，而x(n)的四阶累积量则与其四阶矩不一样，为了得到四阶累积量，必须同时知道四阶矩和自相关函数。§1.3高阶累积量的性质高阶累积量具有下列重要特性(1)设九(i=1,2,k)为常数，x(i=1,2,k)为随机变量，则iicu

12、(mx，,九x)=打九cu(m，x)11kki1ki=1(2) 累积量关于变量对称，即u(mx,x)=1kcu(mx,x,xi1i2ik其中(i，,i)为(1,k)中的任意一种排列。1k(3) 累积量关于变量具有可加性，即u(mo,zi，,zk)cu(m+y,z,z)=cu(m,z,z)+c001k01k(4) 如果a为常数，则cu(m+z,z,，z)=cu(m,z，z)12k12k(5)如果随机变量x(i=1,2,k)与随机变量y(i=1,2,k)相互独立，则iiu(m,，y)1kcu(m+y，,x+y)二cu(m，,x)+c11kk1k(6)如果随机变量x(i二1,2,k)中某个子集与补集

13、相互独立，则icum(x，,x)=01k§1.4高斯过程的高阶累积量1. 单个高斯随机变量情形设随机变量x服从高斯分布N(0,b2)，即x的概率密度函数为1-x2p(x)=e2b22兀b,b2仃)2故有)=e-2x的第二特征函数为(7)利用累积量c与屮(®)的关系式(3),并比较(3)与(7)两式，可以得到随机变量x的各阶累k积量为c=0，c=b2，c=0,k212k由此，我们有下列结论：(1)高斯随机变量x的一阶累积量c和二阶累积量c恰好就是x的均值和方差。12(2) 高斯随机变量x的高阶累积量c(kA2)等于零。k(3) 由于高斯随机变量x的各阶矩为i3(k-i)bk,

14、k为偶数m=Exk=<k0,k为奇数可见，高阶累积量与高阶矩不一样。由于高斯随机变量x的高阶矩并不比其二阶矩多提供信息，它仍取决于二阶矩的统计知识b2，所以人们宁愿选择高阶累积量这一统计量，直接把多余的信息用零来处理。2. 高斯随机过程情形先讨论n维高斯随机矢量x=x,x，,xt，设其均值矢量为a=a,a，,at，协方12n12n差矩阵为c1nc2ncc1112ccc=2122ccn1n2cnn其中c=E(x-a)(x-a)i,k=1,2,nikiikkn维高斯随机变量x的联合概率密度函数为亠I1p(x)=exp<-(x-a)tc-1(x-a)(2)n/2|屮2j2x的联合特征函数

15、为(©)=exjjjatm-2们tc®其中，m二®,®，,®t12nx的第二联合特征函数为屮(m)=ln(m)=jatm-®tcm=j工a®-c®®2ii2ijiji=1i=1j=1由于阶数r=k+k+k的联合累积量12c可由第二特征函数定义为k1k2kar屮()=(-j)ra®ka®k2.a®kn12n®1=®2二“广0于是，n维高斯随机变量(x,x,x)的各阶累积量为：12n(1)r=1，即k,k，,k中某个值取1(设k=1),而其余值为零，于是12n

16、i(、a屮(®)c=(-j)o1oa®i2)r=2，这有两种情况：=a=Exii®=®二二®=012n1)k(i=1,2,n)中某两个值取1(设k=k=1,i丰j)，其余值为零，这时iij/.、a2屮(®)c=(-j)o110a®a®ij上式利用了关系式c二cijji=c=E(x-a)(x-a)i丰jjiijj®=®=.=®=o12n2)k(i二1,2,n)中某个值取2(设k二2),其余值为零，这时iia2屮(®)c=(-j)2=c=E(x-a)20.2.0a®2i

17、iiii®1=®2=®=0(3)r>3，由于屮(m)是关于自变量®(i=1,2,n)的二次多项式，因而屮(m)关于自变量i的三阶或三阶以上(偏)导数等于零，因而x的三阶或三阶以上联合累积量等于零，即c=o,k+k+kn3叽时12n由上一节关于随机过程的累积量的定义可知，对于高斯随机过程x(n)，其阶次大于2的k阶累积量c(m,m，,m)也为零，即k,x12k-1c(m,m，,m)=0,k>3k,x12k-1由于高斯过程的高阶累积量(当阶次大于2时)等于零，而对于非高斯过程，至少存在着某个大于2的阶次k，其k阶累积量不等于零。因此，利用高阶累积

18、量可以自动地抑制高斯背景噪声(有色或白色)的影响，建立高斯噪声下的非高斯信号模型，提取高斯噪声中的非高斯信号(包括谐波信号)。正因为这样，高阶累积量这一统计量已日益受到人们的重视并已成为信号处理中一种非常有用的工具。因此，文中在今后的算法研究中均代用高阶累积量而不采用高阶矩。§1.5双谱及其性质1.高阶谱的定义设x(n)为零均值平稳随机过程，则其k阶累积量c(m,m，,m)的(k-1)维付里叶k,x12k-1变换定义为x(n)的k阶谱(kth-orderspectrum)，即S(e,)=艺无c(m,m，,m)exp-k,x12k-1m1=-gk-1.-1jemiii=1通常，Sk,k

19、,x12m=-gk-1(e,e，,e)为复数，其存在的充分必要条件是c12k-1k,(8)(m,m，m)绝对可12k-1和，即艺艺|c(m,m，,m1k,x12k-1m=-gm=-g1k-1高阶谱又称作多谱(Polyspectrum)，通常k阶谱对应于(k-1)谱。例如三阶谱对应双谱(Bispectrum)，四阶谱对应于三谱(Trispectrum)，今后我们大多数采用多谱这一概念。取k=2,3,4时，式(8)分别简化为功率谱、双谱和三谱公式，即为功率谱S(e)=区c(m)exp-jem2,x2,xm=-g1(9)为双谱S3,x(e,e)=c(m,m123,xm=-gm=-g12)expLj(

20、®mm)121122N=4，为三谱S(e,e,e)=艺艺4,x123m1=-gm2=-gm3=-gc4,(m,m,m)expLjmmm)123112233容易看出，式(9)就是维纳-辛钦定理。可见，功率谱也是高阶谱的一种特殊形式。2.双谱的性质在高阶谱中，双谱处理方法最简单，且含有功率谱中所没有的相位信息，是高阶谱研究中的“热点”。因此下面着重研究双谱及其性质。设x(n)为零均值、三阶实平稳随机过程，其自相关函数和功率谱分别为r(m)=c(m)=Ex(n)x(n+m)x2,xS(e)=S(e)=£r(m)exp-jem2,xxm=g而其三阶累积量和双谱分别为c(m,m)二E

21、x(n)x(n+m)x(n+m)3,x1212(10)B(e,e)=S(e,e)=c(m,m)expj(em+em)123,x123,x121122miSm2S(11)由式(10)可知，三阶累积量c(m,m)具有如下对称性:3,x12c(m,m)二c(m,m)二c(m,mm)二c(mm，-m)3,x123,x213,x2123,x211=c(mm，m)=c(m,mm)3,x1223,x121由式(11)双谱的定义及式(12)三阶累积量的对称性可知：(12)(1)B(e,e)通常是复数，即包含幅度和相位。12B(e,e)=B(e,e)|expj®(e,e)1212B12B,e)是以2沢

22、为周期的双周期函数，即12B©,e)=B©+2兀,+2兀)1212(3)B(e,e)具有如下对称性12B(e,e)=B(e,e)=B*(e,e)=B*(e,e)12212112=B(ee,e)=B(e,ee)122112=B(ee,e)=B(e,ee)121212此外，双谱在实际应用中还具有如下重要特性:(1) 高斯过程如果x(n)为零均值、高斯平稳随机过程，则对于所有m,m，都有12c(m,m)=0，因此B(e,e)=0。3,x1212(2) 非高斯白噪声过程如果w(n)是具有Ew(n)=0，Ew(n)w(n+m)=Q5(m)，Ew(n)w(n+m)w(n+m)=閃(m,

23、m)的非高斯白噪声过程，则其功率谱和双谱分别为一直1212线与一平面，即S(e)=Q，B(e,e)=P。1217(3)非高斯白噪声通过线性系统设线性系统的传递函数为H(z)，系统的输入为零均值非高斯白噪声w(n),且Ew(n)=0,Ew2(n)2,Ew3(n)=7,则系统输出y(n)的w3w功率谱与双谱分别为S()=a2|H()|2wB(®,®)=7H(®)H)H*)123w1212设H(®)=|H(®)|exp丿(®)B(e,e)=B(e,e)|expjp(e+e)12121B12|B,e)=7|H(e)卜|H)1H(e+e)|12

24、3w1212p(e,e)=p(e)+p(e)-p(e+e)B121212由上可见，双谱的幅度谱和功率谱均由H(e)决定，因而双谱的幅度谱与功率谱的信息一样多。但功率谱不含相位信息，而双谱则包含相位信息，这就使双谱在信号处理领域得到越来越多的应用，因为有些场合如对图像处理来说，相位信息比幅度信息还重要。(4) 非最小相位系统的辨识双谱含有相位信息，因此在非最小相位系统辨识中变得十分有用，现用一个简单的例子加以说明。设输入为非高斯平稳白噪声过程w(n)，它有Ew(n)=0，Ew2(n)=b2，Ew3(n)=7。线性系统为下列三种情形的二阶FIR系统。w3w1) 最小相位系统H(z)=(1-az-1

25、)(1-bz-1),0yaY1,0YbY11系统输出为y(n)=w(n)-(a+b)w(n-1)+abw(n-2)2) 最大相位系统H(z)=(1-az)(1-bz)2系统输出为y(n)=w(n)-(a+b)w(n+1)+abw(n+2)23) 混合相位系统H(z)=(1-az)(1-bz-1)3系统输出为(n)=-aw(n+1)+(1+ab)w(n)-bw(n-1)输出y(n)，y(n)及y(n)具有相同的自相关序列，即123r(m)二Ey(n)y(n+m)二Ey(n)y(n+m)二Ey(n)y(n+m)112233r(0)=1+a2b2+(a+b)2n2wr(1)=(a+b)(1+ab)b

26、2wr(2)=abb2wr(m)=0,m>3这就意味着它们具有相同的功率谱，因此利用功率谱无法将三个系统区分开来。然而利用双谱则可以区分，因为y(n),y(n)及y(n)具有不同的三阶累积量，见表1.1。这表123明三阶累积量可以用来辨识非最小相位系统，这在地震信号反褶积及数据通信中有重要的应用。表1.1具有相同自相关的三个系统的输出的三阶累积量累积量最小相位系统最大相位系统混合相位系统c(0,0)1(a+b)3+a3b3y3w1(a+b)3+a3b3y3w(1ab)3a3b3y3wc(l,l)(a+b)2(a+b)a2b2y3w(a+b)+ab(a+b)2y3wa(1+ab)2+(1+

27、ab)b2y3wc(2,2)a2b273waby3wab273wc(1,0)(a+b)+ab(a+b)2y3w(a+b)2(a+b)a2b2y3wa2(1+ab)(1+ab)2by3wc(2,0)aby3wa2b273wa2by3wc(2,1)(a+b)aby3w(a+b)aby3wab(1+ab)y3w(5)混合高斯和非高斯系统的辨识设一过程的功率谱为S()，双谱为B®,)。若与12S()相匹配的线性系统的传递函数为H(z)，即S()=|H(0)|2(13)而与B(o,0)相匹配的线性系统的传递函数为T(z)，即12B(o,0)=T(o)T(0)T*(0+0)(14)121212当

28、由式(13)求得的H(0)与由式(14)求得的T(0)不同时，可用来辨识高斯与非高斯分量组合的系统。下面就来研究这个问题。考虑如图1-1所示的过程z,它由两个过程组成：一为高斯白噪声£(n)通过AR滤波器n的输出x(n)，另一为非高斯白噪声w(n)通过AR滤波器的输出y(n)。设£(n)与w(n)相互独立,e(n)x(n)图1-1混合高斯和非高斯系统因此x(n)与y(n)相互独立。为方便起见，设2=2=1,y=1。于是z(n)的双谱是x(n)和Ew3wy(n)各自双谱的和，因为x(n)是高斯过程，其双谱为零，故z(n)的双谱就是y(n)的双谱。y(n)的双谱可由式(14)确定，其中T()=A(