应用统计学与随机过程第4章--白色噪声与正态随机过程2015

1、,主讲教师：何松华 教授 联系电话：(0731）82687718电子信箱：,应用统计学与随机过程(通信专业) Applied Statistics and Random Process,湖南大学教学课件：应用统计学与随机过程 白噪声与正态随机过程,4. 白噪声与正态随机过程(7学时),4.1,白噪声及其特性,4.2,离散白噪声及其特性,4.3,常用离散线性系统模型,4.4,正态随机过程,4.5,正态随机过程的线性变换,引 言,白噪声与正态随机过程的工程背景 (1)白噪声过程与正态随机过程分别从相关函数或概率密度函数这两种不同角度体现了随机过程的典型； (2)从功率谱或

2、相关函数的角度来看,任何具有有理功率谱密度函数的随机过程都可以认为是白色噪声通过线性系统所产生；白色噪声相关函数为冲激函数,功率谱为常数是研究随机过程产生机制及预测方法的基础; (3)从概率密度函数的角度来看,根据中心极限定理,正态分布以及由此衍生的其他分布是最常见的概率密度分布；正态随机过程分析是研究随机过程的重要基础。,湖南大学教学课件：应用统计学与随机过程 白噪声与正态随机过程,白噪声及其特性,4.1,1.连续时间白噪声的定义 如果随机过程X(t)的均值函数为常数0，相关函数为如下的冲激函数，则称该随机过程为白色噪声。,通常意义上的白噪声为平稳白噪声，即V(t1)为常数(相关函数中的冲激

3、强度与时间无关)N0/2，则相关函数定义为,湖南大学教学课件：应用统计学与随机过程 白噪声与正态随机过程,思考：为什么除以2,非平稳白色噪声,从频域的角度看，平稳白噪声的双边功率谱密度函数为常数N0/2，物理功率谱密度函数(单边)为常数N0,湖南大学教学课件：应用统计学与随机过程 白噪声与正态随机过程,白噪声中的“白”的含义：借用了光谱中的“白色光的光谱包含所有颜色(频率)的可见光，且具有均匀光谱”，意指频率分布广且均匀,湖南大学教学课件：应用统计学与随机过程 白噪声与正态随机过程,2. 白噪声的特性 (1)白噪声过程在任意两个不同时刻是互不相关的 EX(t1)X(t2) =RN(t1-t2)

4、=0 (t1t2) (2)白噪声任意时刻的功率为无穷大 EX2(t) =RN(0) = (3)白噪声在实际中是不存在的，但在数学处理上给信号与系统分析带来方便，正如冲激函数在物理上不存在，但冲激响应给信号与系统分析带来方便一样。,湖南大学教学课件：应用统计学与随机过程 白噪声与正态随机过程,3. 白噪声通过线性系统 实际的噪声过程可以认为是白噪声通过线性系统所产生，称为有色噪声，在不同时刻可能是相关的，且任意时刻的功率小于无穷大。,(1) 设输入从t=-开始，生成系统(线性时不变系统)的冲激响应为h(t),传递函数为H(j),根据随机过程的线性变换特性，得到,或,因果系统,功率密度分布不再均匀

5、,湖南大学教学课件：应用统计学与随机过程 白噪声与正态随机过程,频域方法,时域方法(参见第3章),(2) 对于因果系统,根据定义、相关函数的偶函数特性(附录),线性系统一般是稳定的，即,功率为无穷大的白噪声通过线性系统后任意时刻的能量有限，功率(平均能量)有限,湖南大学教学课件：应用统计学与随机过程 白噪声与正态随机过程,附录(自学）:,(1) 0. u0、u-0时，h(u)=0、h(u-)=0；u的取值范围只能为u,(2) 0. u的取值范围为0u时，h(u)、h(u-)不恒为0,积分变量置换u-u,湖南大学教学课件：应用统计学与随机过程 白噪声与正态随机过程,根据定义、冲激函数积分特性分t

6、2t1、 t2t1两种情况证明(附录),(3) 对于因果系统但输入从t=0开始情况 X(t)=0 (t0),(3) 当t1、t2足够大时,渐近平稳,先将t2置换为t2-v再将t1置换为t1-u的二维积分,湖南大学教学课件：应用统计学与随机过程 白噪声与正态随机过程,附录(自学)：以v为变量的冲激函数(t1-t2-u+v)在积分区间0,t2存在冲激点的条件是：0u-(t1-t2)t2，即: t1-t2ut1 (1) t1t2,(2) t1t2,变量置换： u-(t1-t2) u,思考：根据RY(t1,t2)=RY(t2,t1)也可以得到,湖南大学教学课件：应用统计学与随机过程 白噪声与正态随机过

7、程,4. 有色噪声的有效通能带 有色噪声的功率在频率上的分布不均匀，主要集中在某个物理频率附近，有效通能带表示其集中程度。,设角频率0或频率f0为物理功率谱密度函数的最大值点,假设0e/2,湖南大学教学课件：应用统计学与随机过程 白噪声与正态随机过程,如果有色噪声Y(t)的生成系统的传递函数为H(j)，则,容易得到,对于低通系统，f0=0,有色噪声功率与白噪声功率及生成系统有效通能带的关系,白噪声的有效功率乘以中心频率处的功率放大系数,湖南大学教学课件：应用统计学与随机过程 白噪声与正态随机过程,白噪声通过线性系统举例1,设输入信号为白噪声,从t=-开始；求输出随机过程的功率谱密度函数、相关函

8、数、相关时间及有效通能带,解：,湖南大学教学课件：应用统计学与随机过程 白噪声与正态随机过程,湖南大学教学课件：应用统计学与随机过程 白噪声与正态随机过程,白噪声通过线性系统举例2,设输入信号为白噪声,从t=-开始,中频线性放大器的幅频特性为高斯型的，求其输出过程的相关函数,解：,湖南大学教学课件：应用统计学与随机过程 白噪声与正态随机过程,分别作积分变量置换-0； +0,正态概率密度分布函数积分性质,湖南大学教学课件：应用统计学与随机过程 白噪声与正态随机过程,4. 限带随机过程及其特性 如果随机过程的功率密度分布只集中在有限宽度的频带内,在该频带外,功率谱密度函数为0，则称为限带随机过程；

9、进一步，如果限带随机过程的功率谱密度函数在限带内为常数，则称为限带白噪声。,带通限带随机过程,带通限带白噪声,湖南大学教学课件：应用统计学与随机过程 白噪声与正态随机过程,低通限带随机过程,低通限带白噪声,性质： 根据线性系统输入输出功率谱密度关系容易得到，理想白噪声通过理想低通系统(通带内放大系数为1，通带外为0)后为低通限带白噪声；理想白噪声通过理想带通系统后为带通限带白噪声。,思考：以上为物理功率谱密度，功率谱密度形式如何？,湖南大学教学课件：应用统计学与随机过程 白噪声与正态随机过程,5. 低通限带白噪声的相关函数特性,设低通限带白噪声X(t)的物理带宽(单边带宽)为c，物理功率谱密度

10、为N0(通带内双边功率谱密度N0 /2),功率,利用欧拉定理,湖南大学教学课件：应用统计学与随机过程 白噪声与正态随机过程,性质(自学)：对物理带宽为c的低通限带白噪声X(t)按采样角频率s =2c ，采样频率fs=2fc，采样间隔t=1/fs进行采样，得到离散时间随机过程Xs(n)=X(nt)，则任意采样时刻的随机变量是互不相关的。,c=2fc,低通限带白噪声的相关时间,湖南大学教学课件：应用统计学与随机过程 白噪声与正态随机过程,6. 带通限带白噪声的相关函数特性(参见前图),设带通限带白噪声X(t)的物理带宽(单边带宽)为2c，中心角频率为0，物理功率谱密度为N0(通带内双边功率谱密度N

11、0 /2)，则其相关函数为,积分变量置换 +0,利用前面的低通积分性质及欧拉定理,慢变部分,快变部分,积分变量置换 -0,湖南大学教学课件：应用统计学与随机过程 白噪声与正态随机过程,物理带宽为2c的带通限带白噪声的相关函数是物理带宽为c的低通限带白噪声相关函数的调制，其包络为,对于具有调制特性的相关函数，根据包络来定义相关时间,湖南大学教学课件：应用统计学与随机过程 白噪声与正态随机过程,本小节作业,4.6 4.7 4.8,离散白噪声及其特性(自学为主),4.2,1.离散白噪声的定义 如果离散时间随机过程X(n)的均值函数为常数0，相关函数为单位脉冲函数，则称该随机过程为离散白色噪声。,湖南

12、大学教学课件：应用统计学与随机过程 白噪声与正态随机过程,从频域的角度看，平稳白噪声的双边功率谱密度函数为常数X2,与冲激区别RX(0)有限,:数字角频率,湖南大学教学课件：应用统计学与随机过程 白噪声与正态随机过程,2. 离散白噪声通过线性系统 任何具有有理功率谱密度函数的离散随机过程可以认为是离散白噪声通过线性系统所产生。,(1) 设输入从n=-开始，生成系统(线性时不变系统)的单位脉冲响应为h(n),传递函数为H(),根据离散随机过程的线性变换特性，得到,或,因果系统,功率谱密度分布不再均匀,z变换形式的功率谱,湖南大学教学课件：应用统计学与随机过程 白噪声与正态随机过程,频域方法,时域

13、方法，参见第3章ppt,(2) 对于因果系统,练习：根据定义、单位脉冲函数求和特性分m0、 m0两种情况证明,(3) 对于因果系统但输入从t=0开始情况,湖南大学教学课件：应用统计学与随机过程 白噪声与正态随机过程,练习：根据定义、单位脉冲函数求和特性分n2n1、 n2n1两种情况证明,3. 离散白噪声与连续时间白噪声的关系(自学) 容易证明：双边功率谱密度为N0/2的理想白噪声通过物理带宽为c、幅度增益为C的理想低通滤波器，对其输出按角采样频率2c采样得到的离散时间序列X(n)为离散白噪声，功率谱密度函数为常数N0C2c /(2)。,湖南大学教学课件：应用统计学与随机过程 白噪声与正态随机过

14、程,离散白噪声举例：低通限带离散白噪声(自学),设低通限带白噪声X(t)的物理带宽(单边带宽)为c，物理功率谱密度为N0(通带内双边功率谱密度N0 /2)，按角采样频率s2c进行采样，得到离散时间随机过程Xs(n)，求其功率谱密度函数。,解：低通限带白噪声的相关函数为,采样后的离散时间随机过程的相关函数为,采样间隔,湖南大学教学课件：应用统计学与随机过程 白噪声与正态随机过程,欧拉定理,湖南大学教学课件：应用统计学与随机过程 白噪声与正态随机过程,c/s1/2限带,常数,模拟角频率与数字角频率的对应关系,湖南大学教学课件：应用统计学与随机过程 白噪声与正态随机过程,4.平稳离散时间随机过程的线

15、性生成模型(自学),正则分解定理：设零均值离散平稳随机过程X(n)的相关函数为RX(m),Z变换形式表示的功率谱密度为,双边z变换,由于RX(m)=RX(-m)，则 GX(z)=GX(z-1)；则GX(z)的零点与极点围绕单位圆成对出现，设H(z)为其单位圆内零、极点因子构成的有理分式，则有,X(n)可以由功率为2的离散白噪声W(n)通过线性系统H(z)生成。,湖南大学教学课件：应用统计学与随机过程 白噪声与正态随机过程,举例：通过正则分解得到生成系统,验证(练习)：,常用离散线性系统模型(自学),4.3,1.MA模型(滑动平均模型) 设W(n)为离散白噪声，X(n)通过如下的M阶滑动平均线性

16、模型生成(假设输入从n=-开始),湖南大学教学课件：应用统计学与随机过程 白噪声与正态随机过程,根据信号与系统理论，该生成系统的传递函数及单位脉冲响应为,全零点模型,湖南大学教学课件：应用统计学与随机过程 白噪声与正态随机过程,根据上节的离散白噪声通过线性系统理论，得到,考虑到uM时，h(u)=0；则,附录(扩展)：MA模型的工程应用。如果已知某零均值平稳随机过程满足参数已知的MA模型，假设按顺序得到随,自相关函数是M后截尾的,湖南大学教学课件：应用统计学与随机过程 白噪声与正态随机过程,机过程的样本数据x(1),x(2),x(n-1),x(n),;已知随机过程的相关函数,则按顺序进行单步预测

17、的过程为,第1步：由x(1) 预测 x(2) 在已获x(1)未获得x(2)时,第2步：由x(1) ,x(2)预测 x(3) 在已获x(2)未获得x(3)时,获得上一步的预测误差,为下次预测做准备,湖南大学教学课件：应用统计学与随机过程 白噪声与正态随机过程,以此类推,第n步：由x(1) ,x(2),x(n)预测 x(n+1) 在已获x(n)未获得x(n+1)时,湖南大学教学课件：应用统计学与随机过程 白噪声与正态随机过程,当n足够大时，n,1, n,2, n,M趋近于b1,b2,bM； n,M+1, n,M+2, n,n为0。不用计算各系数,假设在初次预测时x(1),x(2),x(k)已知，从

18、x(k+1)开始预测，为保证精度，模型的递推从x(1)开始；只是在已知的数据段内，预测误差已知而已。,根据MA序列相关函数的截止特性,当nM时,ry(n)=0,则n,j=0 (njq+1),2.ARMA模型(自回归滑动平均模型) 设W(n)为离散白噪声，X(n)通过如下的(N,M)阶自回归滑动平均线性模型生成(假设输入从n=-开始),湖南大学教学课件：应用统计学与随机过程 白噪声与正态随机过程,根据信号与系统理论，该生成系统的传递函数为,该系统稳定的条件是：方程zN+a1zN-1+aN-1z+aN的根即所有极点pi都在复平面单位圆内,零极点模型,湖南大学教学课件：应用统计学与随机过程 白噪声与

19、正态随机过程,下面求X(n)的相关函数的通解。设m M，差分方程两边同乘X(n-m)，再取数学期望，得到,考虑到mM 时，X(n-m)与W(n),W(n-1), ,W(n-M)不相关W的白色性、系统的因果性；得到,湖南大学教学课件：应用统计学与随机过程 白噪声与正态随机过程,根据高等数学理论，上述差分方程的通解为,剩下的问题：(1)如何求得边界条件RX(L+1), RX(L+2), RX(L+N)?通过RX(0), RX(1), RX(L)利用差分方程递推 如果已求得，则代入通解表达式，通过解线性方程组可以求出B1,B2,BN；(2)如何求得RX(0), RX(1), RX(L)?,方法1(其

20、他方法略)：留数定理,考虑到差分方程不满足偶函数特性,ARMA模型举例：求X(n)的相关函数,湖南大学教学课件：应用统计学与随机过程 白噪声与正态随机过程,湖南大学教学课件：应用统计学与随机过程 白噪声与正态随机过程,湖南大学教学课件：应用统计学与随机过程 白噪声与正态随机过程,代入 RX(3), RX(4)求得：,m2时 ，满足 得：,方程两边同乘X(n-m)取期望,湖南大学教学课件：应用统计学与随机过程 白噪声与正态随机过程,附录(扩展)：基于ARMA模型的单步预测，假设模型参数已知(相关函数可以根据模型参数计算) ；初始条件x(0)=x(-1)=x(-2)=0;按顺序进行单步预测的过程为

21、,第1步：由x(1) 预测 x(2) 在已获x(1)未获得x(2)时,第2步：由x(1) ,x(2)预测 x(3) 在已获x(2)未获得x(3)时,获得上一步的预测误差,为下次预测做准备,湖南大学教学课件：应用统计学与随机过程 白噪声与正态随机过程,以此类推,第n步：由x(1) ,x(2),x(n)预测 x(n+1) 在已获x(n)未获得x(n+1)时,湖南大学教学课件：应用统计学与随机过程 白噪声与正态随机过程,3.AR模型(自回归模型) 设W(n)为离散白噪声，X(n)通过如下的N阶自回归线性模型生成(假设输入从n=-开始),湖南大学教学课件：应用统计学与随机过程 白噪声与正态随机过程,根

22、据信号与系统理论，该生成系统的传递函数为,该系统稳定的条件是：方程zN+a1zN-1+aN-1z+aN的根即所有极点pi都在复平面单位圆内,全极点模型,湖南大学教学课件：应用统计学与随机过程 白噪声与正态随机过程,下面考虑如何求X(n)的相关函数的通解。设m0，差分方程两边同乘X(n-m)，再取数学期望，得到,考虑到m0 时，X(n-m)与W(n)不相关W的白色性、系统的因果性；只与W(n-m)以及n-m时刻以前的W相关；得到,湖南大学教学课件：应用统计学与随机过程 白噪声与正态随机过程,根据高等数学理论，上述差分方程的通解为,剩下的问题：(1)如何求得边界条件RX(N), RX(N+1),

23、RX(2N-1)? 如果已求得，则代入通解表达式，通过解线性方程组可以求出B1,B2,BN ；(2)如何求得RX(0) RX(N-1)?,方法：Yule-Walker方程,性质,根据因果性，X(n-i)为W(n-i), W(n-i-1),的线性组合，每项都与W(n)无关,考虑到差分方程不满足偶函数特性,湖南大学教学课件：应用统计学与随机过程 白噪声与正态随机过程,差分方程两边同乘X(n)，再取数学期望，并利用相关函数的偶函数特性，得到,上述方程与前面得到的方程,联立，得到如下的N+1个线性方程,根据RX()的偶函数特性，上述N+1个方程只包含RX(0), RX(1), , RX(N)这N+1个

24、未知数，可求得唯一解;然后利用差分方程递推求得RX(N+1), RX(2N-1)?,AR模型举例：求X(n)的相关函数,湖南大学教学课件：应用统计学与随机过程 白噪声与正态随机过程,N=2,方程两边同乘X(n)取期望,方程两边同乘X(n-1)取期望,方程两边同乘X(n-2)取期望,湖南大学教学课件：应用统计学与随机过程 白噪声与正态随机过程,代入RX(2)，RX(3)= -1.4RX(2)-0.48 RX(1)；得到,练习：采用频域法及留数定理进行验证,附录(扩展)：基于AR模型的单步预测，假设模型参数已知(相关函数可以根据模型参数计算) ；初始条件x(0)=x(-1)=x(-2)=0;按顺序

25、进行单步预测的过程为,基于AR模型的预测方法简单，由于没有利用历史预测误差修正目前的预测值，需要的阶数一般较高。,正态随机过程,4.4,1.正态随机过程的普遍性(自学为主),(1)李雅普诺夫定理：设X1,X2,Xn为相互独立、均值与方差为有限值的随机变量，则不管其服从什么分布，当n足够大时，这些随机变量的和服从高斯分布。 (2) 白色噪声X(t)通过有限带宽的线性系统后其概率密度分布必为高斯分布(假设信号从任意t0开始输入),湖南大学教学课件：应用统计学与随机过程 白噪声与正态随机过程,即使0，对不同的i，随机变量,相互独立，只要tt0，则n=(t-t0)/；满足定理条件,(3)宽带随机过程通

26、过窄带系统后，其概率密度分布逼近高斯分布，用高斯分布进行统计分析不会带来显著误差。随机过程的带宽越宽，则其相关时间0=/c就越短，系统带宽越窄，则其冲激响应过渡时间就越长,湖南大学教学课件：应用统计学与随机过程 白噪声与正态随机过程,将t=t-t0宽度的积分区间分成t/0个小区间，各求和变量可以认为是相互独立的且变量数足够多；基本满足定理条件,当小区间宽度0足够小时,(4)在通信系统中，信号的传输是宽带的，但最终提取信息时要对信号进行窄带接收处理，信道噪声满足宽带随机过程通过窄带线性系统的条件，因此，高斯过程或正态过程是通信与电子系统中最普遍的随机过程。,湖南大学教学课件：应用统计学与随机过程

27、 白噪声与正态随机过程,2.正态随机过程的定义与特征,正态(高斯)随机过程的定义：对于任意的n以及任意的时刻t1,t2,tn；如果随机变量X(t1),X(t2),X(tn)的联合概率密度分布函数为如下的联合高斯分布，则称其为正态随机过程或高斯随机过程,行矢量,列矢量,对称正定矩阵,行列式值,容易证明，,湖南大学教学课件：应用统计学与随机过程 白噪声与正态随机过程,定义如下的矩阵及矢量(列矢量）,nn维的矩阵K的第i行第j列的元素值为Kij满足,则显然有,矢量的数学期望及矩阵的数学期望的含义,显然Kij=Kji，K为对称矩阵,湖南大学教学课件：应用统计学与随机过程 白噪声与正态随机过程,将多维联

28、合正态分布记为：,理解为：随机矢量,的取值,服从均值矢量为,协方差矩阵为K的联合正态分布，在取值,处的概率,密度值为,(标量),矩阵第i行第j列的值?,湖南大学教学课件：应用统计学与随机过程 白噪声与正态随机过程,正态随机过程的多维特征函数,记,则多维特征函数定义简记为,表达式太烦琐,完美的数学表达语言,标量的含义,多维随机变量函数的数学期望的定义,湖南大学教学课件：应用统计学与随机过程 白噪声与正态随机过程,练习：展开并利用,多维联合正态概率密度分布函数在多维空间上的全积分,湖南大学教学课件：应用统计学与随机过程 白噪声与正态随机过程,零均值正态随机过程重要性质,证： （证明过程自学）,Ki

29、j=Kji= EX(ti)X(tj),湖南大学教学课件：应用统计学与随机过程 白噪声与正态随机过程,参见第1章的多维联合矩与多维特征函数的关系,湖南大学教学课件：应用统计学与随机过程 白噪声与正态随机过程,证毕,注:对u3求导利用了,注:对u4求导利用了,湖南大学教学课件：应用统计学与随机过程 白噪声与正态随机过程,附录(自学),以上证明了t1t2t3 t4的情况，对于部分变量相同情况，公式同样成立。 (1) t1=t2=t3 =t4=t的情况,练习：利用正态随机变量X(t)矩与其一维特征函数的关系(参见第1章)证明,(2) (1) t1=t2=t3=s t4=t的情况,练习：利用正态随机变量

30、X(s)与X(t)的联合矩与其二维联合特征函数的关系(参见第1章以及本章前面)证明,湖南大学教学课件：应用统计学与随机过程 白噪声与正态随机过程,(3) t1=t2=s t3=t4=t的情况,练习：利用正态随机变量X(s)与X(t)的联合矩与其二维联合特征函数的关系(参见第1章以及本章前面)证明,(4) t1=t2=s t3=wt4=t的情况,练习：利用正态随机变量X(s)、 X(w)与X(t)的联合矩与其三维联合特征函数的关系(参见第1章以及本章前面)证明,湖南大学教学课件：应用统计学与随机过程 白噪声与正态随机过程,同理可以证明，对于零均值正态随机过程以及任意的时刻t1,t2,t3，有,练

31、习：利用正态随机变量X(t1)、 X(t2)与X(t3)的联合矩与其三维联合特征函数的关系(参见第1章以及本章前面)证明,对于均值函数为mX(t)的非零均值正态随机过程X(t)，可以看作是一个零均值随机过程Y(t)与确定性函数mX(t)的和，且Y(t)与X(t)具有相同的方差函数及协方差函数，则,湖南大学教学课件：应用统计学与随机过程 白噪声与正态随机过程,同理可以得到：,湖南大学教学课件：应用统计学与随机过程 白噪声与正态随机过程,3.联合正态分布函数形式的唯一性(自学),性质:若X(t1),X(t2),X(tn)都服从正态分布,各自的均值为mi,方差为i,相互之间的相关系数为,如果任意维的

32、条件分布(一维二维举例如下),均为正态分布,则它们服从联合正态分布,且,湖南大学教学课件：应用统计学与随机过程 白噪声与正态随机过程,附录(自学):证明,证：协方差矩阵K为正定矩阵，设1, 2, n为其全部特征根(大于0)，对应的n个特征向量为,对称矩阵的特征向量矩阵满足性质：,n维积分,参见第2章,湖南大学教学课件：应用统计学与随机过程 白噪声与正态随机过程,作积分变量置换：,根据积分变换理论：,行列式值,行列式值,湖南大学教学课件：应用统计学与随机过程 白噪声与正态随机过程,可分离的多维积分,积分变量置换,参见第2章ppt的标准正态概率密度分布积分,湖南大学教学课件：应用统计学与随机过程

33、白噪声与正态随机过程,4.一维及二维的特殊情况,(1)一维情况，ti时刻的概率密度分布为均值为mi、方差为i2的正态分布,根据联合正态分布的积分性质(参见附录)可得到下述表达式,根据,湖南大学教学课件：应用统计学与随机过程 白噪声与正态随机过程,附录(自学)：K矩阵的分块特性,令,根据高等代数中的对称矩阵求逆定理得到,除x1外其余n-1个变量的协方差矩阵,练习:验证,(n-1)(n-1)的方阵,湖南大学教学课件：应用统计学与随机过程 白噪声与正态随机过程,令,则有,湖南大学教学课件：应用统计学与随机过程 白噪声与正态随机过程,于是可以得到,此外，根据高等代数中的行列式性质,n-1维的多维联合正

34、态分布，对于任意n-1维其n-1维多维积分为1(参见前面的证明)，,湖南大学教学课件：应用统计学与随机过程 白噪声与正态随机过程,根据贝叶斯公式在已知X(t1)=x1情况下； X(t2), X(t2), X(tn)的条件概率密度函数为,各矢量及矩阵的定义见前面介绍,湖南大学教学课件：应用统计学与随机过程 白噪声与正态随机过程,(接前),(2) 二维情况，任意ti,tj(ij)时刻的二维联合概率密度分布为均值分别为mi、 mj，方差分别为i2、 j2 ，协方差函数为Kij、相关系数为ij的二维联合正态分布,根据联合正态分布的定义以及积分性质都可得到上述表达式,湖南大学教学课件：应用统计学与随机过

35、程 白噪声与正态随机过程,(接前),附录(自学,练习：证明),将协方差矩阵按任意方式划分为方块矩阵,矩阵K的前k行k列组成的分块矩阵(前k个随机变量的协方差矩阵),湖南大学教学课件：应用统计学与随机过程 白噪声与正态随机过程,矩阵K的后(n-k)行(n-k)列组成的分块矩阵(后(n-k)个随机变量的协方差矩阵),湖南大学教学课件：应用统计学与随机过程 白噪声与正态随机过程,根据矩阵求逆定理以及行列式性质,定义,求证：,湖南大学教学课件：应用统计学与随机过程 白噪声与正态随机过程,条件均值矢量,条件协方差矩阵,湖南大学教学课件：应用统计学与随机过程 白噪声与正态随机过程,在上述一般情况中，令k=

36、2，则有,将随机矢量X中的元素交换次序，将X(ti)、X(tj)排在前面，多维联合概率密度分布函数的上述分解性质依然成立，则：,湖南大学教学课件：应用统计学与随机过程 白噪声与正态随机过程,(3) 条件概率密度分布,练习：由此派生出零均值、等方差、不相关等多种特殊情况的表达式,湖南大学教学课件：应用统计学与随机过程 白噪声与正态随机过程,结论：(1)正态随机过程的任意两个不同时刻变量的条件分布为正态分布，可以推广得到任意多维的条件分布为多维正态分布；(2)若正态随机过程为零均值的，则条件分布的均值不一定为0值。,(3)条件方差小于随机变量的方差,练习：验证,物理含义？,怎么记？j越小，则条件均

37、值受到X(ti)的影响越小(分子),湖南大学教学课件：应用统计学与随机过程 白噪声与正态随机过程,(4) 一维、二维情况情况下的特征函数,前面已经求得：,一维情况：,二维情况：,湖南大学教学课件：应用统计学与随机过程 白噪声与正态随机过程,(4) 不同时刻随机变量不相关的特殊情况,如果,则,练习：验证,湖南大学教学课件：应用统计学与随机过程 白噪声与正态随机过程,湖南大学教学课件：应用统计学与随机过程 白噪声与正态随机过程,代入联合概率密度函数表达式得到,结论：对于高斯过程而言，不相关和相互独立等价。,根据指数函数性质，又可写成,根据和的指数等于指数的乘积以及可分离的多维积分为多个一维积分的乘

38、积,湖南大学教学课件：应用统计学与随机过程 白噪声与正态随机过程,5.平稳正态随机过程,如果正态过程的均值、方差分别为常数m、 2，相关系数只与时刻差有关，则称其为平稳正态随机过程。,(1) 一维情况。任意时刻t的概率密度分布函数,由于与时刻t无关，省去t,(2) 二维情况。任意两个不同时刻ti,tj的联合概率密度分布函数。记 =|ti-tj|，将 i=j=; ij=rX(ti-tj)代入前面的二维概率密度函数以及二维特征函数表达式得到,参见第1章相关系数的定义：,湖南大学教学课件：应用统计学与随机过程 白噪声与正态随机过程,(3) 任意n维情况。任意n个不同时刻t1,t2,tn的联合概率密度

39、分布函数。记,则,根据4小节的二维情况,湖南大学教学课件：应用统计学与随机过程 白噪声与正态随机过程,定义,则,将上述关系代入n维概率密度函数表达式得到：,其中,同理，n维特征函数为,湖南大学教学课件：应用统计学与随机过程 白噪声与正态随机过程,性质：对于正态随机过程，广义(宽)平稳与狭 义(严格)平稳是等价的,证： (1)显然，在宽平稳情况下，随机过程均值、方差为常数，相关系数只与时间差有关；对于正态随机过程这一特殊情况，容易证明：如果其均值、方差为常数，相关系数只与时间差有关，则其任意的n维联合概率密度分布函数只与时间差有关，与时间起点无关，则必然是严格平稳的； (2)对于任意的随机过程(

40、包括正态随机过程)，严格平稳必然广义平稳。,湖南大学教学课件：应用统计学与随机过程 白噪声与正态随机过程,6.平稳正态白色噪声,如果正态过程的均值为常数0，且相关函数(零均值时与协方差函数等价)为冲激函数，则称其为平稳正态白噪声。,则在任意时刻服从均值为零，方差为无穷大的正态分布；n个不同时刻的联合概率密度分布为各自概率密度分布的乘积。,湖南大学教学课件：应用统计学与随机过程 白噪声与正态随机过程,8.平稳高斯有色噪声 + 信号,实际中常遇到平稳高斯噪声N(t)与信号S(t)之和的随机过程X(t)，即：X(t)=N(t)+S(t),设N(t)均值为零，方差为 2，对于任意固定的时刻t，根据随机

41、变量函数的概率密度关系，得到X(t)的一维概率密度为,任意时刻的分布依然为正态分布，方差为2，但均值函数S(t)不为常数，为非平稳随机过程,湖南大学教学课件：应用统计学与随机过程 白噪声与正态随机过程,例题：联合正态分布、条件分布,设平稳高斯随机过程X(t)的相关函数为,求该过程在t1=0,t2=0.5,t3=1时刻的联合概率密度 (自学)求该过程在t4=1.5时刻的均值,方差；已知X(t1)=0.2, X(t2)=-0.1, X(t3)=0.1;预测X(t4)并求预测精度,解：RX() =0，零均值；根据Kij=RX(|ti-tj|)得到,湖南大学教学课件：应用统计学与随机过程 白噪声与正态

42、随机过程,令,湖南大学教学课件：应用统计学与随机过程 白噪声与正态随机过程,(2) X(t)为平稳的， RX(0) =1； t4时刻的概率密度,同理可求得四维变量X(t1), X(t2), X(t3), X(t4)的协方差矩阵,按图示进行矩阵的分块，根据前面自学部分的正态过程的条件分布性质，得到X(t4)在所给条件下均值为,结合前面介绍的矩阵分块理论自学,湖南大学教学课件：应用统计学与随机过程 白噪声与正态随机过程,虽然均值矢量为零矢量，但条件均值不为0,湖南大学教学课件：应用统计学与随机过程 白噪声与正态随机过程,附录(自学)：若已知联合高斯随机矢量 的前k个变量 的值 ，设X的协方差矩阵及均值矢量按方块矩阵分解为,其中Ck为k行k列的方阵, 为k行的列矢量,则 的条件分布 为联合正态分布，均值矢量及协方差矩阵分别为,后M-k个随机变量的最大似然预测值,对角线上的元素值反映