随机过程课程简介-PPT课件

1、随机过程马春光 哈尔滨工程大学课程信息学时32学时；4学时/周。课程性质考试课考核方式闭卷，笔试教材和主要参考书目课程信息主要教材随机过程张卓奎, 陈慧婵西安电子科技大学出版 社，2019参考书目随机过程同步学习辅导张卓奎, 陈慧婵西安电子 科技大学出版社，2019随机过程初级教程 (第二版). 美Samuel Karlin, HowardM. Taylor 著, 庄兴元, 陈宗洵, 陈庆华 译. 人民邮电大学出版社, 2019. 第1章 概率论基础1.1 概率空间1.2 随机变量及分布1.3 随机变量的数字特征1.4 随机变量的特征函数1.5 n维正态

2、随机变量1.6 条件数学期望第1章 概率论基础1.1 概率空间1.2 随机变量及分布1.3 随机变量的数字特征1.4 随机变量的特征函数1.5 n维正态随机变量1.6 条件数学期望1.1 概率空间样本空间一个试验所有可能出现的结果的全体；记为.样本点试验的一个结果；记为随机事件样本空间的某个子集；简称为事件.1.1 概率空间定义1.1.1 设是样本空间，F 是的某些子集构成的集合，如果(1) F (2)若A F 则 F (3)若A F ,n=1,2,， 则 F 那么称 F 为一事件域.也称F 为域.也称F 为域 显然，如果 F 是一事件域，那么 (1) F ； (2) 若A,B F ，则A-B

3、 F ； (3) 若An F ，n=1,2,则 F . 1.1 概率空间定义1.1.2 设是样本空间，F 是一事件域，定义在F 上的实值函数P()如果满足：(1) F ,P(A)0 ，(2) P()=1 ,(3) 若 F ，n=1,2,，且AiAj=,ij,i=1,2,则 那么称P是二元组(, F )上的概率，称P(A)为事件的概率，称三元组(, F ,P)为概率空间.1.1 概率空间事件的概率性质1.1 概率空间 一列事件AnF ，n=1,2,，称为单调递增的事件列，如果An An+1,n=1,2,一列事件 AnF ，n=1,2,，称为单调递减的事件列，如果An An+1,n=1,2,定理1

4、.1.1 设AnF ，n=1,2,(1)若An，n=1,2,是单调递增的事件列，则 (2)若An，n=1,2,是单调递减的事件列，则定义1.1.3 设(, F ,P)为一概率空间， A,B F 且P(A)0，则称 为在事件A发生的条件下事件B发生的条件概率.不难验证，条件概率P(|A)符合定义1.1.2中的三个条件，即(1) F ，P(B|A)0；(2) P(|A)=1；(3) 设BnF ，n=1,2,BiBj=,ij,i=1,2,则 1.1 概率空间定理1.1.2 设(, F ,P)是一概率空间，有：(1) (乘法公式) 若AiF ， i=1,2, 且 P(A1A2An)0 则(2) (全概

5、率公式) 设AF , Bi F ，P(Bi)0,i=1,2,，且 BiBj=,ij,i=1,2, ， 则1.1 概率空间 (3) (贝叶斯(Bayes)公式) 设AF ,P(A)0, Bi F ，P(Bi)0,i=1,2,且BiBj=,ij,i=1,2, 则定义1.1.4 设(, F ,P)为一概率空间, AiF ， i=1,2,n,如果对于任意的k(1kn) 及任意的1i1i2ikn,有则A1A2An称相互独立。1.1 概率空间定理1.1.3 设A,BF 相互独立，则A 与 , 与B , 与 也是相互独立的，从而A所生成的域F A=A,中的任意一个事件和B所生成的域F B=B, , 中的任意

6、一个事件都相互独立(这时我们称这两个域F A和F B是相互独立的).1.1 概率空间定理1.1.4 设A,B,CF 相互独立，则(1) A与BC相互独立；(2) A与BC相互独立；(3) A与B-C相互独立；(4) A所生成的域中的任一事件与B和C所生成的域 F B,C= 中的任意一个事件都相互独立。 1.1 概率空间推论1.1.1 设A,B,CF 相互独立，将A,B,C任意分为两组，则他们各自生成的域仍然相互独立.定理1.1.5 设AiF ， i=1,2,n相互独立，将Ai,i=1,2,n,任意分成m(mn)组，并对各组中的事件施以积、和、逆运算后，所得到的事件B1,B2,Bm也是相互独立的

7、.从而这m 组事件各自所生成的域也是相互独立的.1.1 概率空间定理1.1.5蕴含的有用的结论：(1)若A1,A2,An相互独立，则 也相互独立，从而有(2) 一列独立事件中的任何一部分事件也相互独立(3) 若一列事件相互独立，则将其中任一部分改写为对立事件，所得的事件也相互独立.第1章 概率论基础1.1 概率空间1.2 随机变量及分布1.3 随机变量的数字特征1.4 随机变量的特征函数1.5 n维正态随机变量1.6 条件数学期望1.2 随机变量及其分布定义1.2.1 设(, F ,P)为一概率空间，定义在上的实函数X()，如果 则称X是F 的随机变量.称 F(x)=P(Xx), 为随机变量X

8、的分布函数.1.2 随机变量及其分布分布函数F(x)具有如下的性质：(1) F(x)是单调不减函数，即若x1x2则F(x1)F(x2) ；(2) F(x)是右连续函数，即； ,F(x+0)=F(x);(3)同时可以证明，设F(x)，xR是单调不减、右连续的函数，并且 则必存在概率空间(, F ,P) 及其上的一个随机变量X使得X以F(x)为其分布函数. 1.2 随机变量及其分布 随机变量有两种类型：离散型和连续型随机变量离散型若随机变量X的可能取值为有限个或可列无限个，则称X 为离散型随机变量.离散型随机变量X的分布可用分布律来描述，即 P(X=xi)=pi,i=1,2,这时X的分布函数为 1

9、.2 随机变量及其分布连续型 设随机变量X的分布函数为F(x),如果存在非负可积函数 f(x)使得则称X为连续型随机变量, f(x)为连续型随机变量X的概率密度函数.1.2 随机变量及其分布定义1.2.2 设(, F ,P)为一概率空间，定义在上的n元实函数 如果则称X=(X1,X2,，Xn)为n维随机变量或n维随机向量.称 为X的联合分布函数.1.2 随机变量及其分布设X是n维随机变量，则X的联合反不函数具有下列性质 (1)F(x1,x2,，xn)对任一xi(i=1,2,n)是单调不减函数;(2)F(x1,x2,，xn)对任一xi(i=1,2,n)是右连续函数；(3)(4)设xiyi,i=1

10、,2,n,则1.2 随机变量及其分布若n维随机变量X的可能取值为有限对或可列无限对，则称n维随机变量X为离散型n维随机变量.离散型n维随机变量X=(X1,X2,Xn)的分布可用联合分布律来描述，即 P(X1=x1,X2=x2,Xn=xn)其中xiIi, Ii是离散集,i=1,2,n这时X的联合分布函数为1.2 随机变量及其分布设n维随机变量X的联合分布函数为F(x1,x2,xn)，如果存在非负可积函数f(x)=f(x1,x2,xn),xRn使得则称X为连续型n维随机变量， f(x1,x2,xn),称为连续型n 维随机变量X的联合概率密度函数。1.2 随机变量及其分布 保留k(1k0的y的取值的

11、公共部分。1.2 随机变量及其分布 若g(x)不是严格单调的可微函数，则将g(x)在其定义域分成若干个单调分支，在每个单调分支上应用(1)的结果 得Y=g(X)概率密度函数为 其中I 是在每个单调分支上按照(1)确定的y的取值的公共部分. 1.2 随机变量及其分布例1.2.1 设 ，试求Y的概率密度函数fY(y)。解 由于y=tan x，故其反函数h(y)=arctan y, 并且 因此Y的概率密度函数 1.2 随机变量及其分布例1.2.2 设XN(0,1)，求Y=X2的概率密度函数fY(y)解 由于y=x2有两个单调分支，其反函数分别为 并且 因而Y=X2的概率密度函数为1.2 随机变量及其

12、分布例1.2.3 设(X,Y)为二维随机变量，其中X,Y相互独立并且都服从正态分布N(0,2),记Z为(X,Y) 的模,为(X,Y)的辅角，求(Z,)的联合概率密度函数及边缘概率密度函数。1.2 随机变量及其分布 解 由于 X,Y 相互独立，因此又因为方程组有唯一解(反函数)1.2 随机变量及其分布 所以(Z,)的联合概率密度函数为1.2 随机变量及其分布 故从Z,的概率密度函数可以看出，Z服从参数为的Rayleigh分布，服从区间 上的均匀分布，并且 g(z,)=gZ(z)g()所以Z和是相互独立的第1章 概率论基础1.1 概率空间1.2 随机变量及分布1.3 随机变量的数字特征1.4 随机

13、变量的特征函数1.5 n维正态随机变量1.6 条件数学期望1.3 随机变量的数字特征定义1.3.1 设f(x),g(x)是定义在a,b上的两个有界函数， a=x0 x1xn=b是区间a,b上的任一划分,xk=xk-xk-1, xk在每一个子区间xk-1,xk上任意取一点k作和式 如果极限存在且与a,b的分法和k的取法都无关，则称此极限为函数f(x)对函数g(x)在区间a,b上的Stieltjes积分，记为 此时也称f(x)对g(x)在a,b上S可积.1.3 随机变量的数字特征定义1.3.2 设f(x),g(x)是定义在(,+)上的两个函数，若在任意有限区间a,b , f(x)对g(x)在a,b

14、上S可积,且极限存在，则称此极限为f(x)对g(x)在无穷区间(,+)上的Stieltjes积分，简称S积分，记为1.3 随机变量的数字特征 在S积分中，当g(x)取一些特殊形式时，积分可化为级数和通常积分.若g(x)在(,+)上是阶梯函数，它的跳跃点为x1,x2, (有限多或可列无限多个),则若g(x)在(,+)上是可微函数它的导函数为g(x) ,则 1.3 随机变量的数字特征定义1.3.3 设函数g(x)定义在无限区间(,+)上，若积分存在，则称此积分为g(x)的Fourier-Stieltjes积分，简称F-S积分。1.3 随机变量的数字特征定义1.3.4 设X是一随机变量,F(x)是其

15、分布函数，若 则称 为随机变量X的数学期望或均值。 若X是离散型随机变量，其分布律为P(X=xi)=pi,i=1,2, 则 1.3 随机变量的数字特征 若X是连续型随机变量，其概率密度函数为f(x)则定理1.3.1设X是一随机变量，其分布函数为F(x),y=g(x)是连续函数，如果 存在，则上述定理可推广到n维随机变量的场合.1.3 随机变量的数字特征定理1.3.2 设X=(X1,X2,Xn)是n维随机变量，其联合分布函数为F(x1,x2,xn),g(x1,x2,xn)是连续函数，如果 存在，则1.3 随机变量的数字特征定义1.3.5 设X是随机变量，若E|X|2+则称为随机变量X的方差.定义

16、1.3.6 设X,Y是随机变量，若E|X|2+, E|Y|20,DY0,则称 为随机变量X,Y的相关系数。若XY=0则称X,Y不相关1.3 随机变量的数字特征 根据定理1.3.1，若X的分布函数为F(x)则当X是离散型随机变量是，其分布律为 P(X=xi)=pi, i=1,2, 则当X是连续型随机变量时，其概率密度为f(x)，则 1.3 随机变量的数字特征 根据定理1.3.2，若(X,Y)的联合分布函数为F(x,y) 则当(X,Y)是离散型随机变量时，其联合分布律为 P(X=xi,Y=yi)=pij, i,j=1,2, 则当(X,Y)是连续型随机变量时，其联合概率密度为f(x,y)则1.3 随

17、机变量的数字特征随机变量的数学期望和方差具有下列5个性质(1) 设a,b是任意的常数，则E(aX+bY)=aEX+bEY;(2) 设X,Y相互独立，则EXY=EXEY; (3) 设a,b是任意的常数，X,Y相互独立，则 D(aX+bY)=a2DX+b2DY(4) 设E|X|2+, E|Y|2+则(EXY)2EX2+EY2;(5) 设Xn0,n=1,2,则称不等式(EXY)2EX2+EY2为Schwarz不等式。1.3 随机变量的数字特征例1.3.1 设X是随机变量，若E|X|r0则称EXr 为随机变量的r阶，设随机变量X的r阶矩存在，则证明 设X的分布函数为F(X),则 即 称不等式 为马尔科

18、夫不等式1.3 随机变量的数字特征 特别地，在马尔科夫不等式中令r=2，将X换成X-EX可得重要的Chebyshv不等式. 定理1.3.3 设X是随机变量，则DX=0的充要条件是P(X=C)=1（C是常数）。1.3 随机变量的数字特征 对于多个随机变量，方差和协方差之间具有下列重要的性质。设X1,X2,Xn是n个随机变量，则例1.3.2 (Montmort配对问题) n个人将自己的帽子放在一起，充分混合后每人随机地取出一顶帽子，试求出选中自己帽子的人数的均值和方差.1.3 随机变量的数字特征 解 设X表示选中自己帽子的人数，令 第i个人选中自己的帽子 否则i=1,2,n,则又 从而1.3 随机

19、变量的数字特征 所以由 得而当ij时1.3 随机变量的数字特征 所以 1.3 随机变量的数字特征定义1.3.7 设X=(X1,X2,Xn)是n维随机变量，则称为n维随机变量X=(X1,X2,Xn)的均值向量。称 n维随机变量X=(X1,X2,Xn)的协方差矩阵1.3 随机变量的数字特征定理1.3.4 设B是n维随机变量的协方差矩阵，则B是非负定矩阵.证明 由于对任意的n个实数t1,t2,tn二次型即二次型 是非负定的，因而矩阵B非负定.第1章 概率论基础1.1 概率空间1.2 随机变量及分布1.3 随机变量的数字特征1.4 随机变量的特征函数1.5 n维正态随机变量1.6 条件数学期望1.4

20、随机变量的特征函数定义1.4.1 设(, F ,P)是一概率空间，X,Y都是F 的实值变量，则称 为复随机变量。复随机变量Z是取复值的随机变量，它的数学期望定义为若X是实值随机变量，则ejtX应是复随机变量。1.4 随机变量的特征函数定义1.4.2 设X是(实)随机变量，其分布函数为F(x)则称为随机变量X的特征函数.由于ejtX =costX，+jsintX,因此X的特征函数也可以表示为1.4 随机变量的特征函数 当X是离散型随机变量时，其分布律为 P(X=xi)=pi,i=1,2,则当X是连续型随机变量时，其概率密度函数为f(x)则由于因此随机变量X的特征函数(t)总存在。1.4 随机变量

21、的特征函数例1.4.1 设X服从单点分布，即P(X=c)=1,其中c为常数，则X的特征函数例1.4.2 设XB(n,p)即 k=0,1,2,n,0p0则X的特征函数例1.4.4 设X服从区间a,b上的均匀分布，即X的概率密度函数为 则X的特征函数 1.4 随机变量的特征函数例1.4.5 设XN(,2)，即X的概率密度函数为 则X的特征函数1.4 随机变量的特征函数 特别的，若XN(0,1) ，则特征函数 例1.4.6 设X服从参数为(0)的指数分布，即X的概率密度函数为则X的特征函数1.4 随机变量的特征函数随机变量的特征函数(t)具有下列7条性质(1)(2) 其中 表示 的共轭；(3) 设随

22、机变量Y=aX+b，其中a,b是常数，则 其中 分别表示随机变量X,Y的特征函数了。(4) 在(,+)上一致连续。1.4 随机变量的特征函数 (5)设随机变量X,Y相互独立，又Z=X+Y，则 此式表明两个相互独立的随机变量之和的特征函数等于各自特征函数的乘积。(6) 是非负定的，即对于任意的正整数n，任意复数 z1,z2,zn和任意实数t1,t2,tn,有 1.4 随机变量的特征函数 (7) 设随机变量X的n阶原点矩存在，则 存在k(kn)阶导数，且例1.4.7 设X(),求EX,EX2,DX.解 由于X(),因而 故1.4 随机变量的特征函数例1.4.8 设XN(0,2),求EXn解 因为所

23、以从而1.4 随机变量的特征函数 在连续概率分布的情况下，特征函数 因此f(t)应当是 的反演，根据积分理论，在绝对可积的条件下，即 的条件下有反演公式且反演是唯一的.1.4 随机变量的特征函数定理1.4.1 设随机变量X的分布函数为F(x)，特征函数为 ，则对F(x)的连续点x1,x2，有定理1.4.2 随机变量X的分布函数F(x)被它的特征函数 惟一地确定。由此定理可见，随机变量的概率分布函数与特征函数是一一对应的。1.4 随机变量的特征函数例1.4.9 设X1,X2,Xn相互独立，且Xk(k),k=1,2,n试用特征函数证明证明 由于X1,X2,Xn相互独立， Xk(k),k=1,2,n

24、 故从而所以1.4 随机变量的特征函数例1.4.10 设X1,X2,Xn相互独立，且XkN(k,k2), k=1,2,n, 试用特征函数求随机变量 的概率分布解 由于X1,X2,Xn相互独立,且XkN(k,k2), k=1,2,n 故从而所以1.4 随机变量的特征函数定理1.4.3(Bochner-Khintchine定理) 设(t)满足(0)=1 ,且在t+上是连续的复值函数，则 是特征函数的充要条件为它是非负定的。定义1.4.3 设X1,X2,Xn是n维随机变量，其联合分布函数为F(x)=F(x1,x2,xn),则称为n维随机变量X的特征函数.1.4 随机变量的特征函数 若X=(X1,X2

25、,Xn)是离散型随机变量，其联合分布律为 P(X1=x1,X2=x2,Xn=xn),则 其中 是关于Xi的可能取值xi求和。若X=(X1,X2,Xn)是连续型随机变量，其联合概率密度函数为f(x)=f(x1,x2, ,xn) 则1.4 随机变量的特征函数n维随机变量的特征函数具有下列性质：(1) (2) (3) 设(t1,t2,tn) 是n维随机变量X=(X1,X2,Xn)的特征函数，则随机变量Y=a1X1+a2X2+anXn 的特征函数为 Y(t)= (a1t,a2t,ant) (4) (t1,t2,tn) 在Rn上一致连续；1.4 随机变量的特征函数 (5) 设(t1,t2,tn)是n维随

26、机变量X=(X1,X2,Xn)的特征函数 是随机变量X1,X2,Xn相互独立的充要条件是(6) 设(t1,t2,tn)是n维随机变量X=(X1,X2,Xn)的特征函数，则k(1k0 .1.4 随机变量的特征函数若X是连续型的非负值随机变量，其概率密度函数为f(x), 则 称 为f(x)的Laplace变换，记为 f(x)称为 的Laplace反变换，它们相互唯一确定第1章 概率论基础1.1 概率空间1.2 随机变量及分布1.3 随机变量的数字特征1.4 随机变量的特征函数1.5 n维正态随机变量1.6 条件数学期望1.5 n维正态随机变量在概率论中，若(X1,X2)N( ),则二维正态随机变量

27、(X1,X2)的联合概率密度函数为其中， 为随机变量X1,X2的相关系数。1.5 n维正态随机变量下面用向量和矩阵的形式来表示二维正态分布的联合概率密度函数.为此，令x=(x1,x2)， =(12) ,于是 1.5 n维正态随机变量 所以 =(x-)B-1(x-)T于是1.5 n维正态随机变量定义1.5.1 设X=(X1,X2,Xn)是n维随机变量，如果其联合概率密度函数为其中则称X=(X1,X2,Xn)服从为均值向量、B为协方差矩阵的n维正态分布，记为XN(, B).1.5 n维正态随机变量定理1.5.1 设XN(,B),则存在n阶正交矩阵A，使得 Y=(Y1,Y2,Yn)=(X-)AT是n

28、维独立正态随机变量，即Y1,Y2,Yn相互，且YkN(0,dk),其中dk0是B的特征值，k=1,2,n。定理1.5.2 设XN(,B) ，则X的特征函数 1.5 n维正态随机变量定理1.5.3 设X=(X1,X2,Xn)N(,B)(1) 若l1,l2,.ln是常数，则 服从一维正态分布其中，k=EXk, k=1,2,n.(2) 若mn，则X的m个分量构成的m维随机变量 服从m维正态分布 ，其中1.5 n维正态随机变量 (3) 若m维随机变量Y是X的线性变换，即Y=XC，其中C是nm阶矩阵，则Y服从m维正态分布N(C,CTBC);(4) X1,X2,Xn相互独立的充要条件是X1,X2,Xn两两

29、不相关。第1章 概率论基础1.1 概率空间1.2 随机变量及分布1.3 随机变量的数字特征1.4 随机变量的特征函数1.5 n维正态随机变量1.6 条件数学期望1.6 条件数学期望定义1.6.1 设(X,Y)是离散型二维随机变量，其联合分布律为P(X=xi,Y=yi)=pij，i,j=1,2,如果 则称为(X,Y)关于X在Y=yj的条件下的条件分布律.1.6 条件数学期望如果 则称为(X,Y)关于Y在X=xi的条件下的条件分布律. 称为(X,Y)关于X在Y=yj的条件下的条件分布函数.称为(X,Y)关于Y在X=xi的条件下的条件分布函数.1.6 条件数学期望 对于连续型二维随机变量，由于对于任

30、意的x,y,P(X=x)=0,P(Y=y)=0,因此就不能直接用条件概率公式引入条件分布函数了.下面我们用极限的方法来处理.给定y，设对于任意固定的正数，P(y-Yy+) 且若对于任意的x，有上式给出了在条件y-Yy+下X的条件分布函数.1.6 条件数学期望定义1.6.2 给定y，设对于任意固定的正数，P(y-0，且若对于任意 实数x ,极限存在，则称此极限为(X,Y)关于X在条件Y=y下的条件分布函数，记为P(Xx|Y=y)或是FX|Y(x|y)1.6 条件数学期望设(X,Y)的联合分布函数为F(x,y)，联合概率密度函数为 f(x,y)，若在点(x,y)处 f(x,y)连续，边缘概率密度函数fY(y)连续，且fY(y)0，则有1.6 条件数学期望 即所以(X,Y)关于X在条件Y=y下的条件概率密度函数为类似地，条件分布的概念完全可推广到n维随机变量的情形1.6 条件数学期望定义1.6.3 设(X,Y)是二维随机变量， FX|Y(x|y) , FY|X(y|x)分别是