随机过程知识点

1、第一章：预备知识§1.1概率空间随机试验 ，样本空间 记为 。定义 1.1设 是一个集合， F 是 的某些子集组成的集合族。如果（ 1）F；（2）若AF ，则AAF；（ 3）若 AnF ， n1，2， ，则AnF；n 1则称 F 为代数 (Borel 域 )。 (, F) 称为 可测空间， F 中的元素称为事件。由定义易知：(4) F；（ 若A,B F,则A BF；5)nn（6）若 AiF， i1，2， 则 Ai ， Ai， AiF.i 1i 1i1定义 1.2设 (, F) 是可测空间， P( ·) 是定义在 F 上的实值函数。如果(1)任意AF ,0；P A 1（ ）P

2、；21（3）对两两互不相容事件A1 , A2 , 当 ij时， AiA j, 有PAiP Aii1i 1则称 P是, F上的概率，（，F，P ）称为 概率空间 ， P(A) 为事件 A 的概率 。定义 1.3设（，F，P ）是概率空间，GF ，如果对任意 A1, A2 , , AnG ，n 1,2,nn有：PAiP Ai,i 1i 1则称 G 为独立事件族 。§1.2随机变量及其分布随机变量X ，分布函数 F ( x) ， n维随机变量 或 n 维随机向量 ，联合分布函数，X t , t T是独立的。§1.3 随机变量的数字特征定义 1.7设随机变量 X 的分布函数为F (

3、 x) ，若| x | dF (x)，则称E(X)xdF (x)为 X 的数学期望 或均值 。上式右边的积分称为Lebesgue-Stieltjes积分。方差， BXYEXEXYEY为 X、Y 的协方差 ，而XYBXYDXDY为 X、 Y 的相关系数。若XY0, 则称 X、Y 不相关。（ Schwarz 不等式） 若 EX 2,EY 2, 则EXY 2EX 2EY 2.§1.4 特征函数、母函数和拉氏变换定义 1. 10设随机变量的分布函数为F（ x），称jtX)ejtxdF x ,tg (t ) E(e为 X 的特征函数随机变量的特征函数具有下列性质：(1) g (0) 1, g(

4、t)1, g ( t ) g(t ) 1( 2 ) g ( t)在,上一致连续。（ 3） g (k ) (0)i k E( X k )(4)若 X1,X2,L, X n 是相互独立的随机变量，则XX1X 2LX n 的特征函数g(t ) g1 (t ) g2 (t )Lgn (t ) ，其中 gi (t) 是随机变量 X i 的特征函数， i1,2,L, n.定义 1.11 设X( X1 , X 2 ,L , X n ) 是 n 维随机变量， t = ( t1,t 2 ,L , tn )R, 则称LitXn,t n )E(e)Eexp(it k X k ),g(t ) g(t1 ,t 2 ,k

5、 1为 X 的特征函数 。定义 1.12设 X 是非负整数值随机变量，分布列pkP Xxk, k1,2,则称defP( s) E (sX ) Pk skk0为 X的母函数 。§ 1.5n维正态分布定义 1.13若 n 维随机变量 X(X1, X2, X n ) 的联合概率密度为f (x)f (x1, x2 , , xn )1n / 2exp1 ( xa) B 1( xa)T (2 )n / 2B2式中， a(a1 , a2 ,an ) 是常向量， B(bij )nn 是正定矩阵，则称X 为 n 维正态随机变量或服从 n 维正态分布，记作 X N (a, B) 。可以证明，若X N (

6、 a, B) ，则 X 的特征函数为g (t ) g(t1, t2 , , tn )expiat1 iBt 2为了应用的方便，下面，我们不加证明地给出常用的几个结论。性质 1若 X N (a, B) 则 E( X k )ak , BX kX lbkl , l 1,2, n 。性质 2 设 X N (a, B) ， YXA ，若 A BA 正定，则 Y N (aA, A BA) 。即正态随机变量的线性变换仍为正态随机变量。性质 3设 X( X1, X 2, X 3 , X 4 ) 是四维正态随机变量，E ( X k )0,k1,2,3,4 ，则E(X1X2X3X4)E(X1X2)E(X3X 4)

7、E(X1X3)E(X2X4)E(X1X4)E(X2X3)§1.6条件期望给定 Y=y 时， X 的条件期望定义为E( X |Yy)xdF ( x | y)xf (x | y)dx由此可见除了概率是关于事件 Y=y 的条件概率以外，现在的定义与无条件的情况完全一样。E(X|Y=y) 是 y 的函数， y 是 Y 的一个可能值。若在已知Y 的条件下，全面地考虑X 的均值，需要以Y 代替 y， E(X|Y) 是随机变量Y 的函数，也是随机变量，称为X 在 Y 下的条件期望。条件期望在概率论、数理统计和随机过程中是一个十分重要的概念，下面我们介绍一个极其有用的性质。性质若随机变量X 与 Y

8、的期望存在，则E( X )E E( X |Y )E( X |Yy) dFY ( y)-(1)如果 Y 是离散型随机变量，则上式为E( X )E( X |Yy) PYyy如果 Y 是连续型，具有概率密度f(x) ，则（ 1）式为E(X )E( X |Yy) f ( y) dy第二章随机过程的概念与基本类型§2.1 随机过程的基本概念tT定义 2.1设（，F，PT，有一个随）是概率空间 , 是给定的参数集 ,若对每个机变量 X(t ,e)与之对应，则称随机变量族 X (t, e), t T 是（ ，F，P ）的随机过程 ,简记为随机过程 X (t ), t T 。T 称为参数集，通常表示

9、时间。通常将随机过程 X (t, e), t T 解释为一个物理系统。X(t) 表示在时刻 t 所处的状态。X(t) 的所有可能状态所构成的集合称为状态空间或相空间，记为 I。从数学的观点来说， 随机过程 X (t ,e), tT 是定义在 T×上的二元函数。 对固定的 t，X(t ,e)是定义在 T 上的普通函数，称为随机过程 X (t ,e), t T 的一个 样本函数 或轨道，样本函数的全体称为样本函数的空间。§2.2随机过程的函数特征X t),t T的有限维分布函数族 。X t = (有限维特征函数族： gt 1 , , tn ( 1 , 2, n ) : t1,

10、t2 , tn T ,n 1其中：ngt1 , , t n ( 1 , 2 ,n ) E(exp ik x(tk )k 1定义 2.3设 X t = X(t ),t T 的均值函数 mX (t)def E X (t) ， tT 。二阶矩过程，协方差函数：DX (t)BX (t, t) defE X (t )mX (t) 2 , tT相关函数：RX (s,t)E X (s)X (t)定义 2.4设 X(t ),t T ， Y(t ),t T 是两个二阶矩过程，互协方差函数，互相关函数。§2.3复随机过程定义2.5设 Xt , tT ， Yt , tT 是取实数值的两个随机过程，若对任意

11、ZtX tiYt ，其中i1 ，则称 Zt ,tT 为复随机过程 定理2.2复随机过程 Xt ,tT 的协方差函数B(s,t) 具有性质（ 1）对称性：B( s, t)B(t , s) ；（ 2）非负定性§2.4几种重要的随机过程一、正交增量过程定义 2.6设t , t是零均值的二阶矩过程，若对任意的t1t2t3tTt4, 有公式t2t1t4t30 ，则称t 正交增量过程。s, tRs,t2min s, t二、独立增量过程定义 2.7设t , t是随机过程， 若对任意的正整数n 和 t1t2tn,随机变量t 2t1 ,t 3t2 ,t nt n 1 是互相独立的，则称t , t是独立

12、增量过程，又称可加过程。定义 2.8设t ,t是平稳独立增量过程，若对任意 st, 随机变量ts 的分布仅依赖于 ts ，则称t ,t是平稳独立增量过程。三、马尔可夫过程定 义2.9设X t , tT为 随机 过程， 若对任 意正 整数n及t1t 2 ,tn , P X (t1 )x1 , X t n 1xn 10 ，且其条件分布P X (tn )xn | X t1x1 , X tn 1xn 1 = P X (tn )xn | X t n 1xn 1 ，(2.6)则称X t , tT 为马尔可夫过程。四、正态过程和维纳过程定义 2.10设X t , tT是随机过程， 若对任意正 整 数n和t1

13、 , t2 ,tT ,( X t1 , X t 2 , X t n)是 n 维正态随机变量，则称X t , tT 是正态过程或高斯过程。定义 2.11设 W (t),t为随机过程，如果（1）W(0)0；（ 2）它是独立、平稳增量过程；（ 3）对s,t ，增量 W (t )W (s) N 0,2 | ts | ,20 ，则称 W (t),t为维纳过程，也称布朗运动过程。定理2.3设 W(t),t是参数为2 的维纳过程，则（1 ） 任意 t(,) ,W (t) N 0,2 | t | ；（2 ） 对任意as, t,E (W (s)W (a)(W (t)W (a)2 min( sa, ta) ,特别

14、：Rw s, t2 min s,t 。五、平稳过程定 义2.12设X t ,tT是 随 机 过 程 ， 如 果 对 任 意 常 数和 正 整 数 n, 当t1 ,t n, t1, tn时，t1 ,t2 ,tn与t1,t2,t n有相同的联合分布，则称X t , tT 为严平稳过程，也称 狭义平稳过程 。定义 2.13设X t , tT 是随机过程，如果（ 1 ）X t , tT 是二阶矩过程；（ 2 ）对于任意（ 3 ）对任意的为平稳过程 。t, mRtt常数；s t,s tRt s，则称X t , tT 为广义平稳过程，简称,若 T 为离散集，则称平稳过程X t ,tT 为平稳序列 。第三章

15、泊松过程§ .1泊松过程的定义和例子定义 3.1计数过程定义 3.2称计数过程 X (t),t0 为具有参数 0 的泊松过程，若它满足下列条件(1) X(0)= 0 ；(2) X(t) 是独立增量过程；任意(3)在任一长度为t 的区间中，事件s,t0，有A 发生的次数服从参数t 0的泊松分布，即对P X (s t ) X ( s) n e t ( t) n,( n 0,1,2, )(3.1)n!注意，从条件(3) 知泊松过程是平稳增量过程且E X (t)t 。由于，E X (t)表示单位时间内事件A 发生的平均个数，故称为此过程的 速率 或强度 。t定义 3.3称计数过程 X (t

16、),t 0为具有参数 0的泊松过程， 若它满足下列条件(1) X(0)= 0 ；(2) X(t) 是独立、平稳增量过程；(3) X(t) 满足下列两式：P X (th)X (t)1h o( h),P X (th)X (t)2(3.2)o(h)定理 3.1定义 3.2 与定义 3.3 是等价的。3.2泊松过程的基本性质一、数字特征设 X (t),t0 是泊松过程，mX (t)E( X (t)tX2 (t)D( X (t)tRX ( s,t )E( X ( s) X (t )s( t1)BX ( s,t )RX (s,t)mx( s)mX (t)s一般泊松过程的有BX ( s, t)min( s,

17、t ) 。有特征函数定义，可得泊松过程的特征函数为g X (u)E eiuX (t ) exp t (eiu1)二、时间间隔与等待时间的分布Wn 为第 n 次事件 A 出现的时刻或第n 次事件 A 的等待时间， Tn 是第 n 个时间间隔，它们都是随机变量。定理 3.2设 X (t ),t0 是具有参数的泊松分布， Tn ( n 1) 是对应的时间间隔序列，则随机变量 Tn ( n1,2, ) 是独立同分布的均值为1/的指数分布。定理 3.3设 Wn ,n1 是与泊松过程 X (t), t0 对应的一个等待时间序列，则 Wn服从参数为 n 与的 分布，其概率密度为et (t )n 1,t 0f

18、Wn (t )( n1)!0,t0三、到达时间的条件分布定理 3.4设 X (t ),t0 是泊松过程，已知在0,t 内事件 A 发生 n 次，则这 n 次到达时间 W1 W2Wn 与相应于 n个 0,t 上均匀分布的独立随机变量的顺序统计量有相同的分布。§ 3.3 非齐次泊松过程定义 3.4称计数过程 X (t ), t0 为具有跳跃强度函数(t ) 的非齐次泊松过程，若它满足下列条件：(1)X (0)0；(2)X (t) 是独立增量过程；P X (th) X (t) 1(t )ho(h)(3)h) X (t) 2o(h)P X (t非齐次泊松过程的均值函数为：mX (t)t(s)

19、ds0设 X (t ), t0 是具有均值函数 mX (t )t定理 3.5(s)ds 的非齐次泊松过程，则0有P X (ts)X (t )n mX (t s) mX (t ) nexpmX (t s) mX ( t) , ( n 0)n!或P X ( t) mX (t) nexpmX (t )nn !上式表明 P X (t s)X ( t )n 不仅是 t 的函数，也是s 的函数。3.4复合泊松过程定义3.5 设 N (t ), t0 是强度为的泊松过程， Yk , k1,2,. 是一列独立同分布随机变量，且与 N (t ), t0 独立，令N (t )x(t )Y t0,kk1则称 X (

20、t), t 0 为复合泊松过程。N (t )定理 3.6设 x(t )Y t 0, 是复合泊松过程，则kk 1（ 1）。 X (t ), t 0 是独立增量过程；（ 2）X(t) 的特征函数 gX (t ) (u)exp t gY (u) 1 ，其中 gY (u) 是随机变量 Y1 的特征函数；是事件的到达率。（ 3）若 E(Y12 ), 则 E X (t)tEY1, D X (t )tEY12 .第 4 章 马尔可夫链§ 4.1 马尔可夫链的概念及转移概率一、马尔可夫键的定义定义 1设有随机过程 X n , n T ，若对于任意的整数 nT 和任意的 i0 ,i1, ,in 1I

21、，条件概率满足P X n 1in 1 X0i0 ,X1i1 , , X ninP X n 1in 1 Xnin则称 X n ,nT 为马尔可夫链，简称马氏链 。二、转移概率定义 2称条件概率pij (n) P X n 1 j | X ni为马尔可夫链 X n , n T 在时刻 n 的一步转移概率 ，其中 i , jI ，简称为转移概率。定义 3若对任意的 i, jI，马尔可夫链 X n , nT 的转移概率 pij (n) 与 n 无关，则称马尔可夫链是齐次的，并记pij(n) 为 pij 。定义 4称条件概率pij(n )P X mnj | X mi( i, jI , m0, n 1)为马

22、尔可夫链 X n , nT 的 n 步转移概率 ，定理 1设 X n , nT 为马尔可夫链，则对任意整数n0,0ln 和 i, jI ， n 步转移概率 p(n ) 具有下列性质：ij(1) pij(n )k Ipik(l ) pkj(n l ) ;(2) pij( n )pik pk k2pkn1j ;11k1Ikn1 I(3)P (n )PP( n 1) ;(4)P(n )Pn .定义 5设 X n , nT 为马尔可夫链，称p jP X0j 和 Pj (n)P X nj, ( jI )为 X n , n T 的初始概率 和绝对概率 ，并分别称 p j, jI 和 p j (n),j I

23、 为 X n , n T 的初始分布和绝对分布，简记为 p j 和 p j (n) 。定理 2设 X n ,nT 为马尔可夫链，则对任意jI 和 n1 ，绝对概率p j (n) 具有下列性质：(1) p j ( n)pi pij(n )iI(2) pj (n)pi ( n1) piji I(3)PT (n)PT (0) P(n )(4)PT (n)PT (n1) P定理 3设 X n , nT 为马尔可夫链，则对任意i1,i 2 , in I和 n1 ，有P X1i1, X 2i2 , , X n in iIpi pii1 pi1i2pin 1in§4.2马尔可夫链的状态分类一、状态

24、分类假设 Xn ,n0 是齐次马尔可夫链，其状态空间I 0,1,2, L ，转移概率是 pij ,i ,j I, 初始分布为 p j , i, jI 。定义 4.6如 集 合 n : n 1, pii( n)0非空，则称该集合的最大公约数d d(i ) G.C .D n : pii( n )0 为状态 i 的周期。如 d1 就称 i 为周期的，如 d1就称 i 为非周期的。（若对每一个不可被d 整除的 n ，有 pii(n ) =0 ，且 d 是具有此性质的最大正整数，则称 d 为状态 i 的周期。）引理 4.1如 i 的周期为 d，则存在正整数M，对一切 nM ，有 pii(nd )0 。定

25、义对 i , jS, 记f ij(0)0, fij(1)P X1j | X 0if ij(n )P X nj , X kj , k1,2, L, n1| X 0 i , n2（4.15 ）f ijn Tfij( n )称 fij(n) 是系统在0 时从 i 出发经过 n 步转移后首次到达状态j的概率，而 fij( ) 则是在 0 时从i 出发，系统在有限步转移内不可能到达状态j 的概率。我们将 f ij(n ) 和 fij 统称为首达概率 （又称首中概率）。引理（ 1）0fij(n)f iji , j , n（ 2）首达概率可以用一步转移概率来表示：fij(n)Lpiipi iLpi1ji1j

26、i2jin 1 j11 2n定义 4.7若 fii=1，则称状态i 为常返的； 若 fii <1，则称状态 i 为非常返的 。定义 4.8如i，则称常返态 i为正常返的；如i，则称常返态 i 为零常返的，非周期的正常返态称为遍历状态。从状态是否常返， 如常返的话是否正常返，如正常返的话是否非周期等三层次上将状态区分为以下的类型：非常返态( fii1)状态零常返态( ii =)1)常返态(fii有周期(d)正常返态( ii<)1非周期 (d=1)- 遍历态fij(n ) 与 pij( n ) 有如下关系：定理 4.4对任意状态 i , j ，及1n，有pij(n )nfij( k)

27、p(jjnk )nf ij(nk ) p(jjk ) .（ 4.16）k1k 0引理 4.2. .Dn:n1,( n)0.Dn:n1,(n )0.G CpiiG Cf ii二、常返态的性质及其性质定理 4.5状态 i 常返的充要条件为pii（ 4.18 ）n0如 i非常返，则pii11.n 0fii定理 4.7设 i常返且有周期d ，则lim pii( nd )d.（4.26 ）ni其中i 为 i 的平均返回时间。当i时，d0 .i推论设 i 常返，则(1)i 零常返lim pii( n)0 ；（ 2） i 遍历lim pii(n )10 。nni定理 4.8可达关系与互通关系都具有传递性，即

28、如果 ij ， jk ，则 ik ；如果 ik ， jk ，则 ik 。定理 4.9如 ij ,则（ 1）i 与 j（ 2）i 与 j同为常返或非常返，若为常返，则它们同为正常返或零常返；有相同的周期。§4.3状态空间的分解定义 4.9 状态空间 I 的子集 C 称为（随机）闭集，如对任意 i C 及 k C 都有 pik 0 。闭集 C 称为不可约的，如 C 的状态互通。马氏链 X n 称为不可约 的，如其状态空间不可约。引理 4.4C 是闭集的充要条件为对任意i C 及 k C 都有 pik(n)=0，n1。称状态 i 为吸收的，如。显然状态i吸收等价于单点集 i为闭集。pii

29、=1定理 4.10任一马氏链的状态空间I ，可唯一地分解成有限个或可列个互不相交的子集 D,C1 ,C2 ,L 之和，使得 每一 Cn 是常返态组成的不可约闭集。Cn 中的状态同类，或全是正常返，或全是零常返。它们有相同的周期且f jk1 , i , kCn 。 D 由全体非常返状态组成。自Cn 中的状态不能到达D中的状态。定义 4.10称矩阵（ aij ）为随机矩阵，如其元素非负且每 i 有aij 1。j显然 k 步转移矩阵 P ( k ) （ pij( k) ）为随机矩阵。引理 4.5设 C 为闭集，又 G（ pij(k ) ） ,i ,j C,是 C 上所得的（即与 C 相应的） k 步

30、转移子矩阵，则 G仍是随机矩阵。定理 4.11周期为 d 的不可约马氏链，其状态空间C 可唯一地分解为 d 个互不相交地子集之和，即d 1C UGr , Gr I GS, r s,（4.31 ）r 0且使得自 Gr 中任一状态出发，经一步转移必进入Gr 1中（其中 G dG0 ）。定理 4.12设 Xn , n 0 是周期为 d 的不可约马氏链，则在定理 4.11 的结论下有(1) 如只 在时 刻 0, d,2 d,L 上 考 虑 X n ， 即得一新 马氏链， 其转 移阵P( d )( pij( d ) ) ，对此新链，每一 G r 是不可约闭集，且 G r 中的状态是非周期的。(2)如原马

31、氏链 X n 常返， X nd 也常返。§4.4pij( n)的渐近性质与平稳分布一、 pij( n)的渐近性质定理 4.13 如 j 非常返或零常返， 则 lim pij(n) 0， iI（4.33 ）n推论 1有限状态的马氏链，不可能全是非常返状态，也不可能含有零常返状态，从而不可约的有限马氏链必为正常返的。推论 2如马氏链有一个零常返状态，则必有无限多个零常返状态。定理 4.14 如 j 正常返，周期为 d，则对任意 i 及 0rd 1有lim pij( nd r )f ij (r ) d（4.37 ）nj推论设不可约、正常返、周期d 的马氏链，其状态空间为C，则对一切i ,

32、jC ,有d , 如 i与 j同属于子集(nd )Gs,lim pijjn00, 否则，d 1其中 CU Gs 为定理 4.11 中所给出。s 0特别，如 d=1，则对一切 i , j 有 limp ij( n )n1（4.38 ）.(4.39)j定理4.15 对任意状态 i,j, 有lim 10, 若 j 是非常返或零常返pij( k )f ijnnk 1,若 j是正常返j推论如 Xn 不可约，常返，则对任意 i, j , 有lim1n11 0pij(k )j 时，理解n nk 1jj定义 4.11 称概率分布 j , jI 为马尔可夫链的平稳分布，若它满足j i p ij ,i I（4.41 ）i1,j0.jI值得注意的是，对平稳分布 j