随机过程课件

隨機過程的

概念與基本類型

2.1隨機過程的一般概念設(

,F,P)為概率空間，T是參數集。若對任意t

T

，有隨機變數X(t,e)與之對應，則稱隨機變數族{X(t,e)，t

T

}是(

,F,P)上的隨機過程，簡記為

{X(t)，t

T

}或{Xt，t

T

}。X(t)的所有可能的取值的集合稱為狀態空間或相空間，記為I。隨機過程的例子以X(t)表示某電話交換臺在時間段[0,t]內接到的呼叫次數，則{X(t)，t∈[0,∞)}是隨機過程；以X(t)表示某地區第t天的最高氣溫，則{X(t)，t=0,1,…}是隨機過程；以X(t)表示某固定點處在時刻t的海面相對於平均海平面的高度，則{X(t)，t∈[0,∞)}是隨機過程；X(t)=acos(ωt+Θ)，t∈（-∞,∞)，其中a，ω是常數，Θ是隨機變數。則{X(t)，t∈（-∞,∞)}是隨機過程2.1隨機過程的基本概念從數學上看，隨機過程{X(t,e)，t

T

}是定義在T

上的二元函數。對固定的t，X(t,e)是(

,F,P)上的隨機變數；對固定的e，X(t,e)是定義在T上的普通函數，稱為隨機過程的一個樣本函數或樣本軌道。2.1隨機過程的基本概念按參數T和狀態空間I分類（1）T和I都是離散的（2）T是連續的，I是離散的（3）T是離散的，I是連續的（4）T和I都是連續的按Xt的概率特性分類正交增量過程獨立增量過程馬爾可夫過程平穩隨機過程2.2

隨機過程的分佈和數字特徵隨機過程{X(t)，t

T

}的有限維分佈函數族其中是n維隨機變數(X(t1),X(t2),

,X(tn))的聯合分佈函數例：X(t)=tV,-∞<t<∞,其中V為隨機變數。P(V=1)=0.6,P(V=-1)=0.4,求F1.5(x),F2(x),F1.5,2(x1,x2),2.2隨機過程的分佈律和數字特徵有限維分佈函數族的性質

(1)對稱性其中是的任意排列(2)相容性

m<n2.2隨機過程的分佈律和數字特徵定理（柯爾莫哥洛夫，Kolmogorov)：設已給參數集T及滿足對稱、相容的有限維分佈函數族F

則必存在概率空間(

,F,P)及定義在其上的隨機過程{X(t)，t

T

}，它的有限維分佈函數族就是F有限維特徵函數族2.2隨機過程的分佈和數字特徵定義2.3設{X(t)，t

T

}是隨機過程，定義均值函數若對,EX2(t)存在，則稱該過程為二階矩過程。方差函數協方差函數2.2隨機過程的分佈律和數字特徵相關函數☆顯然有關系式

隨機過程數字特徵之間的關係均值函數自相關函數最主要的數字特徵2.2隨機過程的分佈律和數字特徵例設X(t)=Ycos(

t)+Zsin(

t),

t>0，Y,Z相互獨立，EY=EZ=0，DY=DZ=

2。求{X(t),t>0}的均值函數和協方差函數。解2.2隨機過程的分佈律和數字特徵

2.2隨機過程的分佈律和數字特徵例設X(t)=Y+Zt,

t>0，Y,ZN(0,1)求{X(t),t>0}的一、二維概率密度族。解因Y,Z為正態隨機變數，則其線性組合X(t)也是正態隨機變數，X(t)～N(0,1+t2)2.2隨機過程的分佈律和數字特徵

隨機過程{X(t),t>0}的一維概率密度2.2隨機過程的分佈律和數字特徵

隨機過程{X(t),t>0}的二維概率密度2.2隨機過程的分佈律和數字特徵設{X(t)，t

T

}，{Y(t)，t

T

}是兩個隨機過程，二階矩函數存在，定義二階矩過程一、二階矩函數存在定義2.4互協方差函數互相關函數

☆顯然有關系式2.2隨機過程的分佈律和數字特徵例設X(t)為信號過程，Y(t)為雜訊過程，W(t)=X(t)+Y(t)，求W(t)的均值函數和相關函數。解2.2隨機過程的分佈律和數字特徵2.3複隨機過程定義2.5設{Xt，t

T

}，{Yt，t

T

}是取實值的兩個隨機過程，對t

T，Zt=Xt+iYt，則稱{Zt，t

T

}是複隨機過程。均值函數方差函數2.3複隨機過程相關函數協方差函數

☆顯然有關系式2.3複隨機過程設{Xt，t

T

}，{Yt，t

T

}是兩個複隨機過程，定義互相關函數互協方差函數

☆顯然有關系式2.3複隨機過程複隨機過程的協方差函數具有性質(1)共軛對稱性

(2)非負定性2.3複隨機過程例設複隨機過程X1,X2,

,Xn獨立，w1,w2,

,wn為參數，求{Zt,t

0}的均值函數m(t)和相關函數R(s,t)

解2.3複隨機過程

2.4幾種重要的隨機過程定義2.6設{X(t)，t

T

}是隨機過程，且EX(t)=0,EX2(t)<+，若對任意的t1<t2

t3<t4

T,有E[(X(t2)-X(t1))(X(t4)-X(t3))]=0，則稱{X(t)，t

T

}為正交增量過程。不相關

t1t2t3t4定理：設T=[a,b],規定X(a)=0,若{Xt，t

T

}是正交增量過程，則2.4幾種重要的隨機過程證:對於a<s<t<b

同理對於a<t<s<b,有於是2.4幾種重要的隨機過程定義2.7設{X(t)，t

T

}是隨機過程，對任意正整數n和t1<t2<<tn

T,隨機變數X(t2)-X(t1)，X(t3)-X(t2),,X(tn)-X(tn-1)是相互獨立的，則稱{X(t)，t

T

}是獨立增量過程或可加過程。定理：若{Xt，t

T

}是獨立增量過程，且EX(t)=0，EX2(t)<+，則{Xt，t

T

}是正交增量過程。

2.4幾種重要的隨機過程事實上，對t1<t2

t3<t4

T,由獨立增量性，有E[(X(t2)-X(t1))(X(t4)-X(t3))]=E[X(t2)-X(t1)]E[X(t4)-X(t3)]=02.4幾種重要的隨機過程定義2.8設{X(t),t

T}是獨立增量過程，若任意s<t,隨機變數X(t)-X(s)的分佈僅依賴於t-s，則稱{X(t),t

T}是平穩獨立增量過程。

☆維納過程和泊松過程是平穩獨立增量過程定義2.9

設{X(t)，t

T

}為隨機過程，若對任意正整數n及t1<t2<

<tn，P{X(t1)=x1,

,X(tn-1)=xn-1}>0，且條件分佈P{X(tn)

xn|X(t1)=x1,

,X(tn-1)=xn-1}=P{X(tn)

xn|X(tn-1)=xn-1}，則稱{X(t)，t

T

}為馬爾可夫過程。☆若t1,t2,,tn-2表示過去，tn-1表示現在，tn表示將來，馬爾可夫過程表明：在已知現在狀態的條件下，將來所處的狀態與過去狀態無關。定義2.12

設{X(t)，t

T

}是隨機過程，對任意常數

和正整數n，t1,t2,

,tn

T,t1+

,t2+

,

,tn+

T，若(X(t1),

X(t2),

,

X(tn))與

(X(t1+

),

X(t2+

),

,

X(tn+

))有相同的聯合分佈，則稱{X(t)，t

T

}為嚴平穩過程，也稱狹義平穩過程。6.1平穩隨機過程的概念定義2.13

設{X(t)，t

T

}是隨機過程，並滿足：(1){X(t)，t

T

}是二階矩過程；(2)對任意t

T

，mX(t)=EX(t)=常數；(3)對任意s,t

T

，RX(s,t)=E[X(s)X(t)]=RX(t-s)，則稱{X(t)，t

T

}為寬平穩過程，也稱廣義平穩過程，簡稱平穩過程。若T為離散集，稱平穩過程{Xn，n

T

}為平穩序列。2.4幾種重要的隨機過程定義2.10設{X(t)，t

T

}是隨機過程，對任意正整數n和t1<t2<<tn

T,(X(t1),X(t2),,X(tn))是n維正態分佈隨機變數，則稱{X(t)，t

T

}是正態過程或高斯過程。2.4幾種重要的隨機過程定義2.11設{W(t),-

<t<+

}是隨機過程，如果(1)W(0)=0(2)W(t)是平穩獨立增量過程(3)對任意s,t,增量W(t)-W(s)~N(0,

2|t-s|),

2>0則稱{W(t),-

<t<+

}為維納過程，或布朗運動。2.4幾種重要的隨機過程定理：設{W(t),-

<t<+

}是參數為

2的維納過程，則(1)對任意t(-,+

),W(t)~N(0,

2|t|)(2)對任意-<a<s,t<+,E[(W(s)-W(a))(W(t)-W(a))]=

2min(s-a,t-a)RW(s,t)=

2min(s,t)證(1)由定義，顯然成立。2.4幾種重要的隨機過程(2)不妨設s

t，則E[(W(s)-W(a))(W(t)-W(a))]=E[(W(s)-W(a))(W(t)-W(s)+W(s)-W(a))]=E[(W(s)-W(a))(W(t)-W(s))]+E[(W(s)-W(a))2]=E[W(s)-W(a)]E[W(t)-W(s)]+D[W(s)-W(a)]=

2(s-a)2.4幾種重要的隨機過程若t

s

，則E[(W(s)-W(a))(W(t)-W(a))]=

2(t-a)，所以E[(W(s)-W(a))(W(t)-W(a))]=

2min(s-a,t-a)若取a=0，則RW(s,t)=E[W(s)W(t)]=E[(W(s)-W(0))(W(t)-W(0))]=

2min(s,t)☆注：維納過程也是正交增量過程(EX(t)=0,EX2(t)=2|t|<+)，還是馬爾可夫過程6.2聯合平穩隨機過程時間增量時間平移正交增量過程EX2＜∞EX=0，EX2＜∞寬平穩隨機過程獨立增量過程嚴平穩隨機過程平穩獨立增量過程維納過程泊凇過程高斯過程增量服從正態分佈增量服從泊凇分佈有限維聯合變數服從正態分佈馬爾可夫過程時間記憶一維隨機變數e→X(e)二維隨機變數e→（X(e)，Y(e)）。。。n維隨機變數e→（X1(e)，X2(e)，…,Xn(e)）隨機序列e→（X1(e)，X2(e)，…,）隨機過程e→（X(t,e)，t∈T）隨機變數族

(t,e)→xt(e)=x(t,e)xx

(ti,e)t1t2t3第六章

平穩隨機過程6.1平穩隨機過程的概念定義6.1設{X(t)，t

T

}是隨機過程，對任意常數

和正整數n，t1,t2,

,tn

T,t1+

,t2+

,

,tn+

T，若(X(t1),

X(t2),

,

X(tn))與

(X(t1+

),

X(t2+

),

,

X(tn+

))有相同的聯合分佈，則稱{X(t)，t

T

}為嚴平穩過程，也稱狹義平穩過程。6.1平穩隨機過程的概念定義6.2設{X(t)，t

T

}是隨機過程，並滿足：(1){X(t)，t

T

}是二階矩過程；(2)對任意t

T

，mX(t)=EX(t)=常數；(3)對任意s,t

T

，RX(s,t)=E[X(s)X(t)]=RX(t-s)，則稱{X(t)，t

T

}為寬平穩過程，也稱廣義平穩過程，簡稱平穩過程。若T為離散集，稱平穩過程{Xn，n

T

}為平穩序列。6.1平穩隨機過程的概念寬平穩過程嚴平穩過程嚴平穩過程寬平穩過程嚴平穩過程寬平穩過程正態過程二階矩存在6.1平穩隨機過程的概念例6.1設X(t)=Ycos(

t)+Zsin(

t),

t>0，且Y,Z相互獨立，EY=EZ=0，DY=DZ=

2，試討論隨機過程{X(t),t>0}的平穩性。解6.1平穩隨機過程的概念

所以{X(t)，t

T

}為寬平穩過程。6.1平穩隨機過程的概念例6.2設{Xn,n=0,

1,

2,

}是實的互不相關隨機變數序列，且E[Xn]=0，D[Xn]

=

2，試討論隨機序列的平穩性。

解因為E[Xn]=0，

所以{Xn,n=0,

1,

2,

}是平穩隨機序列。6.1平穩隨機過程的概念例6.3設狀態連續、時間離散的隨機過程X(t)=sin(2t)，其中是(0,1)上的均勻分佈隨機變數，t只取整數值1,2,

，試討論隨機過程X(t)的平穩性。解6.1平穩隨機過程的概念

所以X(t)是平穩過程。6.2聯合平穩隨機過程定義6.4設{X(t)，t

T

}和{Y(t)，t

T

}是兩個平穩過程，若它們的互相關函數E[X(t)Y(t-

)]及E[Y(t)X(t-

)]僅與

有關，而與t無關，即RXY(t,t-

)=E[X(t)Y(t-

)]=RXY(

)RYX(t,t-

)=E[Y(t)X(t-

)]=RYX(

)則稱X(t)和Y(t)是聯合平穩隨機過程。

6.2聯合平穩隨機過程命題：當X(t)和Y(t)是聯合平穩隨機過程時，W(t)=X(t)+Y(t)是平穩隨機過程。事實上，EW(t)=EX(t)+EY(t)=常數，6.2聯合平穩隨機過程例6.4設X(t)=Asin(t+)，

Y(t)=Bsin(

t+

-

)為兩個平穩過程，其中A,B,

是常數，是(0,2

)上的均勻分佈隨機變數，證明：X(t)和Y(t)是聯合平穩隨機過程。證明：6.2聯合平穩隨機過程6.2聯合平穩隨機過程所以X(t)和Y(t)是聯合平穩隨機過程。6.3隨機分析簡介微積分中普通函數的連續、導數和積分等概念推廣到隨機過程的連續、導數和積分上即隨機分析6.3隨機分析簡介

定義6.5設有二階矩隨機序列{Xn}和二階矩隨機變數X，若有成立，則稱{Xn}均方收斂於X。記作或(meansquare)(limitinmean)6.3隨機分析簡介定理6.1（柯西收斂定理）二階矩隨機序列{Xn}收斂於二階矩隨機變數X的充要條件是6.3隨機分析簡介定理6.2設{Xn},{Yn},{Zn},都是二階矩隨機序列，U是二階矩隨機變數，{cn}為常數序列，a,b,c為常數，令則(1)(2)(3)6.3隨機分析簡介(4)(5)(6)6.3隨機分析簡介定理6.3設{Xn}為二階矩隨機序列，則{Xn}均方收斂的充要條件是下列極限存在6.3隨機分析簡介定義6.6設有二階矩過程{X(t),t

T}，若對每一個t

T，有則稱X(t)在t點均方連續，記作若對T中的一切點都均方連續，則稱X(t)在T上均方連續。6.3隨機分析簡介定理6.4（均方連續準則）二階矩過程{X(t),t

T}，在t點均方連續的充要條件為相關函數RX(t1,t2)在點(t,t)處連續。

推論若相關函數RX(t1,t2)在{(t,t)，t

T}上連續，則它在T

T上連續。

6.3隨機分析簡介定義6.7二階矩過程{X(t),t

T}，若存在隨機過程X

(t)，滿足則稱X(t)在t點均方可微，記作並稱X

(t)為X(t)在t點的均方導數。6.3隨機分析簡介若X(t)在T上每一點均方可微，則稱X(t)在T上均方可微。類似地可定義二階均方導數相關函數RX(t1,t2)的廣義二階導數定義為6.3隨機分析簡介定理6.5（均方可微準則）二階矩過程{X(t),t

T}，在t點均方可微的充要條件為相關函數RX(t1,t2)在點(t,t)的廣義二階導數存在。

推論1二階矩過程{X(t),t

T}在T上均方可微的充要條件為相關函數RX(t1,t2)在{(t,t)，t

T}上每一點廣義二階可微。

推論2若相關函數RX(t1,t2)在{(t,t)，t

T}上每一點廣義二階可微，則6.3隨機分析簡介

6.3隨機分析簡介均方積分設{X(t),t

T}為二階矩過程，f(t)為普通函數，其中T=[a,b]，用一組分點將T劃分如下：a=t0<t1<

<tn=b，6.3隨機分析簡介定義6.8如果當

n

0時，Sn均方收斂於S，即

，則稱在區間[a,b]上均方可積，並記為6.3隨機分析簡介定理6.6（均方可積準則）

f(t)X(t)在區間[a,b]上均方可積的充要條件為

存在，特別地，二階矩過程X(t)在區間[a,b]上均方可積的充要條件為RX(t1,t2)在[a,b]

[a,b]上可積。6.3隨機分析簡介定理6.7設f(t)X(t)在區間[a,b]上均方可積，則有(1)(2)6.3隨機分析簡介定理6.8設二階矩過程{X(t),t

T}在區間[a,b]上均方連續，則在均方意義下存在，且隨機過程{Y(t),t

T}在區間[a,b]上均方可微，有Y

(t)=X(t)。推論設X(t)均方可微，且X

(t)均方連續，則6.3隨機分析簡介例6.5設{X(t),t

T}是實均方可微過程，求其導數過程{X

(t),t

T}的協方差函數BX

(s,t)。解由定理6.5推論2(1)由定理6.6推論2(4)6.3隨機分析簡介

所以6.4平穩過程的遍曆性定義6.9設{X(t),-

<t<

}是均方連續的平穩過程，則時間均值時間相關函數6.4平穩過程的遍曆性定義6.10設{X(t),-

<t<

}是均方連續的平穩過程，若

則稱平穩過程的均值具有遍曆性；若

則稱平穩過程的相關函數具有遍曆性。6.4平穩過程的遍曆性定義6.11如果均方連續的平穩過程{X(t),-

<t<

}的均值和相關函數都具有遍曆性，則稱該平穩過程具有遍曆性。例6.9

設隨機相位過程X(t)=acos(t+)，a,

為常數，為服從(0,2)上均勻分佈的隨機變數，討論X(t)的遍曆性。解6.4平穩過程的遍曆性

6.4平穩過程的遍曆性

6.4平穩過程的遍曆性

6.4平穩過程的遍曆性例6.7

討論隨機過程X(t)=Y的遍曆性，其中Y是方差不為零的隨機變數。解X(t)=Y是平穩過程，因為E[X(t)]=E[Y]=常數，故均值不具有遍曆性。6.4平穩過程的遍曆性

6.4平穩過程的遍曆性定理6.10

對於均方連續平穩過程{X(t),-

<

t<}，均值遍曆的充要條件是6.4平穩過程的遍曆性

定理6.11

對於均方連續平穩過程{X(t),--

<

t<}，相關函數各態歷經的充要條件是其中第三章

泊松過程

3.1泊松過程的定義定義3.1隨機過程{N(t)，t0

}是計數過程，如果N(t)表示到時刻t為止已發生的事件A的總數，且N(t)滿足條件(1)N(t)

0

;(2)N(t)取整數;(3)若s<t，則N(s)

N(t);(4)當s<t時，N(t)-N(s)等於區間(s,t]中發生事件A的次數。3.1泊松過程的定義獨立增量計數過程對於t1<t2<

<tn，N(t2)-N(t1),

N(t3)-N(t2),

,N(tn)-N(tn-1)獨立平穩增量計數過程在(t,t+s]內(s>0)，事件A發生的次數

N(t+s)-N(t)僅與時間間隔s有關，而與初始時刻t無關3.1泊松過程的定義定義3.2：稱計數過程{X(t)，t0

}是泊松過程，如果X(t)滿足(1)X(0)=0;(2)X(t)是獨立增量過程;(3)在任一長度為t的區間中，事件A發生的次數服從參數

t>0的泊松分佈，即對任意s,t

0，有3.1泊松過程的定義☆注：(1)泊松過程是平穩增量過程(2)由E[X(t)]=

t,知

故

表示過程的強度

例在(0,t]內接到服務台諮詢電話的次數X(t)，在(0,t]內到某火車站售票處購買車票的旅客數X(t)等3.1泊松過程的定義定義3.3：稱計數過程{X(t)，t0

}是泊松過程，如果X(t)滿足(1)X(0)=0；(2)X(t)是平穩、獨立增量過程；(3)X(t)滿足下列兩式(參數

>0)3.1泊松過程的定義泊松過程兩種定義的等價性的證明：定義1

定義2由（2）知平穩性，又當h充分小的，有3.1泊松過程的定義定義2

定義13.1泊松過程的定義3.1泊松過程的定義(2)對n

1，建立遞推公式3.1泊松過程的定義

3.1泊松過程的定義

3.1泊松過程的定義(3)3.1泊松過程的定義

(4)用數學歸納法證明n=0,n=1時，結論已成立假設n-1時(n1)，結論成立，由遞推公式3.1泊松過程的定義

3.2泊松過程的性質一、數字特徵設{X(t),t

0}是參數為

的泊松過程，對任意t,s[0,+)，若s

<t

，則有3.2泊松過程的性質

3.2泊松過程的性質

3.2泊松過程的性質二、泊松過程的時間間隔與等待時間的分佈

設{X(t),t

0}是參數為

的泊松過程，

X(t)表示到t時刻為止事件A發生的次數，Wn表示第n次事件A發生的時間(n

1)，也稱為第n次事件A的等待時間,或到達時間,Tn表示第n-1次事件A發生到第n次事件A發生的時間間隔。3.2泊松過程的性質等待時間Wn與時間間隔Tn均為隨機變數時間間隔Tn的分佈定理3.2設{X(t),t

0}是參數為

的泊松過程，{Tn,n

1}是相應第n-1次事件A發生到第n次事件A發生的時間間隔序列，則隨機變數Tn,n=1,2…獨立同服從均值為1/

的指數分佈TnT3T2T1tW3W2W10Wn-1Wn3.2泊松過程的性質時間間隔Tn的分佈為概率密度為3.2泊松過程的性質證(1)n=1事件{T1>t}發生當且僅當在[0,t]內沒有事件發生

T1服從均值為1/

的指數分佈T1tW103.2泊松過程的性質(2)n=2P{T2>t|T1=s}=P{在(s,s+t]內沒有事件發生|T1=s}=P{X(s+t)-X(s)=0

|X(s)

-X(0)

=1}=P{X(s+t)-X(s)=0}T2服從均值為1/

的指數分佈tT2T1=sW2W10s+ts3.2泊松過程的性質(3)n

1TnTn-1=sn-1T2=s2T1=s1tWn-2W2W10Wn-1Wn3.2泊松過程的性質

等待時間Wn的分佈定理3.3設{X(t),t

0}是參數為

的泊松過程，{Wn,n

1}是相應等待時間序列，則Wn服從參數為n與

的

分佈，概率密度為3.2泊松過程的性質證，Ti為時間間隔

TnT2T1tW2W10Wn-1Wn3.2泊松過程的性質

3.2泊松過程的性質參數為n與

的

分佈又稱愛爾蘭分佈，它是n個相互獨立且同服從指數分佈的隨機變數之和的分佈。指數分佈的矩母函數為,特徵函數

分佈的矩母函數為,特徵函數3.2泊松過程的性質

例設{X1(t),t

0}和{X2(t),t

0}是兩個相互獨立的泊松過程，它們在單位時間內平均出現的事件數分別為

1和

2。記為過程X1(t)的第k次事件到達時間,記為過程X2(t)的第1次事件到達時間，求即第一個泊松過程第k次事件發生比第二個泊松過程第1次事件發生早的概率。3.2泊松過程的性質解設的取值為x，的取值為y，3.2泊松過程的性質則f(x,y)為與的聯合概率密度由於X1(t)與X2(t)獨立，故yxy=xD3.2泊松過程的性質

3.2泊松過程的性質三、到達時間Wn的條件分佈假設在[0,t]內事件A已經發生1次，確定這一事件到達時間W1的條件分佈密度tW10sW2解：先求對s<0，有=0對0≤s<t，有tW10sW23.2泊松過程的性質

3.2泊松過程的性質對s

t，有3.2泊松過程的性質從而W1的條件分佈函數為條件分佈密度函數為3.2泊松過程的性質定理3.4設{X(t),t

0}是泊松過程，已知在[0,t]內事件A發生n次，則這n次事件的到達時間W1<W2<

<Wn的條件概率密度為3.2泊松過程的性質例設在[0,t]內事件A已經發生n次，且0<s<t，對於0<k<n，求P{X(s)=k|X(t)=n}.解kn0st3.2泊松過程的性質

（二項分佈）3.2泊松過程的性質

例設在[0,t]內事件A已經發生n次，求第k次(k<n)事件A發生的時間Wk的條件概率密度函數.解tWk0sWns+h3.2泊松過程的性質3.2泊松過程的性質

令h0，則有3.2泊松過程的性質

（Bata分佈）3.3非齊次泊松過程定義3.4稱計數過程{X(t),t

0}為具有跳躍強度函數

(t)的非齊次泊松過程，如果滿足(1)X(0)=0;(2)X(t)是獨立增量過程;(3)☆可以證明並稱非齊次泊松過程的均值函數。3.1泊松過程的定義定義3.3：稱計數過程{X(t)，t0

}是泊松過程，如果X(t)滿足(1)X(0)=0；(2)X(t)是平穩、獨立增量過程；(3)X(t)滿足下列兩式(參數

>0)3.3非齊次泊松過程設{X(t),t

0}為具有均值函數的非齊次泊松過程，則有或(證明方法與齊次泊松過程類似見教材P49)定理3.53.3非齊次泊松過程

例設{X(t),t

0}是具有跳躍強度的非齊次泊松過程(0)，求EX(t)和DX(t)。解3.3非齊次泊松過程

例某路公共汽車從早晨5時到晚上9時有車發出，乘客流量如下：5時按平均乘客為200人/小時計算；5時至8時乘客平均到達率線性增加，8時到達率為1400人/小時；8時至18時保持平均到達率不變；18時到21時到達率線性下降，到21時為200人/小時，假定乘客數在不重疊的區間內是相互獨立的，求12時至14時有2000人乘車的概率，並求這兩個小時內來站乘車人數的數學期望。

3.3非齊次泊松過程

解設t=0為早晨5時，t=16為晚上9時，則

3.3非齊次泊松過程解12時至14時為t[7,9]在[0,t]內到達的乘車人數X(t)服從參數為

(t)的非齊次泊松過程12時至14時乘車人數的數學期望為12時至14時有2000人來站乘車的概率為3.4複合泊松過程定義3.5設{N(t),t

0}是強度

的泊松過程，{Yk,k=1,2,

}是一列獨立同分佈隨機變數，且與{N(t),t

0}獨立，令則稱為複合泊松過程。例設N(t)是在[0,t]內來到某商店的顧客數，Yk是第k個顧客的花費，則

是[0,t]內的營業額。

3.4複合泊松過程設是複合泊松過程，則(1){X(t),t0}是獨立增量過程；(2)X(t)的特徵函數

是事件的到達率，gY(u)是隨機變數Y1的特徵函數；(3)若，則定理3.6：泊松過程的特徵函數為3.4複合泊松過程證(1)令0

t0<t1<tm，則可以驗證X(t)具有獨立增量性(2)3.4複合泊松過程

3.4複合泊松過程(3)3.4複合泊松過程

3.4複合泊松過程

3.3非齊次泊松過程設{X(t),t

0}為具有強度函數

(t)的非齊次泊松過程，則EX(t)=DX(t)=mX(t)證3.3非齊次泊松過程

3.3非齊次泊松過程

第四章

馬爾可夫鏈

4.1馬爾可夫鏈與轉移概率定義設{X(t)，t

T

}為隨機過程，若對任意正整數n及t1<t2<

<tn，P{X(t1)=x1,

,X(tn-1)=xn-1}>0，且條件分佈P{X(tn)

xn|X(t1)=x1,

,X(tn-1)=xn-1}=P{X(tn)

xn|X(tn-1)=xn-1}，則稱{X(t)，t

T

}為馬爾可夫過程。☆若t1,t2,,tn-2表示過去，tn-1表示現在，tn表示將來，馬爾可夫過程表明：在已知現在狀態的條件下，將來所處的狀態與過去狀態無關。4.1馬爾可夫鏈與轉移概率常見馬爾可夫過程通常有三類：(1)時間、狀態都是離散的，稱為馬爾可夫鏈(2)時間連續、狀態離散的，稱為連續時間馬爾可夫鏈(3)時間、狀態都是連續的，稱為馬爾可夫過程（時間離散、狀態連續的馬爾可夫過程，通常用泛函中二元函數的範數進行研究）隨機過程{Xn，n

T

}，參數T={0,1,2,

},狀態空間I={i0,i1,i2,

}

定義若隨機過程{Xn，n

T

}，對任意n

T和i0,i1,

,in+1

I，條件概率P{Xn+1=in+1|X0=i0,X1=i1,

,Xn=in}=P{Xn+1=in+1|Xn=in}，則稱{Xn，n

T

}為馬爾可夫鏈，簡稱馬氏鏈。4.1馬爾可夫鏈與轉移概率4.1馬爾可夫鏈與轉移概率馬爾可夫鏈的性質P{X0=i0,X1=i1,

,Xn=in}=P{Xn=in|X0=i0,X1=i1,

,Xn-1=in-1}

P{X0=i0,X1=i1,

,Xn-1=in-1}=P{Xn=in|Xn-1=in-1}

P{Xn-1=in-1|X0=i0,X1=i1,

,Xn-2=in-2}

P{X0=i0,X1=i1,

,Xn-2=in-2}=P{Xn=in|Xn-1=in-1}P{Xn-1=in-1|Xn-2=in-2}

P{X0=i0,X1=i1,

,Xn-2=in-2}4.1馬爾可夫鏈與轉移概率=

=P{Xn=in|Xn-1=in-1}P{Xn-1=in-1|Xn-2=in-2}

P{X1=i1|X0=i0}P{X0=i0}馬爾可夫鏈的統計特性完全由條件概率P{Xn+1=in+1|Xn=in}確定。4.1馬爾可夫鏈與轉移概率定義稱條件概率pij(n)=P{Xn+1=j|Xn=i}為馬爾可夫鏈{Xn，n

T

}在時刻n的一步轉移概率，簡稱轉移概率，其中i,j

I。定義

若對任意的i,j

I，馬爾可夫鏈{Xn,n

T

}的轉移概率pij(n)與n無關，則稱馬爾可夫鏈是齊次的，並記pij(n)為pij。齊次馬爾可夫鏈具有平穩轉移概率，狀態空間I={1,2,3,

}，一步轉移概率為4.1馬爾可夫鏈與轉移概率轉移概率性質(1)

(2)

P稱為隨機矩陣4.1馬爾可夫鏈與轉移概率例4.1賭博問題。甲乙二人進行一系列賭博，甲有a元，乙的賭本無限，每賭一局輸者給贏者1元，沒有和局，如果甲輸光，再輸則賭本為負。設在每一局中，甲贏的概率為p，輸的概率為q=1-p。設Xn表示第n次賭博結束後甲的賭本，則Xn，n≥1是馬爾科夫鏈，求Xn的轉移矩陣4.1馬爾可夫鏈與轉移概率例4.1

無限制隨機遊動qp-1

0

1i-1i

i+1一步轉移概率:4.1馬爾可夫鏈與轉移概率n步轉移概率:i經過k步進入j,向右移了x步,向左移了y步則4.1馬爾可夫鏈與轉移概率例4.4具有吸收壁和反射壁的隨機遊動狀態空間{1,2,3,4}，1為吸收壁，4為反射壁狀態轉移圖狀態轉移矩陣4.1馬爾可夫鏈與轉移概率定義稱條件概率

=P{Xm+n=j|Xm=i}為馬爾可夫鏈{Xn，n

T

}的n步轉移概率(i,j

I,m0,n1)。n步轉移矩陣其中

P(n)也為隨機矩陣4.1馬爾可夫鏈與轉移概率定理4.1設{Xn，n

T

}為馬爾可夫鏈，則對任意整數n

0,0

l<n和i,j

I，n步轉移概率具有性質(1)

(2)

(3)

P(n)=PP(n-1)(4)

P(n)=Pn4.1馬爾可夫鏈與轉移概率證(1)4.1馬爾可夫鏈與轉移概率(2)在(1)中令l=1,k=k1,得由此可遞推出公式(3)矩陣乘法(4)由(3)推出說明：(1)此為C-K方程(切普曼-柯爾莫哥洛夫)(2)n步轉移概率由一步轉移概率確定，

n步轉移概率矩陣由一步轉移概率矩陣確定(n次冪)4.1馬爾可夫鏈與轉移概率初始概率絕對概率初始分佈絕對分佈初始概率向量絕對概率向量定義4.1馬爾可夫鏈與轉移概率

設{Xn，n

T

}為馬爾可夫鏈，則對任意整數j

I和n

1

，絕對概率pj(n)具有性質(1)

(2)

(3)PT(n)=PT(0)P(n)(4)PT(n)=PT(n-1)P定理4.2例如，設馬氏鏈的狀態空間I={1,2}，那麼時刻n的絕對概率分佈應滿足PT(n)=(p1(n),p2(n))PT(n)=PT(0)P(n)4.1馬爾可夫鏈與轉移概率證(1)

4.1馬爾可夫鏈與轉移概率(2)(3)(4)為(1)(2)的矩陣表示。4.1馬爾可夫鏈與轉移概率

定理4.3設{Xn，n

T

}為馬爾可夫鏈，則對任意整數i1,i2,

,in

I和n

1

，有性質證4.1馬爾可夫鏈與轉移概率例4.2賭徒輸光問題甲有賭資a元，乙有賭資b元，賭一局輸者給贏者1元，無和局。甲贏的概率為p，乙贏的概率為q=1-p，求甲輸光的概率。解狀態空間I={0,1,2,

,c}，c=a+bqpa-1a

a+10a+b4.1馬爾可夫鏈與轉移概率設ui表示甲從狀態i出發轉移到狀態0的概率，求ua顯然u0

=1，uc=0(u0表示已知甲輸光情形下甲輸光的概率，uc表示已知乙輸光情形下甲輸光的概率)ui=pui+1

+qui-1

(i=1,2,

,c-1)（甲在狀態i下輸光：甲贏一局後輸光或甲輸一局後輸光）4.1馬爾可夫鏈與轉移概率

4.1馬爾可夫鏈與轉移概率

4.1馬爾可夫鏈與轉移概率4.1馬爾可夫鏈與轉移概率

4.1馬爾可夫鏈與轉移概率例4.3天氣預報問題

RR表示連續兩天有雨，記為狀態0NR表示第1天無雨第2天有雨，記為狀態1RN表示第1天有雨第2天無雨，記為狀態2NN表示連續兩天無雨，記為狀態3p00=P{R今R明|R昨R今}=P{R明|R昨R今}=0.7p01=P{N今R明|R昨R今}=0p02=P{R今N明|R昨R今}=P{N明|R昨R今}=0.3p03=P{N今N明|R昨R今}=04.1馬爾可夫鏈與轉移概率類似地得到其他轉移概率，於是轉移概率矩陣為若星期一、星期二均下雨，求星期四下雨的概率4.1馬爾可夫鏈與轉移概率星期四下雨的情形如右，星期四下雨的概率2步轉移概率矩陣為一二三四RRRR00RRNR014.2馬爾可夫鏈的狀態分類{Xn,n

0}是離散馬爾可夫鏈，pij為轉移概率，i,j

I，I={0,1,2,}為狀態空間，{pj,j

I}為初始分佈定義4.3

狀態i的週期d：d=G.C.D{n:>0}(最大公約數greatestcommondivisor)如果d>1，就稱i為週期的，如果d=1，就稱i為非週期的4.2馬爾可夫鏈的狀態分類例4.6設馬爾可夫鏈的狀態空間I={1,2,,9}，轉移概率如下圖從狀態1出發再返回狀態1的可能步數為T={4,6,8,10,}，T的最大公約數為2，從而狀態1的週期為24.2馬爾可夫鏈的狀態分類注(1)如果i有週期d，則對一切非零的n,n0modd，有（若，則n=0modd）(2)對充分大的n，（引理4.1）例題中當n=1時，當n>1時，4.2馬爾可夫鏈的狀態分類例4.7狀態空間I={1,2,3,4}，轉移概率如圖，狀態2和狀態3有相同的週期d=2，但狀態2和狀態3有顯著的區別。當狀態2轉移到狀態3後，再不能返回到狀態2，狀態3總能返回到狀態3。這就要引入常返性概念。4.2馬爾可夫鏈的狀態分類由i出發經n步首次到達j的概率(首達概率)規定由i出發經有限步終於到達j的概率4.2馬爾可夫鏈的狀態分類若fii=1，稱狀態i為常返的；若fii<1，稱狀態i為非常返的i為非常返，則以概率1-

fii不返回到ii為常返，則

構成一概率分佈，期望值

表示由i出發再返回到i的平均返回時間定義4.2馬爾可夫鏈的狀態分類若

i<

，則稱常返態i為正常返的;若

i=

，則稱常返態i為零常返的，非週期的正常返態稱為遍曆狀態。例：判斷下麵馬氏鏈各狀態的類型定義設i為常返4.2馬爾可夫鏈的狀態分類引理4.2週期的等價定義G.C.D=G.C.D例4.8設馬爾可夫鏈的狀態空間I={1,2,3}，轉移概率矩陣為求從狀態1出發經n步轉移首次到達各狀態的概率4.2馬爾可夫鏈的狀態分類解狀態轉移圖如下，首達概率為

4.2馬爾可夫鏈的狀態分類同理可得4.2馬爾可夫鏈的狀態分類首達概率與n步轉移概率有如下關係式定理4.4對任意狀態i,j及1

n<

，有4.2馬爾可夫鏈的狀態分類證P(A,B|C)=P(B|A,C)P(A|C)12311例：已知馬氏鏈轉移圖如下，求從狀態1出發再返回1的n步轉移概率，n=1,2,…,84.2馬爾可夫鏈的狀態分類定理4.5狀態i常返的充要條件為如i非常返，則以下討論常返性的判別與性質4.2馬爾可夫鏈的狀態分類數列的母函數與卷積{an,n

0}為實數列，母函數{bn,n

0}為實數列，母函數則{an}與{bn}的卷積的母函數4.2馬爾可夫鏈的狀態分類定理4.5狀態i常返的充要條件為如i非常返，則證:規定，則由定理4.44.2馬爾可夫鏈的狀態分類

4.2馬爾可夫鏈的狀態分類對0

s<14.2馬爾可夫鏈的狀態分類

4.2馬爾可夫鏈的狀態分類定理4.7設i常返且有週期為d，則其中

i為i的平均返回時間，當

i=

時推論設i常返，則(1)i零常返(2)i遍曆12311例：已知馬氏鏈轉移圖如下，求從狀態1出發再返回1的n步轉移概率，n=1,2,…,84.2馬爾可夫鏈的狀態分類證(1)

i零常返，

i=，由定理4.7知，對d的非整數倍數的n，

從而子序列

i是零常返的4.2馬爾可夫鏈的狀態分類(2)

子序列所以d=1，從而i為非週期的，i是遍曆的

i是遍曆的，d=1，

i<，4.2馬爾可夫鏈的狀態分類例4.10對無限制隨機遊動由斯特林近似公式可推出(1)當且僅當p=q=1/2時，4pq=14.2馬爾可夫鏈的狀態分類狀態i是常返的狀態i是零常返的4.2馬爾可夫鏈的狀態分類(2)當且僅當p

q，4pq<1狀態i是非常返的4.1馬爾可夫鏈與轉移概率例4.1

無限制隨機遊動p-1

0

1i-1i

i+1一步轉移概率:pppqqqq狀態的可達與互通狀態i可達狀態j，i

j：存在n>0,使狀態i與狀態j互通，i

j：i

j且j

i定理4.8可達關係與互通關係都具有傳遞性，即(1)若i

j，j

k，則i

k(2)若i

j，j

k，則i

k4.3狀態空間的分解4.2馬爾可夫鏈的狀態分類證(1)i

j，存在l>0，使j

k，存在m>0，使由C-K方程所以i

k(2)由(1)直接推出4.2馬爾可夫鏈的狀態分類定理4.9

如i

j，則(1)i與j同為常返或非常返，如為常返，則它們同為正常返或零常返(2)i與j有相同的週期4.2馬爾可夫鏈的狀態分類

例4.9設馬氏鏈{Xn}的狀態空間為I={0,1,2,

}，轉移概率為考察狀態0的類型4.2馬爾可夫鏈的狀態分類

可得出0為正常返的由於，所以0的週期為d=10為非週期的，從而為遍曆狀態對於其他狀態i,由於i

0,所以也是遍曆的

4.3狀態空間的分解定義狀態空間I

的子集C稱為閉集，如對任意i

C及k

C都有pik=0;閉集C稱為不可約的，如C的狀態互通；馬氏鏈{Xn}稱為不可約的，如其狀態空間不可約引理4.4

C是閉集的充要條件為對i

C及k

C都有4.3狀態空間的分解證充分性顯然成立必要性（數學歸納法）設C為閉集，由定義當n=1時結論成立設n=m時，，i

C及k

C，則注：如pii=1，稱狀態i為吸收的，等價於單點集{i}為閉集。4.3狀態空間的分解

例4.11設馬氏鏈{Xn}的狀態空間為I={1,2,3,4,5}，轉移概率矩陣為狀態3是吸收的，故{3}是閉集，{1,4}，{1,3,4}，{1,2,3,4}都是閉集，其中{3}，{1,4}是不可約的。I含有閉子集，故{Xn}不是不可約的鏈。4.3狀態空間的分解

例4.12無限制隨機遊動為不可約馬氏鏈，各狀態的週期為2，當p=q=1/2時，是零常返的，當p

q時，是非常返的。4.3狀態空間的分解定理4.10任一馬氏鏈的狀態空間I，可唯一地分解成有限個或可列個互不相交的子集D,C1,C2,

之和，使得：(1)每一Cn是常返態組成的不可約閉集；(2)Cn中的狀態同類型，或全是正常返，或全是零常返，它們有相同的週期，且fij=1，i,j

Cn；(3)D由全體非常返態組成，自Cn中狀態不能到達D中的狀態。4.3狀態空間的分解

例4.13馬氏鏈的狀態空間I={1,2,3,4,5,6},狀態轉移矩陣為分解此鏈並指出各狀態的常返性及週期性。4.3狀態空間的分解解由狀態轉移圖知可見1為正常返狀態且週期為3，含1的基本常返閉集為C1={k:1

k}={1,3,5}，從而狀態3及5也為正常返狀態且週期為3。同理可知6為正常返狀態，

6=3/2，週期為1。含6的基本常返閉集為C2={k:6

k}={2,6}，可見2，6為遍曆狀態。4.3狀態空間的分解

於是I可分解為I=D∪C1∪C2={4}∪{1,3,5}∪{2,6}定義4.10稱矩陣A=(aij)為隨機矩陣，若顯然k步轉移矩陣為隨機矩陣。4.3狀態空間的分解引理4.5設C為閉集，G是C上所得的k步轉移子矩陣，則G仍是隨機矩陣。證任取i

C，由引理4.4有從而且，故是隨機矩陣。4.3狀態空間的分解注：對I的一個閉子集，可考慮C上的原馬氏鏈的子馬氏鏈，其狀態空間為C，轉移矩陣為G=(pij)，i,j

C是原馬氏鏈的轉移矩陣為P=(pij)，i,j

I的子矩陣。4.3狀態空間的分解定理4.11週期為d的不可約馬氏鏈，其狀態空間C可唯一地分解為d個互不相交的子集之和，即且使得自Gr中任一狀態出發，經一步轉移必進入Gr+1中(Gd=G0)。注：任取一狀態i，對每一r=0,1,

,d-1定義集12311例：已知馬氏鏈轉移圖如下，求從狀態1出發再返回1的n步轉移概率，n=1,2,…,84.3狀態空間的分解

例4.14設不可約馬氏鏈的狀態空間為C={1,2,3,4,5,6}，轉移矩陣為4.3狀態空間的分解

4.3狀態空間的分解由狀態轉移圖可知各狀態的週期d=3,固定狀態i=1，令故C=G0∪G1∪G2={1,4,6}∪{3,5}∪{2}4.3狀態空間的分解定理4.12設{Xn,n

0}是週期為d的不可約馬氏鏈，則在定理4.11的結論下有(1)如只在0,d,2d,

上考慮{Xn}，即得一新馬氏鏈{Xnd}，其轉移矩陣，對此新鏈，每一Gr是不可約閉集，且Gr中的狀態是非週期的；(2)如原馬氏鏈{Xn}常返，則新馬氏鏈{Xnd}也常返。4.3狀態空間的分解

例4.15設{Xn}為例4.14中的馬氏鏈，已知d=3，則{Xnd,n

0}的轉移矩陣為4.3狀態空間的分解由子鏈{X3n}的狀態轉移圖可知G0={1,4,6}，G1={3,5}，G2={2}各形成不可約閉集，週期為1G0={1,4,6}G1={3,5}G3={2}{Xn}d=3d=3d=3{Xnd}非週期,不可約閉集非週期,不可約閉集非週期,