应用随机过程课件 ch1 预备知识

应用随机过程第一章预备知识中国人民大学出版社PAGE应用随机过程第一章预备知识中国人民大学出版社PAGE20/65第一章预备知识第一章预备知识应用随机过程中国人民大学出版社本章内容本章内容1事件与概率1样本和样本空间事件与概率概率空间2概率的基本性质随机变量和随机向量2随机变量分布函数

随机向量3随机变量之和的性质随机变量的数字特征3期望方差矩母函数45随机变量的收敛性随机过程的概念45样本和样本空间样本和样本空间样本和样本空间事件与概率通常把按照一定想法去做的事件称为试验experimen，把试验的可能结果称为样本点（epoint样本和样本空间事件与概率举例：（ee。通常将样本空间记为Ω，样本点记为ω。举例：一个均匀的骰子（dice）有六个面，每次抛出这个骰子，会得到相应的（236{1236}。事件与概率事件与概率事件与概率事件与概率事件（event）是样本空间事件与概率事件与概率Ω是事件；若A是事件，则Ac是事件；若Ai是事件，则∞Ai是事件。骰子的例子i=1骰子的例子3AAc就是“抛出的点数不为3事件事件事件与概率事件与概率对于事件A，如果使用P(A)表示事件发生的概率，则P(A事件与概率事件与概率非负性：P(A)≥0；完备性：P(Ω)=1；可列可加性：对于互不相容的事件A1,A2,...，有：iP/∞A\∞i

P(Ai)i=1 i=1概率空间概率空间概率空间事件与概率对于样本空间Ω和概率P，用概率空间事件与概率(Ω,F,P)为概率空间probabilityeF称作σ代数假设样本空间Ω={1,2,3}，则F假设样本空间Ω={1,2,3}，则F可表示为：F=J∅,{},{},{},{,},{,3,2,3,Ωl举例：σσ-代数概率空间事件与概率i对于σ-代数F，其中的元素满足以下条件：若Ai∈F，则Ac∈F概率空间事件与概率i简言之，对σ-代数F中的元素取并集、交集和补集，结果均在F（σ-）说明：AiAjF,∀ijAiAjF；AiAjF,∀ij简言之，对σ-代数F中的元素取并集、交集和补集，结果均在F（σ-）说明：概率的基本性质概率的基本性质概率的基本性质事件与概率对于事件Ai,i=1,2概率的基本性质事件与概率P(∅)=0；当且仅当A1,A2,...,An互不相容时，下式的等号成立：//Pi=1

i\≤

i=1

P(Ai)n如果A2⊂A1，则P(A1)−P(A2)=P(A1−A2)≥0；nP(A1∪A2)=P(A1)+P(A2)−P(A1A2)；条件概率公式：当P(A1)>0时，P(A|A)=P(A1A2)2 1 P(A1)乘法公式乘法公式概率的基本性质概率的基本性质事件与概率P(B1B2···Bn)=P(B1)P(B2|B1)···P(Bn|B1B2···Bn−1)当P(A)>0时，P(B1B2···Bn|A)=P(B1|A)P(B2|B1A)···P(Bn|B1B2···Bn−1A)全概率公式全概率公式概率的基本性质事件与概率概率的基本性质事件与概率若事件A1,A2,...,An互不相容，则当 Ai=Ω时，有：i=1n nP(B)=、P(BAi)=、P(B|Ai)P(Ai)当P(A)>0时，有：

i=1n

i=1i=1P(B|A)=、P(B|AiA)P(Ai|Ai=1全概率公式全概率公式(cont.)概率的基本性质事件与概率全概率公式的意义在于，当直接计算P(B)较为困难时，可以通过求小事件的概率，然后相加，从而求得事件B的概率。而将事件B进行分割的时候，则是先找到样本空间Ω的某个划分（概率的基本性质事件与概率{A1,A2,...,An}，进而得到相对应的事件B的分解，即：B=BA1+BA2+···+BAn利用条件概率的计算公式，可得：P(B)=P(BA1)+P(BA2)+···+P(BAn)=P(B|A1)P(A1)+P(B|A2)P(A2)+···+P(B|An)P(An)、 |、 |= P(BAi)P(Ai)i=1贝叶斯公式贝叶斯公式概率的基本性质事件与概率若A1,A2,...,An概率的基本性质事件与概率 ∀Ai=Ω, P(Ai)>0, ii=1则对任一事件B，有：n、P(Ai|B)=P(B|Ai)P(Ai) , i=1,2,...,nn、P(B|Ak)P(Ak)k=1贝叶斯公式贝叶斯公式(cont.)概率的基本性质事件与概率与全概率公式解决的问题相反，贝叶斯（Bayesian概率的基本性质事件与概率P(Ai)(i=1,2,...,n)表示各种原因发生的可能性大小，故称先验概率（priorprobabilityP(i|)则反映当结果B发生之后，再对产生这一结果的各种原因的可能概率进行推断，故称后验概率（posteriorprobability。随机变量随机变量以金融市场为例随机变量随机变量和随机向量X中的样ωX(ω是离散型（discrete）随机变量；若样ωX(ω是连续型（以金融市场为例随机变量随机变量和随机向量{0,1,2,}，不难看出取值是非负的整数，此时所得到的股价跳跃次数的随机变量就是离散型随机变量；若考虑股票在某时刻的可能价格的样本空间，则其R取值为非负实数。随机变量随机变量(cont.)随机变量随机变量和随机向量、ω1（满足概率的完备性随机变量随机变量和随机向量、P(X=ω)≥0, P(X=ω)≡1ω∈Ω连续型随机变量无法得到类似的性质，由于样本点是连续的，对应ω分布函数分布函数分布函数随机变量和随机向量对于连续型随机变量X而言，其分布函数FX(t)（分布函数随机变量和随机向量FX(t)=P(X≤t)=

trfX(s)dsr−∞FX(t[01]。概率密度函数可以定义在任何连续随机变量上，比如正态分布、F分布、t分布、χ2分布等。说明：其中，fXFX(t[01]。概率密度函数可以定义在任何连续随机变量上，比如正态分布、F分布、t分布、χ2分布等。说明：分布函数分布函数(cont.)分布函数随机变量和随机向量、对于离散型随机变量Y而言，其分布函数GY(t分布函数随机变量和随机向量、GY(t)=P(Y≤t)= P(Y=ω)ω≤tω∈Ω此处的P(Y=ω)称作概率质量函数probabilitymassfunction,pm。概率质量函数可以定义在任何离散型随机变量上，比如二项分布、负二项分布、泊松分布、几何分布等等。概率质量函数和概率密度函数概率质量函数和概率密度函数分布函数随机变量和随机向量概率质量函数是对离散型随机变量定义的，本身代表该值的概率；概率密度函数是对连续型随机变量定义的，本身不是概率，只有对连续型随机变量的概率密度函数在某区间内进行积分后才是概率。X[ab这一区间上的概率，则计算公分布函数随机变量和随机向量r式如下：rP(a≤X≤b)=

bfX(s)dsa随机向量随机向量随机向量随机变量和随机向量X1X2XnXX1X2Xn称作随nRn随机向量随机变量和随机向量FX(x1,x2,...,xn)=P(X1≤x1,X2≤x2,...,Xn≤xn)称作X=(X1,X2,...,Xn)的分布函数。与前面类似，对于连续型随机向量X，其在Rn上的区域（domain）D的概率为：P(X∈D)=

x1 x2rr−∞−∞rr

···

xnrf(x)dx1dx2···dxn=r−∞

rf(x)dx1dx2···dxn、 ,, .,D其中，f(x)=f(x1,x2,...,xn)是X的联合密度。D随机变量之和的性质：离散型随机变量之和的概率随机变量之和的性质：离散型随机变量之和的概率随机变量之和的性质随机变量和随机向量设随机变量X和随机变量之和的性质随机变量和随机向量P(X=k)=ak, P(Y=k)=bk, k=0,1,...则Z=X+Y=n，n≥0的概率为：、 −、 −P(Z=n)=P(X+Y=n)= P(X=i,Y=n i)i=0n n=、P(X=i)P(Y=n−i)=、aibn−ii=0、n、

i=0令P(Z=n)=cn，则：cn= aibn−i。i=0这里的序列cn}称作序列{n}和bn}convolution≥0。随机变量之和的性质：连续型随机变量之和的分布函数随机变量之和的性质：连续型随机变量之和的分布函数随机变量之和的性质随机变量和随机向量设随机变量X和Y独立，其分布函数分别为F(x)和G(y)，则U=X随机变量之和的性质随机变量和随机向量有如下分布函数：0≤s≤tU(t)=P(X+Y0≤s≤t=rt=00

P(X+Y≤t|Y=s)P(Y=s)rt0F0F(t−s)dG(s)=0P(X≤=0P(X≤t−s)dG(s)=0F(t−s)dG(s)由于X+Y=Y+X，因此：0≤s≤tU(t)=P(X+Y0≤s≤trt00

P(X+Y≤t|X=s)P(X=s)rt−−r从而：r

= P(Y≤t−s)dF(s)=

G(t s)dF(s)0t−F(t s)dG(s)=−0

tr−G(t s)dF(s)r−0随机变量之和的性质：连续型随机变量之和的密度函数随机变量之和的性质：连续型随机变量之和的密度函数随机变量之和的性质随机变量和随机向量设随机变量X和Y独立，其概率密度函数分别为f(x)和g(y)，则U=X+Y有如下概率密度函数u(t随机变量之和的性质随机变量和随机向量u(t)==

f(t−s)g(s)ds=(f∗g)(s)rrt0rrt00g(t−s)f(s)ds=(g∗f)(s)0(f∗g)(s)称为函数f和g的卷积。需要说明的是，卷积运算满足交换律，即f∗g=g∗f。举例：举例：随机变量之和的性质随机变量和随机向量设随机变量X和随机变量之和的性质随机变量和随机向量FX(x)=1−e−λx,x≥0; GY(y)=y/2,0≤y≤2思路求U=X+Y的分布函数。思路分布函数求解的公式如下：U(t)=P(X+Y≤t)=

tr−FX(t s)dGY(s)r−0y[02]t的取值分情况来讨论。随机变量和随机向量随机变量之和的性质r当t<2随机变量之和的性质rtU(t)=0

FX(t−s)dGY(s)=

rt＿2020

1−e−λ(t−s)l

d(s'=r1rrt=r

ds−

t＼eλsds =＼

1rt−1+

e−λt＼2 0当t≥2时：U(t)U(t)=FX(t−s)dGY(s)=00

0r2＿λ0λ0

2 λ1−eλ()1−eλ()

λ（d(s'（d22=1rr2=

ds−e−

tr2

=1−

e−λt

e2λ−1）因此：

2 0 02−λ+−λt2−λ+−λtU(tU(t)=e

2λλ,<2e−λt＼ tλ,<21−2λ（e −1）, t≥22λ举例：举例：随机变量之和的性质随机变量和随机向量设随机变量X和Y独立，其概率密度函数分别为：fX(x)=λe−λx; fY(y)=λe−随机变量之和的性质随机变量和随机向量运用卷积求解如下：rt=λ2rrt运用卷积求解如下：rt=λ2rrtfU(t)= fX(t−s)fY(s)ds=λe−λ(t−s)λe−λsds00te−λtds=λ2e−λts01s=t1s=0=λ2t·e−λt解答：随机变量的数字特征随机变量的数字特征随机变量的数字特征对于随机变量而言，我们通常关心它的重要数字特征，比如期望、方差、偏度、峰度等等。本节主要介绍期望和方差，以及更一般的矩母随机变量的数字特征期望（expectation）用于反映随机变量平均取值的大小。根据随机变量的不同，可以得到离散型随机变量和连续型随机变量的期望。离散型随机变量的期望离散型随机变量的期望期望随机变量的数字特征设随机变量期望随机变量的数字特征pi=P(X=xi), i=1,...,n则：n ni=1i=1i=1i=1E(X)=、xiP(X=xi)=、i=1i=1i=1i=1举例：泊松分布的期望举例：泊松分布的期望期望随机变量的数字特征假设随机变量X服从参数为期望随机变量的数字特征下：P λn−λ(X=n)=

n!e

, λ>0,n=0,1,2,...求泊松分布的期望E(X)。泊松分布的期望泊松分布的期望(cont.)期望期望随机变量的数字特征E(XE(X、n·P(Xn、n·λe−λn=0∞∞

nλ n

n=0=λ

n!∞λn−1∞

e−λ=λn=0(n−1)! n=0(n−1)!注意，这里最后一步化简用到了ex的泰勒展开式，即：2 3 ∞ n2!3!n=0n!ex=1+x+x+x+···=2!3!n=0n!定理定理期望随机变量的数字特征设期望随机变量的数字特征、∞、E(X)= P(X≥k)证明思路：k=1证明思路：、、∞P(X≥k)=、、∞∞P(X=i)=、、∞ iP(X=i)k=1k=1i=ki=1k=1= i·P(X=i、∞)=E(X)、i个.,i=1求和符号交换的图示求和符号交换的图示随机变量的数字特征期望i (k,∞) 随机变量的数字特征期望(k,k) ⇒

(1,i)

(i,i)(1,1)

k k(1,1)连续型随机变量的期望连续型随机变量的期望期望随机变量的数字特征设X是有密度函数fX(x期望随机变量的数字特征FX(a)=P(X≤a)=r则：r

fX(x)dxraraE(X)= ∞xfX(x)dx−∞举例：指数分布的期望举例：指数分布的期望期望随机变量的数字特征假设随机变量X服从参数为期望随机变量的数字特征下：fX(x)=λe−λx, λ>0,x≥0求指数分布的期望E(X)。指数分布的期望指数分布的期望(cont.)期望随机变量的数字特征期望随机变量的数字特征r rE(X)= ∞xfX(x)dx= ∞λxe−λxdx0 0记u=−λx，则：λ0λ0λ上式=1r−∞eudu=1＿eu(u−1)l−∞=1λ0λ0λ定理定理期望随机变量的数字特征设期望随机变量的数字特征证明思路：E(X)=r0∞P(X>x)dx=r0∞＿1−X(x)lx证明思路：rr∞P(X>x)dx=r∞dx fX(y)dy=0r∞r∞dy fX(y)dx0x0ry =rfX(y)可从积分中提出∞yfX(y)dy=E(X)、 、.,00积分符号交换的图示积分符号交换的图示随机变量的数字特征期望(x,x)(y,y)随机变量的数字特征期望(x,x)(y,y)x⇒(0,y)(0,0)

x(0,0)条件期望条件期望期望随机变量的数字特征假设有随机变量X的取值取决于期望随机变量的数字特征{Z1Z2ZN}n次事件的信息集为条件，得到的随机变量期望就是条件期望conditionalexpectatio，记作：En(X)=E(X|Z1,Z2,...,Zn)条件期望的性质条件期望的性质1期望随机变量的数字特征当0≤n≤期望随机变量的数字特征线性性质linearit。对于所有常数c1和c2，以下等式成立：En(c1X+c2Y)=c1En(X)+c2En(Y)提取已知量takingouttisknow。若X的取值只依赖于n次事件的信息集，则：En(XY)=X·En(Y)在这里，X在n次事件的信息集下是可测的，从而可以从条件期望中提取出来。条件期望的性质条件期望的性质2期望随机变量的数字特征iteratedconditionin0≤n≤m≤期望随机变量的数字特征En[Em(X)]=En(X)从中可以看出，X的条件期望取决于信息集中最小者。特别是针对无条件期望而言，有：E[Em(X)]=E(X)independencX取决于第(n+1)次到N次事件所{Zn+1Zn+2ZN}，则有：En(X)=E(X)因为此处的条件与随机变量X无关。条件期望的性质条件期望的性质3随机变量的数字特征期望ϕ(随机变量的数字特征期望En[ϕ(X)]≥ϕ[En(X)]ϕ(x)xϕ(x)x1E(x)x2ϕ(x2)E[ϕ(x)]ϕ(x1)ϕ[E(x)]x方差方差方差随机变量的数字特征方差随机变量的数字特征Var(X)=E(X2)−[E(X)]2接下来分别利用这个恒等式来计算离散型随机变量和连续型随机变量的方差。举例：泊松分布的方差举例：泊松分布的方差方差随机变量的数字特征假设随机变量X服从参数为方差随机变量的数字特征下：P λn−λ(X=n)=

n!e

, λ>0,n=0,1,2,...前面已经计算出泊松分布的期望E(X)=λ，要求出方差，还需要计算E前面已经计算出泊松分布的期望E(X)=λ，要求出方差，还需要计算E(X2)。思路：泊松分布的方差泊松分布的方差(cont.)方差随机变量的数字特征方差随机变量的数字特征n=0n=0n!E(X2)=、n2P(X=n)=、n2·λn=0n=0n!∞∞nλn∞∞=

e−λ

=λe−λ

nλn−1因此：

n=0(n−1)!=λe−λ·(λ+1)eλ=λ(λ+1)

n=0(n−1)!Var(X)=E(X2)−[E(X)]2=λ(λ+1)−λ2=λ举例：指数分布的方差举例：指数分布的方差方差随机变量的数字特征假设随机变量X服从参数为方差随机变量的数字特征下：fX(x)=λe−λx, λ>0,x≥0E(X)=1，要求出方差，还需要计算E(X)=1，要求出方差，还需要计算E(X2)。λ思路：指数分布的方差指数分布的方差(cont.)方差随机变量的数字特征00E(X2)=r∞x2fX(x)dx=r∞x2λe−λx方差随机变量的数字特征00=1r∞(λx)2e−λxdxλ0记u=−λx，则：λ20=−1＿eu(2λ20=−1＿eu(2−u+2)l−∞=2因此：

λ2 0 λ2λ2λ2λ2Var(X)=E(X2)−[E(X)]2=2−1λ2λ2λ2矩母函数矩母函数矩母函数随机变量的数字特征r矩母函数（momentgeneratingfunction,mgf）是一种构造函数。对于任何满足概率密度函数为fX(x)的随机变量矩母函数随机变量的数字特征rMX(t)=E(etX)= ∞etxfX(x)dx−∞根据泰勒展开式：···2 3 ∞ ···ex=1+x++2!

+ = xk!k=0、∞ k、由此可得：etx= (tx)k!k=0矩母函数矩母函数(cont.)矩母函数随机变量的数字特征矩母函数随机变量的数字特征∞MX(t)=

∞etxfr−∞r

X(x)

dx=

∞fX(x)r∞−∞r∞

k=0

(tx)kdxk!k=0−∞∞=k!xfX(x)dk=0−∞∞=k!xfX(x)dx=

、tk kkk=0k=0 −∞ k=0−∞k=0k!·E(Xk!·E(X)=1+t·E(X)+2!·E(X)+···+n!·E(X)+···由此可见，矩母函数包含了随机变量X的各阶矩E(Xn),n=1,2,3,...矩母函数矩母函数(cont.)矩母函数随机变量的数字特征若对MX(t)关于矩母函数随机变量的数字特征类似地：当t=0时：

dt −∞rdMX(t)=rdMX(t)=r∞etx·xfX(x)dxdtn =−∞r∞dnMX(tr∞1==

etxn

xfX(x)dxnnndtn

1t=0

xfX(x)dx=E(X)−∞因此，可以通过对矩母函数关于t求n阶导的方式，并令t=0，进而求出随机变量的n阶矩。举例：指数分布的各阶矩举例：指数分布的各阶矩矩母函数随机变量的数字特征假设随机变量X服从速率为矩母函数随机变量的数字特征fX(x)=λe−λx, λ>0,x≥0通过矩母函数加以求解。思路：求其各阶矩。通过矩母函数加以求解。思路：指数分布的各阶矩指数分布的各阶矩(cont.)矩母函数矩母函数随机变量的数字特征0r（ ）MX(t)=Eetx=r∞etxλe−λxd0r（ ）=λ ∞e−(λ−t)xdx0λ=t−λ

x=∞(λ)(λ)x1x=0

λλ−t

, λ>t指数分布的各阶矩指数分布的各阶矩(cont.)矩母函数矩母函数随机变量的数字特征dMX(t) λ =

dMX(t) 11⇒ E(X)= =1dt (λ−t)2

dt 1t=0 λ222 2d2MX(t) 2λ

dMX(t)1 222 =

⇒ E(X)= 1 = 33因此：

dt2d3MX(t)dt3

(λ−t)3=2·3λ(λ−t)4

⇒ E(X)=E(Xn)=n!Eλn

dt21d1dM(t)Xdt3 1

t=0 λ26=t=0 λ3矩母函数的不足矩母函数的不足矩母函数随机变量的数字特征通过矩母函数可以相对容易地求出服从某个概率分布的随机变量之tn阶t0矩母函数随机变量的数字特征为解决这个问题，引入特征函数characteristicfunction,c，其定r义如下：rϕX(t)=E(eitx)= ∞eitxfX(x)dx−∞特征函数的重要用途在于，若随机变量X的概率分布fX(x)无法直接算出，可以首先计算出它的特征函数ϕX(t)，再通过傅立叶变换（Fouriertransform）最终算出概率分布fX(x)。依概率收敛依概率收敛随机变量的收敛性设{Xn},n∈N是一个随机变量序列。若存在一个随机变量X随机变量的收敛性得∀ε>0，均有：limn→∞

P（|n−|>ε）=0则称序列{Xn}依概率收敛（convergenceinprobability）于X，记作：X 或者 plimX XPX 或者 plimX XPn→∞εn取多大，XnXεn足够大，这种0。弱大数定律弱大数定律设n}是一个随机变量序列，E(n)存在。令¯n=

n随机变量的收敛性n、Xi随机变量的收敛性n、i=1¯n−E(¯n)P0则称随机变量序列Xn}服从弱大数定律klawoflagenumbers。以概率以概率1收敛随机变量的收敛性/P |X设{Xn},n∈随机变量的收敛性/P |Xlimn→∞

∞ii=n

−X|>ε\=0{Xn1（convergencewithprobabilityX也称almostsurelyconvegenc，记作：Xa.s.nX, 或 Xn→X, a.s.该定义的等价形式是：(P lim(n→∞

Xn='=1随机变量的收敛性以概率以概率1收敛(cont.)1nε，总能Nn>N时，XnXε。正因如11收敛意味着一定依概率收敛，反之则不然。强大数定律强大数定律设n}是一个随机变量序列，E(n)存在。令¯n=

n随机变量的收敛性n、Xi随机变量的收敛性n、i=1n→∞¯n−E(n)a..0 或 P＿lim¯n=E(Xn)l=n→∞则称随机变量序列{n}服从强大数定律glawoflagenumbers。所谓大数定律，实际上是想要说明当对一个随机变量进行无限次采样时，得到的平均值会无限接近真实的期望值。只不过强大数定律是想说明，采样的次数越多，平均值几乎一定越接近真实期望值（这意味着不可能出现反方向的偏离；而弱大数定律则是想说明，采样的次数越多，平均值接近真实期望值的可能性越大（这意味着也有极小的可能出现反方向的偏离。柯尔莫哥洛夫（柯尔莫哥洛夫（Kolmogorov）大数定律随机变量的收敛性、随机变量的收敛性、r(X{ } n设X 是相互独立的随机变量序列，并且 < ，则k2{Xn服从强大数定律，即：

k=1∞n→∞nkkP∞n→∞nkk

1、[Xkk=1

−E(X)]=0＼=1柯尔莫哥洛夫大数定律柯尔莫哥洛夫大数定律(cont.)随机变量的收敛性n、更进一步，在柯尔莫哥洛夫大数定律的基础上，假设{Xn}