《随机过程》课件第3章

第3章二阶矩过程的均方微积分3.1随机变量序列的均方极限3.2随机过程的均方连续3.3随机过程的均方导数3.4随机过程的均方积分3.5均方随机微分方程3.6正态过程的均方微积分习题三

注意到随机过程是函数的推广，那么不可避免地要考虑对随机过程进行微分和积分。研究发现，在随机过程中有一类具有二阶矩的随机过程可以建立有如普通函数的微积分概念，这就构成了二阶矩过程的随机微积分。二阶矩过程的均方微积分对研究在实际应用中常用到的平稳过程是很有用的。本章将要探讨把普通函数的微积分概念推广到二阶矩过程。我们知道，普通函数的微积分是通过极限来定义的。对随机过程也一样，为了确定二阶矩过程X(t)的连续性、导数和积分，也必须先定义随机变量的极限。随机变量的极限有许多定义，本章讨论的是所谓的均方极限，因此，更确切地说，本章主要研究二阶矩过程的均方极限意义下的随机微积分。

3.1随机变量序列的均方极限

为讨论方便起见，先引入如下定义。定义3.1.1称定义在概率空间(Ω，

F

，

P)上的具有二阶矩的随机变量的全体所组成的集合为二阶矩变量空间，简称为二阶矩空间。

在H中，我们对两个以概率1相等的随机变量不加区别，我们所说的两个随机变量相等也是指以概率1相等。下面讨论空间H的一些性质。

引理3.1.1设X，

Y∈H，则对任意的复数a，

b，有aX+bY∈H。

证明由Schwarz不等式得

于是

即aX+bY∈H。

引理3.1.1说明H为一线性空间。

说到“空间”，我们常常希望能够在其中定义“距离”或者“范数”。为此，对X∈H，令

它具有如下的性质。

引理3.1.2

引理3.1.3‖·‖为H中的范数，即有

与通常一样，对∀X，

Y∈H，称‖X-Y‖为X，

Y的距离。有了上述范数与距离等概念后，我们即可引入均方收敛的概念。

定义3.1.2设X，

Xn∈H，

n=1，

2，…，如果

则称{Xn

}均方收敛到X

，或称X为{Xn

}的均方极限，记为。与数列收敛一样，均方收敛有以下的判别准则。

定理3.1.1(均方收敛Cauchy准则){Xn

}⊂H

均方收敛的充要条件为

这个准则平行于实数序列的Cauchy准则。

证明(必要性)

(充分性)设{Xn

}⊂H

是均方收敛Cauchy列，则由均方收敛与依概率收敛的关系知{Xn

}是依概率收敛Cauchy列，因此存在随机变量X

，使得从而存在子列{Xnk}，

使得

因而一定存在k，使

有限，但Xnk∈H，故X∈H。由三角不等式知

当n→∞，

k→∞时，由所给充分性条件知，上式右端第一项趋于0，第二项由Fatou引理知也趋于0，即

定理3.1.1也称为完备性定理。缩上所述，二阶矩随机变量全体H是一个完备的线性赋范空间，即Banach空间，也是一个完备的内积空间，即Hilbert空间。

例3.1.1设{Xn

}是相互独立的随机变量序列，其分布律为

讨论此序列{Xn

}是否均方收敛。

解由于

可见{Xn

}不均方收敛。

现在，我们讨论均方收敛的一些性质，首先与数列极的性质类似，我们有以下定理。

定理3.1.2

证明(1)由

得到。

(2)由

注意到

‖X‖<+∞，

‖Y‖<+∞，令m，

n→∞，知(2)得证。

(3)由条件E(X-Y)2

≤E(X-Xn

)2

+E(Xn-Y)2

→0，故E(X-Y)2

=0

，而E(X-Y)=0，故X-Y的方差D(X-Y)=0，因此P(X=Y)=1。

以下定理证明均方收敛与数学期望、方差等可交换次序。

证明

(1)在定理3.1.2的(2)中取Xn

=1得到;

(2)在定理3.1.2的(2)中取Yn

=Xn

得到;

(3)由于D(Xn)=E(|Xn

|2)-|E(Xn

)|2

，D(X)=E(|X

|2)-|E(X)|2

，故由(1)和(2)即得(3);

得到。

以上定理表明，当随机变量列均方收敛时，相应的数学期望、方差及特征函数列也是收敛的。

以下定理进一步给出均方收敛的第二个判别准则。

定理3.1.4(均方收敛准则){Xn

}⊂H

均方收敛的充要条件为极限

例3.1.2设{Xn

，

n≥1}⊂H，其相关函数为R(m，

n)=复数序列，试研究随机变量序列均方收敛的条件。

解因为

故由均方收敛准则可知，当且仅当存在，即级数)收敛时，{Yn

}均方收敛。故{Yn

}均方收敛的充要条件为级数

定理3.1.5(均方极限下的大数定律)设{Xn

，

n≥1}⊂H是相互独立同分布的随机变量序列，

E(Xn)=a，

n=1，

2，…，则有:

证明由{Xn

，

n≥1}⊂H

的相互独立同分布性得:

定理3.1.5说明，相互独立同分布的二阶矩随机变量序列的算术平均必均方收敛于它的统计平均。

随机变量序列的均方收敛定义及上述诸定理都可以推广到连续参数情形。例如设{X(t)，

t∈T}是二阶矩过程，

X∈H，若‖X(t)-X‖=0

，则称X(t)均方收敛于X

，记为设{X(t

)，

t∈T}是二阶矩过程，则当t→∞时，

X(t)均方收敛的充要条件为极限

3.2随机过程的均方连续

基于均方收敛就可定义随机过程的连续性，称之为均方连续。定义3.2.1(1)称二阶矩过程{X(t)，

t∈T}在t0∈T

处均方连续，如果

(2)若X(t)在T

的每一点处都均方连续，则称{X(t

)，

t∈T}是均方连续的。首先，给出以下定理。

定理3.2.1(均方连续准则)二阶矩过程{X(t)，

t∈T}在t0∈T处均方连续的充要条件为{X(t)，

t∈T}的相关函数

R(s，

t)在(t0，

t0)处连续。

证明由均方收敛准则可知

该定理表明，均方连续准则的重要性在于将一个二阶矩过程的均方连续性等价地转换成它的相关函数的普通连续性。

定理3.2.2如果二阶矩过程{X(t)，

t∈T}的相关函数R(s，

t)在所有(t，

t)处连续，则它在T×T={(s，

t)|s，

t∈T}上连续。

证明因为R(s，

t)对任意的t∈T在点(t，

t)处连续，故由定理3.2.1知，{X(t)，

t∈T

}在T

上均方连续。因此对任意的s0

，

t0∈T，有

故由定理3.1.3知

由s0

，

t0

∈T的任意性知R(s，

t)在T×T上连续。

该结论表明，对相关函数R(s，

t)而言，它在整个区域T×T上连续与它在T×T的对角线上连续是等价的。这是一个有趣的性质，因为通常的二元函数不具有这样的性质。

例3.2.1设{N(t)，

t≥0}为强度λ的Poisson过程，则其均值函数为mN(t)=λt，相关函数RN(s，

t)=λmin(s，

t)+λ2st

在所有的(t，

t)处连续，故Poisson过程{N(t)，

t≥0}均方连续。

Poisson过程的每个样本函数都是具有单位跳跃的阶梯函数，可见均方连续的随机过程的样本函数可以都不连续。

例3.2.2设{W(t)，

t≥0}为参数σ2的Wiener过程，由于其相关函数RW

(s，

t)=σ2

min(s，

t)在(t，

t)处恒连续，故Wiener过程均方连续。

以下定理的证明是简单的。

定理3.2.3若二阶矩过程{X(t)，

t∈T}均方连续，则其均值函数及协方差函数也在T上连续。

3.3随机过程的均方导数

先给出均方导数的定义，它由均方收敛的定义容易想到。

定义3.3.1设{X(t)，

t∈T}是二阶矩过程，给定t∈T，如果存在Y∈H，使得

则称X

(t

)在t

处均方可微，称Y

为X(t)在t

处的均方导数，记为X'(t

)或

如果X

(t)在T

中每一个点t∈T处都均方可微，则称{X(t)，

t∈T}为均方可微过程。此时{X(t)，

t∈T}的均方导数{X‘(t)，

t∈T}也是一个随机过程，且仍是二阶矩过程。

如果{X’(t)，

t∈T}存在，且在t∈T处是均方可微的，则称{X(t)，

t∈T}在t处是二阶均方可微的，

X‘(t

)的均方导数称为X(t)在t∈T处的二阶均方导数，记为X″(t)或

类似地，可定义{X(t)，

t∈T}的n阶均方导数，记为{X(n)(t)，

t∈T}，

n≥1。

为了建立均方可微的判别准则，先引入普通二元函数的广义二阶导数的概念。

定义3.3.2普通的二元函数f

(s，

t)称为在(s，

t)处广义二阶可微，如果极限

存在，并称此极限为f(s，

t)在(s，

t)处的广义二阶导数。

需要指出的是，只要f(s，

t)关于s，

t的二阶混合偏导数存在且连续，则f(s，

t)一定是广义二阶可微的，且广义二阶导数为f″st(s，

t)=f″ts(s，

t)，没有上述的连续条件，即使f″st

(s，

t)和f″ts

(s，

t)均存在，其广义二阶导数也未必存在。

定理3.3.2(均方可微准则)二阶矩过程{X(t)，

t∈T}在t0

∈T处均方可微的充要条件为它的相关函数R

(s，

t)在(t0

，

t0

)处广义二阶可微。

证明由均方收敛准则可知，{X(t)，

t∈T}在t0∈T处均方可微，即极限

存在的充要条件为

存在，而上式可表为

这正是R

(s

，

t)在(t0

，

t0

)处广义二阶可微的定义。

以下引理是显然的。

推论3.3.1二阶矩过程{X(t)，

t∈T}在T上均方可微的充要条件为它的相关函数R(s，

t)对任意的t∈T在(t，

t)处广义二阶可微。

导数过程的均值函数、相关函数与原过程的均值函数、相关函数有什么关系呢?如下推论给出相应的答案。

推论3.3.2如果二阶矩过程{X(t)，

t∈T}的相关函数R(s，

t)对任意的t∈T在(t，t)处广义二阶可微，则R's(s，

t)，

R't(s，

t)，

R″st(s，

t)及R″ts(s，

t)在T×T上都存在，且有

最后，证明(2):

重复推论3.3.2(1)的证明，可以得到如下推论。

推论3.3.3如果二阶矩过程{X(t)，

t∈T}是n次均方可微的，则{X(t)，

t∈T}的这些均方导数的均值函数存在，且

即均方求导运算与期望运算可以交换次序。

下面来看一个例子。

例3.3.1设A是一均值为0，方差为σ2的二阶矩随机变量，对t∈T，令X

(t)=At，则随机过程{X(t)，

t∈T}是二阶矩过程，且RX(s，

t)=σ2st

。

RX(s，

t)的广义二阶导数为

故{X(t)，

t∈T}是一均方可微过程。

到现在我们看到的都是均方可微的，读者自然会问:有没有不均方可微的例子?

例3.3.2设{Yn

，

n≥1}是一列均值为0，方差为1的相互独立同分布的随机变量，对t∈[0，

1]，令X(0)=0，

X(t)=Yj

，2-j<t≤21-j，j=1，

2，…。讨论随机过程{X(t)，

t∈[0，

1]}的均方可微性。．

解

由于{X(t)，

t∈[0，

1]}的相关函数为

而当Δt=Δt‘→0

时

据此RX

(s，

t)在(0，

0)这一点不是广义二次可微的，因此X(t)在t=0处不均方可微。

下面给出均方导数的一些基本性质，它们的证明与数学分析中的情形相类似。

性质3.3.1设{X(t)，

t∈T}在t∈T处均方可微，则X(t)在t∈T

处均方连续。

证明由于X'(t)∈H，故

性质3.3.1的逆未必成立，即确实存在均方连续但不是均方可微的随机过程。

例3.3.3参数为σ2的Wiener过程{W(t)，

t≥0}是一均方连续但不是均方可微的随机过程。

证明前面已经证明{W(t)，

t≥0}均方连续，又由于RW(s，

t)=σ2

min(s，

t)，因此

故R‘s

(t，

t)不存在，因此{W(t)，

t≥0}不是均方可微的。

由于实际需要，我们可按下面的方法定义Wiener过程形式上的导数过程。

则有

设δ

(s，

t)=δ(s-t)，则形式上有

则有

由推论3.3.2可知，若W(t)是一均方可微过程，则其均方导数过程的相关函数为

这样就规定，若有一实随机过程的相关函数等于σ2δ(s-t)，其中σ2=D[W(t)]，则称此过程为Wiener过程的均方导数过程，记为W‘(t)，即

参数为σ2的Wiener过程{W(t)，

t≥0}的导数过程{W'(t)，

t≥0}称为参数为σ2的白噪声过程。

性质3.3.2均方导数在概率1的意义下是唯一的，即若X‘(t)=Y1(t)，X’(t)=Y2(t)，则Y1(t)=Y2

(t)。

证明可由均方极限的唯一性立即得到。

由极限的线性性可得如下性质。

性质3.3.3均方导数具有线性性，即若{X(t)，

t∈T}，{Y(t)，

t∈T}均方可微，

a，b为任意常数，则{aX(t)+bY(t)，

t∈T}也是均方可微的，且有

性质3.3.4设f(t)是定义在T

上的普通的可微函数，{X

(t)，

t∈T}是均方可微过程，则{f(t)X(t)，

t∈T}也是均方可微过程，且有证明

性质3.3.5设{X(t)，

t∈T}是一均方可微过程，且X‘(t)=0，则X(t)是一常随机变量(即与t无关的随机变量)。

证明由X’(t)=0知R(s，

t)的一阶偏导为零，从而其各阶偏导数均为零。由泰勒展开式可知R(s，

t)=R(s，

s)为常数。而m‘X(t)=EX’(t)=0，故mX(t)为常数。记Y(t)=X(t)-X(s)，则DY(t)=0，即Y'(t)=EY(t)=0，等价地，

X(t)=X(a)∀t。

3.4随机过程的均方积分

本节讨论二阶矩过程在均方意义下的随机积分，包括定积分和不定积分。3.4.1二阶矩过程的均方定积分仿照普通函数在区间上的定积分的定义，我们有以下定义。

与前几节中一样，我们用相关函数的可积来判定二阶矩过程的可积。

定理3.4.1设{X(t)，

t∈[a，

b]}是二阶矩过程，

f(t，

u)对每一个u∈U是t∈[a，

b]的Riemann可积函数，则f(t，

u)X(t)的相关函数f(s，

u)f(t，

u)R(s，

t)在[a，

b]×[a，

b]上的二重积分

存在且有限的充要条件是f(t，

u)X(t)在[a，

b]上均方可积。

证明为记号简单起见，这里只给出f(s，

t)=1时的情形。

必要性。定义当存在时，对[a，

b]的任一分割Δ={tk

，t*k，

k=0，

1，

2，…}(满足a=t0<t1<t2<…<tn=b，t*k∈(tk-1，

tk

)，

k=1，

2，…，

n，

Δtk=tk-tk-1，

Δ=lim

kΔtk)。

存在且与分割Δ无关。由定理3.1.2的(2)知，对任意两个分割Δ={tk

，t*k}，

Δ'={sl

，s*l}，均有

于是由积分的定义知

充分性。由均方收敛准则，对任一分割Δ={tk

，

t

*k}，

但它可能与Δ有关。设有另

可用与通常的微积分一样的方法来定义广义均方积分:

3.4.2均方积分的一些性质

证明(1)由均方收敛性质得

(2)由均方收敛性质得

(3)由(1)和(2)得

(4)由(3)立得。

以上定理说明求期望与求积分可交换次序。

定理3.4.3均方积分具有以下性质:

(1)均方积分值是唯一的;

(2)均方积分具有线性性，即设X(t)，

Y(t)在[a，

b]上是均方可积的，则对任意的复常数α，β，有

希望注意，若没有上面的补充条件，此性质不一定成立。

(4)设X(t)在[a，

b]上均方连续，则有

证明(1)~(3)的证明与高等数学中普通积分中的类似，这里从略。

(4)由Cauchy-Schwarz不等式得

进而

3.4.3变上限均方积分

我们研究变上限均方积分

这是一个上一小节中讨论的积分，那里所证明的性质也全部成立。这里着重考虑t∈[a，

b]变化的情况。

定理3.4.4设X(t)在[a，

b]上是均方连续的二阶矩过程，则Y(t)在[a，

b]上是均方可微的，且有

证明(1)因为

故(1)成立。

(2)可由定理3.4.2得到。

(3)类似定理3.4.2的证明可得。

在微积分学中，

Newton-Leibniz公式将微分与积分联系在一起，这里也有类似的公式。

定理3.4.5(二阶矩过程的均方Newton-Leibniz公式)设X(t)在[a，

b]上均方可微，且X'(t)在[a，

b]上均方连续，则有

证明因为X'(t)均方连续，故由定理3.4.4可知

从而由性质3.3.5知Y(t)-X(t)=c(与t无关的常随机变量)，即有Y(t)=X(t)+c，

t∈[a，

b]，令t=a可得c=-X(a)，故结论成立。

定理3.4.6(均方积分的分部积分公式)设X

(t

)在[a，

b]上均方可微，

X‘(t)在[a，

b]上均方连续，

f(t)为[a，

b]上的连续可微函数，则

定理3.4.6的证明由性质3.3.4及定理3.4.5立得。

例3.4.1设{W(t)，

t≥0}为参数σ2的Wiener过程，定义

{W(t)，

t≥0}的均值函数和相关函数。

解

故由s，

t的对称性得

例3.4.2设X(t)=Acosαt+Bsinαt，

t≥0，

α为常数，

A，

B相互独立同服从N(0，σ2

)分布，判断X(t)是否均方可积，若可积，求其均方不定积分过程的均值函数、协方差函数和方差函数

解因为mX(t)=0，

RX(s，

t)=CX(s，

t)=σ2cosα(t-s)连续，故X(t)均方连续，从而均方可积，其均方不定积分存在，且由定理3.4.2得

3.5均方随机微分方程

设{X(t)，

t∈T}是具有直到n阶均方导数的随机过程，{Y(t)，

t∈T}是二阶矩过程，则称为n阶线性随机微分方程，其中ak

(t)(k=0，

1，

2，…，

n)是复函数。

随机微分方程可以用来描述一个系统的输入与输出关系。在(3.5.1)式中若将Y(t)看成是一个系统的输入随机信号，则X(t)就是该系统的输出信号。在控制论、滤波、金融学及通信理论等领域的研究中，随机微分方程是一种重要的数学工具，这里仅介绍简单的一阶线性随机微分方程的求解方法。读者如有需要可阅读有关教材。

以下定理与通常微分方程理论中结论相同。

定理3.5.1设a(t)为普通复函数，{Y(t)，

t≥t0

}是均方连续的二阶矩过程，则一阶线性随机微分方程

有解

证明直接验证(3.5.3)式是(3.5.2)式的解。显然X(t0)=X0

，对(3.5.3)式两端关于t求均方导数得

故(3.5.3)式是(3.5.2)式的解。

例3.5.2RC积分电路的输出电压Y(t)和输入电压X(t)的关系由方程Y'(t)+αY(t)=αX(t)描述，其中X(t)的均值mX(t)=0，相关函数RX(s，

t)=σ2e-β|t-s|，已知初始条件Y(0)=0，求输出电压Y(t)及其均值函数mY(t)和相关函数RY(s，

t)。

解

(1)由定理3.5.1得:

3.6正态过程的均方微积分

(实值)正态过程是重要的二阶矩过程，在许多工程技术问题中常常碰到正态过程的导数和积分的分布，为此，我们给出以下几个重要结论。

定理3.6.1正态随机变量序列的均方极限仍为正态随机变量。即若{Xn

，

n≥1}为正态随机变量列，

X

n

=X，则X是正态随机变量。

证明记fn(t)=EejtXn

，f(t)=EejtX，an

=EXn

，

a=EX，

σ2n

=DXn

，

σ2

=DX，由于

Xn

=X，故由均方收敛的性质知

an

=a，limn→∞σ2n

=σ2

。因为Xn是正态随机变量，因此

故由唯一性定理知X是正态随机变量。

同理，设{X(t)，

t∈T}为一族正态随机变量(不一定是正态过程)，若X(t)=X，则X是正态随机变量。

定理3.6.2n维正态随机向量序列的均方极限仍为n维正态随机向量。即设Xm

=(X(m)1，…，

X

(m)n)为一列n维正态随机向量，若即对每个k=1，

2，…，

n，均有:则X=(X1，

X2

，…，

Xn)为n维正态随机向量。

亦即有

且由于Xm=(X(m)1，

X(m)2，…，

X(m)n)是n维正态随机向量，从而其特征函数为

由定理3.1.3知有:

即X的分布是n维正态分布。

同理，设X(t)=(X1(t)，

X2(t)，…，

Xn(t))，

t∈T为一族n维正态随机向量，若

Xk

(t)=Xk

，

k=1，

2，…，

n，则X=(X1

，

X2

，…，

Xn)是n维正态随机向量。

定理3.6.3设{X(t)，

t∈T}为一正态过程，若X(t)在T上均方可微，则其均方导数过程{X'(t)，

t∈T}仍是正态过程，且其任意有限维特征函数是

其中