《随机过程》课件第1章

第1章概率论补充知识1.1概率空间1.2随机变量1.3特征函数1.4多元正态分布1.5随机变量序列的收敛性1.6随机变量函数的分布1.7条件数学期望习题一

概率论基础知识点是随机过程的基础，为此本章对其作扼要复习，以加深对概率论基本概念的理解，同时补充了特征函数、多维正态分布、多维随机向量变换和条件数学期望等知识，为学习随机过程作准备。

1.1概率空间

在大学的概率论课程中，已经对古典概型和几何概型这两种特殊类型定义了概率。在古典概型中，要求试验的可能结果是有限个且具有等可能性；对于几何概型，虽然试验的可能结果是无穷多个，但仍要求具有某种等可能性。然而，实际问题中大量的随机试验结果并不属于这两种类型，因此很有必要对一般的随机现象给出一个明确的数学定义。

这个问题经过人们长期探讨，并且随着测度论和积分理论的日益发展，终于由前苏联数学家柯尔莫哥洛夫(Колмогоров)，在1933年30周岁时给出了概率论的公理化体系，明确了事件、概率等基本概念，从而使概率论成为一个严谨的数学分支。

一般把满足上述条件的集F

称为－σ域，所以事件域是一个σ－域，它具有下列性质:

(1)空集⌀∈F

;

(2)若对∀n=1，

2，…，

An∈F

，则它们的交集

An=F

;

(3)若A，

B∈F

，则A与B的差A-B∈F

。

事件的发生有概率。设P(A)表示事件A发生的概率，作为概率它需要满足一定的条件。

定义1.1.2设Ω是样本空间，

F

是Ω

的一个事件域，定义在F

上的实值函数P(A)如果满足以下条件：

(1)非负性：

∀A∈F

，有P(A)≥0;

(2)归一性：

P(Ω)=1;

(3)可列可加性：若对∀n=1，

2，…，

An

∈F

，且对∀i≠j，

AiAj=⌀;则有

则称P是定义在二元组(Ω

，

F

)上的概率，而称P(A)为事件A的概率。

至此，我们引进了概率论中的三个基本概念：样本空间Ω

，事件域F

和概率P。它们是描述一个随机试验的三个基本组成部分，把三者结合起来，我们称这三元有序总体(Ω

，

F

，P)为概率空间。在实际问题中，如何确定样本空间Ω

，如何选取事件域F

，又如何在F

上定义概率P，要视具体情况而定。但在一般的研究中，我们总认为它们是预先给定的。概率论、随机过程、数理统计中全部的结论都是建立在概率空间之上的。

设(Ω，

F

，

P)为概率空间，则概率P有如下性质:

(1)P(⌀)=0;

(2)有限可加性:若对∀i=1，

2，…，

n，

Ai

∈

F

，且对∀i≠j，

AiAj=⌀，则有

(3)可减性:若A∈F

，

B∈F

，且A⊂B，则有P(B-A)=P(B)-P(A);

(4)单调不减性:若A∈F

，

B∈F

，且A⊂B，则有P(A)≤P(B);

(5)次可加性：对∀n=1，

2，…，

An

∈F

，有

(6)加法公式：对任意的Ak

∈F

(k=1，

2，…，

n)，有

当事件两两不相交时，有

加法公式对n=∞也成立。

1.1.2条件概率空间

定义1.1.3设(Ω，

F

，

P)是一已知的概率空间，

B∈F

满足P(B)>0，定义

则P(·|B)是定义在F

上的一个概率，称为在给定事件B的条件下的条件概率。

下面给出条件概率本身所具有的特殊性质。

(1)设(Ω，

F

，

PA

)是一条件概率空间，

B

∈F

，且PA(B)>0，则有

PA(C|B)=P(C|AB)=PAB(C)

即在条件概率空间(Ω，

F

，

PA

)上所定义的条件概率PA

(C|B)就等于在(Ω，

F

，

P)上构成的新的条件概率空间(Ω，

F

，

PAB)上的条件概率。

(2)(乘法公式)设Ω，

F

，

P)是一概率空间，

Ai

∈F

(i=1，

2，…，

n)，且P

(A1A2

…An-1)>0，则有

(3)(全概率公式)设A∈F，

Bi∈F

(i=1，

2，…)，若∀i≠j，

BiBj=⌀，

Bi⊃A，P(Bi)>0，则

(4)(Bayes公式)设A∈F，

Bi∈F

(i=1，

2，…)满足(3)中条件，且P(A)>0，则

1.1.3事件的独立性

定义1.1.4设A

i∈F

(i=1，

2，…，

n)是概率空间(Ω，

F，

P)中的n个事件，若对任意的m(1≤m≤n)及任意的1≤k1<k2

<…<km≤n，都有

则称事件A1

，

A2

，…，

An

是相互独立的。

显然，若A1

，

A2

，…，

An相互独立，则A1

，

A2

，…，

An中的任意两个都是独立的(称之为两两独立);反之，若A1

，

A2

，…，

An两两独立，则未必有A1

，

A2

，…，

An相互独立。读者不难构造反例说明。

以下定理给出相互独立事件的一个充要条件。

定理1.1.1设Ai∈F

(i

=1，

2，…，

n)，则A1

，

A2

，…，

An相互独立的充要条件是下列2n个式子成立：

定理的证明请读者自己给出，或者参考概率论方面的教材。

1.2随机变量

1.2.1随机变量与随机向量随机变量以数量的形式来描述随机现象，这给理论研究和数学运算都带来了很大的方便。设Ω是某一随机试验的样本空间，如果对每个ω∈Ω有一实数与之对应，就得到一个定义在Ω上的实值函数X

(ω

)。我们不仅关心X(ω)取什么值，而且还关心它取不同值的概率大小。

例如希望知道集{ω：X

(ω)≤x}的概率，其中

x是任一实数，以后为简便计，常将{ω：X

(ω)≤x}简记为{X(ω)≤x}或{X≤x}。因为我们只在事件上定义了概率，讨论{X(ω)≤x

}的概率，当然要求{X(ω)≤x}是事件。由此，我们引入如下定义。

定义1.2.1设(Ω，

F

，

P)是一概率空间，

X

(ω

)是定义在Ω

上的单值实函数，如果对任一实数

x，{X≤x}∈F，则称X

为(Ω，

F

，

P)上的一个随机变量，进而，称F

(x

)=P{X

≤x

}为随机变量X的分布函数。

不难看出，随机变量X的分布函数F(x)具有以下三个基本性质:

(1)单调不减性:即若x<y，则F(x)≤F(y);

(2)右连续性:即对任意x∈R1，

F(x+0)=F(x)；

(3)记F(-∞)

还可以证明，满足上述三个性质的函数F(x)，必定是某个概率空间上某个随机变量的分布函数。因此，我们也称满足以上三个条件的函数为分布函数。这样，我们也可以直接讨论分布函数，而不具体指明相应的概率空间。

有些随机试验的结果同时涉及到多个随机变量，我们不但要考察其中每个随机变量的性质，还要研究它们之间的联系。这就引出随机向量的概念。

定义1.2.2设(Ω，

F

，

P)是一概率空间，

X1

(ω)，

X2(ω

)，…，

Xn(ω)是定义在这个概率空间上的n

个随机变量，称X

(ω

)=(X1

(

ω)，

X2

(ω

)，…，

Xn(ω))为(Ω，

F，

P)上的一个n

维随机向量。

n维随机向量取值于n维实空间Rn

。

对于n

个实数x1

，

x2

，…，

xn

，由于

所以谈论它的概率是有意义的。

定义1.2.3设X=(X1

，

X2

，…，

Xn

)是概率空间(Ω，

F，

P)上的n

维随机向量，称n元函数

F

(x1

，

x2

，…，

xn

)=P{X1≤x1

，

X2≤x2

，…，

Xn≤xn}

为随机向量X=(X1

，

X2

，…，

Xn

)的分布函数，也称之为随机变量X1

，

X2

，…，

Xn

的联合分布函数。

若随机向量X=(X1

，

X2

，…，

Xn

)只取有限个或可列个不同的向量值，则称X为离散型随机向量。设X=(X1

，

X2

，…，

Xn

)的所有可能值为(x1i1，

x2i2，…，

xnin)，

i1，

i2

，…，

in=1，

2，…，则称概率

为X=(X1

，

X2

，…，

Xn

)的分布律。它具有如下性质:

若存在n元非负Lebesgue可积函数p

(x1

，

x2

，…，

xn

)，使

则称X=(X1

，

X2

，…，

Xn

)为连续型随机向量，函数p(

x1

，

x2

，…，

xn)称为X

的n

维概率密度函数。它满足如下性质:

另知，

X

是离散(连续)型随机向量当且仅当它的每个分量都是离散(连续)型的。

1.2.2随机变量的独立性

以下定义将事件的相互独立性推广到随机变量的相互独立性。

定义1.2.4

设X1

，

X2

，…，

Xn是定义在同一个概率空间(Ω，

F，

P)上的n个随机变量，若对于任意的n个实数x1

，

x2

，…，

xn均有

P{X1≤x1，

X2≤x2，…，

Xn≤xn}=P{X1≤x1}P{X2≤x2}…P{Xn≤xn}

则称n个随机变量X1

，

X2

，…，

Xn是相互独立的。

设X1

，

X2

，…，

Xn的分布函数分别为F1

(x)，

F

2

(x)，…，

Fn

(x)，它们的联合分布函数为F

(x1

，

x

，…，

xn

)，则上式等价于

F

(x1

，

x2

，…，

xn)=F1(x1)F2(x2)…Fn(xn)

下面分别给出离散型随机变量和连续型随机变量相互独立的充要条件。

定理1.2.1

设X1

，

X2

，…，

Xn是离散型随机变量，则X1

，

X2

，…，

Xn相互独立的充要条件是:对任意的i

1

，

i2

，…，

in，有

定理1.2.2

设

X1

，

X2

，…，

Xn是连续型随机变量，

p

(x1

，

x2

，…，

xn

)及p1

(x)，p2(x)，…，

pn

(x)分别为它们的联合概率密度函数及X1

，

X2

，…，

Xn

的概率密度函数，则X1

，

X2

，…，

Xn互独立的充要条件是下式几乎处处成立:

还可以证明:

(1)若随机变量X1

，

X2

，…，

Xn相互独立，则其中任意m(2≤m≤n)个随机变量也相互独立;

(2)若随机变量X1

，

X2

，…，

Xn相互独立，

g1

(x)，

g2

(x)，…，

gn

(x)是n

个Borel可测函数，则随机变量g1

(X1

)，

g2

(X2

)，…，

gn

(Xn)也是相互独立的。

1.2.3随机变量的数字特征

用一个函数来描述随机变量，对帮助我们理解还不够。本小节引入一些数字来描述随机变量与随机向量。

定义1.2.5设F(x)是随机变量X

的分布函数，若

则称为随机变量X

的数学期望，记为E(X)。

这里用到的积分是Riemann-Stieltjes积分。若X为离散型随机变量:p(X=xk)=pk

，k=1，

2，

3，…，则

因此，

E(X)表示X取值的一种平均值，称为概率平均值;X为连续型随机变量时，情况亦如此。

定理1.2.3设F

(x

)为随机变量X

的分布函数，函数g(x)满足则随机变量Y=g

(X

)的数学期望E[g(X)]存在，且

这个定理的证明要用到较深的数学知识，这里从略。读者可参阅参考文献[4]。

对于函数g

(x

)=(x-E(X))2

，若g

(X

)的数学期望存在，则称X

的方差存在，且记方差为D(X

)，即

方差表示X

取值的分散程度，方差越大越分散。

定理1.2.3可以推广到随机向量的场合。设F

(x1

，

x2

，…，

xn

)为随机向量X=(X1

，

X2

，…，

Xn)的分布函数，

g

(x1

，

x2

，…，

xn

)为一n元函数，若

则随机变量Y=g

(X1

，

X2

，…，

Xn)的数学期望存在，且

对随机变量X及Y，设它们的数学期望都存在，定义g(x，

y)=(x-E(X))(y-E(Y))，若Eg(X，

Y)存在，则称之为X

与Y

的协方差，并记为cov(X

，

Y

)，即

定理1.2.4

(1)(切比雪夫不等式)设X

为任一具有有限方差的随机变量，

ε>0，则

(2)(Cauchy-Schwarz不等式)设X、Y为概率空间(Ω，

F

，

P)上的两个随机变量，若E(X2)<+∞，

E(Y2)<+∞，则E(XY)存在，且

证明(1)设F(x)是X

的分布函数，则

(2)对任意的实数x

，由于

从而x的一元二次方程g(x

)=0或者没有实根，或者有二重根。故判别式

即

1.3特征函数

我们知道，随机变量的分布函数完全描述了随机变量的统计规律，但是，若用分布函数来解决，有的问题并不一定容易，于是需要考虑引进有效的数学工具，其中之一是特征函数。特征函数有时对于计算随机变量的矩以及求独立随机变量和的分布函数特别方便，在极限定理的研究中，它也发挥了重要的作用。

如果X、Y的数学期望EX、EY存在，则定义复随机变量Z=X+jY的数学期望为EZ=EX+jEY。

而两个复随机变量Z1=X1+jY1

，

Z2=X2+jY2

的协方差定义为

特别地，

D(Z)=cov(Z，

Z)=E[|Z-EZ|2

]。

关于实随机变量数学期望及协方差与方差的一些性质，对复随机变量也成立，这里不再一一列出。

定义1.3.2设随机变量X的分布函数为FX

(x)，则将X

的特征函数定义为

由于对任意t∈R1

，

|ejtx|=1，故E

[ejtX]总是存在的，即任一随机变量的特征数总是存在的。

若X为离散型随机变量，其分布律为pk=P{X=xk}，

k=1，

2，…，则

若X

为连续型随机变量，其概率密度函数为p

(x)，则

这样，特征函数可由其概率密度函数的Fourier变换得到fX

(t

)=F[p(x)](-t

)，其中F

表示Fourier变换。

例1.3.1设X服从参数为λ的Poisson分布，求其特征函数。

解

例1.3.2设X服从N(0，

1)，求其特征函数。

解

特征函数具有如下的一些性质。

性质1.3.1设f

(x

)是特征函数，则

证明设f(t)是X

的特征函数，则由其定义可得

性质1.3.2特征函数f

(t

)在(-∞，

∞)上一致连续。

证明设f(t

)是X

的特征函数，

X的分布函数为F(x

)，则

对于任意给定的ε>0，选取足够大的A，使得

因此对t

一致地有|f(t+h)-f(t)|<ε

，即f(t)在(-∞，

∞)上一致连续。

性质1.3.3特征函数f(t

)是非负定的，即对任意的自然数

n，实数t1，

t2

，…，

tn

及复数a1

，

a2，…，

an

，有

证明

性质1.3.6若随机变量X的n阶矩存在，则它的特征函数n次可导，且

证明

由于X的n阶矩存在，故

而X的特征函数为

又

故以下的微分与积分可交换次序:

若知道了X的特征函数，用以上性质求X的各阶矩是很方便的。

1.3.2唯一性定理

由特征函数的定义知，随机变量的分布函数唯一地确定了它的特征函数，反之，由特征函数能否唯一地确定分布函数呢?结论是肯定的。

定理1.3.1(唯一性定理)随机变量的分布函数与特征函数是一一对应的，即可相互唯一确定。特别地，若特征函数f(t

)绝对可积，即则相应的分布函数是

连续型的，且f(t

)与密度函数p(x)之间有如下的关系式:

即在特征函数绝对可积的条件下，概率密度函数与特征函数构成一个Fourier变换对。

对于离散型随机变量的特征函数，注意到离散型分布函数的特点可知，如果特征函数f

(t)可表示成如下形式:

其中，

xk

为实数，pk

为正数，且=1，则f(t)对应于离散型分布函数，其分布律为

上面用分布函数来描述、刻画特征函数。那么，撇开分布函数，什么样的函数可以成为特征函数呢?以下两个定理讨论这一问题。

定理1.3.2(Bochner-辛钦)函数f(t)是特征函数的充要条件为:f(t)是连续非负定的，且f(0)=1。

Bochner-辛钦定理是特征函数的一个重要定理。另一个是下面的Herglota定理。首先，对应于非负定函数的定义，我们定义非负定数列。

定义1.3.3复数列{cn|n=0，

±1，

±2，…}称为是非负定的，如果对任意的正整数n及复数a1

，

a2

，…，

an

，有

定理1.3.3(Herglotz)数列{cn|n=0，

±1，

±2，…}可以表示为

的充要条件为它是非负定的，其中G

(x

)是[-π，

π]上的有界非降的右连续函数。

1.3.3多元特征函数

设n维随机向量(X1

，

X2

，…，

Xn

)的分布函数为F

(x1

，

x2

，…，

xn)，与一维随机变量的特征函数类似，定义它的特征函数为

与一维随机变量的特征函数类似，有唯一性定理，且有类似的性质。下面给出多元特征函数f(t1

，

t2，…，

tn)的一些性质:

性质1.3.7

性质1.3.8(线性性)设X=(X1

，

X2

，…，

Xn

)的特征函数为fX

(x)=fX

(x1

，

x2

，…，

xn)，

A为一n×m矩阵，

b=(b1

，

b2

，…，

bn

)，则m维随机向量Y=(Y1

，

Y2

，…，

Yn)=XA+b的特征函数为

特别地，若a1，

a2，…，

an

，

b为任意常数，则Y=a1X1+a2X2+…+anXn+b的特征函数为

更特别地，

Y=X1

，

X2

，…，

Xn的特征函数为fY

(t

)=f(t，

t，…，

t)。

证明:

性质1.3.9设(X1

，

X2

，…，

Xn)的特征函数为f(

t1，

t2，…，

tn)，则对k≤n，

k维随机向量(X1

，

X2

，…，

Xnk

)的特征函数为

对(X1

，

X2

，…，

Xn)中任意k个分量构成的k维随机向量(Xi1，

Xi2，…，

Xik)，其特征函数可类似地得到。

性质1.3.10设(X1

，

X2

，…，

Xn)的特征函数为f(

t1

，

t2

，…，

tn)，而Xk

的特征函数为fXk(t)，

k=1

，

2

，…，

n，则X1

，

X2

，…，

Xn相互独立的充要条件为

性质1.3.11

例1.3.4设X、Y相互独立，且

故由性质1.3.6得

(2)因为X、Y相互独立，故由性质1.3.8和1.3.10可得Z的特征函数为

故由唯一性定理知

Z的概率密度函数为

1.4多元正态分布

正态分布在概率论中扮演极为重要的角色：一方面，在实际问题中许多随机变量服从或近似服从正态分布;另一方面，正态分布有许多良好的分析性质。

1.4.1定义与特征函数

我们知道，二维正态随机向量(X1，

X2)~N

的联合概率密度函数为

记

则由

可得

一般地，

n维正态分布的定义如下。

定义1.4.1设B

为一n阶实正定矩阵，

B-1是它的逆矩阵，μ为一实值n维行向量，则以

为概率密度函数的概率分布称为n维正态分布，记为X~N(μ，

B)。

在一元正态分布中，标准正态分布(均值为0，方差为1)起着重要作用。那么，一般的多元正态分布与一元标准正态分布有什么关系呢?

引理1.4.1设X~N(μ，

B)，则存在n阶正交矩阵T，使得

为n维相互独立的正态随机向量，即Y1

，

Y2

，…，

Yn

相互独立，且Yk~N(0，

λk

)，其中λk>0为B的特征值。

证明由于B

是正定矩阵，故由线性代数知识知存在正交矩阵T

，使得

其中λk>0(k=1，

2，…，

n)为B的特征值，令Y=(X-μ)T

，由于此线性变换的Jacobi行列式

又

故

n维正态向量的特征函数由以下定理给出。

定理1.4.1设n维随机向量X~N(μ，

B)，则其特征函数为

其中t=(t1

，

t2

，…，

tn)。

证明由引理1.4.1知，存在正交矩阵T

，使得

故由特征函数的性质知

因此由多元特征函数的性质1.3.8及X=μ+YT'得

性质1.4.2设X=(X1

，

X2

，…，

Xn)服从n维正态分布N

(μ，

B)，则μ和B分别为n维随机向量X

的均值向量和协方差矩阵，即

证明由性质1.4.1知Xk~N(μk，

bkk

)，因此，

μi=EXi且bii=D(Xi)，

i=1，

2，…，n。从而由Cauchy-Schwarz不等式知X的协方差矩阵存在，且由

得

性质1.4.2说明，

n维正态分布由它的一阶和二阶矩完全确定。

性质1.4.3设X=(X1

，

X2

，…，

Xn)服从n维正态分布N(μ，

B)，则X1

，

X2

，…，

Xn相互独立的充要条件为它们两两不相关，即B为对角矩阵。

证明

(必要性)显然;

(充分性)设X1

，

X2

，…，

Xn两两不相关，则对∀i≠k

，

bik=cov(Xi

，

Xk)=0;因此(X1

，

X2

，…，

Xn)的特征函数为

故由多元特征函数的性质1.3.10知，

X1

，

X2

，…，

Xn相互独立。

性质1.4.5设n维随机向量X服从n维正态分布N(

μ，

B)，而C为任一n×m矩阵，则Y=XC服从m维正态分布N(μC，C‘BC)。

证明因为对任意m维实值行向量t，有

这说明Y服从m维正态分布N(μC，C’BC)。

性质1.4.5表明正态变量在线性变换下还是正态变量，这个性质称为正态变量的线性变换不变性。

例1.4.1设四维随机向量X=(X1

，

X2

，

X3

，

X4

)~N(μX

，

BX

)，其中

(1)求出(X1

，

X2

)的分布;

(2)求出Y=(2X1

，

X1

+2X2

，

X3

+X4

)的分布。

解

(1)(X1

，

X2

)服从均值向量(2，

1)，协方差矩阵

的二维正态分布。

(2)由于

故Y

服从三维正态分布Y~N(μY，

BY)，其中

1.5随机变量序列的收敛性

本节介绍随机变量序列的四种收敛性以及连续性定理。1.5.1随机变量序列的收敛性

1.几乎肯定收敛定义1.5.1设Xn

，

n=1，

2，…及X

为定义在同一概率空间(Ω，

F，

P)中的随机变量，如果P

[limn→∞Xn=则称{Xn

}以概率1收敛于X，或称{Xn

}几乎肯定收敛于X

，记为Xna.s.

定理1.5.2设{Xn

}和X

是概率空间(Ω，

F

，

P)中的随机变量，则

证明由数学分析的知识易知:Xn→X⇔对任意的ε>0，存在自然数n

，使当i≥n时，恒有|Xi-X|<ε⇔对任意的自然数k

，存在自然数n，使当i≥n时，恒有

定理从而成立。

定义1.5.2设Xn

，

n=1，

2，…及X为定义在同一概率空间(Ω，

F，

P)中的随机变量，如果对∀ε>0，有

P[|Xn

-X|≥ε]=0，则称{Xn

}依概率收敛于X，记为Xn

P→X。

注意，依概率收敛与几乎肯定收敛的概念是完全不同的。依概率收敛是指对任意的ε>0，事件列{|Xn

-X|≥ε}发生的概率当n→+∞时以0为极限，也就是说，事件{|Xn

-X|≥ε}在n无限增大时，其发生的可能性越来越小。

定理1.5.3

证明由定理1.5.2知

又因为

定理1.5.3之逆不真，即依概率收敛未必几乎肯定收敛(反例可见参考文献[3])，但有下面的结果。

所以对于每一个自然数k，存在一个自然数nk

，使得当n≥nk

时，恒有

可以假设n1<n2<…<nk<…，于是{Xnk}是{Xn}的一个子列，且对任意的ε>0，有

由于上式对一切充分大的k0

都成立，故

从而由定理1.5.2知，

尽管依概率收敛弱于几乎肯定收敛，但与定理1.5.1相同，依概率收敛下的极限也是唯一的。

尽管{Fn

(x)}是分布函数列，但F(x)未必是分布函数。例如，分布函数列

弱收敛于F(x)≡0。

但如果F(x)也是分布函数，则引入如下定义。

证明设{Fn

(x)}及F(x)分别为随机变量{Xn

，

n=1，

2，…}及X的分布函数，因为对∀ε>0，有

类似地可得

从而在F

(x

)的每一个连续点x处，有

4.r阶收敛

定义1.5.5设Xn，

n=1，

2，…及X

为定义在同一概率空间(Ω，

F

，

P)中的随机变量，满足E[|Xn|r]<∞，

E[|X

|r

]<∞，

r>0为常数。若则称{Xn}r阶收敛于X，记为

对于r阶收敛，

r值越高，条件越严格，即设0<s<r，若

(Horder不等式的推论)。以下定理是说，

r阶收敛强于依概率收敛。

定理1.5.3的逆不成立，反例可见参考文献[4]。在r阶收敛中，最重要的是r=2的情形，这时称为均方收敛，将在第3章详细讨论。

1.5.2连续性定理

有时直接判断一个分布函数序列是否弱收敛并不容易，而判断相应的特征函数序列的收敛性往往比较简单。对此，有以下定理。

定理1.5.9(1)(正极限定理)设分布函数序列{Fn(x)}弱收敛于某一分布函数F

(x)，则相应的特征函数序列{fn(t)}收敛于F(x)的特征函数f(t)，且在t的任一有限区

间内收敛是一致的。

(2)(逆极限定理)设特征函数序列{Fn

(t)}弱收敛于某一函数f(t)，且f(t)在t=0处连续，则相应的分布函数序列{Fn(x)}收敛于某一分布函数F(x

)，而且f(t)是F(x)的特征函数。

这个定理的证明非常繁琐，读者可参阅有关概率论书籍。通常把正逆极限定理合称为连续性定理，连续性定理在研究中心极限定理时很有用处。进而还有海莱定理。

定理1.5.10(海莱定理)设h

(x

)在(-∞，

+∞)上有界连续，{Fn

(x)}是一致有界非降函数列且弱收敛于有界非降函数F

(x)，则

1.5.3弱大数定律和强大数定律

大数定律是关于大量随机现象平均结果稳定性的定理。按收敛性的不同，大数定律分为弱大数定律和强大数定律两种。

定义1.5.6设{Xn

，

n=1，

2，…}为定义在概率空间(Ω，

F

，

P)上的一列存在期望的随机变量，如果

即对任意的ε>0，有

则称{Xn

，

n=1，

2，…}服从弱大数定律，简称服从大数定律。

定义1.5.6说明，若{Xn

，

n=1，

2，…}服从弱大数定律，则其前n项算术平均与相应的统计平均之差依概率收敛于零。

定理1.5.11设{Xn

，

n=1，

2，…}为定义在概率空间(Ω，

F

，

P

)上的一列随机变量，若对任意的自然数n

服从大数定律。

证明由切比雪夫不等式得

注:如果随机变量序列{Xn

，

n=1，

2，

…}相互独立，则

定理1.5.12

(辛钦大数定律)设{Xn

，

n=1，

2，…}是相互独立同分布的随机变量序列，则{Xn

，

n=1，

2，…}服从大数定律的充分条件为X1

有有限的数学期望。

定义1.5.7设{Xn

，

n=1，

2，…}为定义在概率空间(Ω，

F

，

P)上的一列存在期望的随机变量，如果

则称{Xn，

n=1，

2，…}服从强大数定律。

定义1.5.7说明，若{Xn

，

n=1，

2，…}服从强大数定律，则其前n项算术平均与相应的统计平均之差以概率1收敛于零。关于强大数定律，我们有以下两个定理。

定理1.5.13(柯尔莫哥洛夫)设{Xn

，

n=1，

2，…}是相互独立的随机变量序列，且

则{Xn

，

n=1，

2，…}服从强大数定律。

定理1.5.14设{Xn

，

n=1，

2，…}是相互独立同分布的随机变量序列，则{Xn

，

n=1，

2，…}服从强大数定律的充要条件为X1有有限的数学期望。

特别地，记P=P(A)为事件A的概率，记Xn为事件A在第n次独立重复试验中发生的次数，则强大数定律是说

1.6随机变量函数的分布

当随机变量X的分布已知时，如何求它的某个函数g(X)的分布?一般地，当随机向量(X1

，

X2

，…，

Xn

)的联合分布已知时，如何求函数Y=g

(X1

，

X2

，…，

Xn

)的分布?更一般地，如何求Y

1=g

1(X1

，

X2

，…，

Xn)，

Y

2

=g

2(X1

，

X2

，…，

Xn

)，…，

Y

n

=g

n(X1

，

X2

，…，

Xn

)的联合分布?下面就连续型随机变量(向量)情形讨论这些问题。请读者考虑X1

，

X2

，…，

Xn为离散型时的情形。

1.6.1单个随机变量函数的分布

设X为一连续型随机变量，其概率密度函数为pX

(x)，有:

(1)若y=g(x)严格单调可微，其反函数为x=h(y

)，则Y=g(X)为连续型随机变量，且其概率密度函数为

其中α=min{g(-∞)，

g(+∞)}，

β=max{g(-∞)，

g(+∞)}。

(2)若y=g(x)在不相重叠的区间I1，

I2，…，

In上逐段严格单调可微，且在每一段上的反函数依次为x=h1

(y)，…，

x=hn(y)，其中X的值域∈Ik，则Y=g(X)为连续型随机变量，且其概率密度函数为

证明对于∀y∈R，令Bk(y)={x∈Ik|g(x)≤y}，

k=1，

2，…，

n，则Bk(y)，

k=1，2，…，

n两两互斥，故有

例1.6.1

已知X~N(0，

σ2

)，c>0为常数，求Y=cX2

的概率密度函数。

解

y=cx2

的反函数在x≥0及x<0上分别为

于是

故

在实际计算时，经常不是套用以上的公式，而是运用以上证明的思路，下面几个小节中的方法也如此。

1.6.2多个随机变量函数的分布

设(X1

，

X2，…，

Xn)是连续型随机变量，其概率密度函数为p

(x1

，

x2

，…，

xn

)，则Y=g(X1

，

X2，…，

Xn

)的分布函数为

其中事件[Y≤y]=[g(X1

，

X2，…，

Xn

)≤y]等价于(X1

，

X2，…，

Xn

)落在区域D={(x1

，

x2

，…，

xn

)|g

(x1

，

x2

，…，

xn

)≤y}内。特别地，当X和Y均是连续型时

(1)和X+Y的概率密度函数为

(2)商Z=X/Y的概率密度函数为

1.6.3二维随机向量的变换

设(X，

Y)为二维连续型随机向量，其概率密度函数为pX

，

Y(x，

y)，再设g(x，

y)和h(x，y)为两个二元实值的连续函数，则由U=g(X，

Y)，

V=h(X，

Y)确定的二维随机向量(U，V)称为(X，

Y)的变换。若变换

分布函数为

这里

为变换的Jacobi行列式。从而U，

V的联合概率密度函数为

例1.6.4已知X1

，

X2

相互独立都服从标准正态分布，(y1，

y2

)为点(x1

，

x2

)的极坐标(极径和极角):

求(Y1

，

Y2

)的概率密度函数，并讨论Y1

与Y2

的相互独立性。

解由于(X1

，

X2

)的概率密度函数为

因此，(Y1

，

Y2

)的概率密度函数为

1.7条件数学期望

1.7.1条件数学期望的定义

1.离散型情形设(X，

Y)为二维离散型随机向量，其联合分布律为对任意的j，若

则X在Y=yj

的条件下的条件分布律为

为X在Y=yj条件下的条件数学期望。

类似地，对任意的i

，若pi·=P(X=xi)

=

则Y在X=xi的条件下的条件分布律为

为Y在X=xi条件下的条件数学期望。

2.连续型情形

设(X，

Y)为二维连续型随机变量，其联合概率密度函数为p(x，

y)，对任意的y，若pY

(y)>0，则X在Y=y的条件下的条件概率密度函数为pX|Y

(x|y)=

若

为X在Y=y条件下的条件数学期望。

类似地，对任意的x，若pX

(x)>0，则Y

在X=x条件下的条件概率密度函数为

若

为Y在X=x条件下的条件数学期望。

例1.7.1设(X，

Y)的概率密度函数为

求E[X|y]。

1.7.2条件数学期望的性质

正如条件概率具有普通概率的全部性质一样，条件数学期望也具有普通数学期望的所有性质，如

当y固定时，

E

[g(X)|y]是一个常数。现在我们换一个观点，把y看成自变量，则E[g(X)|y]是y

的函数，记为h

(y)，则h(Y)=E

[g(X)|Y]是随机变量Y

的函数，它也是一个随机变量，也可考虑其数学期望。

定理1.7.1对任意的随机变量X，

Y，有