随机信号分析 chap1

第1章随机过程

2/6/20231本章主要内容：

随机过程的基本概念

随机过程的数字特征随机过程的微分和积分计算随机过程的平稳性和遍历性随机过程的相关函数及其性质复随机过程正态过程马尔可夫链泊松过程2/6/20232随机变量

与时间无关

随机过程

与时间相关

2/6/202331.1随机过程的基本概念及统计特性

一定义

对接收机的噪声电压作观察

2/6/202341样本函数：，，，…，，都是时间的函数，称为样本函数。

2随机性：一次试验，随机过程必取一个样本函数，但所取的样本函数带有随机性。因此，随机过程不仅是时间t的函数，还是可能结果的函数，记为，简写成。

2/6/20235定义2：若对于每个特定的时间，都是随机变量，则称为随机过程，称为随机过程在时刻的状态。定义1：设随机试验E的样本空间，若对于每个元素，总有一个确知的时间函数与它对应，这样，对于所有的，就可以得到一簇时间t的函数，称它为随机过程。簇中的每一个函数称为样本函数。3随机过程的定义：

2/6/202364定义的理解：

上面两种随机过程的定义，从两个角度描述了随机过程。具体的说，作观测时，常用定义1，这样通过观测的试验样本来得到随机过程的统计特性；对随机过程作理论分析时，常用定义2，这样可以把随机过程看成为n维随机变量，n越大，采样时间越小，所得到的统计特性越准确。

2/6/20237理解：

一个时间函数族

一个确知的时间函数一个随机变量一个确定值1和都是变量2是变量而固定3固定而是变量

4和都固定

2/6/20238二分类

1按随机过程的时间和状态来分类

连续型随机过程：对随机过程任一时刻的取值都是连续型随机变量。

离散型随机过程：对随机过程任一时刻的取值都是离散型随机变量。

2/6/20239离散随机序列：随机过程的时间t只能取某些时刻，如，2，…..，n，且这时得到的随机变量是离散型随机变量，即时间和状态是离散的。相当于采样后再量化。

连续随机序列：随机过程的时间t只能取某些时刻，如，2，…..，n，且这时得到的随机变量是连续型随机变量，即时间是离散的。相当于对连续型随机过程的采样。

2/6/2023102按样本函数的形式来分类

不确定的随机过程：随机过程的任意样本函数的值不能被预测。例如接收机噪声电压波形。

确定的随机过程：随机过程的任意样本函数的值能被预测。例如，样本函数为正弦信号。

3按概率分布的特性来分类2/6/202311三随机过程的概率分布

1一维概率分布

随机过程X(t)在任意tiT的取值X(t1)是一维随机变量。概率P{X(t)≤x1}是取值x1，时刻t1的函数，记为Fx(x1；t1)=P{X(t1)≤x1}，称作随机过程X(t)的一维分布函数。

若的偏导数存在，则有2/6/2023122二维概率分布

FX(x1,x2;t1,t2)=P{X(t1)≤x1,X(t2)≤x2}

为了描述S.P在任意两个时刻t1和t2的状态间的内在联系,可以引入二维随机变量[X(t1),X(t2)]的分布函数FX(x1,x2;t1,t2)，它是二随机事件{X(t1)≤x1}和{X(t2)≤x2}同时出现的概率，即称为随机过程X(t)的二维分布函数。

若FX(x1,x2;t1,t2)对x1，x2的二阶混合偏导存在，则为随机过程X(t)的二维概率密度2/6/2023133

n维概率分布随机过程

在任意n个时刻

的取值

构成n维随机变量即为n维空间的随机矢量X。类似的，可以定义随机过程的n维分布函数和n维概率密度函数为2/6/202314性质：

123456若统计独立，则有

2/6/202315四

随机过程的数字特征随机变量的数字特征通常是确定值；随机过程的数字特征通常是确定性函数。

对随机过程的数字特征的计算方法，是先把时间t固定，然后用随机变量的分析方法来计算。

2/6/2023161数学期望

显然，

是某一个平均函数，随机过程的诸样本在它的附近起伏变化，如图所示：

物理意义：如果随机过程表示接收机的输出电压，那么它的数学期望就是输出电压的瞬时统计平均值。

2/6/2023172均方值和方差

随机过程在任一时刻t的取值是一个随机变量。我们把二阶原点矩称为随机过程的均方值，把二阶中心矩记作随机过程的方差。即：

且2/6/202318物理意义：如果表示噪声电压，则均方值和方差分别表示消耗在单位电阻上的瞬时功率统计平均值和瞬时交流功率统计平均值。

标准差或均方差：

2/6/2023193自相关函数

先比较具有相同数学期望和方差的两个随机过程。

2/6/202320自相关函数用来描述随机过程任意两个时刻的状态之间的内在联系，通常用描述。

2/6/2023214自协方差函数

若用随机过程的两个不同时刻之间的二阶混合中心矩来定义相关函数，我们称之为自协方差。用表示，它反映了任意两个时刻的起伏值之间相关程度。

2/6/202322比较自协方差和自相关函数的关系

))]()())(()([(),(111121tmtXtmtXEttKXXX--=比较自协方差和方差的关系令则2/6/202323例：求随机相应止弦波的数字期望，方差及自相关函数。式中，为常数，是区间[0，]上均匀分布的随机变量。解：由题可知：（1）＝同理2/6/202324（2）＝＝＝可知

2/6/202325（3）＝＝＝2/6/202326五

随机过程的特征函数1一维特征函数

随机过程在任一特定时刻t的取值是一维随机变量，其特征函数为:其反变换为：

n阶矩2/6/2023272二维特征函数

其反变换为：

2/6/2023283n维特征函数

2/6/2023291.2连续时间随机过程的微分和积分

一随机过程的连续性

1预备知识：对于确定性函数，若则在处连续。2/6/2023302随机过程连续性定义

如果随机过程

满足

则称

依均方收敛意义下在t点连续，简称随机过程

在t点均方连续。2/6/2023313随机过程的相关函数连续，则连续因此，如果对

时刻，函数

在点上连续，则随机过程

必在点t上连续。

2/6/2023324随机过程均方连续，则其数学期望连续

证：由均方连续的定义，，则不等式左端趋于0，那么不等式的右端也必趋于0（均值的平方不可能小于0）

设2/6/202333即：

注意为确定性函数，由预备知识，可知连续。

可将此结果写成2/6/202334二随机过程的导数

预备知识：对于一般确定性函数，高等数学给出的可导定义如下：

一阶可导：

如果存在，则在t处可导，记为。

2/6/202335二阶可导：

存在，则二阶可导，记为

若2/6/2023361随机过程可导的定义

如果随机过程

满足

则称

在t时刻具有均方倒数，表示为

2/6/2023372判别方法

判断一个随机过程是否均方可微的方法是采用柯西准则,即

而2/6/202338若时，存在二阶混合偏导则=可见，随机过程X(t)在t处均可微的充分条件为：相关函数在它的自变量相等时，存在二阶混合偏导数且连续，即存在2/6/2023393数字特征

（1）随机过程导数的数学期望等于其数学期望的导数

证明：

2/6/202340（2）随机过程导数的相关函数等于可微随机过程的相关函数的混合偏导数

证明：

2/6/202341三随机过程的积分

1预备知识

对于确定性函数，其中，2/6/2023422随机过程积分的定义随机过程在确定区间上的积分Y是一个随机变量，即若有则称为随机过程在上的积均方积分可以推广到带有“权函数”的随机过程的积分2/6/2023433数字特征

（1）随机过程积分的数学期望等于随机过程数学期望的积分。

证明：2/6/202344（2）随机过程积分的均方值和方差

随机过程积分的均方值等于随机过程自相关函数的二重积分；其方差为随机过程协方差的二重积分。

2/6/2023452/6/202346(3)随机过程积分的相关函数：等于对随机过程的相关函数作两次变上限积分（先对t1,后对t2积分）

2/6/2023471.3平稳随机过程及其遍历性一平稳随机过程1严平稳随机过程(1)定义如果对于任意的n和，随机过程X(t)的N维概率密度满足：则称X(t)为严平稳（或狭义）随机过程。2/6/202348(2)一、二维概率密度及数学特征严平稳随机过程的一维概率密度与时间无关2/6/202349严平稳随机过程的二维概率密度只与

t1,

t2的时间间隔有关，而与时间起点无关2/6/202350(3)严平稳的判断按照严平稳的定义，判断一个随机过程是否为严平稳，需要知道其n维概率密度，可是求n维概率密度是比较困难的。不过，如果有一个反例，就可以判断某随机过程不是严平稳的，具体方法有两个：(1)若X(t)为严平稳，k为任意正整数，则与时间t无关。

(2)若X(t)为严平稳，则对于任一时刻t0，X(t0)具有相同的统计特性。2/6/2023512宽平稳随机过程若随机过程X(t)满足则称X(t)为宽平稳或广义平稳随机过程。严平稳与宽平稳的关系：严平稳过程的均方值有界，则此过程为宽平稳的，反之不成立。对于正态过程，严平稳与宽平稳等价。2/6/202352二平稳随机过程的性质

性质1平均功率性质2偶对称性性质3极值性证：任何正函数的数字期望恒为非负值，即对于平稳过程X(t)，有代入前式，可得于是同理2/6/202353对周期性平稳过程X(t)=X(t+T)，T为周期，有。

性质4

证：由自相关函数的定义和周期性条件，容易得到性质5

若平稳过程含有一个周期分量，则含有同一个周期分量。

2/6/202354若平稳随机过程X(t)不含有任何周期分量，则性质6

对于此类非周期的平稳过程，当增大时，随机变量X(t)与X(t+τ)之间的相关性会减弱；在的极限情况下，两者相互独立，故有证：亦即同理，可求得2/6/202355性质7

若平稳过程含有平均分量(均值)，则相关函数也含有平均分量，且等于,即则。若X(t)是非周期的，由协方差函数的定义，可得由此若X(t)是非周期，则有证：且在t=0时,可得2/6/202356平稳随机过程必须满足对所有均成立。

性质8

自相关函数的付氏变换非负，这要求相关函数连续（平顶，垂直边均是非连续）。注：相关函数（协方差）的典型曲线2/6/202357平稳过程的相关系数和相关时间此值在[－1，1]之间。表示不相关，表示完全相关。表示正相关，表明两个不同时刻起伏值（随机变量与均值之差）之间符号相同可能性大。相关系数2/6/202358相关时间当相关系数中的时间间隔大于某个值，可以认为两个不同时刻起伏值不相关了，这个时间就称为相关时间。

通常把相关系数的绝对值小于0.05的时间间隔，记做相关时间,即:时的时间间隔为相关时间。

有时我们用钜形（高为,底为的矩形）面积等于阴影面积(积分的一半）来定义相关时间，即物理意义相关时间越小，就意味着相关系数随增加而降落的越快，这表明随机过程随时间变化越剧烈。反之，越大，则表时随机过程随时间变化越慢。

2/6/202359例：已知平稳随机过程X(t)的自相关函数为RX(t)=100e-10|t|+100cos10t+100求X(t)的均值、均方值和方差。

RX(t)=（100cos10t）+（100e-10|t|+100）=RX1(t)+RX2(t)式中，RX1(t)=100cos10t是X(t)中周期分量的自相关函数，此分量的均值mx1=0;RX2(t)=100e-10|t|+100是X(t)的非周期分量的自相关，由性质6，可得所以有解：2/6/202360三遍历性或各态历经性

1遍历性过程的定义

如果一个随机过程X(t),它的各种时间平均（时间足够长）依概率1收敛于相应的集合平均,则称X(t)具有严格遍历性,并称它为严遍历过程。严遍历性的定义

宽遍历性的定义

设X(t)是一个平稳随机过程,如果其均值和相关函数都具有遍历性,则称X(t)为宽(或广义)遍历过程,或简称遍历过程。2/6/202361定义果它依概率1收敛于集合均值，即则称X(t)均值具有遍历性。定义时间自相关函数为则称X(t)自相关函数具有遍历性。如果它依概率1收敛于集合自相关函数，即为时间均值，如2/6/2023622遍历过程的实际应用

一般随机过程的时间平均是随机变量，但遍历过程的时间平均为确定量，因此可用任一样本函数的时间平均代替整个过程的统计平均，在实际工作中，时间T不可能无限长，只要足够长即可。

3遍历过程和平稳过程的关系

遍历过程必须是平稳的，而平稳过程不一定是遍历的。（遍历必定平稳由遍历定义即可知）2/6/2023634遍历过程的两个判别定理

均值遍历判别定理

平稳过程X(t)的均值具有遍历性的充要条件平稳过程X(t)的自相关函数具有遍历性充要条件自相关函数遍历判别定理

式中：2/6/202364证：原命题等价于：

=2/6/202365设则2/6/202366于是从而命题得证。2/6/202367对于正态平稳随机过程，若均值为零，自相关函数连续，则可以证明此过程具有遍历性的一个充分条件为注意：判断一个平稳过程是否遍历的，我们总是先假设其是遍历的，然后看是否满足定义要求（即时间平均以概率1等于统计平均），一般不用两个判别定理。

5.2/6/202368例：设,式中a，为常数，是在上均匀分布的随机变量。试问：X(t)是否平稳？是否遍历？故X(t)是宽平稳随机过程。解：2/6/202369故X(t)也是宽遍历随机过程。2/6/2023701.4随机平稳随机过程一两个随机过程的联合概率分布设有两个随机过程和,它们的概率密度分别为定义这两个过程的(n+m)维联合分布函数为：2/6/202371定义这两个过程的(n+m)维联合概率密度为：1）若两个过程的n+m维联合概率分布给定，则它们的全部统计特性也确定了。注2）可以由高维联合分布求出它们的低维联合概率分布。3）若两个随机过程的联合概率分布不随时间平移而变化，即与时间的起点无关，则称此二过程为联合严平稳或严平稳相依。2/6/202372设两个随机过程和，它们在任意两个时刻t1，t2的取值为随机变量、,则定义它们的互相关函数为：二两个随机过程的互相关函数式中，

是随机过程和的二维联合概率密度。1定义2/6/202373随机过程和的中心互相关函数定义为：式中，和分别是随机变量和的数学期望。此式也可以写成2/6/2023742统计独立、不相关、正交的概念

1）统计独立若或

则称随机过程和相互独立。2/6/2023752）不相关

若两个随机过程和对任意两个时刻t1,t2都具有或，3）正交则称和不相关。若两个随机过程和对任意两个时刻t1,t2都具有或，则称和互为正交过程。2/6/202376(1)如果两个随机过程相互独立，且他们的二阶矩都存在，则必互不相关。(2)正态过程的不相关与相互独立等价。推论

2/6/202377三联合宽平稳和联合宽遍历（1）联合宽平稳定义两个随机过程和，如果：和分别宽平稳

互相关函数仅为时间差的函数，与时间t无关即则称和为联合宽平稳或宽平稳相依。1定义2/6/202378（2）联合宽遍历定义两个随机过程和，如果：和联合宽平稳

定义它们的时间互相关函数为：若依概率1收敛于互相关函数则称和具有联合宽遍历性。即2/6/202379（3）互协方差与互相关系数当两个随机过程联合平稳时，它们的互协方差互相关系数又称作归一化互样关函数或标准互协方差函数。注：。当时，随机变量和互不相关。2/6/2023802联合宽平稳的性质

(1)证明：按定义即可证明，说明互相关函数既不是偶函数，也不是奇函数。互相关函数的影像关系2/6/202381(2)证明：由于，为任意实数展开得：这是关于的二阶方程。注意,要使上式恒成立，即方程无解或只有同根，则方程的系数应该满足,则有所以，

同理，2/6/202382(3)证明：由性质(2)，得注意到因此，（任何正数的几何平均小于算术平均）2/6/202383设两个平稳随机过程试问：X(t)和Y(t)是否平稳相依？是否正交、不相关、统计独立？

平稳随机过程X(t)和Y(t)的互相关函数为：故这两个随机过程是平稳相依的。例故KXY(t1,t2)仅在时等于零，此时X(t1)和Y(t2)是相关的，因而它们不是统计独立的。解：2/6/202384四复随机过程复随机变量1定义2分布函数即由X,Y的联合概率分布描述。我们把复随机变量Z定义为Z=X+jy，式中,X和Y为实随机变量。2/6/2023853数字特征(1)数学期望(2)方差其中注：ⅰ)复随机过程的方差等于它的实部与虚部的方差之和ⅱ)复随机过程的方差为非负的实数。2/6/202386(3)相关矩设Z1、Z2为两个复随机变量，则(4)互协方差2/6/2023874两个复随机变量的独立、不相关、正交1）统计独立2）不相关3）正交2/6/202388复随机过程

1定义设，为实随机过程，则定义Z(t)=X(t)+jY(t)为复随机过程。2概率密度函数Z(t)的统计特性可由X(t)和Y(t)的2n维联合概率分布完整地描述，其概率密度为：2/6/2023893数字特征(1)数学期望(2)方差(3)自相关函数2/6/202390

(5)互相关函数(6)互协方差函数注：ⅰ）若，则Z1，Z2不相关。ⅱ）若，则Z1，Z2正交。(4)自协方差函数2/6/2023914复随机过程的宽平稳性若复随机过程满足：稳的复过程。若两个平稳的复过程X(t)和Y(t)满足,则称X(t)和Y(t)联合宽平稳。,则称Z(t)为宽平求复随机过程的数字特征时要注意，其均值为复数，方差等二阶矩为非负实数，因此，求其二阶矩时（包括方差，相关函数和协方差）采用一个复随机过程与其共轭相乘，再求数学期望的方法，其它性质和特性与实随机过程类似。小结2/6/2023921.5正态随机过程一正态随机过程的一般概念

1正态随机过程的定义

如果随机过程X(t)的任意n维概率分布都是正态分布，则称它为正态随机过程或高斯随机过程，简称正态过程或高斯过程。2/6/2023932概率密度函数

式中,mX是n维向量，K是n维阵，其中：2/6/202394性质:

正态随机过程的概率密度函数由它的一、二阶矩（均值、方差和相关系数完全决定）。推论:

若复正态随机过程Z(t)的n个采样时刻得到n个复随机变量，即

其中,Xi、Yi皆为实随机变量。此n个复随机变量的联合概率密度应是2n维随机变量的联合概率密度。2/6/202395二平稳正态随机过程

1平稳正态随机过程的定义

若正态随机过程满足下列条件，则它是宽平稳（平稳）正态随机过程。

由平稳随机过程的三大条件（均值为常数，相关函数只与时间差有关，均方值有界）可知，那么为确定值，而方差＝必为常数，显然，方差为常数，则理解也为常数，物理意义是总平均功率等于交流平均功率与直流平均功率之和。2/6/2023962平稳正态过程的n维概率密度

平稳正态过程一、二维概率密度表达式

2/6/202397平稳正态过程n维概率密度表达式：

式中，R是相关系数rik构成的行列式，具有下列形式Rik为行列式中元素rik的代表余子式。2/6/2023983平稳正态过程的n维特征函数

式中，为随机变量Xk、Xi的协方差特别：一维和二维特征函数

函数。n维特征函数：2/6/202399三正态随机过程的性质

正态随机过程的n维概率密度完全由它的均值集合，协方差函数集合所确定。性质1：性质2：正态过程的严平稳与宽平稳等价。1）由正态随机过程的概率密度表达式可知，它的任意n维概率密度仅由均值,方差和相关系数唯一确定。如果正态随机过程X(t)宽平稳，则其均值和方差是常数，相关系数只与时间差有关，因此它的任意n维概率密度函数仅与时间起点无关，由严平稳定义得证。2）由于正态过程的均方值总是有界的，因此严平稳正态过程一定是宽平稳的。证明：2/6/2023100正态过程的不相关与相互独立等价。性质3：若X(t)在n个不同时刻采样得到一组随机变量X1,X2,…,Xn证明：（1）如果Xn（n＝1,2,…）两两之间相互独立，则（2）如果Xn（n＝1,2,…）两两之间互不相关，则当时。所以，两两互不相关。2/6/2023101即两两相互独立。

因此所以则

2/6/2023102性质4：平稳正态过程与确定信号之和仍为正态分布。

设X(t)为平稳正态过程，S(t)为确定性信号，Y(t)=X(t)+s(t)那么，对于任意时刻t，Y(t)=X(t)+s(t)为随机变量，这时，s(t)具有确定值，由随机变量函数的概率密度求法，Y(t)的一维概率密度函数为：

证明：因为为正态分布，所以显然是正态分布。同理，Y(t)的二维概率密度为：正态分布。同理，可证明合成信号的n维概率密度也是正态过程。

2/6/2023103性质5：

n维正态随机矢量序列的均方极限仍为n维正态随机矢量，即设为n维实正态随机变量，又，即对于每个1,2,…,n均有，则X=（X1,X2,…Xn）为n维正态随机矢量。2/6/2023104若正态过程X(t)在T上均方可微，则其导数X(t)也是正态过程。性质6：

若正态过程X(t)在T上均方可积，则积分过程性质7：

也是正态过程。正态随机过程通过线性系统后的输出仍为正态过程。

性质8：

推论：正态过程的线性变换仍为正态过程。

2/6/20231051.6马尔可夫过程1.6.1马尔可夫过程的概念当已知随机过程在时刻所处的状态的条件下，过程在时刻所处的状态与过程在时刻以前的状态无关，而仅与过程在所处的状态有关，则称该过程为马尔可夫过程。这种特性称为随机过程的“无后效性”或马尔可夫性。分为四类：1T和E都取连续集时，称为马尔可夫过程。2若T取连续集而E取离散集时，称为可列马尔可夫过程。3若T取离散集而E取连续集时，称为马尔可夫序列。4若T和E都取离散集时，称为马尔可夫链。状态可列的马尔可夫链称为可列马尔可夫链；状态有限的马尔可夫链称为有限马尔可夫链。2/6/20231061.6.2马尔可夫序列一、马尔可夫序列的定义设表示随机过程在为整数时刻的取样的随机序列，记为（简记为或），则可按以下方式定义马尔可夫序列。定义33：若对于任意的n，有

则称此为马尔可夫序列。这一概率密度函数称为转移概率密度函数。可以推出

即联合概率密度函数可由转移概率密度和起始时刻的一维概率密度来确定。

2/6/2023107二、马尔可夫序列的性质一个马尔可夫序列的子序列仍为马尔可夫序列。证：对于马尔可夫序列设子序列则有所以子序列也是马尔可夫序列。2/6/2023108（2）一个马尔可夫序列按其相反方向组成的逆序列仍为马尔可夫序列。即对于任意的整数n和k,有证：因为同理根据条件概率定义和以上两式有所以2/6/2023109（3），有(3)证：所以若对于序列，则称此序列为“鞅”。2/6/2023110（4）若，并在给定条件下，随机变量与是独立的，则有证：因为所以原结论成立。证毕2/6/2023111（5）若对于任意，序列满足则该序列为2重马尔可夫序列。此概念可推广到对于多个序列有重马尔可夫序列。2/6/2023112（6）如果条件概率密度与（7）如果一个马尔可夫序列是齐次的，并且所有的随机变量具有相同的概率密度，则称该马尔可夫序列是平稳的。马尔可夫序列的转移概率满足此式就是有名的切普曼—柯尔莫哥洛夫方程（C-K方程）。无关，则称该马尔可夫序列（8）对于是齐次的。2/6/20231131.6.3马尔可夫链一、马尔可夫链的定义为一随机序列，其状态空间，若对于任意的，满足

则称为马尔可夫链（简称马氏链）。定义34：设2/6/2023114二、马尔可夫链的转移概率及性质一步转移概率在齐次条件下，令式（1.6.9）中时，有称为一步转移概率。由所有一步转移概率构成的矩阵称为一步转移概率矩阵，简称转移概率矩阵。（1）

（2）2/6/20231152n步转移概率在齐次条件下，令式（1.6.9）中时，可得到步转移概率可构成n步转移概率矩阵

由所有n步转移概率（1）

（2）

为了数学处理便利，通常规定

2/6/20231163．切普曼-柯尔莫哥洛夫方程（C-K方程）对于步转移概率，有如下的切普曼-柯尔莫哥洛夫方程的离散形式

若用概率矩阵表示，有当时，有同理可推出，当时，有即任意k步转移概率矩阵可由一步转移概率矩阵自乘k次来得到。2/6/2023117例1-18在某数字通信系统中多级传输0、1两种数字信号。由于系统中存在干扰，在任一级输入0、1数字信号后，其输出不产生错误的概率为p，产生错误的概率为q=1-p，求两级传输时的概率转移矩阵。解：系统每一级的输入状态和输出状态构成一个两状态的马氏链，其一步转移概率矩阵为于是，两级传输时的概率转移矩阵等效于两步转移概率矩阵为2/6/20231184．初始分布与绝对分布定义35设为一马氏链，其状态空间或为有限子集。令，且对任意的（1）（2）则称为该马氏链的初始分布，也称初始概率。初始概率是马氏链在初始时间时处于状态i的概率。当时，马氏链处于状态i的概率称为绝对概率或绝对分布。均有定义36设为一马氏链，其状态空间或为有限子集。令，且对任意的（1）（2）则称为该马氏链的绝对分布，也称绝对概率。均有2/6/2023119定理3马氏链的绝对概率由初始分布和相应的转移概率唯一确定。为一马氏链，为状态集，则对任意时马氏链处于状态的概率为

即:时,绝对概率由初始概率及一步转移概率唯一确定。时，绝对概率由下式确定：即:绝对概率由初始概率及n步转移概率唯一确定。利用C-K方程，则n步转移矩阵可由一步转移矩阵唯一确定。证：设当2/6/2023120推论：马氏链的绝对概率由初始分布及一步转移概率唯一确定。由马氏链的转移概率和初始分布，不仅可以完全确定其绝对分布，也可以完全确定其有限维分布。即2/6/2023121三、转移图（状态转移图与概率转移图）若一步转移概率矩阵为则相应的概率转移图如图1-11所示。2/6/2023122四、马氏链中的状态分类到达与相通定义37（到达定义）：如果对于状态与

（可简写为i和j)总存在某个

，使得，则称自i状态经过n步可以到达j状态，并记为反之，若对所有的有，则自i状态不可以到达j状态，并记为到达具有传递性，即若,,则定义38（相通定义）：若自状态i可达状态j，同时自状态j也可达状态i，则称状态和状态相通，记为相通具有以下等价关系：（1）若，则,自返性（2）若，则，对称性（3）若，，则，传递性2/6/2023123例1-21设一两状态马氏链具有以下转移概率矩阵

解：要讨论这一马氏链两个状态的到达性，可先求出它的n步转移概率矩阵。由于对于所有的n,，故状态“1”不能到达状态“0”；而存在n使得故状态“0”可以到达状态“1”。讨论其状态的到达特性。2/6/2023124例1-22无限制的随机游走问题。考虑一个质点在直线上作随机游走．如果在某一时刻质点位于i,则下一步质点将以概率向前游走一步到达i+1处，或以概率向后游走一步到达i-1处。现规定，这一质点只能“向前”或“向后”游走一步，并且经过一个单位时间它必须“向前”或“向后”游走。讨论其状态的相通性。解：如果以表示n时刻质点的位置，则是一个随机过程。而且，当时，等在时刻n后质点所处的状态仅与有关，而与质点在时刻n以前是如何到达i的无关．故它是一个齐次马尔可夫链。状态空间，一步转移概率为从而一步转移概率矩阵为2/6/2023125下面求n步转移概率如在n次转移的结果是从i到j,n次转移中恰好向前游走m次，向后游走k次，则有

联立上两式求解可得根据概率法则，不难求得n步转移概率为其中时，反映了在n，i，j之间存在的一种约束关系。由于对于满足要求的n，i，j，，所以无限制的随机游走中的各个状态是相通的。2/6/20231262．状态的分类定义39设为一马氏链，对任一状态i与j，称为自状态i出发首次进入状态j的时刻，或称为自i到j的首达时。是一随机变量。另外，

可能永不取值i，这时我们就规定

定义40设为一马氏链，对任一状态i与j，称为自状态i出发经过n步首次进入状态j的概率。显然有

从而

2/6/2023127定义41设为一马氏链，对任一状态i与j，称为自状态i出发迟早要到达状态j的概率。显然有2/6/2023128定理4对任何状态，有证明：因为

2/6/2023129定义42如果，则称状态j是常返的。如果，则称状态j是非常返的（或称为瞬时的）。如果马尔可夫链的任一状态都是常返的，则称此链为常返马尔可夫链。定理5的充要条件是证明：充分性：若，则根据到达的定义，总存在某个，使所以这样，至少有一个为正（不为0），所以必要性：若，则由至少有一个使，故表示自状态i出发，在有限步内迟早要返回状态i的概率，是在0与1之间的一个数。2/6/2023130定理6状态i是常返（）的充要条件为证明：充分性：因为有两边对n从1到N求和有

于是有注意到，所以在上式中令时有现已知，则上式左边极限为1，于是有状态j是常返态。令2/6/2023131必要性：因为若取,则有于是有如果,则在上式中令时有再令有由非常返的定义，状态j是非常返的，这与必要性的前提假设矛盾，所以必须有2/6/2023132系：如果状态j是非常返的，则必有设i是一常返态，则从i出发可经过n步首次返回i，在的条件下的分布列为12…nP………由数学期望的定义，可得称为状态i的平均返回时间。2/6/2023133定义43设i是常返态，如果，则称状态i是正常返态；如果,则称状态i是零常返态。定理7设i为常返状态，有周期,则系：如果j是常返态，则（1）j零常返当且仅当（2）j遍历当且仅当定义44对于状态i，若正整数集合非空，则称该集合的最大公约数L为状态i的周期。若，则称状态i是周期的，若，则称状态i是非周期的。如果状态i是非周期且正常返的，则称状态i是遍历的。2/6/2023134马氏状态分类图2/6/2023135状态分类判别法：（1）i非常返（2）i零常返且且（4）i遍历且（3）i正常返2/6/2023136引理1对任意i和j，若，则存在正数、及正整数l、m，使对任一正整数n，有、

定理8若，则（1）i与j同为常返或同为非常返；（2）若i与j常返，则i与j同为正常返或同为零常返；（3）i与j或同为非周期的，或同为周期的且有相同的周期。2/6/20231373．遍历性与平稳分布定义45：设齐次马氏链的状态空间为E，若对一切，存在不依赖于i的极限则称马尔可夫链具有遍历性。并称为状态j的稳态概率。定理9对于一有限状态的马氏链，若存在一正整数m，使（对所有的状态）则此链是遍历性的，且是的满足条件的唯一解。2/6/2023138对平稳分布，有=

一个非周期，不可约的马氏链是常返的，它存在一个平稳分布，即，即平稳分布就是极限分布。遍历的马氏链一定具有平稳性，但平稳的马氏链不一定具有遍历性（不遍历的马氏链也可具有平稳性）。2/6/2023139例1-23设马尔可夫链的状态空间，一步转移概率矩阵试对该链进行分类，并说明其遍历性。解：根据一步转移概率矩阵可画出如图1-12所示的状态转移图。从图中可知，①和②都是非周期的正常返状态，③、④状态都是非常返状态。由于说明存在（i=1,2,3,4）,但与i有关，所以该链不是遍历的。2/6/2023140五、状态空间分解定义46设，若从V中任一状态出发不能到达V外的任一状态，则称V为闭集。显然，对一切和有

若中仅含有单个状态，则此闭集称为吸收态。它构成了一个较小的闭集。而整个空间构成一个较大的闭集。除了整个状态空间外，没有别的闭集的马尔可夫链称为不可约的马尔可夫链。此时整个空间的所有状态皆是相通的。闭集内任一状态，不论转移多少步，都不能转移到闭集之外的状态上去，即随着时间的推移，闭集内任一状态只能在闭集内部的状态之间转移。定理10马尔可夫链的所有常返状态构成的集合是一闭集。2/6/2023141定理11（分解定理）状态空间E必可分解为

其中N是全体非常返态组成的集合，是互不相交的常返态闭集组成。而且（1）对每一确定的k,内任意两状态相通；（2）与()中的状态之间不相通；2/6/2023142例1-25设齐次马氏链的状态空间，其一步转移概率矩阵为试对该空间进行分解。2/6/2023143解：根据一步转移概率矩阵，可画出如图所示的状态转移图。由图可知，，而当时，，所以，可见状态1为正常返，且周期。含有状态1的常返闭集为同理，因为，，在时，，所以可见状态6为正常返，且是非周期的。含有状态6的常返闭集为状态2，6为遍历状态.由于，在时，，所以。可见状态4为非常返。故2/6/20231441.7泊松过程独立增量过程设有一个随机过程，如果对任意时刻，过程的增量、、是相互独立的随机变量，则称为独立增量过程，又称为可加过程。泊松过程设随机过程，，其状态只取非负整数值，若满足下列三个条件：（2）为均匀独立增量过程；（1）（3）对任意时刻，，相应的随机变量的增量服从数学期望为的泊松分布，即对于k=0,1,2,….,有其中，则称为泊松过程。2/6/2023145一、泊松过程的一般概念泊松过程满足如下条件：（1）对于任意时刻，出现事件次数是相互独立的；（2）对于充分小的，在内出现时间一次的概率为

其中是在时关于的高阶无穷小量；常数，称为过程的强度；（3）对于充分小的，在内出现事件两次及两次以上的概率为这就是说，一个随机过程如果能满足上述三个条件，则它为泊松过程。2/6/2023146图1-14（a）给出了泊松过程的示意图。由图可见，泊松过程的每一个样本函数都呈阶梯形，它在每个随机点的阶跃（即：步长为“1”）。对于给定的，等于在时间间隔随机点数。如果用计数器记录各随机时刻射出的电子数目，则在时刻，计数器的指示数即为。处产生单位为“1”内的2/6/2023147图1-14（a）泊松过程得示意图；（b）泊松增量；（c）泊松冲激序列2/6/2023148二、泊松过程的