随机过程课件

1、第一章 概率论基础1.从传统的长度概念说起1.1 区间（a,b）、a,b等都有长度，用字母表示,而且知道(a,b)=b-a我们进而认为是一种（函数）运算，自变量*为一维数轴上的区间，显然，应满足：（1） L(*)非负性；（2）有限可加性；（3）甚至要求满足可列可加性我们提出问题1：区间作为的子集，具有长度，那么的一般子集也有长度吗？答案是否定的。因为传统长度是集合的右端点与左端点之差值，而只有区间这种集合才有端点。问题2：是否可以推广为某作为一般点集的长度呢？当然可以适当推广成为某种运算，用以作为更广泛的一类集合（包含全体区间）的“长度”。但是，事实表明，无论怎样改进，都无法适应的全体子集。1

2、.2长度向某推广的直接动力是，人们发现了积分的缺陷并希望加以改进。积分的缺陷1：也可写成，积分符号的右下角就是积分区间，也就是积分范围，此范围不可以是一般的实数点集，只能是区间。缺陷2：按照黎曼积分的定义（工科高数教材）：（1）分割区间成为若干小区间，（2）任意取小区间的点，求值，进而得到第个小矩形的面积（3）做和，也即全体小矩形面积之和（4），这一步是对前三步工作的无穷细化。这种方法的核心思想是微小范围内以直代曲，例如，第个小矩形的面积应是，但这里却以加以代替，依据是在很小区间上，函数的变化不大，可以近似看成常数。这就要求函数在区间上“基本连续”，否则，无论在多小的区间上，函数取值变化很大，

3、从而会因为第（2）步的不同而使得极限不存在，从而产生不可积的现象。这就大大减少了能够在区间上可积的函数的数量。例如：函数在区间上就不可积分 为了克服黎曼积分定义的这种局限性，建立起一种全新的积分勒贝格积分将区间分割成若干小集合（注意：不是小区间！），分割标准是：在每个小集合上的“变动不大”。，而且小集合两两互斥。我们观察第个小集合，由于其上变化很小，故可以某常数（）替代，作为小集合的“高”，新的问题随之产生，小集合的“底”也就是其“长度”怎样求？这正是点集测度的由来。如果一般点集有了测度（长度），那么黎曼积分的缺陷1也随之解决。 为此，有必要学习一下一维直线上实数点集合的有关内容。2集合论初步

4、2.1对等的概念（不限于实数集合）若集合中的每个元素都可在集合中找到唯一的对应元素，反之也成立，则称与对等，记做对等表明两个集合所含元素的个数相等2.2基数2.3集合的分类有限集有限集的任意真子集都不能与对等无限集如果集合存在与自己对等的真子集，则称集合为无限集无限集可以分为：（1）可列集（无限可数集），的基数是（2）不可列集（无限不可数集）2.4命题1：内的有理数可列证明：任取，则,互质，且唯一。则令，则，这是因为：取不同的数对、，反证法可得与不同；取不同的与，反证法可得数对、不同。因此结合，有是自然数，可从小至大排列：，因此可列，从而可列。 命题2：、 命题3：内的全体有理数排列不构成长度

5、命题4：区间是一个不可列集，记，称为连续基数。证明：仅证不可列（反证法）假设可列，则具体的等等现取数，其中，等等一方面，另一方面，由的表达式可知，产生矛盾。2.5集合(序)列的极限（集）（1）若，则有极限集（2）若，则有极限集（3）对一般的集列，有上下极限集=证明：仅证(1)取， 则，即，所以反之，取，则，所以，即，从而有无限个包含元素，即综上述，=证完。2.6三分集（介绍，了解）去掉中间三分之一开区间，去掉中间三分之一开区间，去掉中间三分之一开区间，无限次进行得到的集合。基数是，长度为，这表明：个点既可以构成长度也可以不构成长度。2.7开集与闭集（1）由内点构成的集合叫开集（）开集的构造：开

6、集可表达为至多可列个互不相交的开区间之并；、各种区间、都是开集；有限个开集的交仍是开集；，任意个开集的并仍是开集。（2）包含自己的聚点的集合叫闭集（）；有限个闭集的并仍是闭集；，任意个闭集的交仍是闭集。2.8集系的定义，幂集2.9代数的定义（不限于实数集合）若是中一些子集组成的集类，且满足：（1）；（2）若，则；（3）若，则，则称为上的一个代数；并称二元组为可测空间。2.10命题1：任给一集，则=与不对等证明：反证之。若，则可记=，即可将中的元素用的元素来标记（使与的元素一一对应）。对于，只有下列两种情形之一发生：或。令=，有，因此可知，满足若，则，即，矛盾；若，则，即，矛盾。证完命题2：最大

7、的基数不存在。 命题3：连续统假设 1.4测度论初步1点集的Lebesgue外测度（1902年） 设，称=为点集的Lebesgue外测度。2外测度的性质（1）若点集至多可列，则（2）（3） 非负性，（4） 单调性（5）半加性：人们已经证明，存在集列，两两互斥，但有（这类集合不好！）这意味着，作为一般点集的“长度”，仍然不够完善。事实上，勒贝格以前，等人都曾定义过长度（容度），但均有重大缺陷，勒贝格外测度是重大进步。既然存在一些“不好”的集合，人们就想办法找出所有“好的”集合，以迎合勒贝格外测度。当然首先要制定评价“好坏”的标准。3Caratheodory条件（1918年）：设，若对于任意的点集

8、，有，则称为(勒贝格）可测集，为试验集。若为可测集，其外测度称为测度，记为。4全体可测集组成的集系记作，则是一个代数可以证明：（）（）若，则（）若，则（此证明需分几步，稍复杂，略去）5称二元组为（勒贝格）可测空间。在此空间上，勒贝格测度满足：（）非负性：，（）可列可加性：（）下连续性：若，且，则上连续性：若，且，又存在，则（）存在不满足卡氏条件（即不可测）的点集6设是中一些子集组成的集类，则存在唯一的的代数，它包含而且被包含的任一代数所包含。称为由生成的代数，或包含的最小代数。 Borel集（1898年）设，则集类：是的子集类，则域称为域（代数），其元素称为Borel集。Borel集是可测集，

9、从而（真包含）由于结构较之于简单，且对于一般研究足够用，所以（，）取代，作为（勒贝格）可测空间。非Borel可测集，均为零测集。10我们注意到, 域的构造过程与勒贝格测度无关,因此我们说：可以先构造出可测空间（，），而是其上满足非负性和可列可加性的集函数（即是测度），从而就产生了测度空间（，）11在抽象集合（假定全集是）上,也可以类似构造测度空间：（）依据具体问题，选择上的适当代数当然，上的代数是很多很多的有时为了某个问题的研究，总会假定某个可测空间（，）已经存在（）在可测空间（，）上，适当定义一个满足非负性和可列可加性的集函数，就构成了一个抽象的测度空间（，），一般测度理论由此展开。第二章

10、概率空间与随机变量1.概率空间（，）的产生（）在给定条件之下，试验所产生的结果不能或不必再分，这些结果叫做基本事件，其全体构成样本空间（）至于在样本空间上构造满足要求的代数，一般视情况而定。例如：（）若为至多可列点集，则取（）若，取或，等等。今后总假定已经给出（尽管没能够真正找出来），中的元素称为事件。（）对于可测空间，定义一个非负集函数，以度量中事件发生可能性大小，它满足：非负性：，对于任何事件；规范性：；可列可加性：若，且两两不交，则称为事件A的概率，称为概率空间2.随机变量设是一可测空间，若函数使得对任意，有则称函数是关于（或上）的可测函数。在概率空间上定义的可测函数称为随机变量（）命题

11、1：，有F，有F证明：1）：，有2）：，有=命题2：，F，有F命题3：B,有F，有F3.分布函数设是定义在上的一个随机变量，令，称为随机变量的分布函数4.定义设是概率空间上的一个随机变量，对Borel集B，定义把称为的分布5.两个重要的离散型分布（1）二项分布（实际背景）若的分布为称随机变量服从参数为的二项分布注：表示第次试验中事件发生，表示第次试验中事件未发生，另，设，则，（2）泊松分布（实际背景）设，若的分布为称随机变量服从参数为的泊松分布6.三个重要的连续型分布（1）均匀分布（实际背景）如果连续型随机变量的分布密度为则称在区间上服从均匀分布，记为（2）指数分布（实际背景）如果连续型随机变

12、量的分布密度为则称服从参数为的指数分布注：指数分布具有无记忆性，即若服从指数分布，则对于任意，有反过来，如果一个非负连续型随机变量的分布函数具有无记忆性，则它一定是指数分布（3）正态分布（实际背景）如果连续型随机变量的分布密度为，式中，则称服从参数为的正态分布或高斯分布，记为7.随机变量的数字特征 （1）离散型随机变量数字特征设离散型随机变量的分布率为，则称为随机变量数学期望或均值令称为随机变量的方差令，称为随机变量的阶矩令称为函数的数学期望（2）连续型随机变量数字特征设连续型随机变量的分布密度为，则称为随机变量数学期望或均值令称为随机变量的方差令称为随机变量的阶矩令称为函数的数学期望注：数学

13、期望反映了随机变量取值的平均水平；方差和标准方差体现了随机变量与期望值的偏离程度。8.随机向量及其联合分布（1）n维随机变量及其数字特征设，如果其中每一个分量是一维的、取值为实数的随机变量，则称为n维随机向量。（2）分布函数设为n维随机向量，则的联合概率分布定义为其中,又简称为的分布函数设x为上非负可积函数，使得对任意，有则称为连续型随机变量，为的联合概率密度设为随机变量的概率密度，那么其中任意分量组都存在概率密度，把它们称为的边缘密度（3）随机变量的协方差定义为随机变量的相关系数定义为随机变量的数学期望定义为随机变量的协方差矩阵定义为其中，9随机事件独立和相关的定义（1）定义随机变量称为是相

14、互独立的，如果有B即事件与是互相独立的（2）定义如果随机变量，对于任意,满足B则称随机变量是相互独立的，即事件是相互独立的（3）相互独立的随机变量的性质定理如果相互独立且它们的数学期望存在，则对于任何实函数，有10条件数学期望（1）离散型随机变量的条件数学期望设为离散型随机变量，对一切使成立的，给定时，随机变量的条件分布函数定义为设随机变量可能的取值为，离散型条件数学期望定义为（2）连续型随机变量的条件数学期望设为连续型随机变量，对一切使成立的，给定时，随机变量的条件概率密度定义为给定时，随机变量的条件分布函数定义为连续型条件数学期望定义为（3）表示随即变量的函数，当时，取值则有证明：（只对，

15、为离散型）=，证完思考题：设为取非负整值的随即变量，证明：1矩母函数和特征函数（1）矩母函数设是上实随机变量，的矩母函数定义为：对于任意，（2）特征函数设是上实随机变量，的特征函数定义为：对于任意，式中，i是虚数单位，（3）特征函数性质（），对任意；（）若互相独立，则，对任意（4）常见分布的特征函数两点分布 二项分布 泊松分布 均匀分布 指数分布 标准正态分布注：随机变量，分布函数，特征函数，矩母函数之间相互惟一决定（惟一性定理）。（5）特征函数定理是n个互相独立的实值随机变量，其特征函数分别为。设为的特征函数，则有 97第三章 随机过程3.1 随机过程的基本概念1、随机过程定义3-1设是给定

16、的概率空间，为一指标集，对于任意，都存在定义在上，取值于的随机变量与它相对应，则称依赖于的一族随机变量为随机过程，简记，或。注：随机过程是时间参数和样本点的二元函数，对于给定的时间是是概率空间上的随机变量；对于给定样本点是定义在上的实函数，此时称它为随机过程对应于的一个样本函数，也成为样本轨道或实现。称为随机过程的相空间，也成为状态空间，通常用表示处于状态。2、随机过程分类：随机过程按照时间和状态是连续还是离散可以分为四类：连续型随机过程、离散型随机过程、连续随机序列、离散随机序列。3、有穷维分布函数定义3-2设随机过程，在任意个时刻的取值构成维随机向量，其维联合分布函数为： 其维联合密度函数

17、记为。我们称为随机过程的有穷维分布函数。3.2 随机过程的数字特征1、数学期望对于任何一个时间，随机过程的数学期望定义为 是时间的函数。2、方差与矩随机过程的二阶中心矩称为随机过程的方差。随机过程的二阶原点矩定义为 注：是时间的函数，它描述了随机过程的诸样本对于其数学期望的偏移程度。3、协方差函数和自相关函数随机过程对于任意，其协方差函数定义为当时，协方差函数就是方差。随机过程的自相关函数（相关函数）定义为当时，自相关函数就是二阶原点矩。4、实二阶矩过程定义3-3设为实随机过程，若对于任意的，其均方函数，则称为实二阶矩过程。 注：由柯西-施瓦兹（Cauchy-Schwarz）不等式：，可知，二

18、阶矩过程自相关函数一定存在。5、例3-1判断随机过程在下列两种情况下是否为二阶矩过程。 （1）为常数； （2）具有概率密度解：（1）因为 所以是二阶矩过程。 （2）因为 所以不时二阶矩过程。3.3 离散时间和离散型随机过程当时间参数取离散值时，这种随机过程称为离散随机过程 。这时，是一串随机变量所构成的序列，即随机序列。由于随机序列的指标表示时间，所以常称随机序列为时间序列。1、例3-2设一维随机游动过程，其中(即独立同分布随机序列，且。求。解：根据期望、方差的定义和性质，有而且则2、例3-3考虑随机点在时间区间内发生的次数，若随机点在内发生的次数是偶数（视0为偶数），则令；若为奇数，且令；且

19、。又设在内有个随机点发生的概率与无关，且（即参数为的Poisson分布）其中由此计算可得于是有故得通过类似的计算，可以得到对于所以相关函数为同理可以计算当时的情况。综合上面的结论有因此的方差为3.4 正态随机过程1、正态随机过程如果随机过程的任意n维概率分布都是正态分布，则称它为正态随机过程或高斯随机过程，简称正态过程或高斯过程。正态随机过程的n维概率密度为其中，是n维向量，是阶的矩阵，逆矩阵，它的第i行j列的元素为其中，为相关系数。 注：由上式可见，正态随机过程的n维概率分布仅取决于它的一、二阶矩函数，即只取决于它的数学期望、方差和相关系数。2、正态随机过程性质如果对正态过程在n个不同时刻采

20、样，所得到的一组随机变量两两互不相关，即则这些随机变量也是相互独立的。在的条件下，n维正态概率密度等于n个一维正态概率密度的连乘积。所以对于一个正态过程来说，不相关与独立是等价的。3.5 Poisson过程1、独立增量过程定义3-4设是一随机过程，若对任意正整数n及，随机变量的增量是相互独立的，则称是独立增量过程。 注：设是独立增量过程，若对任意的，增量的概率分布只依赖于而与无关，则称随机过程为齐次的或时齐的。 若只要时间间隔相同，那么增量服从的分布也相同，也称此过程具有平稳性。 具有独立增量和平稳增量的过程称为独立平稳增量过程。常见的独立平稳增量过程有Poisson过程和Wiener（维纳）

21、过程。2、计数过程定义3-5如果用表示内随机事件发生的总数，则随机过程称为一个计数过程。因此，计数过程满足（1）；（2）是非负整数值；（3）对于任意两个时刻，有；（4）对于任意两个时刻，等于时间区间中发生的事件个数。如果计数过程在不相交时间区间中发生的事件个数是独立的，则称计数过程有独立增量。3、Poisson过程的两个定义定义3-6设随机过程是一个计数过程，如果满足（1）；（2）是独立增量过程；（3）对于任意，增量具有参数的Poisson分布，即 则称为具有参数的齐次Poisson过程。 注：Poisson过程有平稳增量且，并称为此过程的速率或强度，即单位时间内发生的事件的平均个数。定义3-

22、7设随机过程是一个计数过程，参数为，如果满足（1）；（2）过程有平稳的独立增量；（3）；（4）则称为具有参数的齐次Poisson过程。其中表示当时，对h的高阶无穷小。定理3-1 上述定义3-6与定义3-7是等价的。4、例题例3-4顾客依Poisson过程到达某汽车站，其速率人/小时。试求：（1）的均值、方差、自相关函数和协方差函数；（2）在第三分钟到第五分钟之间到达汽车站的顾客人数的概率分布。解：（1）根据题意，强调，故的均值、方差、自相关函数和协方差函数分别为第三分钟到第五分钟之间到达的人数为，所以其分布率为例3-5顾客依Poisson过程到达到达某商店，速率人/小时，已知商店上午9：00开

23、门，求到9：30时仅到一位顾客，而到11：30时总计已达到5五位顾客的概率。解：3.6 平稳随机过程1、严格平稳随机过程定义3-8实随机过程,若对任意正整数n及任意与任意，有或即随机过程的有限分布在时间的平移下保持不变，则称为严格平稳随机过程。2、严格平稳随机过程的一些特性如果是严平稳随机过程，则它的一维概率密度与时间无关，令，则有 由此可求得随机过程的均值、矩和方差皆与时间无关的常数。严平稳随机过程的二维概率密度只与的时间间隔有关，而与时间起点无关，令，则有这表明二维概率密度仅依赖于时间差，而与时刻无关。由此可得，随机变量的自相关函数、协方差函数只是单变量的函数。3、宽平稳随机过程定义3-9

24、若实随机过程满足：对于任意有（1）；（2）；（3）则称为宽平稳随机过程。 注：由于宽平稳随机过程的定义只涉及与一、二维概率密度有关的数字特征，所以 一个严平稳随机过程只要二阶原点矩有界，则它必定是宽平稳的。但是反之不一定成立，但正态随机过程。因为正态随机过程的概率密度是由均值和自相关函数完全确定的，所以如果均值和自相关函数不随时间平移而变化，则概率密度也不随时间的平移而变化，于是一个宽平稳的正态过程必定也是严平稳的。4、平稳随机过程自相关函数的性质性质3-1设为平稳过程的自相关函数，则（1）平稳过程的自相关函数在上是非负值，即；（2）自相关函数是变量的偶函数，；（3）自相关函数在时取到最大值，

25、；（4）如果平稳过程满足条件，则称它为周期平稳过程，其中T为过程的周期；周期平稳过程的自相关函数必为周期函数，并且它的周期与过程的周期相同；（5）如果平稳过程含有一个周期分量，则也含有一个同周期的周期分量；（6）（非负定性）对于任意有限个和任意的实数，有（7）在上连续的充分必要条件为其自相关函数于处连续。5、平稳随机过程的相关系数令称为随机过程的自相关系数，简称相关系数。相关系数表现了随机过程在两个不同时刻随机变量之间的线性相关程度，它满足及。第四章 Poisson过程4.1 齐次Poisson过程到达时间间隔于等待时间的分布1、定理4-1强度为的齐次Poisson过程的到达时间间隔序列是独立

26、同分布的随机变量序列，且是具有相同均值的指数分布。证：事件发生当且仅当Poisson过程在区间内没有事件发生，即事件等价于，所以有因此，具有均值为的指数分布，再求已知的条件下，的分布。上式表明与相互独立，而且也是一个具有均值为的指数分布的随机变量，重复同样的推导可以证明定理4-1的结论。2、定理4-2等待时间服从参数为n，的分布，即分布密度为证：因为第n个事件在时刻t或之前发生当且仅当到时间t已发生的事件数目至少是n，即事件是等价的，因此上式两边对t求导得的分布密度为注：定理4-2又给出了定义Poisson过程的另一种方法。从一列均值为的独立同分布的指数随机变量序列出发，定义第n个事件发生的时

27、刻为，则这样就定义了一个计数过程，且所得计数过程就是参数为的Poisson过程。3、定理4-3条件随机变量，即在区间内为均匀分布。证：对的分布函数为这说明在上服从均匀分布。4、顺序统计量设是n个随机变量，如果是中第k个最小值，则称是对应与的顺序统计量。5、定理4-4已知在的条件下，n个事件来到的时刻的联合密度与n个独立的上均匀分布随机变量的顺序统计量的联合密度相同，即条件随机向量具有联合分布证：设，则把分成n+1个小部分，于是有所以对给定的n维条件密度函数是得证。6、定理4-5和是相互独立的随机变量，分别服从均值为和的Poisson分布，其中证：考虑中发生的任一事件，如果它在s时刻发生，则它是

28、1型的概率为。由定理4-4，时刻s服从上的均匀分布，所以而且与其他事件归为什么类型相互独立。因此正好是次Bernoulli试验中，1型事件出现n次，2型事件出现m次的概率。故有所以有由此证明了定理4-5的结论成立。7、例题例4-1设乘客按参数的Poisson过程来到火车站，若火车在时刻启程，计算在时间内到达的乘客的等待时间总和的期望。解：设按照Poisson过程到达的第一位乘客的到达时间为，因此其等待时间为，而第i位乘客的等待时间为，在时间内共来了位乘客，所以这些乘客总的等待时间为要求的就是上式的数学期望。为此先求条件期望令为互相独立的上的均匀分布随机变量，由定理4-4有因此从而容易看出，旅客

29、平均总等待时间和成正比，比例因子的大小决定于Poisson过程的强度。例4-2（无穷个服务员Poisson排队服务系统）设顾客到达服务台的过程式强度为的Poisson过程，每个顾客到达后的服务时间是独立同分布的随机变量，其分布函数为。服务员的人数是无穷多，即表示顾客到达服务台后立即接受服务而无需等待。为了研究这一服务系统的运转效率，需要管理者知道时间T已经服务完的顾客数与未服务完的顾客数的联合分布。设表示到时刻t已经服务完的顾客数，表示到时刻t未服务完的顾客数。假设顾客与时刻s到达，那么他到t时刻已经服务完毕就意味着他的服务时间，故其相应的概率为。由上面的定义有根据定理4-5，可得到和的联合分

30、布及独立性,而且（已经服务完毕的顾客数）的分布是均值为的Poisson分布。（在时刻t未服务完毕的顾客数）的分布是均值为 的Poisson分布。4.2 非齐次Poisson过程和复合Poisson过程1、非齐次Poisson过程定义4-1计数过程称为具有强度的非平稳或非齐次Poisson过程，如果（1）(即仍从时刻0开始计数)；（2）具有独立增量；（3）；（4）。其中，表示当时，对h的高阶无穷小。2、定理4-6 若是强度为的非齐次Poisson过程，令则其中，。即具有均值为的Poisson分布。3、复合Poisson过程设是独立同分布的随机变量序列，是强度为的Poisson过程，且与相互独立。

31、令则称随机过程为复合Poisson过程 。4、定理4-7设是一个复合Poisson过程，则对于任意，（1）是一个独立增量过程；（2）的特征函数为其中，是随机变量的特征函数；若，则有。5、例题例4-5（保险公司保险金储备问题）设某保险公司人寿保险者在时刻时死亡，其中是随机变量（因为投保者何时死亡是一随机现象），在时刻死亡者的家属持保险单可领取保险金。设是一独立同分布的随机变量序列，令表示在内死亡的人数，是强度为的Poisson过程，则保险公司在时间内应准备支付的保险金总金额为显然为一复合Poisson过程。若服从指数分布则由前面的定理4-7知，在时间内保险公司平均支付的赔偿费为又因为，所以方差（

32、或支付赔偿费的偏差）为因为指数分布随机变量的特征函数为所以由定理4-7可得的特征函数为例4-6(商店的营业额问题)设每天进入某商店的顾客数为一Poisson过程，进入该商店的第n位客人所花的钱为元。设是一独立同分布的随机变量序列，且与互相独立，则在内该商店的营业额可表示为显然为一复合Poisson 过程。第五章 离散参数Markov链5.1 Markov链的基本概念1、Markov链和转移概率矩阵定义5-1考虑只取有限个或可数个值的随机过程。把过程所取可能值得全体称为它的状态空间，记之为E，通常假设。若就说“过程在时刻n处于状态i”，假设每当过程处于状态i，则在下一个时刻将处于状态j的概率是固

33、定的，即对任意时刻n若对任意状态有这样的随机过程称为Markov链。称矩阵是一步转移概率矩阵，简称为转移矩阵。由的定义可知，这是一种带有平稳转移概率的Markov链，也称作时间齐次Markov链或简称时齐次Markov链。2、例题例5-1（直线上的随机游动）考虑在直线上整数点上运动的粒子，当它处于位置j时，向右转移到j+1的概率为p，而向左移动到j-1的概率为q=p-1，又设时刻0时粒子处在原点，即。于是粒子在时刻n所处的位置就是一个Markov链，且具有转移概率当时，称为简单对称随机游动。例5-6（排队模型）考虑顾客到服务台排队等候服务，在每个服务周期中只要服务台前有顾客在等待，就要对排队在

34、队前的一位顾客提供服务，若服务台前无顾客时就不实施服务。设在第n个服务周期中到达的顾客数为一随机变量，且序列是独立同分布随机序列，即且设为服务周期n开始时服务台前顾客数，则有此时为一Markov链，其转移概率矩阵为。例5-8（生灭链）观察某种生物群体，以表示在时刻n群体的数目，设为i个数量单位，如在时刻n+1增生到i+1个数量单位的概率为，减灭到i-1个数量单位的概率为，保持不变的概率为，则为齐次马尔可夫链，其转移概率为,称此马尔可夫链为生灭链。3、定理5-1设随机过程满足：（1）其中，且取值在E上；（2）为独立同分布随机变量，且与也相互独立，则是Markov链，而且其一步转移概率为，对于任意

35、，证：设，由上面(1)、(2)可知，与互相独立，所以有同理即是Markov链，由时间齐次性，其一步转移概率为于是定理5-1得证。4、定理5-2时齐次Markov链完全由其初始状态的概率分布和其转移概率矩阵所确定。证：对于任意，计算有限维联合分布，由概率的乘法公式及马氏性可知定理5-2得证。5、例题例5-9（二项过程）设在每次试验中，事件A发生的概率为，独立地重复进行这项试验，以表示到第n次为止事件A发生的次数，则是一个独立平稳增量过程。实际上，由二项分布知识可知，服从二项分布，故称此为二项过程。若令增量易见是第n次试验中事件A发生的次数，其概率为且即为一个独立平稳增量过程，当然是一齐次Mark

36、ov过程。5.2 Chapman-Kolmogorov方程1、定理5-3（Chapman-Kolmogorov（切普曼-柯尔莫哥洛夫）方程，C-K方程）对任何整数，有或证：这里只需要证明成立，再依次递推即可证明定理5-3。因为根据矩阵的乘法规则，定理得证。 注：定义m步转移概率 表示给定时刻n时，过程处于状态i，间隔m步之后过程在时刻n+m转移到了状态j的条件概率。还约定。以表示第i行、第j列的元素矩阵，称为Markov链的n步转移概率矩阵。2、例题（两状态Markov链）例5-10在重复独立贝努里（Bernoulli）试验中，每次试验有两种状态，设表示第n次试验中出现的结果，且有其中，则显然

37、是独立同分布随机序列，从而它是Markov链。于是经过计算有所以，一步转移概率矩阵为而且有5.3 Markov链的状态分类1、互通定义5-2称自状态i可达状态j，并记，如果存在，使，称状态i与j互通（相同，互达），并记为，如且。2、定理5-4可达关系与互通关系都具有传递性，即如果且，则。证：因为有，所以存在，使由C-K方程这里，所以成立。若将可达关系得证明正向进行，再反向进行，就可得出互通关系的传递性，证毕。3、周期定义5-3设为齐次Markov链，其状态空间为E。对于任意，如果集合非空，则称该集合的最大公约数为状态i的周期，若就称状态i为有周期的，且周期为d；若就称状态i为非周期的。4、定理

38、5-5如果Markov链状态i的周期为d，则存在正整数M，对一切，有。证：设，令则故存在正整数N，使得，因此故存在正整数M，对一切，由初等数论有由于，因而当时定理5-5得证。5、首达时间定义5-4设状态，首达时间定义为表示Markov链从状态i出发，首次到达状态j的时间，称为自i到j的首达时间。表示从i出发，首次回到i的时间。6、首达概率设状态，首达概率定义为而且令表示过程从状态i出发经n步首次到达状态j的概率，称为首达概率。再令它表示过程从状态i出发经有限步到达状态j的概率，即从状态i出发经有限步终于到达状态j的概率。7、常返定义5-6称状态i为常返的，如果；称状态i为非常返的（或称为瞬时的

39、），如果。定义5-7设状态i为常返状态（即），如果，则称常返态i为正常返的；如果，则称常返态i为零常返的。非周期的正常返态称为遍历状态。 注：对于常返态i，由定义知，即构成一概率分布，此分布的数学期望为，表示由i出发再返回到i的平均返回时间。8、定理5-6对任意状态及，有证：由转移概率的定义得定理5-6讨论了首达概率与转移概率之间的关系。C-K方程即上式是马氏链的关键性公式，它们可以把分解成较低步转移概率之和的形式。9、定理5-7对任意状态，的充分条件是。证：充分性.如果，则存在，使得，由定理5-6有从而中至少有一个为正，所以必要性如果，由，至少有一个，使得。由定理5-6有即说明成立，证毕。1

40、0、定理5-8状态i常返的充分条件为如果状态i为非常返，当且仅当推论5-1 若状态j为非常返的，则对于任意，有推论5-2若状态j为常返态，则（1）当，有（2）当时（即不可达时），有11、定理5-9对任意状态，有12、定理5-10状态i常返当且仅当；如果i非常返，则。13、定理5-11设i常返且有周期d，则其中为i的平均返回时间。当时，。推论5-3设i是常返状态，则i是零常返状态i是遍历状态14、定理5-12如果（即互通），则i与j同为常返或非常返，如果为常返，则它们同为正常返或零常返；i与j有同样的周期。5.4 闭集与状态空间的分解1、闭集定义5-8状态空间E的子集C称为（随机）闭集，如果对任

41、意及都有。若C的状态是互通的，闭集C称为不可约的。马氏链称为不可约的，如果其状态空间不可约。2、相关引理引理5-1C是闭集的充要条件是对任意的，都有引理5-2设马氏链的状态空间为E，已知状态i常返，若，则状态必常返，且。证明： 引理5-3Markov链具有如下性质：（1） Markov链所有常返态构成一闭集；（2） 不可约Markov链或者全是常返态，或者全是非常返态。3、定理5-13（分解定理）任一马氏链的状态空间E，可唯一的分解成有限个或可列个互不相交的子集之和，使得（1） 每一是常返态组成的不可约闭集；（2） 中的状态同类，或全是正常返，或全是零常返，它们有相同的周期且；（3） D由全体

42、非常返状态组成，自中的状态不能到达D中的状态。注：分解定理中的集D不一定是闭集，但如果E为有限集，D一定是非闭集。因此，如果最初质点是自某一非常返状态出发，则它可能就一直在D中运动，也可能在某一时刻离开D转移到某一常返闭集中。一旦质点进入后，它将永远在此中运动。4、例题例5-14（平面上（或二维）的对称随机游动）设质点的位置是平面上的整数格点，每个位置有4 个相邻的位置，质点分别以1/4的概率转移到这4个相邻位置中的每一个上。讨论平面上对称随机游动的常返性。解：可以看出，平面上对称随机游动是周期为2的不可约马氏链。可以计算质点经过2n步仍回到原位置的概率。这时质点必须与横坐标平行地向右移动k步

43、，向左也移动k步；与纵坐标平行地向上移动步，向下也移动步，而且，所以因此有于是，平面上的对称随机游动也是常返的。5、随机矩阵定义5-9称矩阵为随机矩阵，如果元素非负且对每个有显然Markov链的一步转移矩阵和n步转移矩阵都为随机矩阵。6、定理5-14引理5-4设为闭集，又是C上所得的（即与C相应的）m步转移子矩阵，则G是随机矩阵。定理5-14考虑周期为d的不可约马氏链，其状态空间C可唯一地分解为d个互不相交的子集之和，即，其中当时，而且使得自中任一状态出发，经一步转移必进入中（其中）7、例题例题5-16设不可约Markov链的状态空间，其转移概率矩阵为试分解此链。解：由于第四行第四列都只有一个

44、非零元素，所以考虑状态4，易知其周期，因此根据定理5-14，有于是有5.5 转移概率的极限状态与平稳分布1、定理5-15定理5-15若j为非常返状态或零常返状态，则对任意，有证明：当j为常返状态时，由推论5-1有且当j为零常返状态时，取，有固定m，令，由推论5-3的结论知，故上式右方第一项趋于0；再令，第二项因为收敛而趋于0，于是有即证明了定理5-15成立。=（二次极限）推论5-4有限Markov链至少有一个常返态，但有限Markov链没有零常返状态。推论5-5不可约有限Markov链只有正常返状态。推论5-6若Markov链有一零常返状态，则必有无限多个零常返状态。2、定理5-16若j为正常

45、返状态，周期为d，则对任意及，有式中为状态j的平均返回时间。3、遍历链定义5-10若对于一切，极限存在，则称该Markov链具有遍历性。此链又称为遍历链。4、定理5-17定理5-17若j是非周期，正常返状态（即遍历态），则其中为状态j的平均返回时间。推论5-7（1）对于不可约Markov链，若它的状态是非周期、正常返的，则它是遍历链，而且有（2）对于不可约Markov链，若它的状态有限且非周期的，则它是遍历链，而且有。5、平稳分布定义5-11设Markov链有转移概率矩阵，若存在一个概率分布，其满足则称为该Markov链的平稳分布。6、定理5-18定理5-18不可约非周期Markov链是正常返的充要条件是它存在平稳分布，且此时平稳分布就是极限分布。推论5-8（1） 对于不可约非周期Markov链，若所有状态是正常返（即链的遍历的），则