第一章-马氏过程_泊松过程_讲稿

1、第一章 随机过程离散时间随机过程连续型随机过程à采样 à称为随机变量序列也记作或，简记为或。 称为离散时间随机过程。在时刻的取值是一个随机变量，其概率分布就是离散时间随机过程的一维分布。在时刻的取值的联合分布，就是离散时间随机过程的二维分布。以此类推，在个时刻的取值的联合分布，就是离散时间随机过程的维分布。若经过某时间平移后，其任意维分布保持不变：则称该离散时间随机过程为严平稳的。均值 均方值 相关函数 宽平稳的定义 遍历性 （对应连续随机过程的时间平均 ）时间均值 时间相关函数定义： 若宽平稳随机序列的时间均值依概率1等于其统计均值，时间相关函数依概率1等于其统计相关函数

2、 则称其为宽遍历的。宽平稳随机序列相关函数的性质：与连续随机过程的类似，自己看书。马尔可夫过程的概念当随机过程在时刻所处的状态为已知的条件下，过程在时刻所处的状态，与过程在时刻以前所处的状态无关，而仅与过程在时刻的状态有关，则称该过程为马尔可夫过程。这种特性称为随机过程的“无后效性”或马尔可夫性。根据时间和状态的取值，马尔可夫过程分为四类：时间集状态集分类连续连续马尔可夫过程连续离散可列马尔可夫过程离散连续马尔可夫序列离散离散马尔可夫链状态可列的马尔可夫链称为可列马尔可夫链；状态有限的马尔可夫链称为有限马尔可夫链。规定一随机变量序列，可把此序列看作连续型随机过程à采样à称为

3、随机变量序列也记作或，简记为或。 状态连续定义：若对于任意的，有 （1）写成概率形式即，如果在条件下的条件分布，等于仅在条件下的条件分布，则称此随机变量序列为马尔可夫序列。这一分布函数常称为转移分布。概率论回顾：为在下的条件分布函数。对于连续型随机变量，由（1）式可得 （2）这样，有 （3）即，的联合概率密度可由初始概率密度和转移概率密度来确定。相反地，若（3）式对所有皆成立，则序列是马尔可夫序列，这是因为1. 6马尔可夫链1.6.1 马尔可夫链的基本概念1马尔可夫链的定义 时间离散、状态离散定义34：设为一随机变量序列，其状态空间，若对于任意的，满足则称该序列为马尔可夫链（简称马氏链）。含义

4、：（1） 此序列可看作是对随机过程的采样，所可能取的状态为之一，而且只在时刻发生状态转移。（2） 过程在时刻变成状态的概率，只与时刻的状态有关，而与以前时刻的状态无关。2马尔可夫链的转移概率及性质对于马氏链，描述它的概率性质最重要的是它在时刻的转移概率。通常，我们用表示在时刻出现的条件下, 时刻出现的条件概率。一般而言，不仅与有关，而且与有关。若与无关，则称该马氏链为齐次马氏链，此时可表示为。下面仅对齐次马氏链进行讨论。1) 一步转移概率在齐次条件下，时，有 （马氏链由状态经一步转移到的概率）此即一步转移概率。由所有一步转移概率构成的矩阵 称为一步转移概率矩阵，简称转移概率矩阵。这一矩阵给出了

5、随机变量序列状态转移的概率特性。转移概率矩阵的性质：（1） <= 由于是条件概率，所以由概率的性质可知上式成立。（2） <= 注意：是必然事件S。对必然事件S，有。只有两两互不相交事件才有。易知表明：马氏链时从状态出发，而下一步必然到达中状态之一。对应于转移概率矩阵，可知转移概率矩阵的每一行的元素之和为1。2) 步转移概率 之前给出了时刻的转移概率：在齐次条件下，时，可得到步转移概率表示马氏链由状态经过步转移到的概率。由所有步转移概率可构成步转移概率矩阵步转移概率类似于一步转移概率具有下列性质：（1）； （2） 证明类似于一步转移概率的证明方法。为了数学处理便利，通常规定 3) 切

6、普曼-柯尔莫哥洛夫方程（C-K方程）对于步转移概率，有如下的C-K方程的离散形式表明：由于马氏链的无后效性和齐次性，该链从状态经过步转移到的概率可等效为：先由状态经过步到达中间状态，再由状态经过步到达状态的概率和。证明： 注意：是必然事件若S是必然事件，则有；只有两两互不相交事件才有由概率的乘法定理公式 知 ，可得 证毕。若用概率矩阵表示，有：当时，有： 同理，当时，有：即，任意步转移概率矩阵可由一步转移概率矩阵自乘次来得到。例1-15 在某数字通信系统中多级传输0、1两种数字信号。由于系统中存在干扰，在任一级输入0、1数字信号后，其输出不产生错误的概率为，产生错误的概率为，求两级传输时的概率

7、转移矩阵。解：系统每一级的输入状态和输出状态构成一个两状态的马氏链，满足无后效性和齐次性。其一步转移概率矩阵为于是，两级传输时的概率转移矩阵等效于两步转移概率矩阵为 例1-16 已知明日是否降雨只与今日的天气(是否有雨)有关，而与以往的天气无关。设有雨为状态“1”，而无雨为状态“0”，并且今日有雨而明日有雨的概率为，今日无雨而明日有雨的概率为。试求其一步至四步转移概率矩阵；并求今日有雨而后日（第二日）仍有雨、今日无雨而第四日有雨的概率各为多少？解：由题意可知，本例构成一个两状态的具有无后效性和齐次性的马氏链。其一步转移概率矩阵为二步转移概率矩阵为三步转移概率矩阵为四步转移概率矩阵为今日有雨而第

8、二日仍有雨的概率为 今日无雨而第四日有雨的概率为 例1-17 设每次打靶击中的概率为，每次打靶未击中的概率为，试写出可列多次相互独立的打靶试验的一步转移概率矩阵。解：可列多次独立的打靶试验定义了一个离散时间、离散状态的随机过程（“0”表示未击中；“1”表示击中）其一转移概率为 即与过去或现在的状态均无关，它是一个马氏链。由题意有，所以 一步转移概率矩阵为 4) 初始分布与绝对分布完整描述一个随机过程，需要：该过程的任意有限维概率密度函数。对于马氏链，可证：任意有限维概率密度函数完全由初始分布和转移概率矩阵来描述。定义35设为一马氏链，其状态空间或为有限子集。令，且对任意的均有（1）（2）则称为

9、该马氏链的初始分布，也称初始概率。初始概率是马氏链在初始时间时处于状态的概率。如：等。当时，马氏链处于状态的概率称为绝对分布或绝对概率。定义36设为一马氏链，其状态空间或为有限子集。令，且对任意的均有（1）（2）则称为该马氏链的绝对分布，或称绝对概率。定理3 马氏链的绝对概率由初始分布和相应的转移概率唯一确定。证：设为一马氏链，为状态集，则，对任意时马氏链处于状态的概率为这里，是必然事件 即: 时,绝对概率由初始概率及一步转移概率唯一确定。当时，绝对概率由下式确定：这里，是必然事件即: 绝对概率由初始概率及步转移概率唯一确定。由C-K方程，步转移矩阵可由一步转移矩阵唯一确定，故有推论：马氏链的

10、绝对概率由初始分布及一步转移概率唯一确定。由马氏链的转移概率和初始分布，不仅可以完全确定其绝对分布，也可以完全确定其有限维联合分布。即，对任意给定的，有这里使用了 3转移图（状态转移图与概率转移图）为了能更直观地表现马氏链的状态转移过程及状态转移的概率特性，可以使用转移图来描述。若一步转移概率矩阵为则相应的概率转移图见右。1.6.2马氏链中的状态分类1到达与相通定义37（到达定义）：如果对于状态与（可简写为和）总存在某个，使得，则称自状态经过步可以到达状态，并记为。反之，若对所有的有，则自状态不可以到达状态，则记为。到达具有传递性，即若，则。证：如果，则按定义存在和，使得根据C-K方程有：，即

11、。证毕。例1-18 设一两状态马氏链具有以下转移概率矩阵 讨论其状态的到达特性。解：要讨论这一马氏链两个状态的到达性，可先求出它的步转移概率矩阵。由于对于所有的，故状态“1”不能到达状态“0”；而存在，使得，故状态“0”可以到达状态“1”。定义38（相通定义）：若自状态可达状态，同时自状态也可达状态，则称状态和状态相通，记为。 即若，则。相通具有以下等价关系：（1）若，则； => 自返性（2）若，则； => 对称性（3）若，则。 =>传递性证：（1）由，知，则到达的传递性，即。（2）由定义即得。（3）由，可知，又由到达具有传递性，便有；同理， 由，可知，又由到达具有传递性，便

12、有；所以 。例1-19 自看。2状态的分类定义39 设为一马氏链，对任意两个状态与，基于事件引入随机变量即为从状态出发，首次进入状态的时刻，或称为自到的首达时。上式右边读成“从状态出发，使的最小正值”。若永不取值，就规定。这样，的取值范围为，而且取某个值是随机的，是有概率的。12nP定义40 设为一马氏链，对任一状态与，称 为自状态出发，经过步首次进入状态的概率。显然有从而有的分布律：12nP定义41设为一马氏链，对任一状态与，称为自状态出发迟早要到达状态的概率。显然有 定理4 对任何状态，有证明：因为 证毕。直观意义：马氏链从状态出发经过步转移到状态的概率，就是：从出发经过步首次到达状态，再

13、从状态出发经过步转移又到达状态（其中），这样一些事件的概率之和。这些事件两两互不相交。总结：为从状态出发，首次进入状态的时刻自状态出发，经过步首次进入状态的概率的分布律12nP 自状态出发迟早要到达状态的概率定义：如果，则称状态是常返的。如果，则称状态是非常返的（或称为瞬时的）。如果马氏链的任一状态都是常返的，则称此链为常返马氏链。常返，则从出发，马氏链将以概率1无穷多次返回状态；非常返，则从出发，马氏链无穷多次返回的概率是0，或者说马氏链只能有限次地返回状态。例：如图马氏链 故，状态0是非常返的，状态1是常返的。定理5 的充要条件是。证明：充分性：若，则由其定义，总存在某个，使，所以，这样中

14、至少有一个大于0，所以 。必要性：若，则由，至少有一个使，而，故。 证毕。不难推导出：的充要条件是及。表示自状态出发，在有限步内迟早要返回的概率，是在0与1之间的一个数。定理6 状态是常返（）的充要条件为。证明：充分性：因为令有 两边对从到求和有 这里用了： 于是有 注意到 ，所以在上式中令时有现已知，则上式左边极限为1，于是有 。由常返态的定义知，状态是常返态。必要性：由上面的推导知 若取, 则有 于是有 如果，则在上式中令时有 再令有 由非常返的定义，状态便是非常返的，这与必要性的前提假设“状态是常返（）”的相矛盾，所以必须有 证毕。系：如果状态是非常返的，则必有。 证略。可见：1），状态

15、是常返的（）；2），状态是非常返的（）。对于一个非常返态，在过程中访问它的次数是有限的。在有限状态的马氏链中，至少有一个状态是常返态，否则经过有限时间后过程不再访问0状态，经过有限时间后过程不再访问1状态，依此类推，经过有限时间后，过程不再访问诸状态。常返态又可进一步分为正常返态和零常返态。设是一常返态，则从出发可经过步首次返回，在的条件下的分布律为12nP由数学期望的定义，可得 称为状态的平均返回时间。定义：设是常返态，如果，则称状态是正常返态；如果，则称状态是零常返态。定义：对于状态，若正整数集合非空，则称该集合的最大公约数为状态的周期。若，则称状态是周期的；若，则称状态是非周期的。如果状

16、态是非周期且正常返的，则称状态是遍历的。例如，无限制随机游走马氏链，从某一状态出发，须经过偶数步，质点才能回到状态，此时的最大公约数是，所以其周期。定理7 设为常返状态，有周期，则 。 证略。系：如果是常返态，则（1）零常返当且仅当；（2）遍历当且仅当。归纳以上的讨论，可以得到如下的状态分类判别法：（1） 非常返；（2） 零常返且；（3） 正常返且；（4） 遍历 且。由定义：，称状态是常返的。，称状态是非常返的。下面讨论和相通条件下的特性。引理1 对任意和，若，则存在正数、及正整数、，使对任一正整数，有 （1.6.31）证明：由条件，存在正整数、，使对任一正整数，由C-K方程可得 同理可证另一

17、个关系式。 证毕。定理8 若，则（1）与同为常返或同为非常返；（2）若与常返，则与同为正常返或同为零常返；（3）与或同为非周期的，或同为周期的且有相同的周期。证明：（1）设常返，由定理6可知 由引理1可得而 即是常返状态。由相通关系的对称性，反之亦然。即是常返的，亦常返。由于任一状态不是常返必为非常返的，故对于非常返的情形，亦有同样结果。（2）在式（1.6.31）两边同时令，则有由前面的状态分类判别法知 零常返且； 正常返且；若零常返，上式左边=0，右边也=0，而，必有，从而零常返。若正常返，而，则有从而正常返。反之亦然。由条件，存在正整数、，使由于，因此状态的周期整除。再设是使的任意正整数，

18、由C-K方程得 所以整除，从而整除。由于是使的任意正整数，所以是正整数集的公约数若记状态的周期为，则有 同理可得，从而有 由定义44可知，若，则和都是周期的，且有相同周期；若，则和同为非周期的。3状态空间分解 （提前讲“状态空间分解”）如果两个状态相通，则称此两个状态处于同一类中。按照相通的概念可将状态空间分成一些隔离的类。定义46 设，若从中任一状态出发不能到达外的任一状态，则称为闭集。显然，对一切和有。l 若中仅含有单个状态，则此闭集称为吸收态。它构成了一个最小的闭集。l 而整个空间构成一个最大的闭集。l 除了整个状态空间外，没有别的闭集的马尔可夫链称为不可约的马尔可夫链。此时整个空间的所

19、有状态皆是相通的。闭集内任一状态，不论转移多少步，都不能转移到闭集之外的状态上去，即随着时间的推移，闭集内任一状态只能在闭集内部的状态之间转移。定理10 马尔可夫链的所有常返态构成的集合是一闭集。证：（1）先证如果是常返态，且，则必有。用反证法，如果，那么由于，于是到达后就不能返回，这与是常返态矛盾，故必有；从而。（2）再由定理8可知；当是常返态，且，则必是常返态。（3）由此可见自常返态出发所能达到的状态必定是常返态。换言之，常返态不可能转移到非常返态上去，所以常返态组成的集合是一闭集。 注意：由所有常返态构成的闭集不一定是不可约的。例：如图马氏链状态0：，常返态 （，正常返态）状态1：同样也

20、是常返态。状态2：是非常返态。可见，由所有常返态0和1构成的大闭集是由两个小闭集组成的，不是不可约的。定理11 （分解定理）状态空间必可分解为，其中是全体非常返态组成的集合，是由互不相交的常返态闭集组成。而且 （1）对每一确定的，内任意两状态相通； （2）与（）中的状态之间不相通。证：（1）先将状态空间中的状态按常返和非常返分成两类，非常返态组成集合，常返态组成集合。由定理10知C是一闭集。（2）在中再按相通关系分类：在中任取状态，凡与相通的状态组成集合；组成后，若还有余下的状态，则再从余下状态中任取状态，凡与相通的状态组成；再看是否还有余下状态，如有就继续按上面的方法组成，这样就将分解成闭集

21、之和，由的构造过程可知，它们显然满足（1）和（2）两条件。 证毕。通常称为基本常返闭集。由定理11可知，系统在中运动状况为：若从某一非常返状态出发，则系统可能一直在非常返集中运动，也可能在某时刻进入某个基本常返闭集，而后一直在该闭集中运动；若从某一常返状态出发，则系统就永远在该常返态所在的基本常返闭集中运动。 例1-23 设齐次马氏链的状态空间，其一步转移概率矩阵为试对该空间进行分解。解：根据一步转移概率矩阵，可画出状态转移图由图可知，而当时，所以，。可见状态1为正常返，且周期。含有状态1的常返闭集为。同理，因为，在时，所以，。可见状态6为正常返，且是非周期的。含有状态6的常返闭集为。状态2，

22、6为遍历状态。由于，在时，所以。可见状态4为非常返。故有 4遍历性与平稳分布定义：设齐次马氏链的状态空间为，若对一切，存在不依赖于的极限 则称马氏链具有遍历性。并称为状态的稳态概率（极限分布）。直观意义上，具有遍历性的马尔可夫链，无论从哪个状态出发，当转移步数充分大后，转移到状态的概率都接近，即当足够大时，可用作为的近似值。由于，有，故一个不可约的、非周期的、有限状态的马氏链一定是遍历的马氏链。下面的定理给出了判别马氏链具有遍历性的一个充分条件和求的方法。定理9 对于一有限状态的马氏链，若存在一正整数，使对所有的状态都成立，则此链是遍历性的，且稳态概率是满足以下条件的唯一解 和 。 （证略）说

23、明：（1）第一个条件可以写成： （2）依此，可判断齐次马氏链的遍历性。若马氏链遍历，可求出极限分布，此时的即为平稳分布。这是因为：由定理知，故有可见，该极限概率与时间推移无关，即具有平稳性。换句话说，对于遍历的马氏链，如果经过很多步（即）后达到稳态，稳态概率为，经过任意步后，该稳态概率不变。（3）回忆：为该马氏链的初始分布，也称初始概率；为该马氏链的绝对分布，或称绝对概率。由定义，对于遍历的马氏链有，故 即：不管初始分布如何，随着时间的推移，遍历马氏链的绝对概率趋于一固定值，即稳态概率（极限分布）。结合（2），对于遍历的马氏链，如果经过很多步（即）后达到稳态，绝对概率就等于稳态概率为。平稳性的

24、物理意义是，对任意时刻系统处于同一状态的概率是相同的。（4）回忆： 状态遍历 且因此，一个非周期，不可约的马氏链是常返的，它存在一个平稳分布，即，即平稳分布就是极限分布。遍历的马氏链一定具有平稳性，但平稳的马氏链不一定具有遍历性（不遍历的马氏链也可具有平稳性）。例1-20 设马尔可夫链的状态空间，一步转移概率矩阵试对该链进行分类，并说明其遍历性。解：根据一步转移概率矩阵可画出状态转移图。从图中可知，和都是非周期的正常返状态，和都是非常返状态。虽然有，但对所有有，因此不存在使所有状态有，所以该链不是遍历的。例1-21 设齐次马氏链的状态空间E=1，2，3，其一步转移概率矩阵为 ，问此链是否具有遍

25、历性，其极限分布是否为平稳分布。解：注意到可知其所有二步转移概率对所有均大于0。则由定理7可知此链具有遍历性，且转移概率的极限分布即为满足下述方程的平稳分布且有，解此方程组得 为该链的平稳分布。例1-22 设齐次马氏链的状态空间E=1，2，其一步转移概率矩阵为 ，讨论该链的遍历性及平稳性。解：由于，故，即，故与初始状态i有关，故此链不具有遍历性。或者，不存在使所有状态有，所以该链不是遍历的。但由于，可见平稳分布是存在的，具有无穷多个：；都是其平稳分布。1.7泊松过程定义47设有一随机过程，如果对任意时刻 ，过程的增量、,是相互独立的随机变量，则称为独立增量过程，又称为可加过程。泊松过程是一个纯

26、不连续的马尔可夫过程，也是一个独立增量过程。1.7.1 泊松过程的一般概念及其特性定义48 设随机过程，其状态只取非负整数值，若满足下列三个条件：（1）；（2）为均匀独立增量过程；（3）对任意时刻，相应的随机变量的增量即对于，有 （1.7.1）其中，则称为泊松过程（均匀情况）。概率论回顾：若，则。一、泊松过程的统计量对于给定的时刻和，且，式（1.7.1）可改写成先讨论：随机变量及的数学期望、方差、相关函数等。1数学期望 令，因此，均值为，或 令，可得的数学期望为2. 均方值与方差 仍令，故均方值为而方差为2. 相关函数 若，则时间间隔和互不交叠，由运用独立增量性质可知，随机变量与统计独立，故若

27、，则时间间隔和相重叠，先做变换：这样便可运用独立增量性质，得令，可得的自相关函数为 二、泊松增量定义：由泊松过程在给定的时间间隔内的增量与之比，构成一新的随机过程 称它为泊松增量。分布律：由于易知 ，必有 ，因此 。均值：由，自相关函数： 若，则间隔与是不重叠的，运用独立增量性质可知若，则间隔与相交叠，交叠部分的长度为，故、若，间隔与不重叠时，同上；间隔与相交叠时，交叠部分的长度为，故有于是下图给出作为的函数的曲线图形。当时，此三角形趋近于冲击。三、泊松冲激序列对泊松过程求导，便可得到与时间轴上的随机点相对应的冲击序列，称此离散随机过程为泊松冲激序列 不难看出 其中，为前面定义过的泊松增量过程。 由此可见，泊松冲