随机过程-12渐近性质与平稳分布2课件

稳态概率1.一个常返类，状态有限，非周期的情形：如果j

非常返，则(定理4.13)

如果j

常返，处于状态j的概率pij(n)趋近于一个独立于初始状态i的极限值。这个极限值记为j

，有如下表示：j≈P(Xn=j)(当n很大时)，并且称之为稳态概率。例1：因此，稳态概率为因为1和2形成概率分布，称为平稳分布231是一概率分布，称为平稳分布如果初始分布为(p1,p2,...,pm),则n步之后的状态分布：于是：同理：当n足够大时，状态分布是平稳分布，与初始分布无关。如果初始状态分布为：如果初始状态分布为：如果初始分布为平稳分布下一时刻的状态分布：于是任意时刻的状态分布都是如果初始分布为平稳分布则：任意时刻的状态分布都是对于只有一个常返类，状态有限，非周期的马尔科夫链，状态空间I={1,2,...,m},转移矩阵平稳分布则得到平衡方程组：平衡方程组为：又结合归一化方程就可以解出j

实际上，一旦pij(n)收敛于某一个j，考虑查普曼—科尔莫格洛夫方程：两边对n→∞取极限，得到平衡方程：当j=1时，当j=2时，......例7.5考虑两个状态的马尔科夫链，他们的转移概率是P11=0.8，P12=0.2P21=0.6，P22=0.4平衡方程组为注意上面两个方程是相互依赖的，共同等价于这是一个一般的结论，可以证明平衡方程组内的任何方程都可以利用剩下的式子推导出来。由于j满足归一化方程它是平衡方程组的一个补充，从而能唯一的得到j这个结果和我们前面通过迭代查普曼-科尔莫格洛夫方程组得到的结果一致。稳态收敛定理：考虑一个非周期的，单个常返类的马尔科夫链。状态j和它对应的稳态概率j具有如下性质。(a)对于每个j，我们有：(b)j是下列方程组的唯一解：(c)另外有：例7.6一位健忘的教授有两把雨伞，用于上下班往返于家和学校之间。如果下雨且在她所处位置有一把雨伞可用，那么她就会带上它。如果没有下雨，她总是忘记带雨伞。假设每次她出门下雨的概率是p，且独立于其他时候。请问她在路上被淋湿的稳态概率是多少？解利用马尔科夫链模型建立模型，假设以下状态：状态i：在她所在地有i把雨伞可用，i=0,1,2,转移概率图和转移概率矩阵如下：矩阵第一行表示她出门时门口没有伞,她到达目的地门口必定有两把伞,因此p00=0,p01=0,p02=1第二行表示她出门时门口只有一把伞，以概率p把伞带走，以概率1-p将伞留在原地，这样目的地门口的状态为1或2.这个马尔科夫链具有单个常返类，且是非周期的(假设0<p<1),所以可以利用稳态收敛定理。其平衡方程组为结合归一化方程得到根据稳态收敛定理，教授发现自己所在地方没有雨伞的稳态概率是0，那么教授被淋湿的概率为例7.7一个迷信的教授在一个具有m扇门的环形建筑里面工作，m是奇数。他绝不连续两次打开同一扇门。相反，他以概率p(或1-p)以顺时针(逆时针)方向打开他上一次打开的相邻的门。请问选定一扇门将在未来一天被用到的概率？解利用马尔科夫链模型，有以下m个状态：状态i：教授打开的是第i扇门，i=1,...,m转移概率矩阵为(图中m=5):假设0<p<1,该链是一个非周期的单个常返类。平衡方程组为注意，由于对称性，所有的门都有一样的稳态概率，所以解为注意：如果p=0或者p=1，链也是只有一个常返类，但是是有周期的。这种情况下n步转移概率pij(n)不会收敛于一个极限值，因为门将会按照环形顺序使用。如果m是偶数，链的常返类也是有周期的，因为状态将可以分成两个子集，奇数集和偶数集，并且满足从一个子集到达下一个子集。后面再讨论这种情况。长期频率的解释概率通常被解释为在无限次独立重复试验中事件发生的频率。尽管不具有独立重复试验中的独立性，马尔科夫链的稳态概率也具有这样类似的性质。例如,考虑一个与机器有关的马尔科夫链：每天工作结束时，机器有两种状态：正常工作或出现故障。每次出现故障时，立即花100元维修。如何建立模型，计算长期的每天平均的修理费？有两种解释方法：1.将它看成未来任意一天的修理费的均值，需要先计算故障状态的稳态概率j，然后平均每天的修理费用为0×(1-j)+100×j2.先计算n天内出现故障的天数的期望值，记为vij(n),n天内总的期望花费为100vij(n),平均每天的修理费用为直观上，两种计算方法将会得到一样的结果。稳态概率的期望频率解释对于一个非周期的具有单个常返类的马尔科夫链，状态的稳态概率j满足其中Vij(n)表示从状态i出发，在n次转移中到达状态j的总次数的期望值j表示状态j的长期期望频率。每次j被访问了，则下一步转移到状态k的概率是pjk。所以，我们得到结论，jpjk可以看做从j转移到k的长期转移概率。事实上，对马尔科夫链进行一个概率试验，产生一个马尔科夫链的无限长的轨道，观测这个轨道的到达状态j的长期频率就是j，发生从状态j转移到状态k的长期频率正好是jpjk。特定转移的期望频率特定转移的期望频率考虑一个马尔科夫链的n次转移，该链是从给定初始状态出发的、非周期的，且具有单个常返类。令qjk(n)为在时间n内，从状态j到状态k的转移期望次数，那么，无论初始状态是什么，均有给出j和jpjk的频率解释后，平衡方程组就具有直观意义：访问j的期望频率j等于能达到j的转移的期望频率jpjk的总和，也就是首达概率：由i出发经有限步终于到达j的概率：由i出发经有限步终于回到i的概率：常返：fii=1由i出发再返回到i的平均返回时间：于是，返回频率的期望值：所以于是，而对于一个非周期的具有单个常返类的马尔科夫链，因此定理4.16不可约非周期马尔可夫链是正常返的充要条件是存在平稳分布，且此平稳分布就是极限分布推论1有限状态的不可约非周期马尔可夫链必存在平稳分布。(定理4.13推论1)推论2若不可约马尔可夫链的所有状态是非常返或零常返，则不存在平稳分布。推论3若{j,jI}是马尔可夫链的平稳分布，则例4.16设马尔可夫链的转移概率矩阵为求马尔可夫链的平稳分布及各状态的平均返回时间。解因为马尔可夫链是不可约非周期有限状态的，所以平稳分布存在，设=(1,2,3)，则各状态的平均返回时间为:生灭过程生灭过程：状态空间为{0,1,2,...,m}且转移只发生在相邻状态之间，或者保持状态不变。生灭过程的实际背景的例子非常多，尤其是排队论。下面是概率转移图生灭过程状态转移图转移概率矩阵为：平衡方程组对于一个生灭过程，我们重点考察相邻状态i和i

+1。在马尔科夫链的任何轨迹中，从i到i+1的转移一定会跟着一个从i+1到i的转移(虽然不总是从i+1马上转移到i)，后面这个转移会在另一个i到i+1的转移发生之前。换言之，在马尔科夫链的任何轨迹中，从i到i+1的转移和从i+1到i的转移一定是交替出现的。所以从i到i+1的转移的期望频率ibi一定等于从i+1到i的转移的期望频率i+1

di+1。这就推出了一个局部平衡方程组：利用这个局部方程组，可以得到：再利用归一化方程，很容易算出稳态概率。例8（具有反射壁的随机游动）一个人在直线上行走，每一个时刻，他向右走的概率是b，向左走的概率是1-b。该人开始于位置1,2，...，m中的任一个，但是如果他到达位置0（或m+1），他将自动的反回位置1（或者m）。这等价于，我们假设当该人到达位置1（或m）时，下一步将分别以概率1-b（或b）停留在原处，以概率1-b向右走一步（或以概率1-b向左走一步）。利用马尔科夫链模型，状态为1,2,...,m,转移概率图如下：局部平衡方程组为所以i+1

=ρi其中于是我们用1表示所有的i，有利用归一化方程得到于是得到注意：如果ρ=1,(向左和向右的概率一样),那么对于所有的i，有例7.9(排队论)在通信网络中，信号包到来后，被存放在缓冲器中然后传播。缓冲器的储存容量为m：如果已经有m个信号包存在于缓冲器中，那么新的信号就自动丢失了。我们将时间分割成很小的部分，并且假定每个时间段最多有一个事件发生（一个新的信号包到达或将已经存在的一个信号包传送出去),改变系统中信号的数量。特别的，我们假设每个时间段只有以下事件之一发生：(a)一个新的信号包到达，发生概率是b>0;(b)如果至少存在一个信号包在系统中，则传送出去一个信号包，发生的概率是d>0,否则概率为0；(c)没有新信号到达，也没有已经存在的信号包传送出去，(没有完成传送任务)，如果当时的缓冲器中存在至少一个信号包，则事件发生的概率为1-b-d;如果当时在缓冲器中没有信号包，则事件发生的概率为1-b我们建立一个马尔科夫链，其状态空间为0,1,...,m,这些状态表示缓冲器中信号包的个数。转移概率图如下：局部平衡方程组为：定义可得结合归一化方程可得以及稳态概率为下面分析当缓冲器容量m很大，实际中可以认为无穷的时候，将会发生什么事情。分两种情况：(a)假定b<d,或者ρ<1。在这种情况下，新信号到达的概率小于缓冲器中信号离开的概率。这避免了缓冲器中信号数量的增加，并且稳态概率i随着i的增加而减小。注意到当m→∞时，其分布列是截尾型的几何分布。(b)假定b>d,或者ρ>1这种情况下，新信号到达的可能性大于缓冲器中信号离开的可能性。缓冲器中信号的数量趋于增加，并且稳态概率i随着i的增大而增加。由于我们考虑的缓冲器具有很大的容量m，任何状态i的概率都是趋近于0的：i→0，对于所有的I这意味着，缓冲器中信号的个数将增加到无限多个，并且任何特别的状态都只能被访问有限次数。稳态性质如果有两个或多个常返类，显然pij(n)的极限值一定依赖于初始状态（例2）。所以我们将链限定于只有一个常返类，加上一些可能存在的非常返状态。由于一个状态一旦进入一个常返类，它将一直处于这个类中，所以可以利用单一链的渐近行为去理解多个常返类的马尔科夫链的渐近行为。4.4渐近性质与平稳分布

例4.18设马尔可夫链转移概率矩阵为求每一个不