随机过程-11渐近性质与平稳分布1课件

4.4渐近性质与平稳分布4.4渐近性质与平稳分布例1：甲、乙、丙三个状态用1,2,3表示两步转移概率矩阵：10步转移概率矩阵：是否存在？有什么特点？例1：甲、乙、丙三个状态用1,2,3表示两步转移概率矩阵：1例2(蜘蛛和苍蝇)即当n足够大时，出现什么现象？即是否存在？有什么特点？例2(蜘蛛和苍蝇)即当n足够大时，出现什么现象？即是否存在？例：已知马氏链转移图如下，求从状态1出发再返回1的n步转移概率，n=1,2,…,812311即当n足够大时是否存在？例：已知马氏链转移图如下，求从状态1出发再返回1的n步转移概一、渐进性质(状态有限)在马尔科夫链的模型中,我们常常对n非常大时,n步转移概率Pij(n)的极限行为感兴趣。Pij(n)可能收敛于一个固定的值，并独立于初始状态；Pij(n)的极限值也有可能会依赖于初始状态Pij(n)也可能是不收敛的。我们希望了解什么情况下具有这种性质。一、渐进性质(状态有限)在马尔科夫链的模型中,我们常常对n非例：甲、乙、丙三个状态用1,2,3表示

只有一个常返类，状态有限，非周期的马尔科夫链：每一个状态j，处于状态j的概率pij(n)趋近于一个独立于初始状态i的极限值。这个极限值记为

j

，称之为稳态概率。例：甲、乙、丙三个状态用1,2,3表示只有一个常返类例1某同学上一门概率课，他每周可能进步，也可能落后。如果在给定的一周里，他进步了，那么他下一周进步（或落后）的概率是0.8（或0.2）。相应的，如果在给定的一周里，他落后了，那么他下一周进步（或落后）的概率是0.6（或0.4）.我们假定这些概率都不依赖于他之前的每周是否进步或落后，所以该问题是一个典型的马尔科夫链的问题（未来的状态只依赖于当前的状态）。随机过程-11渐近性质与平稳分布1课件转移概率图为：转移概率矩阵是：n步状态转移概率矩阵：转移概率图为：n步转移概率pij(n)的变化趋势图：我们发现，当n—>∞时，每一个pij(n)都收敛于一个极限值，这个极限值不依赖于初始状态i，只与j有关。n步转移概率pij(n)的变化趋势图：2.极限值依赖于初始状态例2(蜘蛛和苍蝇)一只苍蝇在一条直线上移动，每次移动一个单位长度。每单位时间，它以0.3的概率向左移动一个单位，以0.3的概率向右移动一个单位，且以0.4的概率停留在原地，并且它们独立于过去的移动。两只蜘蛛等在位置1和位置m：如果苍蝇达到这个位置，它将被蜘蛛捕捉，于是过程结束。我们将用马尔科夫链模型，假设苍蝇开始于1和m中间的某一个位置。2.极限值依赖于初始状态状态转移概率图：转移概率矩阵：状态转移概率图：n步状态转移概率矩阵：n步状态转移概率矩阵：n步转向状态“1”的概率pi1(n)的趋向示意图：Pij(n)依旧收敛，但是极限值依赖于初始状态。n步转向状态“1”的概率pi1(n)的趋向示意图：如果一个马尔科夫链有两个或多个常返类，则pij(n)的极限值依赖于初始状态。但当j是非常返状态时，pij(n)的极限值等于0如果一个马尔科夫链有两个或多个常返类，则pij(n)的极限值3.pij(n)也可能是不收敛的例3

下图所示的马尔科夫链，周期为2，由单个常返类组成。状态转移矩阵为123113.pij(n)也可能是不收敛的12311n步转移概率矩阵为：考察状态1，可以看出：因此，是不收敛的。同样，其他的n步转移概率也是不收敛的。如果马尔科夫链是有周期的，则pij(n)没有极限值。但子序列上有极限。n步转移概率矩阵为：如果马尔科夫链是有周期的，则pij(n)等等是存在的。一般的：定理4.14如j是正常返状态，周期为d，则对任意i及0

r

d-1，有等等是存在的。一般的：定理4.14如j是正常返状总之：1.如果如果一个马尔科夫链只有一个常返类，加上一些可能存在的非常返状态，对每一个状态j，处于状态j的概率pij(n)趋近于一个独立于初始状态i的极限值。这个极限值记为

j

，有如下表示：

j≈P(Xn=j)(当n很大时)，并且称之为稳态概率。2.如果有两个或多个常返类，则pij(n)的极限值一定依赖于初始状态3.如果马尔科夫链是有周期的，则pij(n)没有极限值。4.非常返状态极限为0总之：附：非常返状态极限性质证明定理4.13(1)

如果j

非常返，则证若j非常返，则由定理4.5，从而由定理4.4，对N<n，附：非常返状态极限性质证明定理4.13(1)如果j非固定N，先令n

，固定N，先令n，注：对于任意马氏链，当n→∞时，非常返状态都有稳态概率0.例如：非常返状态2和3的稳态概率为0.即注：对于任意马氏链，当n→∞时，非常返状态都有稳态概率0.状态无限多时：推论1

有限状态的马氏链，不可能全是非常返状态，也不可能含有零常返状态，从而不可约的有限状态的马氏链必为正常返的。推论2如马氏链有一个零常返状态，则必有无限多个零常返状态。定理4.13(2)

如果j

零常返，则状态无限多时：推论1有限状态的马氏链，不可能全是非常返状态定理4.13(2)

如果j

零常返，则证

若j零常返，则由定理4.7推论，其他和非常返状态类似定理4.13(2)如果j零常返，则

推论1

有限状态的马氏链，不可能全是非常返状态，也不可能含有零常返状态，从而不可约的有限状态的马氏链必为正常返的。证设I={0,1,

,N}，如I全是非常返状态，则对任意i,j

I，由定理4.13知故矛盾。推论1有限状态的马氏链，不可能全是非常返状态，也不可能含如I含有零常返状态i，则C={j:i

j}是有限不可约闭集，由定理4.10知，C中均为零常返状态，由定理4.13知，由引理4.5知所以如I含有零常返状态i，则C={j:ij}是有限不可约闭集，推论2如马氏链有一个零常返状态，则必有无限多个零常返状态。证设i为零常返状态，则C={j:i

j}是不可约闭集，C中均为零常返状态，故C不能是有限集。否则，推论2如马氏链有一个零常返状态，则必有