马尔可夫更新过程与半马尔可夫过程”的讨论Word版

1、关于“马尔可夫更新过程与半马尔可夫过程”的讨论前言马尔可夫更新过程是马尔可夫过程和更新过程的综合与推广。马尔可夫更新过程以及由其产生的半马尔可夫过程，与马尔可夫过程、更新过程仅有紧密的联系，又有明显的区别。马尔可夫更新过程是一个二维（包括状态和时间）随机过程，而半马尔可夫过程是由其产生的一维随机过程。半马尔可夫过程的状态逗留时间是一般分布，不具有马尔可夫性，但在各状态转移时刻具有马尔可夫性。马尔可夫更新过程是马尔可夫过程的推广。如果忽略马尔可夫更新过程中的时间变量，就可得到离散时间马尔可夫链。如果半马尔可夫过程在各个状态的逗留时间都服从指数分布，就可得到连续时间马尔可夫链。马尔可夫更新过程是更

2、新过程的推广。状态逗留时间可以看作是受到一个马尔可夫链调制。如果忽略确切的状态或状态固定，即只有一个状态，就可得到更新过程。本读书报告主要对马尔可夫更新过程和半马尔可夫过程的概念进行了分析，讨论了马尔可夫更新过程和半马尔可夫过程、马尔可夫过程、更新过程的区别与联系，并分析总结了马尔可夫更新过程的基本特性。一、对相关定义的理解1、马尔可夫更新过程随机变量取值于状态空间,是取值的随机变量，并且，则称随机过程是马尔可夫更新过程，如果对于满足 （1）上式称作“半马尔可夫性”，其含义是：已知现在状态，将来状态与逗留在当前状态的时间的联合分布与过去的历史独立。马尔可夫更新过程是将连续时间马尔可夫过程的状态

3、逗留时间分布由指数分布推广到一般分布，故马尔可夫更新过程中，序列只具有半马尔可夫性，即在状态转移时刻具有马尔可夫性。2、与马尔可夫更新过程相联系的计数过程由教材2.9节知道，更新过程是一计数过程，表示到时刻t的更新次数。那么马尔可夫更新过程的更新次数应该如何描述呢？用表示过程在(0,t到达状态的次数，每访问该状态一次记为一次更新，则是马尔可夫更新过程在状态对应的更新次数。特别地，假设初始状态是,则转移到状态构成一次更新，则意味着每次转移到状态的连续时间间隔是独立同分布的。时间间隔叫作在状态的逗留时间。定义如下函数：（2）则 （3）用表示过程在(0,t内总的状态转移次数，包括从当前状态出发又回到

4、该状态的转移，状态每转移一次记为一次更新，根据更新理论有 （4）则可以得到 （5）则是马尔可夫更新过程在状态空间上对应的总的更新次数。3、马尔可夫更新函数在教材2.9节中，定义了更新过程的的更新函数为。类似的，在马尔可夫更新过程中，其更新函数为： （6）将(3)式代入（6）式，得到 （7）注意，这里是过程到达状态的时刻，即第n次状态转移时刻。4、半马尔可夫过程给定马尔可夫更新过程，令 （8）称为由马尔可夫更新过程产生的（最小）半马尔可夫过程，其轨道如下图。由图可见，一个半马尔可夫过程是一个随机过程，其状态变化遵循一个马尔可夫链，而状态变化的时间间隔是随机变量，其分布是一般分布。值得注意的是：在

5、离散时间马尔可夫过程中，可以把在每个状态的逗留时间看作一个单位时间。在连续时间马尔可夫过程中，在每个状态的逗留时间是服从指数分布的。半马尔可夫过程像连续时间马尔可夫过程一样进行状态转移，但是在每个状态的逗留时间是任意分布的，并且依赖于下一个到达状态，因此，在各个状态转移时刻半马尔可夫过程是马尔可夫过程。二、几种随机过程之间的区别与联系1、马尔可夫更新过程和半马尔可夫过程的关系马尔可夫更新过程和半马尔可夫过程最大的不同是：马尔可夫更新过程是一个二维（包括状态和时间）随机过程，而半马尔可夫是一个随着时间而变化的一维连续参数的随机过程。半马尔可夫过程不具有马尔可夫性，将来取决于现在的状态和在该状态已

6、停留的时间。但是，在其更新点上半马尔可夫过程是一个马尔可夫链，即具有马尔可夫性。这也是被命名为半马尔可夫过程的原因。解释：在半马尔可夫过程中，是其更新点，也称作再生点，即就是状态转移时刻，在已知该时刻过程所处状态的条件下，过程将来发展的概率规律和过去的历史无关。在马尔可夫过程中，在每个状态的逗留时间服从指数分布，由于指数分布的无记忆性，故任一时刻t都是更新点，也就是说在任一时刻都具有马尔可夫性。但是，在半马尔可夫过程中，在每个状态的逗留时间是一般分布，因此不是所有时刻都是过程的更新点，而只有状态转移时刻是更新点，所以只有在这些更新点上才具有马尔可夫性。2、半马尔可夫过程和连续时间马尔可夫链的关

7、系如果半马尔可夫过程在各个状态的逗留时间都服从指数分布，这时就得到一个连续时间马尔可夫链。换句话说，如果逗留时间是指数分布，并且在一个状态的逗留时间与下一个到达状态独立，我们就可以得到一个连续时间马尔可夫链。这时可以得到（9）3、马尔可夫更新过程和离散时间马尔可夫链的关系在马尔可夫更新过程中，序列是一个离散时间马尔可夫链。换句话说，如果忽略马尔可夫更新过程中的时间变量，就可得到离散时间马尔可夫链。 （10）4、马尔可夫更新过程和更新过程的关系如果序列独立同分布，并且它们的分布不依赖于，这时马尔可夫更新过程就成为更新过程。即就是，如果忽略确切的状态（或状态固定，即只有一个状态），就得到了独立同分

8、布的时间链，这时就是一个更新过程。 （11）反过来说，马尔可夫更新过程是更新过程的推广，其状态逗留时间不是独立同分布，而是受一马尔可夫链调制。当给定马尔可夫链时，状态逗留时间条件独立。三、马尔可夫更新过程的基本特性根据以上分析，可总结出马尔可夫更新过程具有如下基本特性：1、是状态空间上转移矩阵为的马尔可夫链，并且和n无关，即是齐次的。其中，。2、对，有 （12）其中，该特性说明：给定时，逗留时间序列条件独立。特别地，若只有一个状态时,则独立同分布，这时是一个更新过程。3、对于固定状态，令，。这时表示第n次到达状态j的时刻，是第n次与第n-1次到达状态j的时间间隔，则是延时更新过程，即，相互独立，且同分布（注意这里的n是大于等于1的，即不包括）。值得注意的是，更新过程和延时更新过程是有区别的。在更新过程的研究中，时间原点的选取很重要。如果原点选在一次更新的发生时刻，则各次更新的时间间隔独立同分布，这样的更新过程称作普通更新过程。另一种可能的选择是过程并不是从一次更新时刻开始，亦即原点并不在更新区间的端点，而是在更新区间内部。这时，第一个区间长度和其余的区间长度，有不同的分布。这样的过程称作延时更新过程。显然