ch04连续时间的马氏链

“连续时间的马氏链随机过程论新工科建设之路第四章连续时间的马氏链在许多物理、工程及其他应用问题中，我们常碰到“随机函数”，即时间参数集是T=R+或R的随机过程，例如第一章中的例3(Poisson过程)。事实上，大多数有随机噪声的控制设备或仪器的输出都是连续时间的随机过程。当然，我们可以将时间参数离散化，即考虑它在一段时间{t0+n△t;n=0，1，···}。上的值，而得到随机序列{Xn;n=0，1，···}。不过这样做不仅有可能使我们忽略了原来系统的某种时间结构，而且有可能反而把以连续参数处理起来比较简单的问题复杂化了。因此，我们这里有必要再讨论连续时间的马氏链。01连续时间马氏链的转移密度阵连续时间马氏链的转移密度阵我们都熟知:对于实函数p(t)=eat，参数类似地，我们自然地猜到对矩阵函数P(t)=eAt是否应为先来看Poisson过程这个例子。我们知道:于是连续时间马氏链的转移密度阵其中连续时间马氏链的转移密度阵定理4.1设转移阵P(t)满足条件(其中I是单位阵;我们称满足式(4.1)的转移阵P是标准的)，则存在，但可能无限;而存在且有限。而且连续时间马氏链的转移密度阵定理4.1证明

1)先证明式(4.2)。由式(4.1)易见pij(t)右连续于(0,+∞)，又由于连续时间马氏链的转移密度阵定理4.1连续时间马氏链的转移密度阵定理4.1连续时间马氏链的转移密度阵定理4.12)现在我们来证明式(4.3)，令连续时间马氏链的转移密度阵定理4.1连续时间马氏链的转移密度阵定理4.1连续时间马氏链的转移密度阵定理4.1连续时间马氏链的转移密度阵定理4.1连续时间马氏链的转移密度阵定义4.1(Q-矩阵)方阵Q=(qij)称为一个Q-矩阵，如果满足条件由上面的推论可以看出，对一个标准马氏链，矩阵(p‘ij(0+))是一个Q-矩阵，我们称该矩阵为此马氏链的Q-矩阵。连续时间马氏链的转移密度阵定义4.2(保守)定义4.3连续时间马氏链的转移密度阵命题4.1对有限状态马氏链，若其转移阵P是标准的，则它的Q-矩阵一定保守，而且称为前进方程，而称为后退方程，而且连续时间马氏链的转移密度阵命题4.1证明，由连续时间马氏链的转移密度阵命题4.1应该指出:对一般可数状态马氏链，前进方程与后退方程并不一定成立。但可以证明对保守马氏链，后退方程一定成立。至于给了Q-矩阵Q，是否存在以Q为密度的连续时间的马氏过程的问题，在4.2节中我们将做进一步的讨论，一般来说对某一个固定的Q-矩阵Q，这样的过程并不一定唯一。连续时间马氏链的转移密度阵命题4.1下面讨论Q-矩阵元素的概率意义。Q的元素qij有明确的概率意义，它们可以使我们对于连续时间的马氏链的统计性质有进一步深入、具体的了解。连续时间马氏链的转移密度阵定理4.2连续时间马氏链的转移密度阵定理4.2证明

1)利用轨道右连续性，有可知P(t)是标准的，再用轨道的右连续性，容易看出:连续时间马氏链的转移密度阵定理4.22)首先，由1)可见连续时间马氏链的转移密度阵定理4.2连续时间马氏链的转移密度阵定理4.202连续时间的马氏链的强马氏性、嵌入链与以Q为密度的连续时间马氏链的最小解1.强马氏性正如在3.2节中指出的，在许多情况下，强马氏性很重要，这里我们给出一个简单且十分常见的连续时间马氏链具有强马氏性的条件。定理4.31.强马氏性定理4.31.强马氏性命题4.21.强马氏性命题4.21.强马氏性命题4.3在定理4.2的条件下，若令1.强马氏性命题4.3证明

这里我们沿用命题4.2的记号。由于由强马氏性，上式应等于1.强马氏性命题4.3式(4.9-1)得证。下面我们用归纳法证明式(4.9-2)成立。对n=1，由式(4.9-1)，我们有设式(4.9-2)对n成立，则由式(4.9-1)及归纳法假设，我们有1.强马氏性命题4.3于是由归纳法证明了式(4.9-2)成立。命题4.3的其他结论是明显成立的。1.强马氏性命题4.42.以Q为密度的连续时间的马氏链转移阵的构造、最小解定义4.42.以Q为密度的连续时间的马氏链转移阵的构造、最小解定理4.42.以Q为密度的连续时间的马氏链转移阵的构造、最小解定理4.42.以Q为密度的连续时间的马氏链转移阵的构造、最小解定理4.42.以Q为密度的连续时间的马氏链转移阵的构造、最小解定理4.4此外，再用归纳法证明Kolmogorov方程满足，显然2.以Q为密度的连续时间的马氏链转移阵的构造、最小解定理4.4又设则2.以Q为密度的连续时间的马氏链转移阵的构造、最小解定理4.4由归纳法得式(4.14)对一切n成立，因而2.以Q为密度的连续时间的马氏链转移阵的构造、最小解定理4.42)现在来证明F(t)满足前进方程和后退方程。由于对上式两边求导就得到2.以Q为密度的连续时间的马氏链转移阵的构造、最小解定理4.4由式(4.9-2)，我们有对式(4.15)求和，我们就得出2.以Q为密度的连续时间的马氏链转移阵的构造、最小解定理4.4对式(4.16)两边求导，就得到2.以Q为密度的连续时间的马氏链转移阵的构造、最小解定理4.43)最小性。2.以Q为密度的连续时间的马氏链转移阵的构造、最小解定理4.4注:定理4.4的证明过程说明最小解就是在飞跃点截止的过程。推论满足向后方程组的标准以Q为密度的连续时间的马氏链唯一的充要条件是:2.以Q为密度的连续时间的马氏链转移阵的构造、最小解定理4.42.以Q为密度的连续时间的马氏链转移阵的构造、最小解定理4.42.以Q为密度的连续时间的马氏链转移阵的构造、最小解定理4.42.以Q为密度的连续时间的马氏链转移阵的构造、最小解定理4.4因而所要求的P(t)构造成功。重复上面的构造法，可以可数次地接上独立的新过程，由于这可列个新过程独立同分布，由大数律可知这可列个灭绝时间的和必为+∞(a.e.)，因而可数次地接上新过程后所得的过程必是一个马氏链，即对于连续时间马氏链也可类似3.1节，相应地考虑状态分类、常返性，只是命题3.2中3)中的求和应改为积分(见本章习题)。此外，连续时间马氏链的不变测度、遍历极限等问题，只要考虑其嵌入链，在很广条件下也能得出相应结论。03对称性与可逆性1.对称性与可逆性的概念定义4.5马氏过程的可逆性是指过程的统计规律在时间倒逆下的不变性，将可逆性的概念略加推广，就得到对称性的概念，而对称性正是泛函分析中自共驱算子与半群的概率版本。对称过程具有许多特殊性质。本节介绍可逆马氏链及对称马氏链的概念及重要性质，并以求不变测度为例，说明怎样利用对称性与可逆性来研究问题。1.对称性与可逆性的概念命题4.51.对称性与可逆性的概念命题4.51.对称性与可逆性的概念命题4.51.对称性与可逆性的概念命题4.5

把可逆性的概念略加推广，取消平稳性要求就得到了对称性的概念。1.对称性与可逆性的概念定义4.61.对称性与可逆性的概念定义4.61.对称性与可逆性的概念命题4.62.对称马氏链的对称化测度与不变测度马氏链的对称化测度一定是不变测度，而不可约常返对称马氏链的不变测度也一定是对称化测度。然而对称化测度比不变测度更容易处理，其原因有二:第一，对称化测度可以用转移阵的元素显式表示，而一般的不变测度很难做到这点:第二，如果我们将马氏链限制在它的状态空间ƒ的任意一个真子集ƒ0中，也就是将在ƒ0之外的每一个状态都改为“反射壁”，这样得到一个新的马氏链，对于对称的原马氏链情形，则新旧马氏链具有“相同的”对称化测度。但一般地，这样得到的新马氏链不仅未必对称，甚至未必与原来的马氏链有“相同的”不变测度，这就是命题4.7所说明的问题。2.对称马氏链的对称化测度与不变测度命题4.72.对称马氏链的对称化测度与不变测度定理4.52.对称马氏链的对称化测度与不变测度定理4.52.对称马氏链