CH4 4.6-4.8上课

1、2021-11-161CH4 马尔可夫过程 4.6连续参数马尔可夫链及其基本性质 2021-11-1624.6连续参数马尔可夫链及其基本性质 4.6.1.定义则称该过程是连续参数连续参数的马尔可夫链，也称为纯不连续纯不连续过程。 定义4.19：随机过程 的状态空间E为可数集，若 2021-11-163连续参数的马尔可夫链的统计特性：4.6连续参数马尔可夫链及其基本性质 4.6.1.定义 1 1、状态概率：、状态概率：2 2、概率分布：、概率分布：1( )1iit ( )( )ii Ett-初始分布初始分布(0)(0)ii E3 3、状态转移概率：、状态转移概率：0,tsEji2021-11-1

2、64每一行之和为每一行之和为1 111( ,) ()( ) 1ijjjP s s tP X s tj X si4 4、状态转移概率矩阵：、状态转移概率矩阵：4.6连续参数马尔可夫链及其基本性质 4.6.1.定义C-K方程： ()( ) ()( ) ()()k EP X s tj X siP X s rk X si P X s tj X s rk 4.6连续参数马尔可夫链及其基本性质定义定义4.204.20：如果概率转移矩阵 与初始时刻s无关，称该马尔可夫链是齐次齐次的或时齐时齐的。分别简记转移概率与转移概率矩阵为 ( ,)s stP4.6.1.定义 000101011101( )( )( )(

3、 )( )( )( )( )( )nnnnnnp tp tp tp tp tp ttp tp tp tP 10000100000100001P 易知转移矩阵 满足：（1）是随机矩阵： 有(0) PI且规定 （无穷单位阵），即,)(tP4.6连续参数马尔可夫链及其基本性质4.6.1.定义 通常假定连续参数齐次链 是随机连续的，即, 或 也称满足标准性条件。 0lim0ttPPI 01,lim()(,)0,ijtijp tiji jEij ,0X tt tP0t 其实，标准性条件就是 在 右连续，其直观意义是：在充分小的时段内，过程的状态不会突变。在绝大多数实际情形中，这样的假设是合理的。在物理过

4、程中，在一个有限时间间隔内不可能有无穷次跳跃，在有限时间内仅允许有限次数的跳变。 2021-11-1674.6连续参数马尔可夫链及其基本性质 (2)满足 C-K（查普曼-柯尔莫哥洛夫）方程 即(,)i jE0t ，有( )(0) ( )ttP且4.6.1.定义而且，连续参数齐次马尔可夫链的任意 n 个时刻的联合分布由 与 唯一确定。)0()(tP)(tP2021-11-1684.6连续参数马尔可夫链及其基本性质4.6.2 齐次连续参数马尔可夫链的基本性质 互通是一种等价关系，通过互通可以将状态空间划分为若干个等价类，若所有状态彼此互通，整个状态空间是一个类，则称该马尔可夫链是不可约的。 4.6

5、连续参数马尔可夫链及其基本性质定义定义4.22（1） （只与j 有关）则称该马尔可夫链是遍历的。（2）若 存在，则 称为极限分布。（3）若 ，概率分布满足 ，则称 为平稳分布。 tP4.6.2 齐次连续参数马尔可夫链的基本性质 定理定理4.16 对于连续参数的有限状态齐次马尔可夫链，若存在 ，使 时 ，则该链具有遍历性。且 是其极限分布，也是其唯一的平稳分布。0s2021-11-16104.6连续参数马尔可夫链及其基本性质 对于离散参数齐次链，任意n 步的转移概率矩阵可以由一步转移概率矩阵获得，即 。对于连续参数齐次链，研究任意 的转移概率矩阵 需要研究 在 时的微分性质。 4.6.3 Q矩阵

6、)(tP)(tP2021-11-16114.6连续参数马尔可夫链及其基本性质定理定理4.17 若过程是随机连续的， 满足（1） 在 一致连续，即连续的状态是平滑的；（2） 在 处右导数存在，记为， 通常有限，（除E为无限可数时， 可能为 外）。4.6.3 Q矩阵0t 01,lim()(,)0,ijtijp tiji jEij2021-11-16124.6连续参数马尔可夫链及其基本性质满足下面的两条：（1） （2） 当状态有限时等号必定成立。4.6.3 Q矩阵 证明：如果 可交换次序（比如状态有限时），由于，是从状态i 转移到状态j 的速率；是离开状态i的速率。2021-11-16134.6连续

7、参数马尔可夫链及其基本性质定义定义4.23 若过程是随机连续的，记称为转移速率矩阵或密度矩阵，简称为Q Q矩阵。若对所有 都有 ，则称Q为保守的。简单讲，Q矩阵是 在 处的导数，它在研究齐次连续参数马尔可夫链时是非常重要的。4.6.3 Q矩阵000101011101nnnnnnqqqqqqQqqqQ Q矩阵是常数矩阵)(tP0t2021-11-16144.6连续参数马尔可夫链及其基本性质 在研究连续时间链时不仅关心过程将转移到哪个状态，转移机率是多少，还关心它在当前状态上的逗留时间有多长。 令 它表示首次离开初始状态的时刻（即，初始状态上的逗留时间）。 由过程的马尔可夫性可知， 这正是指数分布

8、特有的无记忆性质。可以证明， 在 状态上的逗留时间服从参数为 的指数分布，因此，平均逗留时间为 )(tXi2021-11-16154.6连续参数马尔可夫链及其基本性质依据 的具体值可以得出下面结论：2021-11-16164.6 连续参数马尔可夫链及其基本性质定理定理4.18 若过程 是随机连续的且状态有限，则有，注意到E为有限状态集，可令 对两边求极限，即得定理结论。（证毕）。 4.6.4 向前向后微分方程2021-11-16174.6 连续参数马尔可夫链及其基本性质 两个方程的分量形式为， 4.6.4向前向后微分方程 向前方程中微分处理在“未来”时段；而向后方程中微分处理在“过去”时段。

9、ijikkjk Eptq pt000101011101nnnnnnqqqqqqQqqq 000101011101( )( )( )( )( )( )( )( )( )nnnnnnp tp tp tp tp tp tP tp tp tp t 000101011101( )( )( )( )( )( )( )( )( )nnnnnnp tp tp tp tp tp tP tp tp tp t2021-11-16184.6 连续参数马尔可夫链及其基本性质证明：由于 ，对其求导并代入柯尔莫哥洛夫向前方程，有若 是平稳分布，则 。仿上有， 0ttP tP 4.6.4 向前向后微分方程 tQ0若 是平稳分

10、布，则它是 的解。定理定理4.19 若 是过程在t时刻的概率分布，则当E有限时有Fokker-PlanckFokker-Planck方程，2021-11-16194.6连续参数马尔可夫链及其基本性质例例4.18 设 是参数为 的泊松过程，因为它是独立增量过程，易见它是连续参数的马尔可夫链，试求 Q矩阵。 解：因此，它是保守的。 2021-11-16204.6连续参数马尔可夫链及其基本性质 例例4.19 设某触发器有两个状态， ， 表示t时刻该触发器的状态。假定触发器状态翻转具有马尔可夫性，且，其中， 为高阶无穷小。试求 。0,1E X t o t tP解：易见 是随机连续的，且 由向前方程有，

11、)(tP2021-11-16214.6连续参数马尔可夫链及其基本性质于是，解该常系数微分方程易得，其中并且同理有，0001000110111011( )( )( )( )( )( )( )( )p tp tp tp tp tp tp tp t 0100( ) 1( )p tp t 00000000tttteetee P因此， 2021-11-16224.6 连续参数马尔可夫链及其基本性质例例4.20 对上例中两状态触发器的状态 ，假定初始分布为 ， ，求t 时刻的分布与极限分布。 X t 0, a b1ab解：容易验证， 满足 Fokker-Planck 方程， 也是平稳分布（满足 ）。 其实

12、， 是有限状态有限状态的且互通互通，它是不可约遍历链不可约遍历链。因此，其平稳分布与极限分布都存在且相等平稳分布与极限分布都存在且相等。 t* Q0 X t极限分布为 *00lim,tt 2021-11-16234.7 生灭过程定义定义4.24 状态空间为非负整数，且转移速率矩阵为的连续参数马尔可夫链称为生灭过程，其中i 为非负整数， 且有界。可见，Q Q矩阵是保守的，其特征是，当 时，0,1,2,E 2021-11-16244.7 生灭过程其实，生灭过程的等价定义：任取充分小的h 0，其中， 为高阶无穷小。可见，在充分小的时间内，状态转移只有三种可能： 。 o h,iiiiii 2021-1

13、1-16254.7 生灭过程 若 表示某生物群体的个数，它是一个生灭过程，t 时刻的个数i，在t 之后很短的时间h 以内，个数只有三种变化： ,0X tt 所以，生灭过程的状态在生灭过程的状态在极短的时间极短的时间内只能在内只能在相邻相邻的两个状的两个状态内变化，或态内变化，或“生一个生一个”、或、或“灭一个灭一个”、或、或“不变不变”，故，故称为生灭过程。称为生灭过程。2021-11-16264.7 生灭过程 用状态转移速率图来描述生灭过程的状态转移与速率特点。 的生灭过程称为纯生过程； 的生灭过程称为纯灭过程。 在 时生灭过程状态的所有状态是互通的，这样的生灭过程是不可约链。2021-11

14、-16274.7 生灭过程生灭过程满足向前与向后方程：生灭过程满足向前与向后方程： 000( )( )( )iijp tP tp tp t)()()()(ttttQPPQPP前进方程前进方程后退方程后退方程 ( )( )iijP tP tP t0j2021-11-16284.7 生灭过程还满足满足Fokker-PlanckFokker-Planck方程方程： 0( )( )jtttQ)()(tt 0( )( )jtttj2021-11-16294.7 生灭过程生灭过程的稳态分布稳态分布与极限分布极限分布。由方程 得： Q0通过递归方法可得，jj101111100jjj2021-11-16304

15、.7 生灭过程容易发现，如果则 进而可解出 于是，生灭过程有惟一的平稳分布，也等于其极限分布。特别是，（1）纯生过程没有平稳分布 （2）如果状态数无限，且 当 时，可解出平稳分布为， 这是生灭过程存在平这是生灭过程存在平稳分布的充要条件。稳分布的充要条件。2021-11-16314.7 生灭过程例例4.21 泊松过程是最简单的纯生过程；例例4.22 线性纯生过程（线性纯生过程（YuleYule 过程过程）考察一种初等生物群体的繁殖过程模型：假定每一个体繁殖后代的过程独立同分布，服从参数为 的泊松分布；且繁殖的后代不会死亡，并继续繁殖。记 为t时刻生物群体的个数，称为Yule 过程。 ，在 上

16、的转移概率可表达式为，, t th N t0h 不变。无关，且与itX)(123232021-11-16324.7 生灭过程其Q Q矩阵为： N t于是， 是一个“生长速率”与当时的状态值成正比的生灭过程，是泊松过程的一个推广。2021-11-16334.7 生灭过程例例4.23 有迁入的线性生灭过程考察某区域内生物再生与人口增长过程。假定每一个体独立地以指数率 出生，以指数率 死亡；同时，群体又因外界迁入的影响，以指数率 增长。t 时刻群体的个数可以描述为生灭过程 ，转移速率图如下： ,0X tt 2021-11-16344.7 生灭过程0,1例例4.24 两状态触发器的状态过程如例4.19

17、。易知，它是只有两个状态 的生灭过程， 且求其平稳分布。01100101010解得：10 由于状态数限，平稳分布可由方程 直接求解。即Q0解：4.8 排队论及其应用简介4.8.1 排队系统 它是动态的与随机的。这类系统称为随机服务系统或排队系统，简称队列。 在系统中，顾客随机到来，形成输入流；结账服务花去的时间是随机的，离开的顾客形成输出流。 系统的状态：其内部所包含的顾客数，记为 。 ,0X tt4.8 排队论及其应用简介队列的特性取决于输入流与服务时间的特性队列的特性取决于输入流与服务时间的特性。（1） 输入过程特性：指输入流的统计特性。输入流可以具有任意分布，最基本的是指数流（即泊松过程

18、）最基本的是指数流（即泊松过程）。（2） 服务时间特性：指服务各顾客所用时间的统计特性。它们可以为任意分布，有时甚至为某确定值。最基本的是独立同分布的指数序列最基本的是独立同分布的指数序列。一般可以认为：输入流与服务时间是彼此独立的输入流与服务时间是彼此独立的。（3） 排队规则：指形成队列与等候服务的规则。通常有“顺序服顺序服务务”，也称为“FIFO（先到先服务）”，“随机选择服务随机选择服务”，“优先级优先级服务服务”和“后到先服务后到先服务”等其他规则。（4）系统能力：工作的服务台服务台（或称为通道）的数目的数目；等候队列的容等候队列的容量量，是无限的还是有限的。一种描述队列及其特性的简明表示方法：一种描述队列及其特性的简明表示方法：其基本形式：“输入过程/服务时间/通道数目”。常用的符号有：1）M泊松过程（或指数分布）；2）D某确定值； 3） n阶爱尔朗分布； 4）G某任意分布。 通道数目用数字直接表示。 若有第四部分，表示系统（即等候队列）的容量或特性。nE4.8 排队论及其应用简介4.8.2 马尔可夫队列及其举例 1. M/