马尔科夫链的转移概率矩阵

1、转移概率(transition probability)什么是转移概率转移概率是马尔可夫链中的重要概念，若马氏链分为m个状态组成，历史资料转化为由这m个状态所组成的序列。从任意一个状态出发，经过任意一次转移，必然出现状态1、2、， m中的一个，这种状态之间的转移称为转移概率。当样本中状态m可能发生转移的总次数为i,而由状态m到未来任一时刻转为状态 ai的次数时，则在 m+n时刻转移到未来任一时刻状态aj的转移概率为：颅 I n) = PXm + n = ajXm =叫这些转移移概率可以排成一个的转移概率矩阵：P(m,m+n)(Pij(m,m + n)当m=1时为一阶转概率矩阵，m > 2

2、时为高阶概率转移矩阵，有了概率转移矩阵，就得到了状态之间经一步和多步转移的规律，这些规律就是贷款状态间演变规律的表，当初始状态已知时，可以查表做出不同时期的预测。转移概率与转移概率矩阵1假定某大学有1万学生，每人每月用1支牙膏，并且只使用“中华”牙膏与“黑妹”牙 膏两者之一。根据本月(12月)调查，有3000人使用黑妹牙膏，7000人使用中华牙膏。 又 据调查，使用黑妹牙膏的3000人中，有60%的人下月将继续使用黑妹牙膏，40%的人将改用中华牙膏； 使用中华牙膏的7000人中， 有70%的人下月将继续使用中华牙膏，30%的人将改用黑妹牙膏。据此，可以得到如表-1所示的统计表。表一1两种牙膏之

3、间的转移概率拟用 黑妹牙膏中华牙膏 现用黑妹牙膏60%40%中华牙膏30%70%上表中的4个概率就称为状态的转移概率，而这四个转移概率组成的矩阵60% 40%：=30% 70%；称为转移概率矩阵。可以看出，转移概率矩阵的一个特点是其各行元素之和为1。在本例中，其经济意义是：现在使用某种牙膏的人中，将来使用各种品牌牙膏的人数百分比之和为1。2. 用转移概率矩阵预测市场占有率的变化有了转移概率矩阵，就可以预测，到下个月(1月份)使用黑妹牙膏和中华牙膏的人数， 计算过程如下：= (3900,6100)fqnnn 7nnn 60% 40% (3000,7000)板% 70%即：1月份使用黑妹牙膏的人数

4、将为3900,而使用中华牙膏的人数将为6100。假定转移概率矩阵不变，还可以继续预测到2月份的情况为：(3900,610。)60% 40%'30% 70%=(3000,7000)= (3000,700。)60%30%40%'70%to%30%4。70%60% 40%.30% 70%j2=(4170,5830)60% 40%这里30% 70%称为二步转移矩阵，也即由 12月份的情况通过2步转移到2月 份的情况。二步转移概率矩阵正好是一步转移概率矩阵的平方。一般地，k步转移概率矩阵正好是一步转移概率矩阵的 k次方。可以证明，k步转移概率矩阵中，各行元素之和也都 为1。马尔可夫过程(

5、Markov Process)什么是马尔可夫过程1、马尔可夫性(无后效性)过程或(系统)在时刻t0所处的状态为已知的条件下，过程在时刻t > t0所处状态的条件分布，与过程在时刻 t0之前年处的状态无关的特性称为马尔可夫性或无后效性。即：过程“将来”的情况与“过去”的情况是无关的。2、马尔可夫过程的定义具有马尔可夫性的随机过程称为马尔可夫过程。用分布函数表述马尔可夫过程：设I:随机过程(X(t),tin T的状态空间，如果对时间 t的任意n个数值：PX0)境X(t) = gi,X(t2)= H2L X(0T)(注:X(tn)在条件X(ti) = xi下的条件分布函数)=PX(tn <

6、;= Xn-UXn R(注:X(tn)在条件 X(tn - 1) = xn-1下的条件分布函数)或写成：歹打 i (海| '1 t *2 1 ""' 仁)1 1；匕1,七2广”这时称过程X J G，具马尔可夫性或无后性，并称此过程为马尔可夫过程。3、马尔可夫链的定义时间和状态都是离散的马尔可夫过程称为马尔可夫链，简记为Xn =X(»5 =。马尔可夫过程的概率分布研究时间和状态都是离散的随机序列:Xn = X(箕)e = 0,1,2,，状态空间为I = S%, C R1、用分布律描述马尔可夫性对任意的正整数 n,r 和0 ti < t2 <

7、; r < tr < m; tf, m, n + m E Ti,有：PXm+川=Qj|X = 6,X询=Qy 1 Xu. = air,Xm = a；PXm + n = aj | Xm = ai ,其中务丘】。2、转移概率称条件概率Pij(m,m + n) = PXm + n = aj | Xm = ai 为马氏链在时刻 m处于状态ai条件下， 在时刻m+n转移到状态aj的转移概率。说明：转移概率具胡特点：ocP我n, m n) = 1)i = 1T 2, J=1OP(，叫 m+堕 P.(L，+)由转移概率组成的矩阵'” r”称为马氏链的转移概率矩阵。它是随机矩阵。3、平稳性

8、当转移概率Pij(m,m + n)只与i,j及时间间距n有关时，称转移概率具有平稳性。同时也 称些链是齐次的或时齐的。此时，记 Pij(m,m + n) = Pij(n),Pij(n) = PXm + n = aj | Xm = ai( 注：称为马氏链的 n 步转 移概率)P(n) = (Pij(n)为n步转移概率矩阵。特别的，当k=1时，一步转移概率： Pij = Pij(1) = PXm + 1 = aj | Xm = ai 。一步转移概率矩阵：P(1)Ag】的状态ZiiPn -A/ -的 状PnPZ2 = P(1)态PnPilPyJ记为p马尔可夫过程的应用举例设任意相继的两天中，雨天转晴天的概率为1/3,晴天转雨大的概率为1/2,任一天晴或雨是互为逆事件。以 0表示晴天状态，以1表示雨天状态，Xn表示第n大状态(0或1 )。试定出马氏链 Xrt,n> 1的一步转移概率矩阵。 又已知5月1日为晴天，问5月3日为晴 天，5月5日为雨天的概率各等于多少？解：由于任一天晴或雨是互为逆事件且雨天转晴天的概率为1/3,晴天转雨大的概率为1/2 ,故一步转移概率和一步转