第十一章马氏链模型

1、第十一章第十一章 马氏链模型马氏链模型11.1 健康与疾病健康与疾病11.2 钢琴销售的存贮策略钢琴销售的存贮策略11.3 基因遗传基因遗传11.4 等级结构等级结构马氏链模型马氏链模型 系统在每个时期所处的状态是随机的系统在每个时期所处的状态是随机的 从一时期到下时期的状态按一定概率转移从一时期到下时期的状态按一定概率转移 下时期状态只取决于本时期状态和转移概率下时期状态只取决于本时期状态和转移概率 已知现在，将来与过去无关（无后效性）已知现在，将来与过去无关（无后效性）描述一类重要的描述一类重要的随机动态随机动态系统（过程）的模型系统（过程）的模型马氏链马氏链 (Markov Chain)

2、时间、状态均为离散的随机转移过程时间、状态均为离散的随机转移过程通过有实际背景的例子介绍马氏链的基本概念和性质通过有实际背景的例子介绍马氏链的基本概念和性质例例1. 人的健康状况分为健康和疾病两种状态，设对特人的健康状况分为健康和疾病两种状态，设对特定年龄段的人，今年健康、明年保持健康状态的概率定年龄段的人，今年健康、明年保持健康状态的概率为为0.8, 而今年患病、明年转为健康状态的概率为而今年患病、明年转为健康状态的概率为0.7，11.1 健康与疾病健康与疾病 人的健康状态随着时间的推移会随机地发生转变人的健康状态随着时间的推移会随机地发生转变 保险公司要对投保人未来的健康状态作出估计保险公

3、司要对投保人未来的健康状态作出估计, 以制以制订保险金和理赔金的数额订保险金和理赔金的数额 若某人投保时健康若某人投保时健康, 问问10年后他仍处于健康状态的概率年后他仍处于健康状态的概率, 1 , 0, 2 , 1,),(1njiiXjXPpnnij转移概率Xn+1只取决于只取决于Xn和和pij, 与与Xn-1, 无关无关8 . 011p2 . 011112pp7 . 021p3 . 012122pp年疾病第年健康第状态nnXn, 2, 1, 1 , 0, 2 , 1),()(niiXPnani状态概率状态状态与与状态转移状态转移状态转移具状态转移具有无后效性有无后效性 2121111)()

4、() 1(pnapnana0.72221212)()() 1(pnapnana n 0a2(n) 0 a1(n) 1设投保设投保时健康时健康给定给定a(0), 预测预测 a(n), n=1,2设投保设投保时疾病时疾病a2(n) 1 a1(n) 0 n时状态概率趋于稳定值，稳定值与初始状态无关时状态概率趋于稳定值，稳定值与初始状态无关22212122121111)()()1()()()1(pnapnanapnapnana3 0.778 0.222 7/9 2/9 0.7 0.77 0.777 0.3 0.33 0.333 7/9 2/9 状态状态与与状态转移状态转移120.

5、80.221230.10.080.65例例2. 健康和疾病状态同上，健康和疾病状态同上，Xn=1 健康健康, Xn=2 疾病疾病333232131332322212123132121111)()()()1()()()()1()()()()1(pnapnapnanapnapnapnanapnapnapnanap11=0.8, p12=0.18, p13=0.02 死亡为第死亡为第3种状态，记种状态，记Xn=3健康与疾病健康与疾病 p21=0.65, p22=0.25, p23=0.1 p31=0, p32=0, p33=1 n 0

6、 1 2 3 a2(n) 0 0.18 0.189 0.1835 a3(n) 0 0.02 0.054 0.0880 a1(n) 1 0.8 0.757 0.7285 设投保时处于健康状态，预测设投保时处于健康状态，预测 a(n), n=1,2 不论初始状态如何，最终都要转到状态不论初始状态如何，最终都要转到状态3 ； 一旦一旦a1(k)= a2(k)=0, a3(k)=1, 则对于则对于nk, a1(n)=0， a2(n)=0, a3(n)=1, 即从状态即从状态3不会转移到其它状态。不会转移到其它状态。状态状态与与状态转移状态转移001 50 0.1293 0.0326 0.8381 ,

7、1 , 0, 2 , 1),()(nkiiXPnani状态概率)(1iXjXPpnnij转移概率), 1 , 0(, 2 , 1nkXn状态马氏链的基本方程马氏链的基本方程1)(1nakiikippkjijij, 2 , 1, 1, 01）（非负，行和为转移概率矩阵1kkijpPPnana)()1(kipnanakjjiji,2, 1,)()1(1基本方程基本方程状态概率向量)(,),(),()(21nanananaknPana)0()(wwPw满足马氏链的两个重要类型马氏链的两个重要类型 1. 正则链正则链 从任一状态出发经有限次转移从任一状态出发经有限次转移能以正概率到达另外任一状态（如例

8、能以正概率到达另外任一状态（如例1）。）。0,NPN正则链Pnana)() 1()()(,nwnaw正则链3 . 07 . 02 . 08 . 0. 1 P例)9/2 , 9/7(w2211213 . 02 . 07 . 08 . 0wwwwww11kiiww满足121ww217 . 02 . 0ww w 稳态概率稳态概率QRIPrr0马氏链的两个重要类型马氏链的两个重要类型 2. 吸收链吸收链 存在吸收状态（一旦到达就不会离存在吸收状态（一旦到达就不会离开的状态开的状态i, pii=1）,且从任一非吸收状态出发经有且从任一非吸收状态出发经有限次转移能以正概率到达吸收状态（如例限次转移能以正概

9、率到达吸收状态（如例2）。）。有有r个吸收状态的吸收链个吸收状态的吸收链的转移概率阵标准形式的转移概率阵标准形式R有非有非零元素零元素01)(ssQQIMTe)1 , 1 , 1 (Meyyyyrk),(21yi 从第从第 i 个非吸收状态出发，被某个个非吸收状态出发，被某个吸收状态吸收前的平均转移次数。吸收状态吸收前的平均转移次数。11.2 钢琴销售的存贮策略钢琴销售的存贮策略 钢琴销售量很小，商店的库存量不大以免积压资金钢琴销售量很小，商店的库存量不大以免积压资金 一家商店根据经验估计，平均每周的钢琴需求为一家商店根据经验估计，平均每周的钢琴需求为1架架存贮策略存贮策略：每周末检查库存量，

10、仅当库存量为零时，：每周末检查库存量，仅当库存量为零时，才订购才订购3架供下周销售；否则，不订购。架供下周销售；否则，不订购。 估计在这种策略下失去销售机会的可能性有多大，估计在这种策略下失去销售机会的可能性有多大，以及每周的平均销售量是多少。以及每周的平均销售量是多少。 背景与问题背景与问题问题分析问题分析 顾客的到来相互独立，需求量近似服从波松分布，其顾客的到来相互独立，需求量近似服从波松分布，其参数由需求均值为每周参数由需求均值为每周1架确定，由此计算需求概率架确定，由此计算需求概率 存贮策略是周末库存量为零时订购存贮策略是周末库存量为零时订购3架架 周末的库存周末的库存量可能是量可能是

11、0, 1, 2, 3，周初的库存量可能是，周初的库存量可能是1, 2, 3。用马氏链描述不同需求导致的周初库存状态的变化。用马氏链描述不同需求导致的周初库存状态的变化。动态过程中每周销售量不同，失去销售机会（需求动态过程中每周销售量不同，失去销售机会（需求超过库存）的概率不同。超过库存）的概率不同。 可按稳态情况（时间充分长以后）计算失去销售机可按稳态情况（时间充分长以后）计算失去销售机会的概率和每周的平均销售量。会的概率和每周的平均销售量。 模型假设模型假设 钢琴每周需求量服从波松分布，均值为每周钢琴每周需求量服从波松分布，均值为每周1架架 存贮策略存贮策略：当周末库存量为零时，订购：当周末

12、库存量为零时，订购3架，周架，周初到货；否则，不订购。初到货；否则，不订购。 以每周初的库存量作为状态变量，状态转移具有以每周初的库存量作为状态变量，状态转移具有无后效性。无后效性。 在稳态情况下计算该存贮策略失去销售机会的概在稳态情况下计算该存贮策略失去销售机会的概率，和每周的平均销售量。率，和每周的平均销售量。 模型建立模型建立 Dn第第n周需求量，均值为周需求量，均值为1的波松分布的波松分布 )2 , 1 , 0(!/)(1kkekDPnSn第第n周初库存量周初库存量(状态变量状态变量 )状态转状态转移规律移规律 nnnnnnnSDSDDSS, 3,1368. 0)0() 11(111n

13、nnDPSSPp0) 12(112nnSSPp632. 0) 1() 13(113nnnDPSSPp3 , 2 , 1nSDn 0 1 2 3 3P 0.368 0.368 0.184 0.061 0.019448. 0368. 0184. 0264. 0368. 0368. 0632. 00368. 0333231232221131211pppppppppP状态转移阵状态转移阵 448. 0) 3() 0() 33(133nnnnDPDPSSPp 模型建立模型建立 Pnana)()1(3 , 2 , 1),()(iiSPnani状态概率状态概率 )452. 0 ,263. 0 ,285. 0

14、(),(321wwww马氏链的基本方程马氏链的基本方程448. 0368. 0184. 0264. 0368. 0368. 0632. 00368. 0P正则链正则链 稳态概率分布稳态概率分布 w 满足满足 wP=w已知初始状态，可预测第已知初始状态，可预测第n周初库存量周初库存量Sn=i 的概率的概率0,NPN正则链02Pn , 状态概率状态概率 )452. 0 ,263. 0 ,285. 0()(na第第n周失去销售机会的概率周失去销售机会的概率 )(nnSDPn充分大时充分大时 inwiSP )(模型求解模型求解 105. 0452. 0019. 0263. 0080. 0285. 02

15、64. 0从长期看，失去销售机会的可能性大约从长期看，失去销售机会的可能性大约 10%。1. 估计在这种策略下失去销售机会的可能性估计在这种策略下失去销售机会的可能性)()(31iSPiSiDPninnD 0 1 2 3 3P 0.368 0.368 0.184 0.061 0.019321) 3() 2() 1(wDPwDPwDP)452. 0 ,263. 0 ,285. 0(w模型求解模型求解 第第n周平周平均售量均售量),(311innijniSjDPjR857. 0452. 0977. 0263. 0896. 0285. 0632. 0)( )()(311iSPiSiDiPiSjDPj

16、ninnnnij 从长期看，每周的平均销售量为从长期看，每周的平均销售量为 0.857(架架) n充分大时充分大时 inwiSP )(需求不超过存量需求不超过存量,销售需求销售需求需求超过存量需求超过存量,销售存量销售存量 思考：为什么这个数值略小于每周平均需求量思考：为什么这个数值略小于每周平均需求量1(架架) ?2. 估计这种策略下每周的平均销售量估计这种策略下每周的平均销售量),(iSiDiPnn敏感性分析敏感性分析 当平均需求在每周当平均需求在每周1 (架架) 附近波附近波动时，最终结果有多大变化。动时，最终结果有多大变化。 设设Dn服从均值为服从均值为 的波松分布的波松分布 )2 ,

17、 1 , 0(, !/)(kkekDPkneeeeeeeeP) 2/(12/)1 (11022状态转移阵状态转移阵 1.11.2P0.0730.0890.1050.1220.139第第n周周(n充分大充分大)失去销售机会的概率失去销售机会的概率 )(nnSDPP当平均需求增长（或减少）当平均需求增长（或减少）10%时，失去销售时，失去销售机会的概率将增长（或减少）约机会的概率将增长（或减少）约12% 。11.3 基因遗传基因遗传背景背景 生物的外部表征由内部相应的基因决定。生物的外部表征由内部相应的基因决定。 基因分优势基因基因分优势基因d 和劣势基因和劣势基因r 两种。两种

18、。 每种外部表征由两个基因决定，每个基因可以是每种外部表征由两个基因决定，每个基因可以是d, r 中的任一个。形成中的任一个。形成3种基因类型：种基因类型：dd 优种优种D, dr 混种混种H, rr 劣种劣种R。 基因类型为优种和混种基因类型为优种和混种, 外部表征呈优势；基因外部表征呈优势；基因类型为劣种类型为劣种, 外部表征呈劣势。外部表征呈劣势。生物繁殖时后代随机地（等概率地）继承父、母的生物繁殖时后代随机地（等概率地）继承父、母的各一个基因，形成它的两个基因。父母的基因类型各一个基因，形成它的两个基因。父母的基因类型决定后代基因类型的概率决定后代基因类型的概率完全完全优势优势基因基因

19、遗传遗传父母基因类型决定后代各种基因类型的概率父母基因类型决定后代各种基因类型的概率父母基因类型组合父母基因类型组合后代各种后代各种基因类型基因类型 的概率的概率DDRRDHDRHHHRDRH1000011 / 21 / 200101 / 41 / 21 / 401 / 21 / 23种基因类型：种基因类型：dd优种优种D, dr混种混种H, rr劣种劣种R完全优势基因遗传完全优势基因遗传P(D DH)=P(dd dd,dr)=P(d dd)P(d dr)P(R HH)=P(rr dr,dr)=P(r dr)P(r dr)=1 1/2=1/2=1/2 1/2=1/4随机繁殖随机繁殖 设群体中雄

20、性、雌性的比例相等，基因类设群体中雄性、雌性的比例相等，基因类型的分布相同（记作型的分布相同（记作D:H:R） 每一雄性个体以每一雄性个体以D:H:R的概率与一雌性个体交配，的概率与一雌性个体交配，其后代随机地继承它们的各一个基因其后代随机地继承它们的各一个基因 设初始一代基因类型比例设初始一代基因类型比例D:H:R =a:2b:c （a+2b+c=1), 记记p=a+b, q=b+c, 则群体中优势基因和则群体中优势基因和劣势基因比例劣势基因比例 d:r=p:q (p+q=1)。假设假设建模建模状态状态Xn=1,2,3 第第n代的一个体属于代的一个体属于D, H, R状态概率状态概率 ai(

21、n) 第第n代的一个体属于状态代的一个体属于状态i(=1,2,3)的概率。的概率。讨论基因类型的演变情况讨论基因类型的演变情况)()(1父基因类型后代基因类型iXjXPpnnijpddXddXPpnn)1)( 1(111）（父为后代为基因比例基因比例 d:r=p:qqddXdrXPpnn)1)(2(112）（父为后代为0)1)(3(113）（父为后代为ddXrrXPpnn2/2/ 1)2)( 1(121ppdrXddXPpnn）（父为后代为2/12/12/1)2)(2(122qpdrXdrXPpnn）（父为后代为qpqpqpP02/2/ 12/0转移概率矩阵转移概率矩阵状态转移概率状态转移概率

22、随机繁殖随机繁殖),2 ,()1 ()2(),2 ,()0()1 (2222qpqpPaaqpqpPaa12,cbacbqbap马氏链模型马氏链模型, 1 , 0,)() 1(nPnana),2 ,()0(cbaaqpqpqpP02/2/ 12/0),2 ,()0(22qpqpwPwa任意，稳态分布自然界中通常自然界中通常p=q=1/2稳态分布稳态分布D:H:R=1/4:1/2:1/4基因类型为基因类型为D和和H, 优势表征优势表征绿色，绿色，基因类型为基因类型为R, 劣势表征劣势表征黄色。黄色。解释解释“豆科植物的茎，绿色豆科植物的茎，绿色:黄色黄色=3:1”(D+H):R=3:1随机繁殖随

23、机繁殖近亲近亲繁殖繁殖在一对父母的大量后代中在一对父母的大量后代中, 雄雌随机配对繁殖，雄雌随机配对繁殖，讨论一系列后代的基因类型的演变过程。讨论一系列后代的基因类型的演变过程。状态定义为配对的基因类型组合状态定义为配对的基因类型组合Xn=1,2,3,4,5,6配对基因组合为配对基因组合为DD,RR,DH,DR,HH,HR状态转移概率状态转移概率1) (111DDXDDXPpnn4/12/12/1) (131DHXDDXPpnn2/ 14/ 1004/ 104/ 14/ 18/ 14/ 116/ 116/ 101000004/ 102/ 104/ 1000010000001P马氏链模型马氏链模

24、型TMey654,325,326,6543/ 83/ 46/ 13/ 23/ 43/ 83/ 13/ 43/ 43/ 83/ 43/ 43/ 23/ 46/ 13/ 8)(1QIM2/ 14/ 1004/ 104/ 14/ 18/ 14/ 116/ 116/ 101000004/ 102/ 104/ 1000010000001PI0RQ状态状态1(DD), 2(RR)是吸收态，是吸收态，马氏链是吸收链马氏链是吸收链不论初不论初始如何，经若干代近亲繁殖，始如何，经若干代近亲繁殖，将全变为优种或劣种将全变为优种或劣种.计算从任一非吸收态计算从任一非吸收态出发，平均经过几代出发，平均经过几代被吸收态

25、吸收。被吸收态吸收。纯种纯种(优种和劣种优种和劣种)的的某些品质不如混种，某些品质不如混种，近亲繁殖下大约近亲繁殖下大约56代就需重新选种代就需重新选种.近亲繁殖近亲繁殖11.4 等级结构等级结构社会系统中的等级结构，适当、稳定结构的意义社会系统中的等级结构，适当、稳定结构的意义描述等级结构的演变过程，预测未来的结构；描述等级结构的演变过程，预测未来的结构；确定为达到某个理想结构应采取的策略。确定为达到某个理想结构应采取的策略。引起等级结构变化的因素：引起等级结构变化的因素： 系统内部等级间的转移：提升和降级；系统内部等级间的转移：提升和降级； 系统内外的交流：调入和退出系统内外的交流：调入和

26、退出(退休、调离等退休、调离等).用马氏链模型描述确定性转移问题用马氏链模型描述确定性转移问题 转移比例视为概率转移比例视为概率年总人数ttntNkii1)()()()()(tNtntaii基本模型基本模型1)(, 0)(1tatakiiia(t)等级结构等级结构等级等级 i=1,2,k（如助教、讲师、教授）（如助教、讲师、教授）数量分布数量分布 n(t)=(n1(t), n2(t), nk(t)ni(t) t 年属于等级年属于等级i 的人数，的人数， t =0,1, 比例分布比例分布 a(t)=(a1(t), a2(t), ak(t)转移矩阵转移矩阵 Q=pijk k, pij 是每年从是每

27、年从i 转至转至j 的比例的比例的比例每年调入调入比例irrrrrik),(21年退出总人数twtntnwtWkiTii)()()(1退出的比例每年从，退出比例iwwwwwik),(21基本模型基本模型kiwprrwpkjiijkiiiiij, 1, 11,0,11的人数年调入年调入总人数，ittRrttRi)()()()()() 1(tWtRtNtN总人数)()() 1(1tRrtnptnjkijiijj人数等级基本模型基本模型1111kjiijkiiwpr)(tnwjjrtRQtntn)()() 1()()()()()(tMwtntMtWtRT)() 1()(tNtNtM总人数增量rtMr

28、wQtntnT)()()1()(,)(,)()(tRrtWwpQtNtnij调入退出转移总人数分布 基本模型基本模型)(),0(),(,tnntMrwQ可预测已知 rwQPTrtMPtntn)()()1(基本模型基本模型rtMrwQtntnT)()()1(1, 1,11kiikjiijijrwppQ（随机矩阵）的行和为1P0)() 1()(tNtNtM若总人数不变)()() 1(rwQtaPtataT等级结构一致与马氏链基本方程Pnana)()1(等级结构等级结构a(t) 状态概率状态概率P转移概率矩阵转移概率矩阵.),()(1为稳定结构称，使若存在kTaaarwQaarkiiirrr11,

29、0应满足用调入比例进行稳定控制用调入比例进行稳定控制rwQPTPtata)()1(1,1kjiijijwppQ问题：给定问题：给定Q, 哪些等级结构可哪些等级结构可以用合适的调入比例保持不变以用合适的调入比例保持不变)(rwQaaTkiir11可验证0raQaTawaQara为稳定结构为稳定结构为稳定结构aaQa8 . 0003 . 06 . 0004 . 05 . 0Q用调入比例进行稳定控制用调入比例进行稳定控制323212118 . 03 . 06 . 04 . 05 . 0aaaaaaaaaQa求稳定结构求稳定结构 a=(a1,a2,a3) (a1+a2+a3=1)(0.5,0.5,0)

30、a2=a1a3=1.5a2(0,0.4,0.6)5 . 1:1:1:5 . 13212312aaaaaaa交点与a*稳定域稳定域BB(0,0,1)(0,1,0)(1,0,0)A可行域可行域A例例 大学教师大学教师(助教、讲师、教授助教、讲师、教授)等级等级 i=1,2,3，已知每年转移比例，已知每年转移比例)428. 0 ,286. 0 ,286. 0(*a23125 . 1 aaaa)0, 1,0(1iikiieerr记kjijiikiiimiMmmmmiM121),(行元素和的第记行的第记ikikiiiimrMerrM11用调入比例进行稳定控制用调入比例进行稳定控制研究稳定域研究稳定域B的

31、结构的结构rMawaT)(为稳定结构aaQa寻求寻求a aQ 的另一种形式的另一种形式)(rwQaaTTawaQar1)(QIM对行求和rMawaT)(11)(kiiiTrawkiiikiiirmra11用调入比例进行稳定控制用调入比例进行稳定控制kiiisba100iibr.1, 01是稳定结构时且的线性组合，为系数的能表为以当abbsbakiiiii稳定域是稳定域是k维空间中以维空间中以 si 为顶点的凸多面体为顶点的凸多面体研究稳定域研究稳定域B的结构的结构kjjjiiirrb1iiimskiib11可验证kiiikiiirmra11用调入比例进行稳定控制用调入比例进行稳定控制8 . 0003 . 06 . 0004 . 05 . 0Q例例50075. 35 . 20322)(1QIMiiijijiiiiimsmimmmm