5.2齐次马尔可夫链

1、第二节齐次马尔可夫链、齐次马尔可夫链的概念一个随机过程Xn,n=0,1,2,就是一族随机变量，而Xn能取的各个不同的值，则称为状态。如果一个随机过程Xn,n=0,1,2,由一种状态转移到另一种状态的转移概率只与现在处于什么状态有关，而与在这时刻之前所处的状态完全无关，即如果过程X,n=0,1,2,中，Xn+1的条件概率分布只依赖于Xn的值，而与所有更前面的值相互独立，则该过程就是所谓马尔可夫（Markov）过程.马尔可夫链是指时间离散，状态也离散的马尔可夫过程。一个马尔可夫链，若从u时刻处于状态i,转移到t+u时刻处于状态j的转移概率与转移的起始时间u无关，则称之为齐次马尔可夫链，简称齐次马氏

2、链。如果把从状态i到状态j的一步转移概率记为Pij,则Pij=PXn+1=j|X=i,i,j=0,1,2,且有转移概率矩阵P,FQOPoiPcqp=P10P】1P12P却PjjPaa，,v-i>vv«*e这样，一个齐次马氏链，可以由一个转移概率矩阵P以及在时刻零时状态x=0,1,2,的概率分布列向量Q=（q（0）,q（1）,）完全确定。由齐次马氏链性质知道，第i状态的行向量A与第i+1状态的行向量A+1之间存在着关系式：A+1=AP。、齐次马氏链在评估教学质量中的应用教学过程是一个随机过程，也就是说，对于具有相同基础知识背景的学生（个体），在同时接受新知识时是随机的。我们可以把

3、一个班（群体）的学生划分为不同的等级（譬如：优、良、中、及格、不及格五个等级），近似地认为处于同一等级的学生具有相同的基础知识，用齐次马氏链，通过学生学习状态的转移概率矩阵，最终可以预测一个班学生学习成绩的稳定状态。对教师而言，也就可用来评估、预测一个班的教学质量。在教学效果指标的量化过程中，齐次马氏链评估法是将一个群体（如一个班或一个年级）的学生在某次考试中获得优（90分以上）、良（8089分）、中（7079分）、及格（6069分）和不及格（59分以下）各等级学生人数占总人数之比，作为状态变量，并用向量表示之。即R（t）=（Xl，X2（t）,X3（t）,X4（t）,X5（t）,这里，俵示时刻

4、,tEN,显然有£叉工(t)=li-i由于齐次马氏链与t时刻前的状态无关(呈无后效性)，可以研究当t变化时，状态向量R(t)的变化规律，从而对教学效果进行评估。设经第一次考试，一个班n个学生中，优、良、中、及格、不及格的学生数分别为n(i=1,2,3,4,5),则状态向量R(l)山，超，区，I口nnnn)称作初始向量。为考察教学效果，继续分析下一次考试时，上述学生的等级变化。若经第二次考试后，原来获优等成绩的ni名学生中，仍保持优等的是nii人，转化为“良”，“中”，“及格”，“不及格”的学生分别有ni2,ni3,ni4,ni5人，于是，第一次考试成绩优等的学生考试成绩转移情况是向量

5、中nj(i,j=i,2,3,4,5)表示从状态i变成状态j的人数。这一转移情况用矩阵表示为口111112n13n14n15口/口Ji】nx£1111"11好力口主叼3n3n3n3n33tlin4n4n4n4口*n5i口心11靠口射n与P为转移概率矩阵，简称转概阵。X=(xi,X2,X3,X4,符合齐次马氏链学习状态转移概率矩阵的学生学习成绩最终必然趋于平稳状态(E-P)R(1)二24415f15即X=XP,也即X(EP)=0,0000Q解此线性方程组，可得状态R(t)时学生学习成绩的平稳分布X。下面，我们仍以第一节表51中的15名学生的成绩为例，分析这一群体在两次考试中学生

6、等级的变化。按优、良、中、及格、不及格五等划分，分别是2人、4人、4人、5人和0人，因此，各个等级学生转移情况分别是二”,0,J,U,I/J(131P2.=0,0,0.44J与=(&"(23P4.=IOjOj»0Pj.二(0,010p0p0)。CJ0组成转概阵P=000000第二次考试成绩分布状态一、,、fl181R=良（1），P=|石，石，石，J按照这个变化规律，第三次考试成绩分布状态/、/、(1129R(3)=Rr=|茄，茄，,即在第三次考试后，学生中优等、良等的人数减少了，而中等的人数和及格的人数却在增加。这样，就可以分析这组学生群体的变化状态。设该过程的平稳

7、状态分布列为X,由于(EP)TX=0,001220fl&，=0,Lu于是-Xi-M2140,2Z25Z0,解得(0,0,从而可以断定，最终只有中等和及格两等级的学生，其人数分别占总数的56%和44%。三、齐次马氏链在评估解题状态中的应用解决问题是数学教育的一项主要任务。如果能够把一个题目，按学生解题的认知过程的发展，分解成几个不同层次的状态，那么就可以用齐次马氏链去测量一个群体（如一个班或一个年级的学生）解决问题的能力与状况。首先，我们认为解决一个问题的过程是由分析S、设计&、探究4、实施S4和验证S5这样五个状态组成的，并且这五个状态存在如图5-2的关系。分成了上面五个状态，

8、我们可以认为解决问题的后一状态只与它的前一个状态有关，而与它的更前面的状态无关。这就完全符合齐次马氏链所要求的条件。的5-2关系流程图图52的关系流程图，存在一个状态转移概率矩阵邑3当0100o100%P飘0p丸Psi0000000100001其中63+64=1,P31+P32=1。如果图52的关系流程图第i阶段的行向量为A=(ai,a2,a3,a4,%),由于Ap=(1,0,0,0,0),从而A=(0,1,0,0,0),A=AP=(0,0,P23,P24,0),A3=AP=(p31P23,P23P32,0,0,P24),At=A$P=(0,P田Pm3PP34)T£5A4P-LPam

9、PmmP?】，PbP茶，PjiP2jP31P23P24>P24(P23P32+1)o应用齐次马氏链的关键在于找到一个转移概率矩阵中的Pij,这就要从两个方面去控制，一是通过具体题目的解题过程划分几个不同状态(这一点相对来说是比较困难的)，二是通过解题时间来控制解题过程，以分析整个群体a的解题状态。例如，要求40名学生在10分钟内完成一个题目：求证:R(2,3),Pz(4,6),P3(6,9)三点共线。当然，对于这个题目，如何比较客观去分析解题状态，即究竟做到哪一步才是从分析S到设计S2,哪一步才算是从设计S到实施S4,这是比较困难的。但是，如果运用时间去控制解题状态，还是切实可行的。设8

10、分钟以后，有30名学生圆满地证明了这个题目，剩下的10名学生中，经过老师的适当提示，又有6名学生完成了该题。这样对照关系流Pm=4，P31=白，从而程图52,可以得到：Pg=而，Pm=通,A)=(1,0,0,0,0),A=(0,1,0,0,0),f13)%=0,0,二，7,0,2 44r13nn31A3I-f,0,0,二，3 110204j(13931/初市1_(3913691一【痂400s40540?Wi由Ai可见，这40名学生全部从分析状态S转移到设计状态S2；由A可见，经过设讨状态心之后，有:的学生已经进入探究状态当，而另有:的学生则进入了实施状态由与可见，?的学生进入实施状态"I喷利地得到了验证而处于探究状态多的;的学生中，得的学生回到了分析状态小，的学生回到了设计状态当，在经过老师的适当提示之后，久表明，3学生中的7Q白的学生进入了探究状态邑，而又有总的学生进入了实施状态为同OUoU样根据可以测得在规定的10分钟过去之后，冷(约防25%)的oU学生顺利地解i夬了该题，亮(1.5%)的学生仍然处在分析状态S,齐次马氏链，针对在规定的时间里