概率论与随机过程：第6章 7马氏链4学时

1、 马尔可夫链及其概率分布引言引言考虑离散型的n维r.v. ，把 所有可能取值记为 或1，2，3，.，如果 相互独立，且 的d.l已知，则 的联合d.l为),(21nXXXnXXX,21,21nxxxnXXX,21, 2 , 1, kXk),(21nXXX nkikiniiknxXPxXxXxXP121,21nXXX,21若 不相互独立，要得到其联合d.l可由乘法公式计算：若 0,121121 niniixXxXxXP有 ,|,|,1212131212112121312121 nnniniiiniiiiiiiniixXxXxXxXPxXxXxXPxXxXPxXPxXxXxXP设想，若|,|112

2、11121 kkkkikikikiiikxXxXPxXxXxXxXP则问题可以相对化简。称为Markov性。一般用分布函数定义为：设随机过程X X(t t),t tT T，状态空间为，若对于t t 的任意n个值t t1 1t t2 2t tn n,n n3,有 则称过程X(t),tT具有马尔可夫性，或称 X(t),tT为马尔可夫过程。 112211)(,)(,)()( nnnnxtXxtXxtXxtXP RxxtXxtXPnnnnn ,)(|)(11数数。的的条条件件分分布布函函下下布布函函数数等等于于在在条条件件的的条条件件分分条条件件下下，即即在在)()()(1, 2 , 1,)(11nn

3、nniitXxtXtXnixtX );|,(),;,|,(11|121121|1121 nnnnttnnnntttttxtxFtttxxxtxFnnnn或或 直观上，过程（或系统）在时刻t0所处的状态为已知的条件下,过程在时刻tt0所处状态的条件分布与过程在时刻t0之前所处的状态无关。无后效性。 即已知过程现在的条件下，其将来不依赖于过去。 1,000,0XttXXtt例 ：设是独立增量过程，且 证明：是一个马尔可夫过程。121,nnTntttt证：对 中任意 个数值 1111( )|,nnnnP X txX txX tx 112211110,0,( ),0nnnnnnX tXx X tXxP

4、 X tX txxX tXx 1111( )|0nnnnnnP X tX txxX tXx ,0X tt 由定义知，是一个马尔可夫过程。 11( )|nnnnP X txX tx只与此值有关，与其它增量独立由上例知，泊松过程泊松过程是时间连续状态离散的马氏过程， 维纳过程维纳过程是时间状态都连续的马氏过程。一、马尔可夫链及其概率分布的定义 状态和时间参数都是离散的马尔可夫过程称为马尔可夫链，或马氏链。 记为Xn=X(n),n=0,1，2，,记链的状态空间为a1，a2，aiR .在链的情况，马尔可夫性通常用分布率表示。 1.1.马氏链的定义马氏链的定义 imjmnimitititjmnaXaXP

5、aXaXaXaXaXPrr |,2211其中a., 称Xn,n=0,1，2，为马氏链。定义定义1 1若对于任意的正整数n，r和任意的 有有, 2 , 1 , 0,021nTnmmtmtttir 则称Xn,n0为马氏链。 nnnninininiiinaXaXPaXaXaXaXP |,12011101有有 定义定义2 2设Xn,n0,其状态空间为,若对于任意的正整数n和任意的 110,nniiiiaaaa,称为马氏链在时刻m系统处于状态ai的条件下，在时刻m+n转移到状态aj的转移概率。 imjnmnijaXaXPmP |)()(例.记从数1,2, ,N中任取一数为X0 0，当n1时，记从数1,2

6、, ,Xn n-1-1中任取一数为Xn n,证明Xn n,n=0，1，2,是一个马氏链。证：Xn n,n=0，1，2,的状态空间=i,1iN, ,110 xiiiinnn 及对任意的 nnnnnnnnnnnnniXiXPiiiiiiXiXiXiXP |10,1111110011可见,Xn n,n=0，1，2,是一个马氏链。 2 2转移概率的性质转移概率的性质 (1)(1) Pij (n)(m)0； , 2 , 1, 1)()2(1)( imPjnij 事实上，因为链在m时刻从状态ai i出发，到m+n时刻必然转移到a1 1，a2 2，状态中的一个，从而 11)(|)(jimjnmjnijaXa

7、XPmP . 1| imjnmjaXaXP2. .定义定义若对任意的正整数m,n及任意的ai，aj，有 mPnPijij)1()1( 即马氏链Xn,n0的转移概率Pij (1)(n)与n无关，则称转移概率具有平稳性，这时，马尔可夫链称为是齐次的。 imjmijijaXaXPmpp |1)1(称为马氏链的一步转移概率；齐次马尔可夫链及一步转移概率齐次马尔可夫链及一步转移概率 )1()1(ijpPP ijiiijjjpppapppapppaaaaP2122221211211121 称为马氏链的一步转移概率矩阵；其中列为Xm的状态，行为Xm+1的状态。则称Xn,n0为(齐次)马氏链。 nnnnnnn

8、niXiXPiXiXiXiXP |,11210011有 定义定义2 2设Xn,n0,其状态空间为E,若对于任意的正整数m,n和任意的 110,nniiiiE, mPnPijij)1()1( 例（01传输系统）在一个n级数字传输系统中，设每一级的传真率为p，误码率为q=1-p，并设一个单位时间传输一级，X0是第一级的输入, Xn是第n级的输出（n1）,那么Xn n, n=0，1，2,是一随机过程，状态空间=0,1.0 0 1 1p1-p X0 X1 Xn-1 Xn0 0 1 1p1-p0 0 1 1p1-p 当Xn=i, i为已知时，Xn+1n+1所处的状态的概率分布只与Xn n=i 有关，而与

9、时刻n以前所处的状态无关，所以它是一个马氏链。且一步转移概率和一步转移概率矩阵分别为 pqqpPjiijqijpiXjXPpnnij1 , 0,|1,且是齐次马氏链.例例(一维随机游动)设一醉汉Q（或看作一随机游动的质点），在如图所示直线的点集I1，2，3，4，5上作游动，仅仅在1秒、2秒等时刻发生游动。游动的概率规则是：如果Q现在位于点i (1i 5)，则下一时刻各以1/3的概率向左或向右移动一格，或以1/3的概率留在原处；如果Q现在位于1（或5）这点上，则下一时刻就以概率1移动到2（或4）点上。1和5这两点称为反射壁。上面这种游动称为带有两个反射壁的随机游动。 1 2 3 4 5 若以Xn

10、 n表示时刻n时Q的位置，不同的位置就是Xn n的不同状态，那么Xn n,n=0，1,2,是一随机过程，状态空间就是I，而且当Xn n=i,iI为已知时,Xn n+1+1所处的状态的概率分布只与Xn n=i有关，而与Q在时刻n以前如何到达i是完全无关的，所以Xn n,n=0，1,2, 是一马氏链，且是齐次的。它的一步转移概率和一步转移概率矩阵分别为 2|04, 52, 11, 51 , 1, 131|1ijjijiiiijiXjXPpnnij或或 如果把1这一点改为吸收壁，即Q一旦到达1，就永远留在点1上。此时，相应链的转移概率矩阵只须把P中第1横行改为（1，0，0，0，0）。总之，改变游动的

11、概率规则，就可得到不同方式的游动和相应的马氏链。 010003/13/13/10003/13/13/10003/13/13/1000105432154321P 例例4 4：排队模型排队模型 设服务系统由一个服务员和只可以容纳两个人设服务系统由一个服务员和只可以容纳两个人的等候室组成。服务规则为：先到先服务，后来者的等候室组成。服务规则为：先到先服务，后来者需在等候室依次排队，假设一个需要服务的顾客到需在等候室依次排队，假设一个需要服务的顾客到达系统时发现系统内已有达系统时发现系统内已有3 3个顾客，则该顾客立即离个顾客，则该顾客立即离去。去。 设时间间隔设时间间隔tt内有一个顾客进入系统的概率

12、为内有一个顾客进入系统的概率为q q，有一接受服务的顾客离开系统，有一接受服务的顾客离开系统( (即服务完毕即服务完毕) )的概的概率为率为p,p,又设当又设当tt充分小时，在这时间间隔内多于一充分小时，在这时间间隔内多于一个顾客进入或离开系统实际上是不可能的，再设有个顾客进入或离开系统实际上是不可能的，再设有无顾客来到与服务是否完毕是相互独立的。无顾客来到与服务是否完毕是相互独立的。等候室服务台系统随机到达者离去者用马氏链来描述这个服务系统：用马氏链来描述这个服务系统： 设设X Xn n=X(nt)=X(nt)表示时刻表示时刻ntnt时系统内的顾客数，时系统内的顾客数，即系统的状态。即系统的

13、状态。XXn n,n,n=0,1,2=0,1,2是一随机过程，状态是一随机过程，状态空间空间I=0,1,2,3,I=0,1,2,3,且如前例的分析可知，它是一个齐且如前例的分析可知，它是一个齐次马氏链，它的一步转移概率矩阵为：次马氏链，它的一步转移概率矩阵为： 0 1 2 301001(1)(1)(1)(1)020(1)(1)(1)(1)300(1)(1)qqpqpqpqqpPpqpqpqqppqpqp等候室服务台系统随机到达者离去者 例例 有甲、乙两袋球，开始时有甲、乙两袋球，开始时, ,甲袋有甲袋有3 3只球只球, ,乙袋有乙袋有2 2只球；只球；以后以后, ,每次任取一袋每次任取一袋,

14、,并从袋中取出一球放入另一袋并从袋中取出一球放入另一袋( (若袋中无若袋中无球则不取球则不取) )。X Xn n表示第表示第n n次抽取后甲袋的球数次抽取后甲袋的球数,n=1,2,. ,n=1,2,. XXn n,n,n=1,2,=1,2,是一随机过程，状态空间是一随机过程，状态空间I=0,1,2,3,4,5,I=0,1,2,3,4,5,当当X Xn n=i=i时，时，X Xn+1n+1=j=j的概率只与的概率只与i i有关，与有关，与n n时刻之前如何取到时刻之前如何取到i i值是值是无关的，无关的，这是一马氏链，且是齐次的这是一马氏链，且是齐次的, , 一步转移概率矩阵为：一步转移概率矩阵

15、为：112211221122112211221122 0 1 2 34 5000000000100002000030000400005P甲乙 定义定义3 3 称条件概率 为马尔可夫链在时刻m处于状态ai i的条件下，在时刻m+n步转移到状态aj j的n步转移概率，简称为转移概率。 imjnmnijaXaXPmP |)()(例 设Xn,n=0，1，2,是独立同分布的随机变量列,记Xn可能取值的全体为I=i,i 1,则Xn为马氏链，并求其一步转移概率。解 对任意的n及 Iiiiinn 110, 110011,| nnnnnniXPiXiXiXP所以Xn为马氏链。 IiqiXPin ,记记由于Xn,

16、 n=0，1，2,独立同分布，因而 nnnniXiXP |11 |111iXjXPqjXPiXjXPmmjnnn 所以Xn为齐次马氏链。其一步转移概率P: .,Ijiqpjij /例3 排队模型设服务系统由一个服务员和只可以容纳两个人的等候室组成，见图73。服务规则是：先到先服务，后来者需在等候室依次排队。假定一个需要服务的顾客到达系统时发现系统内已有3个顾客（一个正在接受服务，两个在等候室排队）则该顾客即离去。设时间间隔t内将有一个顾客进入系统的概率为q，有一原来被服务的顾客离开系统（即服务完毕）的概率为p。又设当t充分小时，在这时间间隔内多于一个顾客进入或离开系统实际上是不可能的。再设有无

17、顾客来到与服务是否完毕是相互独立的。现用马氏链来描述这个服务系统。 随机到达者等候室服务台系 统离去者设P表示一步转移概率Pij所组成的矩阵，则 称P为一步转移概率矩阵，它具有如下性质 （1） （2） （2）式中对j求和是对状态空间I的所有可能的状态进行的。此性质说明，一步转移概率矩阵中任一行元素之和为1。 表示时刻 时，系统内的顾客数，即系统的状态。xn, n=0，1，2,是一随机过程，状态空间I0，1，2，3，而且仿照例1、例2的分析，可知它是一个齐次马氏链。下面来计算此马氏链的一步转移概率。 p00在系统内没有顾客的条件下，以 后仍没有顾客的概率（此处是条件概率，以下同），p00=1-q

18、. p01系统内没有顾客的条件下, 经 后有一顾客进入系统的概率, p01=q.)(tnXXn p10系统内恰有一顾客正在接受服务的条件下，经 后系统内无人的概率，它等于在 间隔内顾客因服务完毕而离去，且无人进入系统的概率，p10=p(1-q).p11系统内恰有一顾客的条件下，在 间隔内，他因服务完毕而离去，而另一顾客进入系统，或者正在接受服务的顾客将继续要求服务，且无人进入系统的概率，这p11pq(1-p) (1-q). p12正在接受服务的顾客继续要求服务，且另一个顾客进入系统的概率，p12=q(1-p). p13正在接受服务的顾客继续要求服务，且在 间隔内有两个顾客进入系统的概率。由假设

19、，后者实际上是不可能发生的，p13=0. 类似地，有p21= p32 = p(1-q), p22 = pq+(1-p) (1-q), p23=q(1-p), pij= 0( | i-j |2 ).p33或者一人将离去且另一人将进入系统，或者无人离开系统的概率，p33= pq+(1-p). 于是该马氏链的一步转移概率矩阵为 )1 ()1 (00)1 ()1)(1 ()1 (00)1 ()1)(1 ()1 (00)1 (3210ppqqppqqppqqppqqppqqpqqp例4 某计算机机房的一台计算机经常出故障，研究者每隔15分钟观察一次计算机的运行状态，收集了24小时的数据（共作97次观察）

20、，用1表示正常状态，用0表示不正常状态，所得的数据序列如下：1110010011111110011110111111001111111110001101101111011011010111101110111101111110011011111100111设Xn为第n (n=1,2,97)个时段的计算机状态，可以认为它是一个齐次马氏链，状态空间I=0,1, 96次状态转移的情况是： 00，8次，01，18次； 10，18次，11，52次。因此，一步转移概率可用频率近似地表示为 ,26818880|0100 nnXXPp,70185218181|0110 nnXXPp,2618188180|110

21、1 nnXXPp,70525218521|1111 nnXXPp 3.3.多步转移概率及C-K方程 若Xn为齐次马氏链，则对任意非负整数m，任意正整数n,及 jiaa , 无无关关。与与有有maXaXPimjnm | imjnmaXaXP |证明： imjmnjmnjmaXaXaXaXPn |,1111而而 imjmnjmnjmimaXPaXaXaXaXPn |,1111 jjjjijimjjjjijimnnpppaXPpppaXP12111211 12111,11|,nnjjjimjmnjmnjmaXaXaXaXP因此，马氏链的齐次性可写为 imjnmimjnmaXaXPaXaXP 2211

22、| 无无关关。与与所所以以maXaXPimjnm | )()(2)(1)(2)(22)(21)(1)(12)(11)()(nijnininjnnnjnnnijnppppppppppP为马尔可夫链的n步转移概率矩阵。. 1, 0)()( xanijnijjpp其中定理定理 设Xn，n=0,1,为马氏链，则对于任意的正整数k,m，有 rkrjmirkmijppp)()()(此方程称为Chapman-kolmogorov(切普曼柯尔莫哥洛夫)方程,简称C-K方程.证： injkmnkmijaXaXPp |)( rinjkmnrmnaXaXaXP|, 既:“从Xn=ai出发，经时刻m转移到中间状态ar

23、,再从ar经k时段转移到aj状态”这样一些事件的和事件。 rinjkmnrmninaXPaXaXaXP, rinkrjmirinaXPppaXP)()( rkrjmirpp)()( 如果把转移概率写成矩阵的形式，那么CK方程具有以下简单的形式 P P(m+k(m+k) )=P P(m)(m)P P(k)(k) m, k0 特别地，P P(n)(n)=P Pn n, n步转移概率由一步转移概率完全决定。例 求带有两个反射壁的一维随机游动的两步转移概率矩阵。 010003/13/13/10003/13/13/10003/13/13/100010010003/13/13/10003/13/13/10

24、003/13/13/100010)2(2PP解：解： 3/13/13/1009/19/59/29/109/19/29/39/29/109/19/29/59/1003/13/13/1例 甲乙进行某种比赛，设每局比赛中甲胜的概率为p，乙胜的概率为q，平局的概率为r，p+q+r=1，每局比赛后胜负平分别得2，-1，0分，当两人中有一人得到2分时结束，Xn，n1表示比赛至n局时甲获分数，则Xn为马氏链，求(1)状态空间，(2)两步转移概率矩阵(3)问甲获1分情况下，最多再赛两局可结束比赛的概率。解 (1)E=-2，-1，0，1，221012100000000000000121012)2( prqprq

25、prqP 10000202220220000122222222)2(prppqrrqqpprpqrrqqppqpqrpqPP(3)prppp )2(12例 在n级0-1传输系统中，设p=0.9，求系统二级传输后的传真率与三级传输后的误码率.解 先求出n步转移概率矩阵P P(n)(n)=P Pn n。 pqqpP有相异特征值1=1，2=p-q ,由线性代数知识，可将矩阵P表示为对角阵 qp0010021 的相似矩阵。 具体做法是：求出 1 ,2对应的特征向量 2/12/1,2/12/111ee 2/12/12/12/1,21eeH令令则PHH-1。于是，容易算得 nnnnnnqpqpqpqpHH

26、P)(2121)(2121)(2121)(212110101 由上式可知，当p=0.9时，系统经二级传输后的传真率 与三级传输后的误码率分别为 820. 0)1 . 09 . 0(21212)2(00)2(11 PP244. 0)1 . 09 . 0(21213)3(01)3(10 PP 对于只有两个状态的马氏链，一步转移概率矩阵一 般可表示为： 1,0 ,11 babbaaP利用类似的方法，可得n步转移概率矩阵为 bbaababaababbappppPPnnnnnnn)1(11010)(11)(10)(01)(00 n=1,2,. 定义定义 称条件概率 1, 0,|)( nmxaaaXaXP

27、Pjiimjnmnij 为马氏链Xn,n0的n步转移概率，并称由Pij(n)组成的矩阵 称Xn的分布qj(n)=PXn=j, jE 为Xn,n=0,1,的绝对分布，初始分布和任一时刻 n的绝对分布可用向量表示 q(0)=(q1 1(0),q2 2(0), ) q(n)=(q1 1(n),q2 2(n), ) 定义 设Xn n,n=0,1,为马尔可夫链，称X0 0的分布 qj j(0)=PX0 0=j, jE=1,2为Xn n,n=0,1,的 初始分布.，显然 11)(jjnq 四、有限维分布(及遍历性) 1有限维分布 设马氏链Xn,n0,状态空间，n步转移概率矩阵P(n)(n). (1)一维分

28、布 , |100 inniXjXPiXPjXP由全概公式, 2 , 1,)0()(1)( jpqnqinijij或 一维分布可用行向量表示q q(n)=(q1(n),q2(n),qj(n),), 利用矩阵的乘法：q(n)= q(0)P(n)(n) 说明马氏链在任一时刻n的一维分布由初始分布与n步 转移概率矩阵确定。 (2)n维分布 对任意n个时刻 0t1 1t2 20, 则称自状态i可达状态j，记为ij。 若 n n 1 1， 则则称自状态i不可达状态j，记为ij。 若ij，ji,称i,j是相通的，记为)(nijP0)( nijPji 性质TH (传递性)设i,j,kE,若ik,kj,则ij。

29、证明)(nijP分析：要证 n n 1,1,使 0，用定义及C-K方程,ki , 0,)(11 nikpn 使又, jk , 0,)(22 nkjpn 使则, 0)()()()()(212121 nkjnikEsnsjnisnnijppppp所以i j 。推论(相通具有传递性)若 ，则jkki,ji 定义设,jiCiCjEjEC 均有则称C是E中的一个闭集。直观上：判断是否是闭集的方法：证明“” 显然成立；TH 设CE, 则C为闭集 , 0, jipCjCi 有“” 分析：只要证, 0, 1)( njipCjCin 有用归纳法证明当n=1时，由已知pij=0，设0)1( nijp，则由C-K方

30、程ECEij0)1()1()1()( CssjnisCssjnisEssjnisnijppppppp定理成立。例马尔可夫链闭集的性质： TH 若 是马氏链的n步转移概率矩阵，C是E中的一个闭集，则 构成一随机矩阵。)()(nijpCjipnij ,),()(意义证明Cjipnij ,10)1()(EipCiEjnij ,1,)2()(,10)()()()( CjnijCjnijCjnijEjnijppppCipCjnij ,1)(定义 设马尔可夫链的状态空间为E，若除E外不存在其它的闭集，则称此链是不可分或不可约的，否则，称为可分或可约的。 引理1 设DE,则包含D的所有闭集的交仍是闭集且是包

31、含D的最小闭集。成为D的闭包，记为D证明设 是包含D的所有闭集,)(,指标SsFs SssFF FjFi ,Fj 0,0sFjs 使00,ssFFi 而是闭集0 ijpF是闭集，且是含D的最小闭集。 引理2 设 jE,则:kjkjj 证明 (1)设:kjkjF 若F不是闭集，则,skFsFk 使但jk,所以js,从而sF,矛！(2)F最小：反证 若G是含j的闭集，GF，则 kjjkFGk 而,从而 kF,矛！ F最小。(先证其是闭集)EGFjk 马尔可夫链不可约它的每一状态可由其它任一状态到达。(任两状态相通)。定理证明 “” 反证ijijEji 使若, ji 则,E集中闭是从而 j与链不可约

32、矛！“”只要证E是最小闭集,Ej 任取kjjkEk , jk jE E是最小闭集例，例P84二、状态的分类定义1,:min,0 njXiXnTEjinij定义称Tij为自状态i出发，首次到达状态j的步数或时刻。记jjnsjjjjijnijnspppf121111)( |0)(iXnTPfijnij 称为自状态i出发，经n步首次到达状态j的概率。引理证明 由定义|0)(iXnTPfijnij 而|1, 2 , 1,|00iXnkjXjXiXnTknij 11111111220111101111)(1211|,nsjjjjjjijnnnnsjjnsjjnnnnijsnsspppjXjXPjXjXP

33、iXjXPiXjXjXjXPf., 0)(0nijfiXP则用上式右端定义若 定义 记 1)(nnijijff表示从i出发经有限步(迟早)到达状态j的概率。 引理 关于 有ijnijff,)(|)2(;0)1(0)(iXTPfffijijijnij 101)(|nijnnijijiXnTPff| )(010iXTPiXnTPijnij 引理 有, 1, nEji nllnjjlijnijpfp1)()()()1()0( jjp直观意义：证明见书。推论)0(,)0(0)()(10)()()( ijnlljjlnijnlljjlnijnijfpfpfp定理0 ijfji证明 “”，若ji 由定义，

34、, 0, 1)( nijpn使即：01)()()( nllnjjlijnijpfp0,1,)(000 lijfnll使从而，. 0)(0 lijijff“”, 0, 10)( nijijfnf使则，若而，0)()( nijnijfpji 推论0, 0 jiijffji且书例P86定理 设A=系统无穷多次到达j Am=系统至少m多次到达j， 并记：,|)(,|00iXAPmQiXAPQmijij 则.1, 01, 1 jjjjjjffQ证明 由已知, 2 , 1,11 mmmmAAmAA且从而，|lim)(lim|00iXAPmQiXAPQmmijmij | ),(|)1(0101iXAkTPi

35、XAPmQkmijmij 而，系统有限次返回j)|, 1,1 ,(01iXjXnmjXkjXPkknk 使个且至少有 )|, 1,1 ,(01iXjXnmjXkjXPknkk 使个且至少有 ,1,|, 1)|,1 ,(001jXkjXiXjXnmPiXjXkjXPkknkk 使个至少有|, 1)|,1 ,(01jXjXnmPiXjXkjXPkknkk 使个至少有 首达j)()(1)(mQfmQfjjijjjkkij 从而，mjjijjjmjjijjjjjijjjijijffQffmQffmQfmQ)()1()()1()()1(1 于是，.1, 01, 1)(lim)(lim jjjjmjjmj

36、jmjjfffmQQ推论.1, 01, jjjjijijfffQ定义 当fij=1时， 为一分布律，则, 2 , 1,)( nfnij)(1nijnijfn 表示从i出发首次到达j的平均时间或步长，特别的，jj表示 从j出发再回到j的平均时间或步长，称为状态j的平均返回时间，简记为j。定义(1)若fjj=1，则称状态j是常返状态，或j是常返的；(2)若j是常返的，且 jj+ ，则称j是正常返的，或积极常返的；(3)若j是常返的，且 jj=+ ，则称j是零常返的，或消极常返的；(4)若fjj1,则称状态j是周期的，j有周期d，记为d(j).0:)( njjpn0:)( njjpn若d(j)=1,则称状态j是非周期的。若 j是正常返的,又是非周期的，则称j是遍历的。周期状态的性质：若0:)( njjpn非空，则有0,)3()2( njjnjjpp