随机过程马尔科夫过程正规版资料

随机(suíjī)过程马尔科夫过程第一页，共44页。马尔可夫(1856年6月14日——1922年7月20日）马尔可夫对数学的最大贡献是在概率论领域作出的．十九世纪后二十年，他主要是沿着切比雪夫开创的方向，致力于独立随机变量和古典极值理论的研究，从而改进(gǎijìn)和完善了大数定律和中心极限定理．二十世纪初，他的兴趣转移到相依随机变量序列的研究上来，从而创立了以他命名的著名概率模型——马尔可夫链．第二页，共44页。王梓坤院士(1929年—)江西吉安人,1952年大学毕业后，被分派到天津南开大学数学系任教.是一位对我国科学和教育事业作出卓越贡献的数学家和教育家，也是我国概率论研究的先驱和学术带头人之一。1954年，他又以优异的成绩考取了赴苏研究生。踏进世界著名学府(xuéfǔ)－莫斯科大学，在这个学府(xuéfǔ)世界概率论的奠基人柯尔莫哥洛夫院士正领导看一个强有力的概率研究集团。柯尔莫高洛夫慧眼识英才，非常信赖这位由中国选派的年轻人的能力，把他选作自己的研究生，去攻概率论的中心问题随机过程理论。当时中国近代数学才刚刚起步，大学也没有概率课程。此时苏联的概率论水平已届于世界最前列。王梓坤也根本不知道什么是概率，可他的研究方向又恰恰被定为概率论，著有《概率论基础及其应用》、《随机过程论》、《生灭过程与马尔科夫链》等9部数学著作．第三页，共44页。马尔可夫过程的定义(dìngyì)马尔可夫链的转移概率与概率分布齐次马尔可夫链状态的分类转移概率的稳定性能本章(běnzhānɡ)主要内容第四页，共44页。引例(有限制随机游动(yóudònɡ)问题)设质点只能在{0，1，2，···，a}中的各点上作随机游动(yóudònɡ)，移动规则如下：ii+1i-101a-1a设Xn表示(biǎoshì)质点在n时刻所处的位置第五页，共44页。§1马尔可夫过程(guòchéng)的定义基本概念1．马尔可夫性通俗地说，就是在知道过程现在的条件下，其将来的条件分布不依赖于过去，则称具有马尔可夫（Markov)性。定义设是一个随机过程，如果在t0时刻所处的状态为已知，它在时刻

所处状态的条件分布与其在t0之前

所处的状态无关。第六页，共44页。1001003100引理(有限制随机游动问题(wèntí))例6（网页浏览）用集合表示因特网中的所有网页，假设网页上的超级链接数为所完全确定.第三十五页，共44页。1001003100《生灭过程与马尔科夫链》等9部数学著作．例：设{Xn,n≥0}是描述天气变化的齐次马尔科夫链，状态空间为S={0,1},其中0,1分别表示有雨和无雨，X的一步转移(zhuǎnyí)概率矩阵为齐次马尔可夫链状态的分类游动，移动规则如下：特别(tèbié)当k=1时，第一周期的市场占有率向量为：记i个个体(gètǐ)各自产生的后代数分别记为随机变量，且有概率分布特别(tèbié)对取T={0,1,2,···}的马尔可夫链，记为注只讨论马尔可夫链的状态(zhuàngtài)空间为有限或可列无限.柯尔莫高洛夫慧眼识英才，非常信赖这位由中国选派的年轻人的能力，把他选作自己的研究生，去攻概率论的中心问题随机过程理论。2.马尔可夫过程(guòchéng)定义设的状态空间为S,的条件分布函数恰好等于第七页，共44页。定义(dìngyì)参数集和状态空间都是离散的马尔可夫过程称为马尔可夫链。注只讨论马尔可夫链的状态(zhuàngtài)空间为有限或可列无限.则马尔可夫性可表示(biǎoshì)为第八页，共44页。特别(tèbié)对取T={0,1,2,···}的马尔可夫链，记为或此时的马尔可夫性为或今后,记第九页，共44页。二马尔可夫链的转移(zhuǎnyí)概率1.转移(zhuǎnyí)概率定义设是马尔可夫链,称条件概率经过k步转移,于n+k时到达(dàodá)状态j的条件概率).在n时的k步转移概率.n时的k步转移概率矩阵.第十页，共44页。特别(tèbié)当k=1时，第十一页，共44页。定义称可数维的矩阵为随机矩阵，如果显然，在n时的k步转移概率矩阵是一随机矩阵.特别(tèbié)k＝０时，约定第十二页，共44页。实际(shíjì)中常会碰到具有时齐性的马氏链若对任意的状态(zhuàngtài)i,j和时刻n，均有则称马氏链X具有时齐性，或称X为其次(qícì)马尔科夫链，简称齐次马氏链.第十三页，共44页。引理(有限制随机游动问题(wèntí))设质点只能在{0，1，2，···，a}中的各点上作随机游动，移动规则如下：ii+1i-101a-1a第十四页，共44页。设Xn表示(biǎoshì)质点在n时刻所处的位置，则其一步(yībù)转移概率矩阵为第十五页，共44页。例１(天气预报问题)如果明天是否有雨仅与今天的天气(是否有雨)有关，而与过去的天气无关.并设今天下雨、明天有雨的概率为a，今天无雨而明天有雨的概率为b，又假设有雨称为(chēnɡwéi)0状态天气，无雨称为(chēnɡwéi)1状态天气.Xn表示时刻n时的天气状态，则是以为状态空间的齐次马尔可夫链.其一步转移概率矩阵为第十六页，共44页。天气的变化过程还可以用不同的马尔科夫链来描述，假设任意一天的天气与前一天的天气有关(yǒuguān)，即如果昨天和今天都为晴天，明天为晴天的概率为α，昨天和今天分别为晴天和阴天，明天为晴天的概率为β，昨天和今天分别为阴天和晴天，明天为晴天的概率为γ，如果昨天和今天都为阴天，明天为晴天的概率为δ。如果将阴天和晴天分别记为0,1，则昨天和今天的所有天气情况可以用数对表示为集合S={（1,1），（1,0），（0,1），（1,1）}，由此，将数对看做状态，天气的变化过程可用状态空间为S上的其次马尔科夫链描述，一步转移概率矩阵为：第十七页，共44页。第十八页，共44页。练习天气预报问题，其模型是：今天是否下雨依赖于前三天是否有雨（即一连(yīlián)三天有雨；前面两天有雨，第三天晴天…..),问能否把这一问题归纳为一马尔科夫链，如果可以，问该过程的状态有几个？如果过去一连(yīlián)三天有雨，今天有雨的概率为0.8；过去连续为晴天，而今天有雨的概率为0.2；在其他天气情况，今天的天气和昨天相同的概率为0.6，求这个马儿科夫链的转移概率.第十九页，共44页。例2（埃伦菲斯特模型）设一个坛子中装有m个球，它们或是红色的，或是黑色的，从坛子中随机的摸出一球，并换入一个相反(xiāngfǎn)颜色的球.其一步转移概率(gàilǜ)矩阵为为状态空间的齐次马尔可夫链.设经过n次摸换,坛中黑球数为Xn,则第二十页，共44页。例3（群体增长）某种生物群体的每个个体在其生存期内彼此独立地产生(chǎnshēng)后代，假设每个个体都以概率pk产生(chǎnshēng)k个后代，且有用Xn表示第n代生物群体的总数，它是生物群体的第n-1代的每个个体的后代个数的总和，因此第n+1代的个体总数仅依赖于第n代的个体总数，所以(suǒyǐ)X={Xn,n=0,1,2,···}是一个马尔科夫链，状态空间为S={0,1,2，···}第二十一页，共44页。则马氏链的一步(yībù)转移概率为：如果记第n代的生物(shēngwù)群体个数记i个个体(gètǐ)各自产生的后代数分别记为随机变量，且有概率分布故一步转移概率为第二十二页，共44页。例4（卜里耶模型）设一个坛子里有b个黑球和r个红球，每次随机地从坛子中摸出一个球后再放回去，并加入c个与摸出球同颜色(yánsè)的球。重复以上步骤将摸球进行下去，设Xn表示第n次摸球放回后坛子中的黑球数，试写出其一步转移概率矩阵和状态空间第二十三页，共44页。例5：设是相互独立(dúlì)同分布的随机变量序列，且令随机(suíjī)序列：验证(yànzhèng)：随机序列X={Xn:n≥0}是一个齐次马氏链.第二十四页，共44页。例6（网页浏览）用集合表示因特网中的所有网页，假设网页上的超级链接数为，对应的网页集合为，用户进入网页后，按照以下规则进入新的网页；以概率p进入网页集合S中任何一个(yīɡè)网页或者以概率q进入的任一个(yīɡè)超级链接，令Xn表示用户在n次选取后所在的网页，问Xn是非是一马氏链，若是的话，写出其一步转移概率.第二十五页，共44页。§２.马尔科夫链的概率分布定理(dìnglǐ)(C-K方程)或矩阵(jǔzhèn)形式（解决了k步转移概率(gàilǜ)与一步转移概率(gàilǜ)间的关系）证明第二十六页，共44页。系统在n时从状态i的出发,经过k+m步转移(zhuǎnyí),于n+k+m时到达状态j,可以先在n时从状态i出发，经过k步转移(zhuǎnyí)于n+k时到达某种中间状态l,再在n+k时从中间状态l出发经过m步转移(zhuǎnyí)于n+k+m时到达最终状态j,而中间状态l要取遍整个状态空间S.C-K方程(fāngchéng)的直观意义：第二十七页，共44页。定理(dìnglǐ)马尔可夫链的k步转移概率由 其一步转移概率所完全确定.若取m=1,则由C-K方程的矩阵(jǔzhèn)形式:得分量(fènliàng)形式第二十八页，共44页。齐次马尔可夫链为方便，一般假定时间(shíjiān)起点为零．即对齐次马尔可夫链，k步转移概率也与起始时刻n无关．记为相应的k步与一步转移概率(gàilǜ)矩阵分别记为第二十九页，共44页。例：设{Xn,n≥0}是描述天气变化的齐次马尔科夫链，状态空间为S={0,1},其中0,1分别表示有雨和无雨，X的一步转移(zhuǎnyí)概率矩阵为试对任意(rènyì)的i,j∈S,计算三步转移概率第三十页，共44页。1）初始(chūshǐ)分布为马尔可夫链的初始(chūshǐ)分布3.马尔可夫链的分布称第i个分量为的(行)向量为马尔可夫链的初始分布向量.即2）有限(yǒuxiàn)维分布定理马尔可夫链的有限维分布由其初始分布和一步转移概率所完全确定.证明第三十一页，共44页。第三十二页，共44页。定理(dìnglǐ)马尔可夫链的k步转移概率由 其一步转移概率马尔可夫链的分布天气的变化过程还可以用不同的马尔科夫链来描述，假设任意一天的天气与前一天的天气有关(yǒuguān)，即如果昨天和今天都为晴天，明天为晴天的概率为α，昨天和今天分别为晴天和阴天，明天为晴天的概率为β，昨天和今天分别为阴天和晴天，明天为晴天的概率为γ，如果昨天和今天都为阴天，明天为晴天的概率为δ。n时的k步转移概率矩阵.特别(tèbié)当k=1时，由于C公司实行了改善销售与服务方针的经营管理策略，使其产品销售额逐步稳定上升，而A公司却下降，通过市场调查发现司间的顾客流动情况如下表：1001003100设质点只能在{0，1，2，···，a}中的各点上作随机著有《概率论基础及其应用》、《随机过程论》、步转移(zhuǎnyí)概率所完全确定第二十一页，共44页。第二十六页，共44页。第二十六页，共44页。引理(有限制随机游动问题(wèntí))用Xn表示第n代生物群体的总数，它是生物群体的第n-1代的每个个体的后代个数的总和，因此第n+1代的个体总数仅依赖于第n代的个体总数，所以(suǒyǐ)X={Xn,n=0,1,2,···}是一个马尔科夫链，状态空间为S={0,1,2，···}如果当前收入等级为3，试分析(fēnxī)经过三代后个体收入等级转变为2的可能性，进一步分析(fēnxī)经过n代后个体收入等级的概率分布，并具体计算n=10时个体收入等级的概率分布。又因为马尔可夫链的k步转移概率由一步转移概率所完全(wánquán)确定.所以(suǒyǐ)马尔可夫链的有限维分布由其初始分布和一步转移概率所完全确定.第三十三页，共44页。3）绝对(juéduì)分布为马尔可夫链的绝对分布称第j个分量为的(行)向量为马尔可夫链的绝对分布向量.即绝对分布(fēnbù)、初始分布(fēnbù)和n步转移概率有如下关系：或矩阵(jǔzhèn)形式第三十四页，共44页。第三十五页，共44页。的有限维分布(fēnbù)由其初始分布(fēnbù)和一步转移(zhuǎnyí)概率所完全确定齐次马氏链有相应(xiāngyīng)的结果第三十六页，共44页。例设是具有三个状态0，1，2的齐次马尔可夫链，其一步转移概率矩阵为初始分布试求：第三十七页，共44页。解第三十八页，共44页。第三十九页，共44页。例：如果将社会家庭中个体的收入分为低收入、中等收入和高收入三个等级，则早在20世纪(shìjì)50年代，社会学研究者发现个体收入的等级在很大程度上取决于其父代收入的等级。如果令Xn表示一个家庭第n代个体的收入等级，并用1,2,3分别表示低收入，中等收入和高收入，则一个家庭中相继的后代收入等级的变化可以用其次马尔科夫链来描述，状态空间为S={1,2,3}，并且有以下的转移的概率矩阵第四十页，共44页