随机过程第四章1课件

§4.1马尔可夫链的概念及转移概率一、马尔可夫链的概念1§4.1马尔可夫链的概念及转移概率一、马尔可夫链的概222、马氏链的转移概率 称条件概率32、马氏链的转移概率 称条件概率33、一步转移概率及矩阵称为马氏链的一步转移概率矩阵43、一步转移概率及矩阵称为马氏链的一步转移概率矩阵4554.多步转移概率的确定64.多步转移概率的确定6通常我们还规定：(2)、切普曼—柯尔莫哥洛夫方程（Chapman-Kolmogorov）7通常我们还规定：(2)、切普曼—柯尔莫哥洛夫方程7直观解释对照图8直观解释对照图899用矩阵形式表示为：表明一步转移概率是最基本的，它确定了马氏链的状态转移的统计规律。10用矩阵形式表示为：表明一步转移概率是最基本的5、初始概率与绝对概率写成向量形式:115、初始概率与绝对概率写成向量形式:11(2)绝对概率与初始概率的关系12(2)绝对概率与初始概率的关系12表明n时刻的绝对概率分布完全由初始分布和n步转移概率所确定。13表明n时刻的绝对概率分布完全由初始分布和n步（3）马氏链的有限维分布14（3）马氏链的有限维分布14总结：1）齐次马氏链多步转移概率可由一步转移概率确定；2)绝对概率可由初始概率及n步转移概率确定 3)有限维分布可完全由初始概率及一步转移概率确定。15总结：2)绝对概率可由初始概率及n步转移概率确定 3)有16161717181819192020例带一个吸收壁的随机游动21例带一个吸收壁的随机游动2122222323用此模型可描述赌徒输光问题解：这是带两个吸收壁的随机游动，其状态空间为：24用此模型可描述赌徒输光问题解：这是带两个吸收壁的随机游动，其25252626272728282929(1)已知开始第一人拿球，经三次传球后又回到第一人的概率；(2)开始第一人拿球，经三次传球后又回到第一人的概率；(3)经三次传球后第一人拿球的概率；(4)经三次传球后，又回开始拿球人的概率。30(1)已知开始第一人拿球，经三次传球后又回到30134231134231323233333434又已知系统经n级传输后输出为1,问原字符也是1的概率是多少?由线性代数知识,可将P表示成对角阵35又已知系统经n级传输后输出为1,问原字符由线性代数知识,可将363637373838利用类似的方法,可得n步转移概率矩阵为对齐次马尔可夫链,虽然一步转移概率能够完全决定马尔可夫链的统计规律，但仍有许多理论上和实际上的问题需要我们作进一步的讨论。39利用类似的方法,可得n步转移概率矩阵为对齐次§4.2马尔可夫链的状态分类一.状态的分类40§4.2马尔可夫链的状态分类一.状态的分类4041414242是否两个具有相同周期的状态所表现出来的性质基本一致呢?下例可说明并非如此。43是否两个具有相同周期的状态所表现出来的性质基44444545②④③①46②④③①4647474848494950505151①②③52①②③52535354545555565657575858下面解释这个定理的结论：首先令随机变量59下面解释这个定理的结论：首先令随机变量59606061616262状态分类判别法63状态分类判别法63三.状态之间的关系(可达、互通)64三.状态之间的关系(可达、互通)64将可达关系的证明,正向用一次，反向用一次，就可得出互通关系的传递性。65将可达关系的证明,正向用一次，反向65互通关系的状态是同一类型.66互通关系的状态是同一类型.66676768686969①②③70①②③7071717272§4.1马尔可夫链的概念及转移概率一、马尔可夫链的概念73§4.1马尔可夫链的概念及转移概率一、马尔可夫链的概7422、马氏链的转移概率 称条件概率752、马氏链的转移概率 称条件概率33、一步转移概率及矩阵称为马氏链的一步转移概率矩阵763、一步转移概率及矩阵称为马氏链的一步转移概率矩阵47754.多步转移概率的确定784.多步转移概率的确定6通常我们还规定：(2)、切普曼—柯尔莫哥洛夫方程（Chapman-Kolmogorov）79通常我们还规定：(2)、切普曼—柯尔莫哥洛夫方程7直观解释对照图80直观解释对照图8819用矩阵形式表示为：表明一步转移概率是最基本的，它确定了马氏链的状态转移的统计规律。82用矩阵形式表示为：表明一步转移概率是最基本的5、初始概率与绝对概率写成向量形式:835、初始概率与绝对概率写成向量形式:11(2)绝对概率与初始概率的关系84(2)绝对概率与初始概率的关系12表明n时刻的绝对概率分布完全由初始分布和n步转移概率所确定。85表明n时刻的绝对概率分布完全由初始分布和n步（3）马氏链的有限维分布86（3）马氏链的有限维分布14总结：1）齐次马氏链多步转移概率可由一步转移概率确定；2)绝对概率可由初始概率及n步转移概率确定 3)有限维分布可完全由初始概率及一步转移概率确定。87总结：2)绝对概率可由初始概率及n步转移概率确定 3)有88168917901891199220例带一个吸收壁的随机游动93例带一个吸收壁的随机游动2194229523用此模型可描述赌徒输光问题解：这是带两个吸收壁的随机游动，其状态空间为：96用此模型可描述赌徒输光问题解：这是带两个吸收壁的随机游动，其9725982699271002810129(1)已知开始第一人拿球，经三次传球后又回到第一人的概率；(2)开始第一人拿球，经三次传球后又回到第一人的概率；(3)经三次传球后第一人拿球的概率；(4)经三次传球后，又回开始拿球人的概率。102(1)已知开始第一人拿球，经三次传球后又回到301342103134231104321053310634又已知系统经n级传输后输出为1,问原字符也是1的概率是多少?由线性代数知识,可将P表示成对角阵107又已知系统经n级传输后输出为1,问原字符由线性代数知识,可将108361093711038利用类似的方法,可得n步转移概率矩阵为对齐次马尔可夫链,虽然一步转移概率能够完全决定马尔可夫链的统计规律，但仍有许多理论上和实际上的问题需要我们作进一步的讨论。111利用类似的方法,可得n步转移概率矩阵为对齐次§4.2马尔可夫链的状态分类一.状态的分类112§4.2马尔可夫链的状态分类一.状态的分类401134111442是否两个具有相同周期的状态所表现出来的性质基本一致呢?下例可说明并非如此。115是否两个具有相同周期的状态所表现出来的性质基1164411745②④③①118②④③①461194712048121491225012351①②③124①②③52125531265412755128561295713058下面解释这个定理的结论：首先令随机变量131下面解释这个定理的结论：首先令随机变量59132601336113462状态分类判别法135状态分类判别法63三.状态之间的关系(可达、互通)1