马尔可夫分析

1、第一节 引言1907年由俄罗斯数学家马尔可夫（A.Markov）提出， 并由蒙特-卡罗(Mote-Carlo)加以发展。用于分析随机事件未来发展变化的趋势，即利用某 一变量的现状和动向去预测该变量未来的状态及动 向，以预测未来某特定时期可能发生的变化，以便 采取相应的对策。内容：马尔可夫过程、马尔可夫链第十四章 马尔可夫分析1设某地居民的牛奶供应由A、B、C三厂负责，每月订一次，假定牛奶固定销售给1000户顾客，要订哪厂牛奶由顾客自己选择。因广告宣传、服务质量等原因，用户会改换厂家。假设有6月份三个厂销售情况的市场调查记录，具体统计资料如下表所示：2904535300C4905040500B2

2、204060200A7月1日顾客数失得6月1日顾客数六月份顾客的变化牛奶厂例122904535300C4905040500B2204060200A7月1日顾客数失得6月1日顾客数六月份顾客的变化牛奶厂3得失值及其概率2006月1日顾客数A牛奶厂7月1日顾客数BC300500490220290ABC1603525204502020152554 将上表的所得情况用概率矩阵的形式进行描述，则有AAC维持和损失BCB维持和获得根据以上数据可做以下工作：预测未来某时刻各销售者的市场占有率；预测市场是否会出现市场平衡状态（稳定市场份额）；预测将来销售者的市场份额的得失比率；按对市场份额得失分析销售者的推销

3、活动，指导厂家促销。5根据以上数据预测8月1日A、B、C三厂的市场占有率，则8月1日的状态为A厂保持率C厂转入率B厂转入率其中， 向量为各厂7月份的市场占有份额（订户数与总订户数之比），则8月份A厂拥有全部顾客的23.4%，B厂为48.3%，C厂为28.3%。6第二节 正规随机矩阵的基本知识概率向量概率矩阵概率矩阵具有以下性质：7性质1：证8性质2：证9正规概率矩阵正规概率矩阵非正规概率矩阵10概率矩阵具有一下性质：若A是一个正规概率矩阵，则有11例2 试用正规随机矩阵 验证上述定理1213事实上，有1415第三节 马尔可夫链一、一般随机过程1.定义：162.马氏过程：17二、马尔可夫链1.定

4、义：18192.齐次马尔可夫链20一步转移概率具有以下性质：把各状态之间的一步转移概率排成矩阵，称为状态矩阵每个状态i对应状态矩阵P的第i行。21例3 ：（天气预报问题）22三、k步转移概率与k步转移矩阵k步转移概率系统从状态i恰好经k步转移到状态j的概率。k步转移矩阵23例4：某商店对前一天来店分别购买A、B、C牌号的顾客各100名的购买情况进行统计（每天都购买一包），统计结果如下表所示：今天购买 情况顾客数量前次购买品牌ABCABC20203050703030104024假定一位顾客在第一天购买牌号A的香烟，试问他在第三天购买牌号B的概率是多少呢？求二步转移概率25根据概率乘法公式与互斥性

5、得26 更一般地，可得齐次马氏链的二步转移概率及二步转移矩阵27上例中二步转移矩阵进一步，还有下式成立（切普曼-柯尔莫哥洛夫方程）：应用切普曼-柯尔莫哥洛夫方程易知：28例5:于是，两步转移概率矩阵为四步转移概率矩阵为29初始概率分布记为第k步转移概率记为由乘法公式得写成向量形式为：30四、稳态概率1.定义：2.性质：稳态概率分布与初始分布无关。31而随着步数的增大，有性质2可以这样理解由于由上式知，注：若转移矩阵为正规随机矩阵，则系统就必然存在 平衡状态。32性质2同时给出了一个求解稳态概率向量的方法求解上述方程组，即得稳态概率向量X33例6：一步转移矩阵34综上所述，一般的齐次马尔可夫链具

6、有如下性质：35五、马尔可夫分析应用实例36解： 上月购买A公司产品的顾客中，本月将有70%仍买A公司的产品，上月购买B公司产品的顾客中，本月将有10%转买A公司产品；上月购买C公司产品的顾客中，本月将有5%转买A公司产品。因此A公司产品本月占据市场分额为37描述下月各公司产品占据市场分额的概率向量为描述一年后各公司产品占据市场分额的概率向量为P是正规随机矩阵，故此概率向量近似于稳态概率，求解方程38例8：（订货决策）某商店经营一种易腐食品，出售后一个单位可获利a5元。若当天售不出去，则每单位损失b3元。该店经理统计了连续40天的需求情况（不是实际销售量）。现将所得数据列出如下：3,3,4,2

7、,2,4,2,3,4,4,4,3,2,4,2,3,3,4,2,2,4,3,4,3,2,3,4,2,3,2,2,3,4,2,4,4,3,2,3,3经理想应用马尔可夫链来预测需求量，确定明天进货量。已知当天需求量为3个单位，明日应进货多少单位？若不知当天需求量，明日应进货多少单位？39解:于是，此马尔可夫的转移概率矩阵40求解方程组得稳态概率向量用边际分析思想解决问题41用边际分析思想解决问题42第四节 吸收马尔可夫链一、吸收马尔可夫链吸收态吸收马尔可夫链43例9：甲、乙两人进行比赛，每局比赛中甲胜的概率是p，乙胜 的概率是q，和局的概率是r (p+q+r=1) 。每局赛后胜者记 “+1”分，负者

8、记“-1”分,和局不记分，当有一个获得2分时结束比赛。44其余三个非吸收态都可能经若干步转移后到达吸收态。吸收马氏链将被吸收的概率为1，或说吸收马氏链 n步 后，到达非吸收态的概率趋向于零。（被吸收：过程 达到吸收态）45对于吸收马氏链，感兴趣的是如下三个问题：过程被吸收前，在非吸收态之间转移的平均次数是多少？过程从非吸收态出发到达吸收态的平均步数是多少？过程从非吸收态出发最终进入吸收态的概率是多少？46对于一个有r个吸收态和s个非吸收态的吸收马氏链，经过适当排列（将吸收态集中在一起排列在前面）的 一步转移概率矩阵P总可以表示为如下的标准形式：474849例10：解：该过程是一个吸收马氏链，它

9、的转移概率矩阵50P的标准形式为其中于是51由N知，从状态2出发，在吸收前到达状态1、2、3的平均步数分别为1、2、1。对于一个具有非吸收态的吸收马氏链，令c是有s（非吸收态个数）个分量为1的列向量，则向量tNc具有的各个分量是从各个相应的非吸收态出发到被吸收时的平均步数。52例11：续上例，求t解于是，从状态1、2、3开始到吸收的平均步数分别是3、4、3。53写成矩阵形式为54例12 续上两例，由N及R，立即得55综上所述矩阵N：给出了依赖开始状态的过程被吸收前到达每个非 吸收态的平均次数。向量tNc：给出了依赖开始状态的吸收前的平均次数。矩阵BNR：给出了依赖开始状态的在每个吸收态被吸收

10、的概率。56例13(企业经营状况分析)某地企业管理部门为掌握企业经营状况的变化规律，对有关企业作了一次跟踪调查统计，得如下统计表：前年经营状况去年经营状况好 中 差 兼并 破产倒闭好 中 差206010903060301201018507802790033100100100300求和经营条件稳定，不妨假定为齐次马氏链。57由上表可得经营状况得转移矩阵如下：兼并 破产 好 中 差兼并破产好 中 差由58求得由 知现在经营状况好的企业，经过三年运营仍然保持好的概率为35.24；变为中等的概率为41.22%而转为“破产倒闭 ”的概率大约只为0.792，余类推。59由B知，若企业处于“好”的状况，则最

11、终进入“兼并”的可能性为78.31；最终进入“倒闭”的可能性为21.69，余类推。由N知，若企业处于“好”的状况，则最终进入“吸收”状态前，将可能在“好”状态保持11.23年；在“中”状态度过13.85年；而在“差”状态维持7.23年，余类推。60最后，由tNc得（s3）由t知，企业由“好”状况出发到“兼并”或“倒闭”为止，平均经过32.31年；由“中”出发只需30.78年；由 “差”出发只需26.92年。61二、银行不良债务分析的马尔可夫模型1. 不良贷款状态划分622. 不良贷款分析的Markov模型 模型结构 随机变量，表示第t月时贷款。 t 时间（月），t0,1,2,。 S 状态集合， ，其中 为前面规定的贷款状态 63 P 状态转移矩阵，表示每隔1月的各种状态的转移情况64其中：65 计算步骤计算特征量（基本矩阵）计算矩阵计算 ，其中D为基期贷款中最 终转为呆帐的数目；G为最终付清的贷款数目。66分析各种状态转为呆帐及付清的概率67各种状态转为呆帐及付清的概率68例14某银行当前借出贷款总额为470万，其中属于 状态200万，属于 状态150万， 状态120万。而根据隔月帐面变化情况分析，