高中数学人教A版选修第四讲三长期准则下的马尔可夫型决策理论课件

新课导入

前一小节我们已经简单介绍了马尔可夫型决策，并求出了平均收益矩阵，对短期收益也做了简单的分析，本节将在长期准则下分析马尔可夫型决策.新课导入前一小节我们已经简单介绍了马尔可夫型14.3长期准则下的马尔可夫型决策4.3长期准则下的马尔可夫型决策2教学目标知识与能力

进一步加深对马尔可夫型决策的理解，掌握平稳分布的意义，能用平稳准则马尔可夫型决策.教学目标知识与能力进一步加深对马尔可夫型决策3过程与方法

通过学生讨论理解，老师讲解具体案例，最后能独立解决长期准则下的马尔可夫型决策.过程与方法通过学生讨论理解，老师讲解具体案例4情感态度与价值观

通过长期准则下马尔可夫型决策的学习，更加全面和清晰地了解马尔可夫型决策，能解决长期准则下的马尔可夫型决策案例.情感态度与价值观通过长期准则下马尔可夫型决策5当机器处于状态状态是对它进行检修，在一小时内排除故障的概率为0.6.Xn表示时刻n时的状态，试分析时刻n分布的规律.当机器处于状态状态是对它进行检修，在一小时内排除故障的概率为6教学重难点重点：平稳分布.难点：长期准则下的马尔可夫型案例分析.高中数学人教A版选修4-9第四讲三长期准则下的马尔可夫型决策理论课件(共27张PPT)高中数学人教A版选修4-9第四讲三长期准则下的马尔可夫型决策理论课件(共27张PPT)教学重难点重点：平稳分布.难点：长期准则下的马尔可夫型案例分7案例分析案例5

某工厂的一台自动加工机有2种工作状态:正常状态和故障状态.在每个整数钟点的起始时刻检查机器的工作情况，若机器处于正常状态，则让它继续工作;若机器处于故障状态，则他进行检修.假设处于正常状态的机器，在一小时后发生故障的概率为0.05.高中数学人教A版选修4-9第四讲三长期准则下的马尔可夫型决策理论课件(共27张PPT)高中数学人教A版选修4-9第四讲三长期准则下的马尔可夫型决策理论课件(共27张PPT)案例分析案例5某工厂的一台自动加工机有2种工作状态:正常8解：依题意为马尔可夫链，则有时刻n的分布和时刻n+1的分布的关系为又有高中数学人教A版选修4-9第四讲三长期准则下的马尔可夫型决策理论课件(共27张PPT)高中数学人教A版选修4-9第四讲三长期准则下的马尔可夫型决策理论课件(共27张PPT)解：依题意为马尔可夫链，则有时刻n的分布和时刻9

所以，时刻n的分布和时刻n+1的分布的关系为假设初始分布高中数学人教A版选修4-9第四讲三长期准则下的马尔可夫型决策理论课件(共27张PPT)高中数学人教A版选修4-9第四讲三长期准则下的马尔可夫型决策理论课件(共27张PPT)所以，时刻n的分布和时刻n+1的分布假设初始10则得各个时刻的分布表0123…50…100高中数学人教A版选修4-9第四讲三长期准则下的马尔可夫型决策理论课件(共27张PPT)高中数学人教A版选修4-9第四讲三长期准则下的马尔可夫型决策理论课件(共27张PPT)则得各个时刻的分布表0123…50…100高中数学人教A版选11

根据上表数据，做出假设当n足够大时状态分布为一固定值设稳定分布为则有高中数学人教A版选修4-9第四讲三长期准则下的马尔可夫型决策理论课件(共27张PPT)高中数学人教A版选修4-9第四讲三长期准则下的马尔可夫型决策理论课件(共27张PPT)根据上表数据，做出假设当n足够大时状态分布为一12化简得解之得高中数学人教A版选修4-9第四讲三长期准则下的马尔可夫型决策理论课件(共27张PPT)高中数学人教A版选修4-9第四讲三长期准则下的马尔可夫型决策理论课件(共27张PPT)化简得解之得高中数学人教A版选修4-9第四讲三长期准13

所以当n足够大时，存在使n以后各个时刻的分步都相等.

说明假设成立高中数学人教A版选修4-9第四讲三长期准则下的马尔可夫型决策理论课件(共27张PPT)高中数学人教A版选修4-9第四讲三长期准则下的马尔可夫型决策理论课件(共27张PPT)所以当n足够大时，存在14定义

一般地分布，如果时刻n的分布w能使马尔可夫链在n以后的各个时刻的分布相等，即w=wP，其中P为该马尔可夫链的转移矩阵，则称w为该马尔可夫链的一个平稳分布.高中数学人教A版选修4-9第四讲三长期准则下的马尔可夫型决策理论课件(共27张PPT)高中数学人教A版选修4-9第四讲三长期准则下的马尔可夫型决策理论课件(共27张PPT)定义一般地分布，如果时刻n的分布w能使马尔可15

对于一般情况，若马尔可夫链的转移概率矩阵为P，平稳分布则有高中数学人教A版选修4-9第四讲三长期准则下的马尔可夫型决策理论课件(共27张PPT)高中数学人教A版选修4-9第四讲三长期准则下的马尔可夫型决策理论课件(共27张PPT)对于一般情况，若马尔可夫链的16小练习

对于案例5，假设采取的是加急检修，在一小时内排除故障的概率0.9，则是否存在平稳分布，若存在求出，若不存在说明理由.高中数学人教A版选修4-9第四讲三长期准则下的马尔可夫型决策理论课件(共27张PPT)高中数学人教A版选修4-9第四讲三长期准则下的马尔可夫型决策理论课件(共27张PPT)小练习对于案例5，假设采取的是加急检修，在一17

长期准则也成为平稳准则，用平稳准则进行马尔可夫型决策的一般步骤（1）根据背景确定所研究对象是否可以用马尔可夫链描述，若可以则明确决策目标，否则运用其他决策方法；（2）确定所有行动方案，可能状态，损益函数或损益矩阵；（3）对于给定行动方案，确定马尔可夫链在该行动方案下的转移概率矩阵，并判断相应平稳分布是否唯一；（4）如果各个行动方案所对应的平稳分布唯一，就可以用平稳准则选择可行的方案.长期准则也成为平稳准则，用平稳准则进行马尔可夫18解：设平稳分布则解之得所以，存在平稳分布解：设平稳分布解之得所以，存在平稳分布19案例6

某建筑公司的施工队长期分别在甲，乙和丙三地区施工，施工所需要的大型设备由建筑公司统一调配，由以往规律，大型设备在三地的状态转移规律为：停留在甲地的概率为0.8；甲转到乙的概率为0.2；由乙转到甲的概率为0.2；由乙转到丙的概率为0.8；停留在丙地的概率为0.6；由丙转到乙的概率为0.4，三地的距案例6某建筑公司的施工队长期分别在甲，乙和丙三地区施工，20离如下图，运费与距离成正比，如果该建筑公司想建一个大型设备维修厂，从长远考虑，应该选甲，乙，丙哪个地方？甲乙丙435离如下图，运费与距离成正比，如果该建筑公司想建一个大型设备维21

依题意，该公司长远决策目标是使运输费用最少，行动方案

d1：建在甲地，

d2：建在乙地，

d3：建在丙地；大型设备可能所处的状态

h1：在甲地，

h2：在乙地，

h3：在丙地；依题意，该公司长远决策目标是使运输费用最少，行22损失矩阵状态转移矩阵为高中数学人教A版选修4-9第四讲三长期准则下的马尔可夫型决策理论课件(共27张PPT)高中数学人教A版选修4-9第四讲三长期准则下的马尔可夫型决策理论课件(共27张PPT)损失矩阵状态转移矩阵为高中数学人教A版选修4-9第四讲23设平稳分布则有高中数学人教A版选修4-9第四讲三长期准则下的马尔可夫型决策理论课件(共27张PPT)高中数学人教A版选修4-9第四讲三长期准则下的马尔可夫型决策理论课件(共27张PPT)设平稳分布高中数学人教A版选修4-9第四讲三长期准则24解之得3个行动方案所对应的风险分别为高中数学人教A版选修4-9第四讲三长期准则下的马尔可夫型决策理论课件(共27张PPT)高中数学人教A版选修4-9第四讲三长期准则下的马尔可夫型决策理论课件(共27张PPT)解之得3个行动方案所对应的风险分别为高中数学人教A版选修4-25

因为所以应该选择d3，即建在丙地.高中数学人教A版选修4-9第四讲三长期准则下的马尔可夫型决策理论课件(共27张PPT)高中数学人教A版选修4-9第四讲三长期准则下的马尔可夫型决策理论课件(共27张PPT)因为26再见高中数学人教A版选修4-9第四讲三长期准则下的马尔可夫型决策理论课件(共27张PPT)高中数学人教A版选修4-9第四讲三长期准则下的马尔可夫型决策理论课件(共27张PPT)再见高中数学人教A版选修4-9第四讲三长期准则下的马27新课导入

前一小节我们已经简单介绍了马尔可夫型决策，并求出了平均收益矩阵，对短期收益也做了简单的分析，本节将在长期准则下分析马尔可夫型决策.新课导入前一小节我们已经简单介绍了马尔可夫型284.3长期准则下的马尔可夫型决策4.3长期准则下的马尔可夫型决策29教学目标知识与能力

进一步加深对马尔可夫型决策的理解，掌握平稳分布的意义，能用平稳准则马尔可夫型决策.教学目标知识与能力进一步加深对马尔可夫型决策30过程与方法

通过学生讨论理解，老师讲解具体案例，最后能独立解决长期准则下的马尔可夫型决策.过程与方法通过学生讨论理解，老师讲解具体案例31情感态度与价值观

通过长期准则下马尔可夫型决策的学习，更加全面和清晰地了解马尔可夫型决策，能解决长期准则下的马尔可夫型决策案例.情感态度与价值观通过长期准则下马尔可夫型决策32当机器处于状态状态是对它进行检修，在一小时内排除故障的概率为0.6.Xn表示时刻n时的状态，试分析时刻n分布的规律.当机器处于状态状态是对它进行检修，在一小时内排除故障的概率为33教学重难点重点：平稳分布.难点：长期准则下的马尔可夫型案例分析.高中数学人教A版选修4-9第四讲三长期准则下的马尔可夫型决策理论课件(共27张PPT)高中数学人教A版选修4-9第四讲三长期准则下的马尔可夫型决策理论课件(共27张PPT)教学重难点重点：平稳分布.难点：长期准则下的马尔可夫型案例分34案例分析案例5

某工厂的一台自动加工机有2种工作状态:正常状态和故障状态.在每个整数钟点的起始时刻检查机器的工作情况，若机器处于正常状态，则让它继续工作;若机器处于故障状态，则他进行检修.假设处于正常状态的机器，在一小时后发生故障的概率为0.05.高中数学人教A版选修4-9第四讲三长期准则下的马尔可夫型决策理论课件(共27张PPT)高中数学人教A版选修4-9第四讲三长期准则下的马尔可夫型决策理论课件(共27张PPT)案例分析案例5某工厂的一台自动加工机有2种工作状态:正常35解：依题意为马尔可夫链，则有时刻n的分布和时刻n+1的分布的关系为又有高中数学人教A版选修4-9第四讲三长期准则下的马尔可夫型决策理论课件(共27张PPT)高中数学人教A版选修4-9第四讲三长期准则下的马尔可夫型决策理论课件(共27张PPT)解：依题意为马尔可夫链，则有时刻n的分布和时刻36

所以，时刻n的分布和时刻n+1的分布的关系为假设初始分布高中数学人教A版选修4-9第四讲三长期准则下的马尔可夫型决策理论课件(共27张PPT)高中数学人教A版选修4-9第四讲三长期准则下的马尔可夫型决策理论课件(共27张PPT)所以，时刻n的分布和时刻n+1的分布假设初始37则得各个时刻的分布表0123…50…100高中数学人教A版选修4-9第四讲三长期准则下的马尔可夫型决策理论课件(共27张PPT)高中数学人教A版选修4-9第四讲三长期准则下的马尔可夫型决策理论课件(共27张PPT)则得各个时刻的分布表0123…50…100高中数学人教A版选38

根据上表数据，做出假设当n足够大时状态分布为一固定值设稳定分布为则有高中数学人教A版选修4-9第四讲三长期准则下的马尔可夫型决策理论课件(共27张PPT)高中数学人教A版选修4-9第四讲三长期准则下的马尔可夫型决策理论课件(共27张PPT)根据上表数据，做出假设当n足够大时状态分布为一39化简得解之得高中数学人教A版选修4-9第四讲三长期准则下的马尔可夫型决策理论课件(共27张PPT)高中数学人教A版选修4-9第四讲三长期准则下的马尔可夫型决策理论课件(共27张PPT)化简得解之得高中数学人教A版选修4-9第四讲三长期准40

所以当n足够大时，存在使n以后各个时刻的分步都相等.

说明假设成立高中数学人教A版选修4-9第四讲三长期准则下的马尔可夫型决策理论课件(共27张PPT)高中数学人教A版选修4-9第四讲三长期准则下的马尔可夫型决策理论课件(共27张PPT)所以当n足够大时，存在41定义

一般地分布，如果时刻n的分布w能使马尔可夫链在n以后的各个时刻的分布相等，即w=wP，其中P为该马尔可夫链的转移矩阵，则称w为该马尔可夫链的一个平稳分布.高中数学人教A版选修4-9第四讲三长期准则下的马尔可夫型决策理论课件(共27张PPT)高中数学人教A版选修4-9第四讲三长期准则下的马尔可夫型决策理论课件(共27张PPT)定义一般地分布，如果时刻n的分布w能使马尔可42

对于一般情况，若马尔可夫链的转移概率矩阵为P，平稳分布则有高中数学人教A版选修4-9第四讲三长期准则下的马尔可夫型决策理论课件(共27张PPT)高中数学人教A版选修4-9第四讲三长期准则下的马尔可夫型决策理论课件(共27张PPT)对于一般情况，若马尔可夫链的43小练习

对于案例5，假设采取的是加急检修，在一小时内排除故障的概率0.9，则是否存在平稳分布，若存在求出，若不存在说明理由.高中数学人教A版选修4-9第四讲三长期准则下的马尔可夫型决策理论课件(共27张PPT)高中数学人教A版选修4-9第四讲三长期准则下的马尔可夫型决策理论课件(共27张PPT)小练习对于案例5，假设采取的是加急检修，在一44

长期准则也成为平稳准则，用平稳准则进行马尔可夫型决策的一般步骤（1）根据背景确定所研究对象是否可以用马尔可夫链描述，若可以则明确决策目标，否则运用其他决策方法；（2）确定所有行动方案，可能状态，损益函数或损益矩阵；（3）对于给定行动方案，确定马尔可夫链在该行动方案下的转移概率矩阵，并判断相应平稳分布是否唯一；（4）如果各个行动方案所对应的平稳分布唯一，就可以用平稳准则选择可行的方案.长期准则也成为平稳准则，用平稳准则进行马尔可夫45解：设平稳分布则解之得所以，存在平稳分布解：设平稳分布解之得所以，存在平稳分布46案例6

某建筑公司的施工队长期分别在甲，乙和丙三地区施工，施工所需要的大型设备由建筑公司统一调配，由以往规律，大型设备在三地的状态转移规律为：停留在甲地的概率为0.8；甲转到乙的概率为0.2；由乙转到甲的概率为0.2；由乙转到丙的概率为0.8；停留在丙地的概率为0.6；由丙转到乙的概率为0.4，三地的距案例6某建筑公司的施工队长期分别在甲，乙和丙三地区施工，47离如下图，运费与距离成正比，如果该建筑公司想建一个大型设备维修厂，从长远考虑，应该选甲，乙，丙哪个地方？甲乙丙435离如下图，运费与距离成正比，如果该建筑公司想建一个大型设备维48

依题意，该公司长远决策目标是使运输费用最少，行动方案

d1：建在甲地，

d2：建在乙地，

d3：建在丙地；大型设备可能所处的状态

h1：在甲地，

h2：在乙地，