人教B版高中数学选修4-9课件-马尔可夫型决策课件1

1、*第六讲马尔可夫型决策数学人教B版高中选修4-9风险与决策*第六讲马尔可夫型决策数学人教B版高中选修4-9风险与教学目标知识与能力 熟悉马尔可夫型决策，能够独立地对马尔可夫型决策进行某一时间段和短期的风险决策.教学目标知识与能力 熟悉马尔可夫型决策，能够独过程与方法 通过对普通风险决策的回顾，对马尔可夫链做进一步理解，结合前面的风险型决策对比的学习马尔可夫型决策.过程与方法 通过对普通风险决策的回顾，对马尔可情感态度与价值观 通过与普通风险决策比较的学习，使学生能够迅速的接受和理解马尔夫型决策.情感态度与价值观 通过与普通风险决策比较的学习，重点：转移概念矩阵，平均收益矩阵.难点：马尔可夫型决

2、策案例分析.教学重难点重点：转移概念矩阵，平均收益矩阵.难点：马尔可夫型决策案例分案例4 某工厂的一台自动加工机有2种工作状态:正常状态和故障状态.在每个整数钟点的起始时刻检查机器的工作情况，若机器处于正常状态，则让它继续工作;若机器处于故障状态，则对他进行检修.假设处于正常状态的机器，在一小时后发生故障的概率为0.05，对于故障机器有2种检案例分析案例4 某工厂的一台自动加工机有2种工作状态:正常状态和故修方案可供选择，一种是加急检修，在一小时内排除故障的概率为0.9；一种是常规检修，在一小时内排除故障的概率为0.6. 已知这台机器正常工作一小时可收益10元，加急检修1小时费用为9元，常规检

3、修一小时费用为6元，若机器出现故障，该选择哪种方案？修方案可供选择，一种是加急检修，在一小时内排除故障的概率为0先写出行动方案和可能状态 决策目标是使机器产生收益最大，可供选择的行动方案有： ：加急检修， ：常规检修.机器在任意时刻可能所处的状态： ：正常状态， ：故障状态.先写出行动方案和可能状态 决策目标是使机器产生收 机器在第n小时的工作状态 与时间有关，显然 是一个马尔可夫链，状态分布列随着时间的变化也在不断变化.普通风险决策分布列保持不变可表示为hp1-p 机器在第n小时的工作状态 与时间有关，h行动方案d1 转移概率矩阵为行动方案d2的转移概率矩阵为然后写出状态转移矩阵行动方案d1

4、 转移概率矩阵为行动方案d2的转移概率矩阵为然后 设定时间段 ，则收益矩阵为 假设机器最开始为正常工作状态，则初始分布为写出收益矩阵，初始分布 设定时间段 时刻n的分布和时刻n+1的分布的关系？想一想时刻n的分布和时刻n+1的分布的关系？想一想在行动方案d1下，时刻1的分布时刻2的分布在行动方案d1下，时刻1的分布时刻2的分布时刻n的分布为时刻n的分布为在行动方案d2下，时刻n的分布在行动方案d2下，时刻n的分布 假设初始状态为正常状态，行动d1在时间段 内的平均收益为行动方案d2在时间段 内的平均收益为3写出平均收益矩阵 假设初始状态为正常状态，行动d1在时间段 不设定初始情况，则行动方案d1在时间段 内的平均收益为 行动方案d2在时间段 内的平均收益为 不设定初始情况，则行动方案d1在时间段 行 假设初始状态为正常状态，则两行动方案前10个时间段平均收益为时间段9.05009.20009.0258.92009.0018.82209.00008.7693 假设初始状态为正常状态，则两行动时间段9.05 最后，根据题目要求选择最大收益决策，当确定某一确定时刻n，在时间段 内进行决策时，这类问题是短期准则下的马尔可夫型决策，当在