第四章决策理论与方法罗党动态决策分析(下)

1、（Decision Making Theory and Methods）教育部高等学校管理科学与工程类学科专业教学指导委员会教育部高等学校管理科学与工程类学科专业教学指导委员会推荐教材推荐教材决策理论与方法决策理论与方法第 2 页第 2 页决策理论与方法决策理论与方法第 3 页第 3 页学习目的学习目的了解多阶段决策、序贯决策的概念及特点；了解多阶段决策、序贯决策的概念及特点；掌握动态规划与决策树方法及其在多阶段决策、掌握动态规划与决策树方法及其在多阶段决策、序贯决策中的应用。序贯决策中的应用。决策理论与方法决策理论与方法第 4 页第 4 页本讲内容本讲内容4.3序贯决策序贯决策 4.3.1序

2、贯决策的基本概念序贯决策的基本概念 4.3.2序贯决策的决策方法序贯决策的决策方法决策理论与方法决策理论与方法第 5 页第 5 页4.3 序贯决策序贯决策4.3.1 序贯决策的基本概念序贯决策的基本概念 上面的多阶段决策，阶段数是确定的。除这种决上面的多阶段决策，阶段数是确定的。除这种决策外，还有一些决策的阶段数不是事先确定的，它依策外，还有一些决策的阶段数不是事先确定的，它依赖于执行决策过程中出现的情况。这种决策问题称为赖于执行决策过程中出现的情况。这种决策问题称为序贯决策（序贯决策（sequential decision problem）。）。 序列决策在进行决策后又产生一些新的情况，需序

3、列决策在进行决策后又产生一些新的情况，需要进行新的决策，接着又有一些新的情况，又需要进要进行新的决策，接着又有一些新的情况，又需要进行新的决策。这样决策、情况、决策行新的决策。这样决策、情况、决策，这就构成，这就构成一个序列。一个序列。 决策理论与方法决策理论与方法第 6 页第 6 页4.3 序贯决策序贯决策4.3.1 序贯决策的基本概念序贯决策的基本概念 序贯决策是用于随机性或不确态定性动态系统最序贯决策是用于随机性或不确态定性动态系统最优化的决策方法。它的特点是：优化的决策方法。它的特点是： 1）所研究的系统是动态的，即系统所处的状态）所研究的系统是动态的，即系统所处的状态与时间有关，可周

4、期（或连续）地对它观察；与时间有关，可周期（或连续）地对它观察； 2）决策是序贯地进行的，即每个时刻根据所观）决策是序贯地进行的，即每个时刻根据所观察到的状态和以前状态的记录，从一组可行方案中选察到的状态和以前状态的记录，从一组可行方案中选用一个最优方案（即作最优决策），使取决于状态的用一个最优方案（即作最优决策），使取决于状态的某个目标函数取最优值（极大或极小值）；某个目标函数取最优值（极大或极小值）； 3）系统下一步）系统下一步(或未来或未来)可能出现的状态是随机的可能出现的状态是随机的或不确定的。或不确定的。决策理论与方法决策理论与方法第 7 页第 7 页4.3 序贯决策序贯决策4.3.

5、1 序贯决策的基本概念序贯决策的基本概念 系统在每次作出决策后下一步可能出现的状态系统在每次作出决策后下一步可能出现的状态是不能确切预知的，存在两种情况：是不能确切预知的，存在两种情况： 1）系统下一步可能出现的状态的概率分布是已）系统下一步可能出现的状态的概率分布是已知的，可用客观概率的条件分布来描述。对于这类系知的，可用客观概率的条件分布来描述。对于这类系统的序贯决策研究得较完满的是状态转移律具有无后统的序贯决策研究得较完满的是状态转移律具有无后效性的系统，相应的序贯决策称为马尔可夫决策过程效性的系统，相应的序贯决策称为马尔可夫决策过程，它是将马尔可夫过程理论与决定性动态规划相结合，它是将

6、马尔可夫过程理论与决定性动态规划相结合的产物。的产物。 2）系统下一步可能出现的状态的概率分布不知）系统下一步可能出现的状态的概率分布不知道，只能用主观概率的条件分布来描述。用于这类系道，只能用主观概率的条件分布来描述。用于这类系统的序贯决策属于决策分析的内容。统的序贯决策属于决策分析的内容。22,r a Ef E22,r a Ef E22,r a Ef E决策理论与方法决策理论与方法第 8 页第 8 页4.3 序贯决策序贯决策4.3.2 序贯决策的决策方法序贯决策的决策方法 序贯决策的过程是：从初始状态开始，每个时序贯决策的过程是：从初始状态开始，每个时刻做出最优决策后，接着观察下一步实际出

7、现的状态刻做出最优决策后，接着观察下一步实际出现的状态，即收集新的信息，然后再做出新的最优决策，反复，即收集新的信息，然后再做出新的最优决策，反复进行直至最后。进行直至最后。 解决序贯决策问题的有效办法仍然是决策树，解解决序贯决策问题的有效办法仍然是决策树，解决序贯决策的关键是确定一个决策序列终止的原则。决序贯决策的关键是确定一个决策序列终止的原则。在下例中，这个原则就是：不管到决策的哪个阶段，在下例中，这个原则就是：不管到决策的哪个阶段，只要有一个非经抽样的后悔期望值小于进行一次抽样只要有一个非经抽样的后悔期望值小于进行一次抽样的费用，决策序列便可终止。的费用，决策序列便可终止。22,r a

8、 Ef E22,r a Ef E22,r a Ef E决策理论与方法决策理论与方法第 9 页第 9 页4.3 序贯决策序贯决策4.3.2 序贯决策的决策方法序贯决策的决策方法 例例4-3-1 某工厂的产品每某工厂的产品每1000件装成一箱出售。件装成一箱出售。每箱中产品的次品率有每箱中产品的次品率有0.01，0.40，0.90三种可能，三种可能，其概率分别为其概率分别为0.2，0.6，0.2。现在的问题是：出厂前。现在的问题是：出厂前是否要对产品进行严格检验，将次品挑出。可以选择是否要对产品进行严格检验，将次品挑出。可以选择的行动有两个：的行动有两个： 整箱检验，检验费整箱检验，检验费 为每箱

9、为每箱100元；元；整箱不检验，但如果顾客在使用中发现次品，每件整箱不检验，但如果顾客在使用中发现次品，每件次品除条换为合格品外还要赔偿次品除条换为合格品外还要赔偿0.25元损失费。为了元损失费。为了更好地做出决定可以先从一箱中随机抽取更好地做出决定可以先从一箱中随机抽取1件作为样件作为样本检验它，然后根据这件产品是都次品再决定该箱是本检验它，然后根据这件产品是都次品再决定该箱是否要检验，抽样成本为否要检验，抽样成本为4.2元。进行第一次抽样后，元。进行第一次抽样后，除选择检验还是不检验外，还可以根据前面抽样的结除选择检验还是不检验外，还可以根据前面抽样的结果，考虑再进行一次抽样检验如此形成一

10、个决策序列果，考虑再进行一次抽样检验如此形成一个决策序列。该厂应该如何决策。该厂应该如何决策。决策理论与方法决策理论与方法第 10 页第 10 页4.3 序贯决策序贯决策4.3.2 序贯决策的决策方法序贯决策的决策方法 解解 （1） 假设假设 为整箱检验；为整箱检验； 为整箱不检验为整箱不检验； 而而 表示次品率分别表示次品率分别0.01，0.40，0.90的三种自然状态；的三种自然状态； 表示抽取一件样品的行动，表示抽取一件样品的行动， 表示抽取第二件样品的行动表示抽取第二件样品的行动 ； ， 为抽为抽样时次品和合格品的两个结果。样时次品和合格品的两个结果。 12123, 1S2S1x 0

11、x 决策理论与方法决策理论与方法第 11 页第 11 页4.3 序贯决策序贯决策4.3.2 序贯决策的决策方法序贯决策的决策方法 （2）计算益损值和后悔值矩阵。）计算益损值和后悔值矩阵。 产品检验问题的收益矩阵见表产品检验问题的收益矩阵见表4-3-1。由表。由表4-3-1的收益的收益矩阵可得到各行动方案的后悔值矩阵，见表矩阵可得到各行动方案的后悔值矩阵，见表4-3-2。 表表4-3-1 ：收益矩阵表：收益矩阵表 表表4-3-2：后悔矩阵表：后悔矩阵表 A123( )E1a （0.2）（0. 6）（0.2）-100 -100 -100 -100-2.5 -100 -100 -105A1232a2

12、a（0.2）（0. 6）（0.2）97.5 00001251a E a决策理论与方法决策理论与方法第 12 页第 12 页4.3 序贯决策序贯决策4.3.2 序贯决策的决策方法序贯决策的决策方法 （3）抽取一件样品的抽样分布见表）抽取一件样品的抽样分布见表4-3-3。计算各有关。计算各有关概率。概率。 表表4-3-3 ：抽样结果条件概率分布表矩阵表：抽样结果条件概率分布表矩阵表 A123( )E1a A1232a 抽样抽样 （0.2） （0. 6） （0.2）0.990.60.10.010.40.9决策理论与方法决策理论与方法第 13 页第 13 页4.3 序贯决策序贯决策4.3.2 序贯决策

13、的决策方法序贯决策的决策方法 （4）画出决策树图）画出决策树图4-3-1，图中，图中 表示决策阶表示决策阶段，段， 表示第一次抽样、第二次抽样表示第一次抽样、第二次抽样 图图4-3-1：决策树：决策树 A123( )E A123123,A A A12,S S4.3250.283733.300.71630.4220.5782519.503.731.177846.174.1091.9092.9660.7660.60382.21.17782.20.46212.22.20.462153.312.21A1S2A2S3A决策理论与方法决策理论与方法第 14 页第 14 页本章小结本章小结 本章介绍了动态决

14、策的基本概念与基本方法，重点本章介绍了动态决策的基本概念与基本方法，重点是：多阶段决策、序贯决策、决策树等概念，动态规是：多阶段决策、序贯决策、决策树等概念，动态规划、决策树方法及其在多阶段决策、序贯决策中的应划、决策树方法及其在多阶段决策、序贯决策中的应用。多阶段决策分为确定型与风险型两类，风险型问用。多阶段决策分为确定型与风险型两类，风险型问题要借助于概率以期望值最优为目标；序贯决策的关题要借助于概率以期望值最优为目标；序贯决策的关键是确定一个决策序列终止的原则。键是确定一个决策序列终止的原则。 决策理论与方法决策理论与方法第 15 页第 15 页 Thank you!决策理论与方法决策理论与方法第 16 页第 16 页人有了知识，就会具备各种分析能力，人有了知识，就会具备各种分析能力，明辨是非的能力。明辨是非的能力。所以我们要勤恳读书，广泛阅读，所以我们要勤恳读书，广泛阅读，古人说古人说“书中自有黄金屋。书中自有黄金屋。”通过阅读科技书籍，我们能丰富知识，通过阅读科技书