《强化学习入门 从原理到实践》读书笔记

PPT书籍导读最新版本读书笔记模板《强化学习入门从原理到实践》最新版读书笔记，下载可以直接修改算法第章策略学习编程模型价值环境读物经典蒙特卡罗函数深度世界代码历史基本概念规划目标本书关键字分析思维导图01致谢主要算法列表第2章从一个示例到马尔可夫决策过程常用数学符号第1章概述第3章动态规划寻找最优策略目录030502040607第4章不基于模型的预测第6章价值函数的近似表示第5章无模型的控制第7章基于策略梯度的深度强化学习目录0908010011第8章基于模型的学习和规划第10章AlphaZero算法实战第9章探索与利用参考文献目录013012014内容摘要强化学习主要研究的问题是：具有一定思考和行为能力的个体在与其所处的环境进行交互的过程中，通过学习策略达到收获最大化或实现特定的目标。本书以理论和实践相结合的形式深入浅出地介绍强化学习的历史、基本概念、经典算法和一些前沿技术，共分为三大部分：第一部分（第1～5章）介绍强化学习的发展历史、基本概念以及一些经典的强化学习算法；第二部分（第6～9章）在简要回顾深度学习技术的基础上着重介绍深度强化学习的一些前沿实用算法；第三部分（第10章）以五子棋为例详细讲解战胜了人类顶级围棋选手的AlphaZero算法的核心思想。对于本书介绍的每一个经典算法，我们都结合了一定的应用场景，详细介绍如何用Python代码来实现。本书既可以作为计算机专业高年级本科生及硕士生关于人工智能领域的入门参考读物，也可以作为对人工智能技术（特别是强化学习技术）感兴趣的人员理解强化学习思想的补充读物。致谢强化学习本质上也是一种求解能够带来最终最优奖励时每个状态下该如何做出最优策略的决策问题，这和一般的运筹学模型（即最优化问题，包括动态规划法等）根本目的相同，但显然强化学习方法适用范围更广，适用更大的状态空间，阶段数可以不同，也不一定要求环境动力学模型（有实际交互数据也可以），因为其可基于深度学习方法故可以学习到每个状态下的最优策略，这用其他方法是很难做到的。常用数学符号Alphazero五子棋那个项目，原作者的知乎专栏很好懂，本书这个越搞越复杂，代码没讲好，思想也没讲好。主要算法列表本书还是非常清晰易懂，值得看。第1章概述1.1强化学习的历史1.2强化学习的基本概念1.3章节组织1.4编程环境与代码资源第1章概述第2章从一个示例到马尔可夫决策过程2.1马尔可夫过程2.2马尔可夫奖励过程2.3马尔可夫决策过程2.4编程实践：学生马尔可夫决策示例第2章从一个示例到马尔可夫决策过程第3章动态规划寻找最优策略3.1策略评估3.2策略迭代3.3价值迭代3.4异步动态规划算法3.5编程实践：动态规划求解小型格子世...12345第3章动态规划寻找最优策略第4章不基于模型的预测4.1蒙特卡罗强化学习4.2时序差分强化学习4.3n步时序差分学习4.4编程实践：蒙特卡罗学习评估21点...第4章不基于模型的预测第5章无模型的控制5.1行为价值函数的重要性5.2贪婪策略5.3同策略蒙特卡罗控制5.4同策略时序差分控制第5章无模型的控制5.5异策略Q学习算法5.6编程实践：蒙特卡罗学习求解21点...5.7编程实践：构建基于gym的有风的...5.8编程实践：各类学习算法的实现及与...第5章无模型的控制第6章价值函数的近似表示6.1价值近似的意义6.2目标函数与梯度下降6.3常用的近似价值函数6.4DQN算法6.5编程实践：基于PyTorch实现...12345第6章价值函数的近似表示第7章基于策略梯度的深度强化学习7.1基于策略学习的意义7.2策略目标函数7.3Actor-Critic算法7.4深度确定性策略梯度算法7.5编程实践：DDPG算法实现12345第7章基于策略梯度的深度强化学习第8章基于模型的学习和规划8.1环境的模型8.3基于模拟的搜索8.2整合学习与规划——Dyna算法第8章基于模型的学习和规划第9章探索与利用9.2常用的探索方法9.1多臂游戏机第9章探索与利用第10章AlphaZero算法实战10.1自博弈中的蒙特卡罗树搜索1