人工智能 课件 第六章 强化学习

人工智能第6章强化学习本章简介强化学习是一种旨在通过智能体与环境的交互来最大化奖励，从而实现特定目标的机器学习方法。基本原理是，当某个动作策略导致环境给出正奖励信号时，智能体会增强该动作策略的趋势。智能体的目标是在每个状态中找到最优策略，以达成预期的折扣奖励和最大值。在强化学习中，智能体根据奖励信号和当前状态选择动作，并通过试探评价过程逐步优化策略。本章介绍了多种强化学习算法，关键在于设计奖励函数，以帮助算法区分行动的好坏。近年来，随着计算能力的提高，深度强化学习成为发展趋势。本章提纲6.1强化学习基本思想6.2强化学习系统6.3强化学习方法6.4强化学习实例本章提纲6.1强化学习基本思想6.2强化学习系统6.3强化学习方法6.4强化学习实例强化学习概念强化学习发展历程研究现状和展望本节小结6.1强化学习基本思想强化学习原理智能体的目标是发现最优策略以达成预期的折扣奖励和最大值，选择动作影响立即的强化值和环境的下一状态；强化学习是试探评价过程，可以用于训练智能体。强化学习分类强化学习标准模型是马尔可夫决策过程，分基于模型、无模型、主动强化学习被动强化学习；变体包括逆向强化学习、阶层强化学习和部分可观测系统的强化学习。强化学习概述强化学习是机器学习的方法，解决智能体在与环境的交互中，以最大化的“奖励”实现特定目标；基本原理是，正奖励信号会加强智能体产生动作策略的趋势。0302016.1.1强化学习概念强化学习算法求解强化学习问题所使用的算法可分为策略搜索算法和值函数算法两类；不同于监督和非监督学习，强化学习不要求预先给定任何数据，通过接收环境对动作的奖励获得学习信息。强化学习过程强化学习理论侧重在线学习，并试图在探索-利用间保持平衡；环境对动作提供评价，智能体通过试错学习指导动作，目标是使智能体获得最大的奖励。强化学习设计标准强化学习中，智能体通过获取环境状态，采取动作获得奖励来调整策略；优化系统性能；积极奖励加强动作趋势，随机单元搜索正确动作；设计训练流程复杂。6.1.1强化学习概念强化学习应用强化学习应用于机器人控制、自然语言处理、智能游戏等领域；阿尔法围棋是第一个击败人类职业围棋选手的人工智能机器人，由谷歌旗下DeepMind公司开发。阿尔法围棋阿尔法围棋使用了强化学习算法优化策略网络和价值网络，通过模拟对弈评估棋步优劣，调整参数学会最优决策；深度学习和强化学习结合形成了深度强化学习理论。阿尔法围棋战绩2016年到2017年，阿尔法围棋与围棋世界冠军李世石对战获胜，在中国棋类网站上以“大师”为注册账号与中日韩数十位围棋高手对决，连续60局无一败绩。新版阿尔法围棋2017年10月18日，DeepMind团队公布了更强大的新版阿尔法围棋；它能产生大量自我对弈棋局，为下一代版本提供了训练数据，这个过程不断循环迭代。010203046.1.1强化学习概念早期研究阶段在早期研究阶段，强化学习主要是一种理论研究方法，使用传统控制理论和动态规划解决智能体学习问题，如理查德·贝尔曼的动态规划理论应用于迷宫求解和背包问题等简单问题。强化学习的发展在发展中，斯坦福大学的JohnH.Conway提出了Q-learning理论，时序差分学习算法得到探索；DeepMind等公司提出DeepQ-Network、PolicyGradient等里程碑成果。深度强化学习崛起深度学习成为主流方法，通过神经网络实现有效处理和表达，开发出深度强化学习算法；DeepQ-Network可以学习复杂决策任务，策略梯度和演员-评论家算法取得巨大发展。6.1.2强化学习发展历程深度强化学习开始被广泛应用于复杂现实场景中，如智能交通、自然语言处理、机器人等领域；技术公司如Google、Microsoft等将其应用于产品中，如自动驾驶汽车、智能音箱等。深度强化学习在IOT、娱乐游戏、教育、金融等领域展现出了很大的潜力；从探索到深度强化学习的崛起，始终站在人工智能领域的前沿，为智能系统的追求做出了重要贡献。强化学习应用强化学习潜力6.1.2强化学习发展历程深度强化学习：深度神经网络引入强化学习，构建高绩效模型，适用于连续、高维、非线性问题；代表性算法包括深度Q网络、深度确定性策略梯度等，在游戏、机器人等领域取得优秀成果。元强化学习：标准深度强化学习求解特定MDP的最优策略，但训练成本高且环境变化后需重新训练；元学习引入经验积累，迅速适应新任务；Meta-RL学的是适应新任务的学习算法，把学习RL算法本身当做RL问题。多智能体强化学习：传统强化学习假设独立的交互，现实场景中智能体需协作或竞争，多智能体强化学习模型面临稳定性和非平衡性问题；独立决策器、协作Q学习等算法使其在博弈等领域广泛应用。逆强化学习：传统强化学习智能体需优化奖励函数，但设计需要领域知识和经验；逆强化学习从环境中获取反馈学习奖励函数，代表算法有最大熵IRL、逆强化策略梯度等，应用于自动驾驶等领域。6.1.3研究现状和展望

强化学习基于试错与反馈，智能体在环境中交互学习，通过试错和优化最大化奖励，应用于机器人控制、游戏玩家等领域。

探索与利用平衡，探索未知领域，发现新策略；利用已有经验选最优行动，平衡两者提高性能和效率。聚焦优化策略主流方法，用神经网络近似价值函数，追求更高效精确近似，实现多个智能体交互协作，共谋解决探索与利用平衡问题。6.1.4本节小结本章提纲6.1强化学习基本思想6.2强化学习系统6.3强化学习方法6.4强化学习实例系统组成强化学习方法类型强化学习特有概念马尔可夫决策过程贝尔曼方程本节小结6.2强化学习系统智能体状态动作环境学习算法模型策略价值函数6.2.1系统组成智能体概述智能体是强化学习系统的核心，是与环境交互的主体，通过感知环境状态并选择动作，以期望达到最优结果。智能体实现智能体通常由计算机程序实现，可以采用不同的编程语言和框架来实现，以接收环境信息、制定策略并选择动作。智能体6.2.1系统组成状态定义智能体的状态表示智能体当前所处的状态，包括智能体的感知、思维、决策和动作。状态描述状态由一组数据描述，这些数据可以是传感器数据、环境信息、历史经验等。状态6.2.1系统组成动作是智能体在环境中执行的操作，如移动、感知、思维等。动作的定义动作由一组规则描述，这些规则定义了动作的顺序、时间和空间。动作的描述根据当前的状态和策略，智能体选择并执行合适的动作。动作的选择动作0102036.2.1系统组成奖励是智能体在执行动作后获得的反馈，可以是即时奖励或延迟奖励。奖励机制是引导智能体优化其行为的关键。奖励机制奖励可以激励智能体选择更优的动作，逐步优化其行为策略，以最大化累积奖励。奖励机制是强化学习中的关键组成部分。奖励的作用奖励6.2.1系统组成确定性环境在确定性环境中，根据当前的状态，我们可以精确地知道接下来动作的结果，这为我们提供了清晰的决策依据。象棋游戏例如，在下象棋的时候，我们可以根据当前棋子的位置和移动规则，准确预测在移动一颗棋子后的确切结果。环境6.2.1系统组成环境掷骰子随机环境的一个典型例子是掷骰子，我们无法预知骰子上的数字，只能根据概率来猜测可能的结果。随机性环境在随机环境中，根据当前的状态无法确定动作的结果，这种不确定性为决策过程带来了更大的挑战。6.2.1系统组成完全可观测环境在完全可观测环境中，智能体可以获取系统的完整状态信息，这为决策提供了充分的信息支持。围棋在下围棋时，棋盘上所有棋子的位置信息都是确定的，智能体可以根据这些信息来评估局面，制定下一步的棋局策略。环境6.2.1系统组成部分可观测环境如果智能体无法在任何时刻都确定系统状态，该环境即部分可观测环境。例子玩桥牌时只有自己的牌确定已知，对手的牌是未知的，是部分可观测环境的例子。环境6.2.1系统组成如果从一个状态转移到另一个状态后的动作状态集是有限的，该环境即离散环境。离散环境国际象棋中，移动棋子后的状态为有限集，是离散环境的一种体现。例子环境6.2.1系统组成连续环境如果从一个状态到另一个状态后动作状态集是无限的，该环境即连续环境。例子一张白纸上A点到B点可以画出无数条路径，构成一个连续环境。环境6.2.1系统组成非序贯环境在非序贯环境中，智能体的当前动作不影响未来动作，执行的是独立任务。序贯环境环境在序贯环境中，智能体的当前动作会影响未来动作，智能体前后的动作是相关的。01026.2.1系统组成环境中有一个智能体即单智能体环境，有多个智能体即多智能体环境。单智能体环境在执行复杂任务时常使用多智能体环境，各智能体之间可以相互通信。多智能体环境多智能体环境具有较大程度的不确定性，多为随机环境。多智能体随机性环境0102036.2.1系统组成6.2.1系统组成模型是智能体（Agent）的一种表示，代表着智能体执行动作时，环境会发生什么，并可能获得什么回报。模型策略决定智能体（Agent）如何选择动作。策略价值函数是对下次预期获得奖励的折扣总和。价值函数学习算法010203状态转移模型是预测下一次智能体状态的关键，它基于当前状态和动作来模拟环境动态，为智能体提供未来状态的可能性和趋势。状态转移模型奖励模型是预测即刻奖励的关键，它根据当前状态和动作来估计智能体所获得的即时奖励，以指导智能体在决策过程中追求最大的累积奖励。奖励模型模型6.2.1系统组成策略是影响智能体动作选择的关键因素，它决定了智能体在特定状态下采取何种动作。策略的形式化表示：策略用符号π表示，它从状态(States)到动作(Actions)的映射，即π:s→a，为智能体在每个状态下选择合适的动作提供了明确指导。策略6.2.1系统组成价值函数价值函数是以折扣总和预期奖励，加权即时奖励和长期奖励，折扣系数γ介于0到1之间。价值函数的作用：价值函数可用于评判不同状态、动作的好坏程度，并且可以通过策略的比较决定如何执行动作。6.2.1系统组成基于模型的方法无模型的方法离线学习方法在线学习方法基于价值方法、优势、举例基于策略方法6.2.2强化学习方法类型基于模型的方法在强化学习中，基于模型的方法是指利用已知的环境模型，通过动态规划等方法来计算状态估值，并最终得到最优策略。MDP的强化学习基于模型的强化学习在MDP下，已知状态转移概率和奖励函数，允许智能体进行精确的状态转移和奖励预测。模型已知的优势已知模型的环境中，智能体能够准确地预测下一步的状态和奖励，从而能够更好地规划自己的行动。规划与策略迭代在已知模型的环境中，智能体可以使用价值迭代或策略迭代等方法，通过计算状态估值来不断改进策略。构建树结构的方法基于模型的强化学习还可以使用基于树的搜索算法，如MCTS，通过构建树结构来搜索最优策略。基于模型的方法01020304056.2.2强化学习方法类型无模型的方法无需对环境进行精确建模，直接学习策略，适用于现实问题中的不确定性。智能体学习策略在无法建模或建模困难时，智能体直接学习策略，避免依赖转移概率。策略学习无模型方法中，智能体通过与环境交互学习策略，实现长期奖励最大化。高频度策略优化时间差分法结合蒙特卡洛法，实现高频度策略优化。SARSA算法SARSA算法通过迭代更新Q表，选择并执行高价值动作，逐步优化策略。Q学习算法Q学习算法通过更新Q表，选择并执行高价值动作，学习最优策略。无模型的方法0102030405066.2.2强化学习方法类型离线学习方法智能体通过前期训练得到完整策略，再执行任务，需丰富环境转移样本库和计算资源。离线学习概述在离线学习中，智能体使用策略执行试验，学习价值函数，以解决具有未知转移和奖励函数的问题。值迭代、策略迭代、直接效用估计、自适应动态规划和时间差分学习。离线学习效用函数自动驾驶汽车使用地图和大致方向作为策略，通过控制出错和行驶时间的学习，利用价值函数优化路线。自动驾驶离线学习例01020403离线学习例子6.2.2强化学习方法类型在线学习优势在线学习在现实中更为普遍，实时观察策略提升效果，无需等待预训练和实际测试。在线学习例子在线学习方法在线学习部署简便在线学习不依赖大量存储空间，部署更加方便，是处理大规模数据和实时系统的优选方法。在线学习适用于状态和动作众多的情况，探索和“边学边用”更易实现，如Exploration、Q-Learning和SARSA等方法。6.2.2强化学习方法类型在线学习优势在线学习在实时性方面具有显著优势，能够使智能体在训练过程中立即观察到策略的提升效果。在线学习实时性在线学习相比离线学习更具存储优势，不需要存储大量样本数据，从而降低了存储成本和空间需求。在线学习存储优势在线学习更加灵活，可以轻松地扩展到更多的数据和更复杂的问题中，通过持续的学习和调整来适应变化。在线学习灵活性6.2.2强化学习方法类型价值函数与策略更新基于价值的方法学习价值函数，估计各状态动作的长期累计奖励价值，智能体据此选择高价值动作，更新策略。最大化奖励与行动选择基于价值的方法最大化期望价值选择动作，神经网络实现价值函数，智能体据此选择高价值动作，实现自主决策。神经网络实现价值函数神经网络在强化学习中扮演关键角色，通过神经网络实现价值函数，输入状态和动作，输出价值，指导智能体决策。基于价值方法概述强化学习中的基于价值方法基于观察结果的决策，通过学习价值函数指导智能体选择动作，最大化长期奖励的期望值。基于价值方法6.2.2强化学习方法类型自适应策略学习基于价值的方法最大优势是在无先验模型情况下学习执行策略，策略可自适应改变，灵活应对不同场景和目标。复杂环境应用能力强化学习基于价值的方法能够应用于复杂环境中，如无人驾驶汽车、机器人、互联网服务等，实现自主决策行为。基于价值方法优势6.2.2强化学习方法类型DeepQ-network方法使用深度学习方法的基于价值的强化学习算法，用神经网络逼近Q值函数，处理复杂任务和大量状态，实现自动学习和决策。Q-Learning方法基于价值迭代的强化学习方法，将状态转移和收益抽象为Q值，表示期望奖励；深度强化学习算法，能直接得到最优策略。SARSA方法基于价值迭代的强化学习算法，使用状态、行动、奖励和下一个状态的组合计算价值函数，帮助智能体得到最大化累积奖励的最优策略。基于价值的强化学习方法举例6.2.2强化学习方法类型基于策略方法特点REINFORCE算法TRPO算法策略方法应用策略梯度策略函数优化基于策略方法通过策略函数指导智能体在环境中采取动作，策略函数为π(a|s)，将状态映射为动作。策略函数的优化可以通过策略梯度方法来实现，策略梯度是一种利用梯度下降优化策略函数的方法。策略梯度方法通过最大化智能体在环境中的累计奖励来寻找最优策略函数，常用算法有REINFORCE算法。REINFORCE算法利用蒙特卡洛采样的方法来评估策略函数的性能，并利用梯度上升的方法来改进性能。基于策略方法还有许多其他的变种算法，如TrustRegionPolicyOptimization(TRPO)算法等。策略方法通常被用来处理连续动作空间，如机器人动作控制等领域，并取得了许多成功的应用。基于策略方法6.2.2强化学习方法类型文学作品菜品选择商业策略ε-greedy算法概述ε取值策略动作价值函数预测评估控制探索与利用的权衡6.2.3强化学习特有概念利用深入阅读过去最受欢迎的文学作品，领略经典之作的魅力与深度。探索勇敢尝试一位未曾读过的作家的新作，体验不一样的文学风格与视角。文学作品6.2.3强化学习特有概念利用点过去最好吃的菜品，回味曾经的味蕾盛宴，确保每一次都满足味蕾。探索尝试一道未曾尝试过的菜品，挑战新的味觉体验，探索美食的无限可能。菜品选择6.2.3强化学习特有概念实施过去最成功的商业策略，借鉴历史经验，确保业务稳健发展。利用尝试一种全新的商业策略，不断创新，寻求业务增长的新机遇。探索商业策略6.2.3强化学习特有概念ε-greedy算法概述ε-greedy算法是强化学习中最常见的探索-利用权衡策略之一，通过设定探索概率ε来选择随机动作或当前最优动作，以平衡探索和利用。算法工作原理在每个决策点上，智能体以ε的概率选择随机动作，以1－ε的概率选择当前最优动作，从而实现探索和利用的平衡，提高强化学习算法的性能。ε-greedy算法概述6.2.3强化学习特有概念ε取值策略ε取值策略在使用ε-greedy算法时，需要根据具体情况调整探索概率ε的取值，以平衡探索和利用。ε取值过小的影响如果ε取值过小，智能体在未知领域中难以探索，长期来看会影响性能。ε取值过大的影响如果ε取值过大，智能体过分偏向于探索，也会影响性能。平衡探索和利用需要对ε进行适当的调整，以达到平衡探索和利用的效果。6.2.3强化学习特有概念在ε-greedy算法中，智能体在每个决策点上以ε的概率选择一种随机动作，以1－ε的概率选择当前最优动作动作价值函数初始化Q函数在开始时，我们通常会对Q函数进行初始化，这可能是一个随机的初始值或者是一个初始的估计值。经验回放Q学习更新在智能体与环境交互的过程中，收集状态、动作、奖励和下一个状态，并存储在经验回放缓冲区中。在每个训练步骤，从经验回放缓冲区中随机抽取一个经验，并使用Q学习更新公式来更新Q函数。6.2.3强化学习特有概念制定行动策略预测过程不仅可以帮助智能体了解自己采取行动的结果，而且可以帮助智能体制定更合理的行动策略，从而提高智能体的决策能力。预测定义预测是指根据当前状态预测未来的奖励值；在强化学习中，我们需要知道在当前状态下，采取不同的行动所获得的奖励值。奖励值预测奖励值的预测可以通过多种方式来实现，包括基于价值函数的方法和模拟训练等；预测过程可以帮助智能体了解自己采取行动的结果。预测6.2.3强化学习特有概念评估是指根据当前策略评估智能体的行为效果，在强化学习中，评估通常关注的是累积奖励，即通过一系列采取行动获得的奖励值的累加来评估智能体的表现。评估介绍评估可以通过基于策略的评估和基于价值函数的评估两种方式来实现；评估结果可以帮助智能体更好地了解自己行为的效果，从而调整策略。评估的方式评估6.2.3强化学习特有概念控制介绍控制是指调整智能体的策略来提升其表现效果；在强化学习中，我们需要通过优化策略来改进智能体的性能，从而提高智能体的决策能力和表现效果。控制方法控制方法包括基于价值函数的方法和基于策略的方法两种；通过控制，我们可以不断优化智能体的策略，从而提高其行为效果，提升智能体的决策能力。控制6.2.3强化学习特有概念探索与利用的权衡探索与利用的介绍探索与利用是强化学习核心，智能体平衡探索新动作和利用已知信息，以优化决策。探索与利用的权衡探索与利用相矛盾，智能体需平衡探索新行为和利用已知信息，以实现最佳决策。探索与利用的策略实现探索与利用平衡通常需要使用探索-利用权衡策略，如ε-greedy算法。探索与利用的例子点餐情境中，食客需平衡探索更多选择与利用已知选项，以做出最佳决策。6.2.3强化学习特有概念马尔可夫链的提出与扩展马尔可夫性质的定义与数学表达马尔可夫性质的优点与局限性马尔可夫决策过程的定义与起源马尔可夫决策过程的核心概念马尔可夫决策过程的应用与价值策略在马尔可夫决策过程中的作用马尔可夫决策模型的常用算法马尔可夫决策过程与马尔可夫链的区别马尔可夫链的性质马尔可夫决策过程实例6.2.4马尔可夫决策过程1906年，马尔可夫提出随机变量序列概念，每个变量取值概率仅取决于前一变量，独立于历史路径，为马尔可夫链奠定基础。马尔可夫链随后扩展为马尔可夫过程，一种随机过程，其中状态转移仅依赖于当前状态，而与历史状态无关，广泛应用于概率论和随机分析。马尔可夫链引入马尔可夫链发展马尔可夫链的提出与扩展6.2.4马尔可夫决策过程马尔可夫性质定义马尔可夫性质指随机过程未来状态条件概率仅依赖于当前状态，而与历史状态无关，即过程的无记忆性。马尔可夫性质数学表达数学上，若X(t),t>0为随机过程，则马尔可夫性质表现为当前状态已知下，未来状态概率分布与历史状态独立。马尔可夫性质的定义与数学表达6.2.4马尔可夫决策过程马尔可夫性质优点简化模型设计计算，减少参数，助力理解随机过程。适用于天气预报、股票交易等问题，结果仅依赖于当前状态。马尔可夫性质局限无法处理复杂时间序列模型，如非平稳、长期依赖序列。状态数量多时，马尔可夫性质应用受限。马尔可夫性质的优点与局限性6.2.4马尔可夫决策过程马尔可夫决策过程（MDP）是一种数学模型，用于描述随时间变化的决策过程，由理查德·贝尔曼于20世纪50年代提出。马尔可夫决策过程定义MDP在人工智能、博弈论、运筹学、控制论及经济学等领域有广泛应用，成为解决动态规划问题的重要工具。应用领域广泛马尔可夫决策过程的定义与起源6.2.4马尔可夫决策过程状态、动作、奖励及状态转移概率是MDP的核心概念，决策者需在每个时间步选择决策以进入新状态并获取奖励。MDP核心元素状态转移概率描述了在特定状态下执行某个决策后到达下一个状态的概率，选择正确决策可最大化长期奖励。状态转移概率马尔可夫决策过程的核心概念6.2.4马尔可夫决策过程MDP应用强化学习MDP模型适用于机器人路径规划、自动驾驶、金融风险控制等重要动态决策问题，是解决复杂环境决策问题的有力工具。MDP描述复杂决策MDP模型四元组在MDP模型中，一个决策问题可以表示为(S,A,P,R)，智能体通过状态转移和决策最大化累计奖励。MDP是强化学习的基础模型，用于描述环境和优化策略；策略是将状态映射到决策的方案，在MDP中指导智能体行动。马尔可夫决策过程的应用与价值6.2.4马尔可夫决策过程策略的定义随机性策略策略的特性策略的作用策略在MDP中扮演着至关重要的角色，策略定义为一个从状态集合S到动作集合A的映射函数，描述了智能体在不同状态下的行动选择方式。随机性策略则允许智能体在每个状态时根据一定的概率分布来选择动作，通过概率分布来描述在每个状态下的行动选择。策略可以具有确定性，也可以具有随机性，确定性策略指的是对于每个状态，都存在一个确定的决策与之对应，智能体采取的动作是确定的。策略在MDP模型中扮演着指导智能体行动的角色，根据当前状态和策略，智能体能够做出最优的行动决策，以实现最大化的收益。策略在马尔可夫决策过程中的作用6.2.4马尔可夫决策过程价值迭代算法价值迭代是一种动态规划算法，它通过迭代计算每个状态的价值函数来得到最优策略。策略迭代算法其他算法解决马尔可夫决策模型的常用算法策略迭代是一种基于策略评估和策略改进的算法，通过迭代优化策略来得到最优策略。除了价值迭代和策略迭代算法外，还有许多其他的解决MDP模型的算法，如Q-Learning算法、SARSA算法、深度强化学习等。6.2.4马尔可夫决策过程MDP是一种随机性策略和回报的决策过程，其中状态的转移概率遵循马尔可夫性质，智能体的行为基于动作和奖励，结果由状态转移概率决定。MC是一个动态的随机过程X(t)，与系统的动作无关，是最简单的马氏过程，时间和状态过程的取值参数都是离散的MP，具有三种马尔可夫性质。MDP随机决策过程MC动态随机过程马尔可夫决策过程与马尔可夫链的区别6.2.4马尔可夫决策过程马尔可夫链是遍历性的，即给定起始状态X(t－h)，则可以遍历整个马尔可夫链，并且每个时刻的状态转移概率都是相同的。性质1转移概率矩阵P是一个对角矩阵，其中a、b、c是离散状态空间中的三个元素；这保证了随机过程在任意时间的状态转移概率是已知的。马尔可夫链的性质性质2马尔可夫链具有一阶马尔可夫性，即对于任意时间t，下一个时刻t+h的状态转移概率只依赖于当前状态和过去的状态，而不取决于未来的状态。性质36.2.4马尔可夫决策过程MDP与MC的应用MDP和MC在随机性策略和奖励方面具有不同的决策过程和动态特性；尽管两者都利用了随机性和马尔可夫性质，但它们具有不同的概念和特征。MDP与MC的意义MDP与MC的应用与意义MC主要用于预测和模拟随机过程，例如天气预测或股票市场模型；MDP则用于在不确定环境中制定最优决策，以最大化总体奖励。01026.2.4马尔可夫决策过程MDP模型描述股票投资问题可以看作是一个马尔可夫决策过程，投资者在每个状态下选择买入或卖出股票以最大化总体收益。状态集合S状态集合S包含三个状态，即“涨”、“跌”和“不变”，分别表示股票价格的上涨、下跌和保持不变。动作集合A动作集合A包含两个动作，即“买入”和“卖出”，投资者可以在每个状态下选择买入或卖出股票。状态转移概率函数P状态转移概率函数P描述了股票价格在每个动作下从当前状态转移到下一个状态的概率。奖励函数R奖励函数R规定了投资者在每个状态下执行每个动作后获得的收益，包括买入和卖出股票的情况。最优策略如果按照MDP模型来决策，只考虑最大化总体奖励，那么最优策略就只能是“追涨杀跌”，即涨时买入、跌时卖出。股票投资问题0104020503066.2.4马尔可夫决策过程MDP模型描述状态转移概率函数P奖励函数R价值函数动作集合A状态集合S自动驾驶汽车问题同样可以运用MDP模型进行描述，模型四元组包含了状态集合、动作集合、状态转移概率函数和奖励函数。状态集合S包含两个状态，即“畅通”和“拥堵”，分别表示前方道路畅通无阻和拥堵不通的情况。动作集合A包含三个动作，即“加速”、“减速”和“保持当前车速”，汽车可以在每个状态下选择合适的动作。状态转移概率函数P描述了道路状况在每个动作下从当前状态转移到下一个状态的概率，如加速、减速或保持车速。奖励函数R规定了汽车在每个状态下执行每个动作后获得的收益，包括安全到达目的地、撞车等情况的奖励。价值函数是评估状态或动作优劣的指标，可以帮助智能体在长期决策中考虑累计奖励，选择最优的策略。自动驾驶汽车问题6.2.4马尔可夫决策过程贝尔曼方程概述状态价值函数动作价值函数价值函数作用价值函数计算法贝尔曼期望方程贝尔曼最优方程贝尔曼方程算例贝尔曼方程小结6.2.5贝尔曼方程贝尔曼方程概述贝尔曼方程，也被称为动态规划方程，是由理查德·贝尔曼提出的，用于求解马尔可夫决策过程的最优策略。贝尔曼方程贝尔曼方程分为期望方程和最优方程。期望方程描述价值函数的动态变化，提供迭代计算方法。价值函数在强化学习中至关重要，它反映了在策略下从初始状态开始，经过一系列动作到达某个状态或动作的优劣。贝尔曼方程分类最优方程通过最大化价值函数，在一组策略中得到最优的策略。价值函数是评估策略好坏的关键指标。最优方程01020403价值函数作用6.2.5贝尔曼方程状态价值函数是在策略π下，智能体在状态s获得的累积未来奖励的数学期望，即V(s)=E[∑γ^k*r_k|s,π]，其中γ为折扣因子，r_k为未来奖励。状态价值函数定义累积奖励是即时奖励与未来奖励的加权和，权重为折扣因子γ的k次方，折扣因子用于平衡即时奖励与未来奖励的重要性，使得智能体在追求长期利益时考虑即时利益。累积奖励计算状态价值函数6.2.5贝尔曼方程动作价值函数定义动作价值函数是在状态s且执行动作a时，智能体能够获得累积未来奖励的数学期望，即Q(s,a)=E[∑γ^k*r_k|s,a,π]，其中γ为折扣因子，r_k为未来奖励。动作价值函数作用动作价值函数描述了在特定状态s下执行不同动作a的优劣，即智能体在状态s选择动作a后，能够获得的累积未来奖励的期望值。动作价值函数6.2.5贝尔曼方程价值函数作用价值函数应用在强化学习中，价值函数的应用十分广泛，不仅用于评估策略的优劣，还可以通过贪婪策略、ε-贪婪策略等方式指导智能体的行动选择。价值函数作用价值函数是评估策略好坏的关键指标，通过计算价值函数，可以评估策略在特定状态或动作下的优劣，进而指导策略的改进。6.2.5贝尔曼方程价值函数定义强化学习策略价值函数挑战蒙特卡罗方法动作价值函数状态价值函数价值函数是强化学习中的基本概念，表示累积未来奖励的数学期望，反映策略π下从初始状态开始到达某个状态或动作的优劣。状态价值函数是在策略π下，状态s处智能体获得累积未来奖励的数学期望，受即时奖励和折扣因子影响，在不同策略下各异。动作价值函数是在状态s和动作a下，智能体获得累积未来奖励的数学期望，受即时奖励和状态转移概率影响，策略不同则价值不同。强化学习算法利用价值函数评估策略好坏，通过动态规划、Q-Learning或Actor-Critic等方法最大化价值函数，找到最优策略。状态和动作价值函数无法直接计算，但可使用蒙特卡罗方法，通过多次模拟实验求平均值来估计，如健身计划最佳时间查找。通过定义状态和动作集合，模拟不同健身时间的效果并记录数据，计算平均效果作为价值函数的估计，选择效果最好的时间作为最优策略。价值函数计算法6.2.5贝尔曼方程贝尔曼期望方程贝尔曼期望方程贝尔曼期望方程的核心思想是将当前决策的价值表示为未来决策的期望价值和当前状态下获得的奖励之和。马尔可夫决策过程考虑一个马尔可夫决策过程，其中状态集合为S，动作集合为A，状态转移概率为P，即时奖励为R，折扣因子为γ。状态价值函数状态价值函数可由动作价值函数表示，在状态s下，发生在动作a的条件概率，所有动作价值函数的加权平均值。动作价值函数动作价值函数由状态价值函数表示，当前状态s和动作a下未来积累的奖励的加权平均值，权重为条件概率。递推式由定义可得递推式，其中为下一时刻状态下未来累积的奖励，将递推式代入动作价值函数，应用数学期望性质可得。价值函数由相互代入，可以得到状态价值函数和动作价值函数的贝尔曼期望方程，描述了当前状态值函数和其后续状态值函数关系。0104020503066.2.5贝尔曼方程强化学习目标贝尔曼最优方程最优价值函数求解最优策略强化学习旨在找到最优策略π*，以最大化价值函数（包括状态价值函数和动作价值函数）。数学上已证明，对于任意MDP，存在一个最优策略π*。贝尔曼最优方程是递归的非线性方程，不存在闭合解，我们可以通过迭代的方式来求解最优策略。最优价值函数是在使用最优策略π*时获得的最佳价值函数，其定义为最大化价值函数时的策略所对应的价值函数。随机初始化策略，利用贝尔曼期望方程计算价值，再根据贝尔曼最优方程优化策略，重复过程直至收敛。贝尔曼最优方程6.2.5贝尔曼方程利用贝尔曼方程，我们计算了最优动作价值函数，并得出了相应的最优策略为“←（向左）”。这一决策基于当前状态和未来奖励的期望值，是最优的决策。贝尔曼方程算例奖励与价值函数在图6-4中，每个状态都有相应的即时奖励和动作价值函数，终端状态s1和s4的即时奖励与动作价值函数相等。当前状态为s2，由图6-3可见两个终端状态。贝尔曼方程应用MDP介绍考虑一个马尔可夫决策过程（MDP），如图6-4所示，状态集合为S={s1,s2,s3,s4}，动作集合为A={←（向左）->（向右）}，即时奖励为Rt，折扣因子为γ=0.5。0302016.2.5贝尔曼方程介绍强化学习系统的基本组成，包括智能体（Agent）和环境（Environment），并阐述强化学习系统类型。强化学习系统强化学习的数学基础是马尔可夫决策过程，分析马尔可夫链与马尔可夫决策过程之间的区别。强化学习数学基础介绍马尔可夫决策过程中最优策略的数学公式——贝尔曼方程，通过算例详细阐述贝尔曼方程的实现过程。贝尔曼方程贝尔曼方程小结6.2.5贝尔曼方程介绍了强化学习系统的组成，强化学习方法类型，强化学习的数学基础——马尔可夫决策过程，分析了它与马尔可夫链之间的区别。介绍了马尔可夫决策过程中最优策略的数学公式贝尔曼方程，通过算例说明其实现过程。6.2.6本节小结本章提纲6.1强化学习基本思想6.2强化学习系统6.3强化学习方法6.4强化学习实例

动态规划方法

蒙特卡洛学习方法

Q学习方法

深度强化学习

本节小结6.3强化学习方法

DP算法适用场景

强化学习DP方法

DP强化学习组件DP强化学习优势

背包问题概述

01背包问题算例动态规划求解步骤动态规划求最优策略6.3.1动态规划方法复杂问题分解动态规划方法适用于复杂问题，通过将问题分解为子问题，逐步求解子问题以获得整体解决方案。子问题重复出现动态规划方法特别适用于那些具有重复子问题的场景，即将复杂问题分解为多个重复的子问题。DP算法适用场景6.3.1动态规划方法策略函数定义策略函数在强化学习中定义为将状态映射到特定行动的映射，用于决定智能体在特定状态下应采取的行动。动态规划强化学习强化学习中的动态规划方法基于价值函数，而非状态转移方程，用于求解最优策略。价值函数与策略函数强化学习中的动态规划方法包含价值函数和策略函数，通过迭代更新这两个函数以找到最优策略。强化学习DP方法6.3.1动态规划方法强化学习中的动态规划方法包含价值函数和策略函数，价值函数用于评估状态或动作的价值，策略函数用于选择行动。价值函数与策略函数在每次迭代中，强化学习算法会尝试新的行动并根据结果更新价值函数和策略函数，以逐步改进性能。价值函数与策略更新DP强化学习组件6.3.1动态规划方法DP强化学习方法无需知道环境的精确模型，通过不断试错来学习最佳策略。强化学习无需模型强化学习适用于各种问题，能够处理复杂的环境和状态空间，具有很好的通用性。通用性强强化学习能够同时考虑到长期利益和短期投入的利益，适用于需要长期规划的场景。长期规划DP强化学习优势0102036.3.1动态规划方法背包问题概述经典的优化问题，涉及在有限容量的背包中装入物品，目标是最大化物品总价值。背包问题类型背包问题包括多种类型，如0-1背包、完全背包、多背包及带有约束条件的背包问题。01背包问题0-1背包问题要求每个物品要么完全选择，要么不选，旨在选择一组物品使得总价值最大化。完全背包问题完全背包问题每种物品都有无限个，因此每种物品可以被选择无限次，与0-1背包问题不同。多背包问题多背包问题每种物品有限多个，可以被选择多次，在装入物品时，存在一些额外的约束条件。约束条件的背包问题带有约束条件的背包问题在装入物品时，需要满足额外的条件，如重量、数量限制等。背包问题概述0104020503066.3.1动态规划方法01背包问题算例考虑一个包含5个物品的0-1背包问题，其中物品的体积和价值已知，背包容量为10。问题确定装入背包的物品以及获得的最大价值，通过强化学习的动态规划方法来解决。01背包问题算例6.3.1动态规划方法建立二维表格，描述物品性质和背包容量；初始化表格内容，遍历物品和背包容量，更新最大价值。动态规划求解步骤将物品装入背包的过程视为MDP过程，定义状态集合、动作集合和奖励机制；通过贝尔曼方程求解最优策略。强化学习思路动态规划求解步骤6.3.1动态规划方法动态规划求最优策略强化学习思路利用实际的奖励和价值函数，对策略函数进行改进，以更好地适应环境。策略改进根据当前状态和价值函数，选择最优的动作，并与环境进行交互，获得实际的奖励。动作选择根据当前状态和动作，计算出下一步的状态和奖励，并更新价值函数。状态转移根据已知背包内物品的最大价值，可以利用动态规划的方法来求出问题的最优策略。强化学习可以通过迭代更新价值函数和策略函数，逐渐逼近最优策略。动态规划求最优策略6.3.1动态规划方法

蒙特卡洛学习方法概述

MCM在强化学习中的应用

MCM的优点预测价值函数

样本效率与方差控制

MCMC与DMCP6.3.2蒙特卡洛学习方法蒙特卡洛学习方法是强化学习中常用的方法之一，通过对一系列随机采样的轨迹进行统计学分析以得到最优策略。评估走向表现在强化学习中，MCM一般应用于在已经完成一次完整的环境交互后，通过对其进行分析以评估特定走向的表现。蒙特卡洛学习方法概述6.3.2蒙特卡洛学习方法MCM在强化学习中的应用交互与记录智能体与环境交互，记录动作和奖励，形成轨迹。每个轨迹包含多个状态转移样本，用于估计状态价值。价值评估策略改进分析轨迹的总回报，确定每个状态在当前策略下的价值，更新状态价值表。价值高的状态更可能被选择。根据状态价值评估结果，优化策略，提高总回报。迭代更新策略，直至达到最优或满足停止条件。6.3.2蒙特卡洛学习方法MCM强制学习者与环境进行互动，这使得其学习到的策略更加细致和实用。与环境互动在MCM中，学习者无需明确表达它对环境的策略，因为其只需在与环境交互的过程中进行学习，就能够自然地寻找最优策略。策略无需明确表达MCM的优点6.3.2蒙特卡洛学习方法预测价值函数简单每次访问型MCM简单的每次访问型MCM可以表示成V(St)←V(St)+α[Gt−V(St)]，式中Gt是时刻t真实的奖励，α是常量步长参数。迭代末尾确定增量蒙特卡洛方法必须等到一次迭代的末尾才能确定对V(St)的增量（因为只有这时Gt才是已知的）。MCM解决预测问题MCM利用经验来解决预测问题，通过给定策略π的一些经验，以及这些经验中的非终止状态St，就能更新对于Vπ的估计。0302016.3.2蒙特卡洛学习方法样本效率与方差控制方差控制蒙特卡洛学习方法需要对采样轨迹进行统计分析，这可能导致结果具有高方差。为了控制方差，可以使用重要度采样等技术来调整采样轨迹的权重。样本效率蒙特卡洛学习方法需要通过多次环境交互和数据分析来评估策略，因此相对较慢。但通过优化采样策略和增加采样次数，可以提高其样本效率。6.3.2蒙特卡洛学习方法MCMC马尔可夫链蒙特卡洛方法，通过构建马尔可夫链来生成样本，适用于高维或连续状态空间中的概率分布采样。DMCP双重蒙特卡洛策略优化，结合了蒙特卡洛树搜索和深度强化学习的优点，用于解决复杂序列决策问题。MCMC与DMCP6.3.2蒙特卡洛学习方法

Q学习方法介绍

Q函数更新过程

Q-Learning方法实现流程Q表格赋初值、迭代过程、最后得到归一化的Q表格

Q学习方法优缺点

Q学习方法应用实例6.3.3Q学习方法Q学习是一种主动TD学习算法，适用于离散动作空间中学习连续动作空间的策略；Q值代表着某个状态下采取某个动作所能获得的最大回报。Q学习概述Q值是一个函数，将当前状态和可行的动作作为输入，输出对应的回报值；Q-Learning的核心思想是在每个时间步骤中根据当前状态计算一个Q值。Q值函数Q学习方法介绍6.3.3Q学习方法贝尔曼方程Q函数的更新过程通常是基于贝尔曼方程进行的；贝尔曼方程是强化学习中的重要公式，用于描述状态值函数与其后继状态之间的关系。更新Q值的过程通过不断更新Q值，算法能够学习出最优的策略，即在每个状态下选择可以获得最大回报的动作；对于每次决策，都会基于当前状态的Q值来进行选择。Q函数更新过程6.3.3Q学习方法不断进行迭代，直到算法收敛，即表格中的Q值不再发生显著变化。Q-Learning方法实现流程初始化表格将所有的Q(s,a)都设为0，表示初始时对各个状态-动作组合的价值没有明确的认识。随机选择初始状态和动作通过贝尔曼方程进行迭代，不断更新表格中的值函数，直到计算最终目标状态。重复执行步骤（2）决策与目标在训练完成后，计算机的智能体在进行决策时，每个状态都会选择Q函数值最大者对应的动作。6.3.3Q学习方法Q表格赋初值Q表格初始化基于动作奖励表，初始化Q表格，所有的空格都赋值0，表示当前状态下各个动作的初始奖励值。动作奖励表为了方便计算，我们根据图6-9列出了动作奖励表（表6-7），这个表与Q表格在维数上是完全一致的。6.3.3Q学习方法目标状态一旦达到目标状态，就结束当前的迭代片段，重新随机选择初始状态和动作，开始新的迭代片段。随机选择状态和动作在每一个迭代步骤中，我们随机选择一个状态和一个动作作为初始状态和动作。更新值函数通过贝尔曼方程进行迭代，不断更新表格中的值函数，根据当前状态和选择的下一个状态来计算。迭代过程6.3.3Q学习方法归一化的Q表格经过一系列的迭代过程后，我们得到了归一化后的Q表格（表6-9），该表格显示了各个状态下不同动作的奖励值。最大状态价值函数从图中可以清楚地看出，只要沿着最大的状态价值函数，就能找到最优路线到达最终目标节点。最后得到归一化的Q表格6.3.3Q学习方法能够处理离散动作空间，通过Q表格存储状态-动作价值，简单易实现，适用于小型问题。Q学习方法优点对于连续动作空间或高维状态空间，Q表格方法不可行，需要函数近似方法，可能产生高维数据。Q学习方法缺点Q学习方法优缺点6.3.3Q学习方法机器人导航Q学习方法可用于训练机器人如何在环境中导航到特定目标，通过尝试和纠正错误，机器人能够学习到最优的路径规划策略。游戏AIQ学习方法应用实例Q学习方法在游戏AI中有着广泛的应用，如国际象棋、围棋等复杂游戏，通过学习游戏规则和策略，AI能够达到甚至超越人类水平。01026.3.3Q学习方法

深度强化学习介绍

主神经网络

Q目标网络经验池损失函数

DBN算法实现步骤

深度置信网络算法流程强化学习算法概述

深度强化学习趋势

强化学习未来展望6.3.4深度强化学习深度强化学习介绍深度强化学习应用深度强化学习模型深度强化学习优势深度强化学习将深度学习与强化学习结合，用于感知、理解环境，通过迭代训练学习如何采取特定行动来最大化奖励函数。深度强化学习在自然语言处理、语音识别、图像识别等领域有广泛应用，如自动生成文章、阅读理解、对话系统、自动驾驶等。深度强化学习模型需要在相关环境中进行迭代训练，以便在使得奖励函数最大化的同时，最大化执行动作的准确度和速度。深度强化学习能够提供更好的决策和更高的性能，学会未知环境的知识和技能，具有对抗性、灵活性和适应性，被广泛应用于各种领域和场景。深度强化学习介绍6.3.4深度强化学习主神经网络是一种深度神经网络，以来自环境的当前状态等信息为输入，每个动作的Q值估计为输出，通过反向传播算法进行训练。在训练过程中，智能体通过与环境互动获得经验数据，并最小化损失函数，获得主神经网络参数梯度值来更新主神经网络参数。主神经网络的介绍训练的过程主神经网络6.3.4深度强化学习Q目标网络是与主神经网络分离的神经网络，以当前状态和未来的动作为输入，目标Q值为输出，目标Q值代表在未来某个时间步长下选择某个动作后能够获得的最大Q值。Q目标网络的介绍目标Q值是通过给定的奖励r和折扣因子γ来计算，主神经网络的参数为θ-。为了稳定学习过程，主神经网络在训练时会使用目标Q值作为真实Q值。Q目标值的计算Q目标网络6.3.4深度强化学习在离线学习中，智能体可以利用经验池中的数据进行强化学习，而不必实时与环境进行交互，这种方式可以节省计算资源，并提高学习效率。经验池经验回放智能体从经验池中随机抽取一批经验，然后使用这些经验来更新其策略或价值函数，通过不断回放经验，智能体能够从过去的经验中学习，逐步改进其策略。环境模拟存储经验智能体将每次与环境交互所获得的状态、动作、奖励和下一个状态等信息存储在经验池中，为后续的经验回放提供数据支持。0302016.3.4深度强化学习损失函数用于计算主神经网络Q值估计与真实Q值之间的差异，DQN的损失函数通常采用均方误差。损失函数作用损失函数表达式为L=(Qtarget－Q(s,a;θ))2，优化模型策略选择和价值估计能力。损失函数表达式训练过程中，采用随机梯度下降算法更新神经网络参数，减小损失函数值，直至达到一定精度或达到最大迭代次数。参数更新损失函数6.3.4深度强化学习01DQN算法流程主神经网络和Q目标网络每步更新，主神经网络计算Q值，智能体选动作，经验池存储经验。Q目标网络计算目标Q值智能体比较当前Q值与目标Q值，更新主神经网络策略，结合经验池和Q目标网络平衡数据稳定性和算法效率。DQN扩展应用DQN具有较强的自适应性和泛化能力，适用于处理高维度、连续状态和离散动作的复杂环境，并可扩展至多智能体环境。损失函数02036.3.4深度强化学习DQN改进版本DQN算法解决了深度强化学习的不稳定性和收敛问题，实现了端到端学习，成功应用于Atari游戏和AlphaGo等多个任务。DQN算法创新性DQN算法启发DQN算法的成功启示了后续的算法研究，如DoubleDQN、DuellingDQN、Rainbow等，为深度强化学习的发展提供了重要的思路。DQN容易出现过度拟合、样本相关性等问题，为克服这些问题，DQN算法的改进版本也相继提出，如DoubleDQN、DuelingDQN等。损失函数6.3.4深度强化学习数据准备准备需要训练的数据集，并对数据进行预处理，例如归一化、标准化等。RBM预训练使用一种叫做受限玻尔兹曼机对DBN进行预训练，逐层适应数据特征。结构搭建在RBM预训练完成后，将各层的模型连接起来形成DBN模型，选择合适的网络结构。神经网络训练使用训练数据和反向传播算法对DBN进行训练，不断地调整参数以提高模型的精度。评估模型在训练完成后，我们需要通过对模型进行评估，以检验模型的精度和泛化能力。预测或分类在评估模型性能后，我们可以将其应用于新的、未见过的数据中进行预测或分类。DBN算法实现步骤6.3.4深度强化学习数据准备与预处理神经网络训练与调优模型评估与选择预测或分类DBN结构搭建RBM预训练准备训练数据，进行归一化、标准化等预处理，以确保数据质量。使用RBM模型对DBN进行预训练，逐层适应数据特征，为后续训练打下基础。根据实际情况选择合适的网络结构，将RBM各层连接起来形成DBN模型。使用训练数据和反向传播算法对DBN进行训练，调整参数以优化模型精度和稳定性。训练完成后，对模型进行评估，检验其精度和泛化能力，选择最佳模型。使用训练好的DBN模型对新的数据进行预测或分类，应用于实际场景中。深度置信网络算法流程6.3.4深度强化学习强化学习算法概述介绍了多种强化学习算法，这些算法的关键在于赋予奖励函数，以区分行动的好坏。奖励函数设计灵活强化学习算法概述奖励函数的设计可以非常自由，可以精确地定义为任务成功条件，或采用模糊的度量标准。01026.3.4深度强化学习随着计算能力的提高，深度强化学习成为发展趋势，采用深度学习技术确定行动，优化策略，选择最大奖励的行动。深度强化学习算法使用神经网络处理环境，矫正输出，排除不良行动方案，以优化决策和行动选择。深度强化学习趋势神经网络优化决策深度强化学习趋势6.3.4深度强化学习强化学习可解释性未来，强化学习将更加注重可解释性，即更好地解释智能体的决策规则，以便人们更好地理解和应用这些决策。强化学习实践应用强化学习未来的发展还需要更加广泛的应用和实践，只有在更多的场景中应用和验证，才能更好地发现问题和改进方法。强化学习未来展望6.3.4深度强化学习本小节介绍了多种强化学习算法，这些算法的核心在于设计奖励函数。奖励函数是强化学习算法的关键，它帮助算法在不同情境中正确区分行动的好坏。这些函数的设计具有很高的自由度，可以精确定义，也可以采用模糊的度量标准。随着计算能力的提高，深度强化学习成为发展趋势。它采用深度学习技术来确定行动，通过优化策略来选择能获得最大奖励的行动。这些算法通常使用神经网络来处理输入数据，并根据已知动作矫正网络输出，持续排除不良行动方案。6.3.5本节小结本章提纲6.1强化学习基本思想6.2强化学习系统6.3强化学习方法6.4强化学习实例

背景介绍

实例实现

本节小结6.4强化学习实例强化学习算法让机器人自动走迷宫，我们将利用DeepQ-Learning算法来实现这个任务。强化学习走迷宫走迷宫实例概述四方向的迷宫，起点为红色椭圆，终点为绿色方块，机器人可选择向上、右、下、左四个方向移动。迷宫与移动方向执行每个动作后，机器人会根据不同的情况获得不同的奖励，撞墙为-1，走到出口为+1，其他情况为0。奖励机制6.4.1背景介绍奖励机制详解实现步骤概览机器人走迷宫任务Q-Learning算法实现ReplayDataSet类简单DQNRobot实现自定义DQNRobotDQN算法测试6.4.2实例实现通过学习，机器人需要找出从起点到达终点的最优路径，这是其核心目标也是智能导航能力的重要体现。奖励机制执行每个动作后，机器人会根据不同的情况获得不同的奖励，撞墙为-1，走到出口为+1，其他情况为0。