强化学习简介

1、 以在不断的对弈中改善自己的棋艺。以在不断的对弈中改善自己的棋艺。4年年 后，这个程序战胜了设计者本人。又过后，这个程序战胜了设计者本人。又过 了了3年，这个程序战胜了美国一个保持年，这个程序战胜了美国一个保持8 年之久的常胜不败的冠军。年之久的常胜不败的冠军。 监督学习：计算机获得简单的输入给出期望的输出，监督学习：计算机获得简单的输入给出期望的输出， 过程是通过一个过程是通过一个“训练模型训练模型”，学习通用的准则来从，学习通用的准则来从 输入映射到输出输入映射到输出。 无监督学习：没有给出标记用来学习算法，让它自己无监督学习：没有给出标记用来学习算法，让它自己 去发现输入的结构。无监督学

2、习自己可以被当成一个去发现输入的结构。无监督学习自己可以被当成一个 目标或者一个实现结果的途径（特征学习）。目标或者一个实现结果的途径（特征学习）。 强化学习：一个计算机程序与动态环境交互，同时表强化学习：一个计算机程序与动态环境交互，同时表 现出确切目标（比如驾驶一辆交通工具或者玩一个游现出确切目标（比如驾驶一辆交通工具或者玩一个游 戏对抗一个对手）。这个程序的奖惩机制会作为反馈，戏对抗一个对手）。这个程序的奖惩机制会作为反馈， 实现它在问题领域中的导航。实现它在问题领域中的导航。 强化学习（强化学习（reinforcement learning）与监督学习、）与监督学习、 非监督学习的区别

3、非监督学习的区别 n 没有监督者，只有奖励信号没有监督者，只有奖励信号 n 反馈是延迟的，不是顺时的反馈是延迟的，不是顺时的 n 时序性强，不适用于独立分布的数据时序性强，不适用于独立分布的数据 n 自治智能体（自治智能体（agent)的行为会影响后续信息的的行为会影响后续信息的 接收接收 思考：思考： 五子棋：棋手通过数学公式计算，发现位置五子棋：棋手通过数学公式计算，发现位置 1比位置比位置2价值大，这是强化学习吗？价值大，这是强化学习吗？ 这不叫强化学习，叫规划这不叫强化学习，叫规划 如果通过几次尝试，走位置如果通过几次尝试，走位置1比走位置比走位置2赢棋赢棋 的可能性大，得出经验，则为

4、强化学习的可能性大，得出经验，则为强化学习 强化学习模型强化学习模型 几个定义几个定义 自治智能体自治智能体Agent 学习的主体，如小猫、小狗、人、机器人、控制程序等学习的主体，如小猫、小狗、人、机器人、控制程序等 Agent的特点的特点 1、主动对环境做出试探、主动对环境做出试探 2、环境对试探动作反馈是评价性的（好或坏）、环境对试探动作反馈是评价性的（好或坏） 3、在行动、在行动-评价的环境中获得知识，改进行动方案，达到评价的环境中获得知识，改进行动方案，达到 预期目的预期目的 奖励信号（奖励信号（rewards） 奖励信号奖励信号R是一个标量信号是一个标量信号 表示表示agent在步骤

5、在步骤T中所产生动作好坏中所产生动作好坏 Agent的任务是最大化累积奖励信号的任务是最大化累积奖励信号 强化学习模型强化学习模型 例子例子 图中黄点是机器人，图中黄点是机器人， 目的是走到绿色的目的是走到绿色的 方块方块reward+1000， 黑色方块是墙壁，黑色方块是墙壁， 撞到撞到reward-10， 红色方块是陷阱，红色方块是陷阱， 撞到撞到reward-1000， 其他其他reward+0 强化学习基本要素强化学习基本要素 强化学习基本要素及其关系强化学习基本要素及其关系 策略定义了策略定义了agent在给定时间内的行为方式，在给定时间内的行为方式， 一个策略就是从环境感知的状态到

6、在这些状一个策略就是从环境感知的状态到在这些状 态中可采取动作的一个映射。态中可采取动作的一个映射。 可能是一个查找表，也可能是一个函数可能是一个查找表，也可能是一个函数 确定性策略：确定性策略：a = (s) 随机策略：随机策略： (a s) = PAt = a St = s 回报函数是强化学习问题中的目标，它把环境中回报函数是强化学习问题中的目标，它把环境中 感知到的状态映射为单独的一个奖赏感知到的状态映射为单独的一个奖赏 回报函数可以作为改变策略的标准回报函数可以作为改变策略的标准 值函数：一个状态起值函数：一个状态起agent所能积累的回所能积累的回 报的总和。报的总和。 在决策和评价

7、决策中考虑最多的是值函在决策和评价决策中考虑最多的是值函 数数 环境模型模拟了环境的行为，即给定一个状环境模型模拟了环境的行为，即给定一个状 态和动作，模型可以预测必定导致的下一个态和动作，模型可以预测必定导致的下一个 状态和下一个奖赏。模型一般用于规划状态和下一个奖赏。模型一般用于规划 规划是算出来的，强化学习是试出来的规划是算出来的，强化学习是试出来的 马尔可夫过程马尔可夫过程 马尔可夫奖励过程马尔可夫奖励过程 马尔可夫决策过程马尔可夫决策过程 马尔科夫决策过程（马尔科夫决策过程（MDP） 马尔科夫性：所谓马尔科夫性是指系统的下一马尔科夫性：所谓马尔科夫性是指系统的下一 个状态个状态s(t

8、+1)仅与当前状态仅与当前状态s(t)有关，而与以前有关，而与以前 的状态无关。的状态无关。 马尔可夫过程马尔可夫过程 定义：状态定义：状态s(t) 是马尔科夫的，当且仅是马尔科夫的，当且仅 当当P St+1 St = P St+1 S1; :; St 对于一个马尔科夫状态对于一个马尔科夫状态s和接下来的状态和接下来的状态s , 状态转状态转 移概率定义为移概率定义为 通常马尔科夫过程是一个二元组（通常马尔科夫过程是一个二元组（S，P），且满），且满 足：足：S是有限状态集合，是有限状态集合， P是状态转移概率。状态是状态转移概率。状态 转移概率矩阵为：转移概率矩阵为： 以下状态序列称为马尔以

9、下状态序列称为马尔 科夫链，假设从科夫链，假设从C1开始开始 对于游戏或者机器人，马尔科夫过程不足 以描述其特点，因为不管是游戏还是机器 人，他们都是通过动作与环境进行交互， 并从环境中获得奖励，而马尔科夫过程中 不存在动作和奖励。 马尔可夫奖励过程马尔可夫奖励过程 马尔可夫奖励过程（马尔可夫奖励过程（MRP）是一种带有价值的马）是一种带有价值的马 尔科夫链，由元组（尔科夫链，由元组（S，P，R, ）来表示）来表示 S为有限的状态集为有限的状态集 P为状态转移概率为状态转移概率 R为奖励函数为奖励函数 为折扣因子，为折扣因子， 0,1 强化学习是找到最优的策略，这里的最优是指得到的总强化学习是

10、找到最优的策略，这里的最优是指得到的总 回报最大。回报最大。 当给定一个策略时，我们就可以计算累积回报。首先当给定一个策略时，我们就可以计算累积回报。首先 定义累积回报：定义累积回报： 当给定策略当给定策略时，假设从状态时，假设从状态C1出发，学生状态序列出发，学生状态序列 可能为：可能为： 在策略在策略下，可以计算累积回报下，可以计算累积回报G1，此时，此时G1有多个可有多个可 能值能值 。由于策略。由于策略是随机的，因此累积回报也是随机是随机的，因此累积回报也是随机 的。为了评价状态的。为了评价状态s1的价值，我们需要定义一个确定的价值，我们需要定义一个确定 量来描述状态量来描述状态s1的

11、价值，很自然的想法是利用累积回的价值，很自然的想法是利用累积回 报来衡量状态报来衡量状态s1 的价值。然而，累积回报的价值。然而，累积回报G1 是个随是个随 机变量，不是一个确定值，因此无法进行描述。但其机变量，不是一个确定值，因此无法进行描述。但其 期望是个确定值，可以作为状态值函数的定义。期望是个确定值，可以作为状态值函数的定义。 当智能体采用策略当智能体采用策略时，累积回报服从一个分布，时，累积回报服从一个分布， 累积回报在状态累积回报在状态s处的期望值定义为状态值函数：处的期望值定义为状态值函数： 例例 例例 例例 例例 贝尔曼方程贝尔曼方程 状态值函数可以分为两部分：状态值函数可以分

12、为两部分： 瞬时奖励瞬时奖励 后继状态值函数的折扣值后继状态值函数的折扣值 马尔可夫决策过程马尔可夫决策过程 马尔可夫决策过程是一种带有决策作用的马尔可夫决策过程是一种带有决策作用的 马尔科夫奖励过程，由元组（马尔科夫奖励过程，由元组（S，A，P， R, ）来表示）来表示 S为有限的状态集为有限的状态集 A为有限的动作集为有限的动作集 P为状态转移概率为状态转移概率 R为奖励函数为奖励函数 为折扣因子，为折扣因子， 0,1 策略策略 策略是指状态到动作的映射，策略常用符号策略是指状态到动作的映射，策略常用符号表示，表示， 它是指给定状态它是指给定状态s时，动作集上的一个分布，即时，动作集上的一个分布，即 策略完全的表示