(12)-第16章 强化学习（上）机器学习模型与算法_第1页
(12)-第16章 强化学习（上）机器学习模型与算法_第2页
(12)-第16章 强化学习（上）机器学习模型与算法_第3页
(12)-第16章 强化学习（上）机器学习模型与算法_第4页
(12)-第16章 强化学习（上）机器学习模型与算法_第5页
已阅读5页，还剩21页未读， 继续免费阅读

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

强化学习概述任务与奖赏K-摇臂赌博机有模型学习免模型学习值函数近似模仿学习21.任务与奖赏

例子：瓜农种西瓜缺水健康溢水缺水种下瓜苗后：(为简便，仅考虑浇水和不浇水两个动作，不考虑施肥、除草等)健康收获好西瓜浇水不浇水浇水浇水1.任务与奖赏

例子：瓜农种西瓜多步决策过程过程中包含状态、动作、反馈(奖赏)等需多次种瓜，在过程中不断摸索，才能总结出较好的种瓜策略缺水健康溢水缺水种下瓜苗后：(为简便，仅考虑浇水和不浇水两个动作，不考虑施肥、除草等)健康收获好西瓜浇水不浇水浇水浇水抽象该过程：强化学习(reinforcementlearning)1.任务与奖赏

1.任务与奖赏

1.任务与奖赏

1.任务与奖赏强化学习vs.

监督学习监督学习：给有标记样本强化学习：没有有标记样本，通过执行动作之后反馈的奖赏来学习示例标记分类器/回归器强化学习在某种意义上可以认为是具有“延迟标记信息”的监督学习状态动作策略2.K-摇臂赌博机K-摇臂赌博机(K-ArmedBandit)只有一个状态，K个动作每个摇臂的奖赏服从某个期望未知的分布执行有限次动作最大化累积奖赏2.K-摇臂赌博机

2.2Softmax

2.2Softmax

两种算法都有一个折中参数(,)，算法性能孰好孰坏取决于具体应用问题2.4离散空间强化学习离散空间状态空间、离散动作空间上的多步强化学习任务方法：每个状态上动作的选择看作一个K-摇臂赌博机问题K-摇臂赌博机算法奖赏函数：强化学习任务的累积奖赏局限：未考虑马尔科夫决策过程3.有模型学习

3.有模型学习

步累积奖赏；折扣累积奖赏.3.有模型学习

(全概率公式)Bellman等式3.有模型学习策略评估算法：3.有模型学习

3.有模型学习策略改进：将非最优策略改进为最优策略最优值函数/最优策略满足：非最优策略的改进方式：将策略选择的动作改为当前最优的动作最优Bellman等式3.有模型学习策略迭代(policyiteration)：求解最优策略的方法随机策略作为初始策略策略评估+策略改进+策略评估+策略改进+……直到策略收敛策略迭代算法的缺点每次改进策略后都要重新评估策略，导致耗时3.有模型学习值迭代算法：策略改进与值函数改进是一致的，因此可将策略改进视为值函数的改善3.有模型学习有模型学习小结强化学习任务可归结为基于动态规

人人文库> 全部分类> 教育资料 > 中学教育

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论