《强化学习理论与应用》环境

目录12023/10/7PyTorch简介2.12.3强化学习的开发环境2.2PyTorch和TensorFlow2.4

Gym实验环境对于从事深度强化学习研究的相关工作人员而言，选择一个好的工具势必会事半功倍。。PyTorch是Facebook公司在深度学习框架Torch基础上，使用Python重写的一个全新的框架。PyTorch还拥有丰富的API，可以快速完成深度神经网络模型的搭建和训练。22023/10/72.1PyTorch简介（1）PyTorch：美国互联网巨头Facebook公司使用Python开发的一个深度学习框架；框架设计理念先进，在调试、编译等方面的优势，迅速占领GitHub热度榜榜首；不是简单地封装Lua、Torch，提供Python接口，而是对Tensor之上的所有模块进行了重构。2.1PyTorch简介（2）3目录42023/10/7PyTorch简介2.12.3强化学习的开发环境2.2PyTorch和TensorFlow2.4

Gym实验环境2.2

PyTorch和TensorFlow（1）5Tensorflow创建的是静态图

Tensorflow在定义模型的整个计算图之后才开始运行机器学习模型；PyTorch创建的是动态图

PyTorch的计算图是在运行时创建的，可以随时定义、随时更改、随时执行节点；2.2

PyTorch和TensorFlow（2）6

Tensorflow的学习曲线陡峭

使用Tensorflow，需要先理解Tensorflow的一些工作机制（比如会话（session）、占位符（placeholder）等）。PyTorch学习曲线简单

PyTorch更贴近Python语言，建立机器学习模型时也更直接、符合人的思维。目录72023/10/7PyTorch简介2.12.3强化学习的开发环境2.2PyTorch和TensorFlow2.4

Gym实验环境Windows环境所需要的系统软件：test目录文件为环境测试用例。相关软件的下载网址：Visual:

https:///downloadAnaconda:

https://Gym:

gitclonehttps:///openai/gym.git（需要安装Git）2.3强化学习的开发环境（1）Windows环境步骤第一步：在windows下，点击执行，安装VisualStudio。

安装时只需勾选“使用C++的桌面开发”，等待安装完成后重启电脑。2.3强化学习的开发环境（2）Windows环境步骤第二步：在windows下，点击执行，安装Anaconda。注：Anaconda安装完成后，通过窗口菜单“AnacondaPrompt”进入Anaconda环境。使用清华镜像：

pipconfigsetglobal.index-url/simple2.3强化学习的开发环境（2）Windows环境步骤在Anaconda环境中可以创建和维护自己的环境：2.3强化学习的开发环境（3）创建环境：condacreate--namerlpython=3.7

安装swig：

condainstallswig（必做）查看环境：condaenvlist激活环境：condaactivaterl退出环境：condadeactivate删除环境：condaremove–-namerl–allWindows环境步骤第三步：在Anacondarl下，执行“pipinstalljupyter”,安装JupyterNotebook。

根据需要可以安装其他软件包：

绘图库：

pipinstallmatplotlib

数据统计库：pipinstallpanda进入安装测试目录“实验代码”，执行“jupyternotebook”命令，测试安装是否成功。2.3强化学习的开发环境（4）Windows环境步骤第四步：在Anacondarl下，进入目录“Gym”，执行：

pipinstall-e“.[all]”

或pipinstall-egym[all]进入安装测试目录“test”，执行“jupyternotebook”命令，测试Gym安装是否成功。2.3强化学习的开发环境（5）Windows环境步骤第五步：进入官网的getstarted页面。根据自己的环境配置情况进行选择。执行“RunthisCommand”中的命令即可安装。进入安装测试目录“test”，执行“jupyternotebook”命令，测试PyTorch安装是否成功。

2.3强化学习的开发环境（6）

15Linux和Mac环境Anaconda搭建进入Anaconda的官网https://选择所需系统的版本下载；执行bashAnaconda3-2019.10-Linux-x86_64.sh（以下载的文件名为准）；安装过程中会提示是否需要将安装路径写入到环境变量中，输入“yes”回车执行。JupyterNotebook、gym以及PyTorch的安装与Windows相同。*2.3强化学习的开发环境（7）*2.3强化学习的开发环境（8）16Anaconda搭建环境的创建、维护和管理Anaconda安装成功后，可以创建新环境并对新环境进行基本的环境维护和环境管理。环境管理部分都采用命令行方式。Linux和Mac用户直接打开终端即可；

Windows用户在开始菜单中打开“AnacondaPrompt”进入命令行模式。目录172023/10/7PyTorch简介2.12.3强化学习的开发环境2.2PyTorch和TensorFlow2.4

Gym实验环境强化学习中经典的实验场景：Mountain-Car，Cart-Pole，SpaceInvaders，Go，LunarLander，MuJoCo等。由于DRL的兴起，各种新的复杂的实验场景不断涌出，出现一系列优秀的实验平台：OpenAIGym，OpenAIBaselines；MuJoCo，rllab，TORCS，PySC2。2.4Gym实验环境（1）OpenAIGym的安装

OpenAIGym的官网地址为/，源码地址为/openai/gym。Gym的完整安装需要提前安装MuJoCo。

MuJoCo官网。官网的license界面注册获得权限之后再下载安装。2.4Gym实验环境（2）2.4Gym实验环境（3）经典控制：CartPole-v1MountainCarContinuous-v0MountainCar-v0Acrobot-v1Pendulum-v0Box2D：Box2D中的连续控制任务BipedalWalker-v2BipedalWalkerHardcore-v2CarRacing-v0LunarLander-v2LunarLanderContinuous-v22.4Gym实验环境（4）Atari：Atari2600游戏Alien-v0Asterix-ram-v0Atlantis-ram-v0Breakout-v0Seaquest-v0BattleZone-ram-v0Boxing-ram-v0Enduro-v0FishningDerby-v0SpaceInvaders-v02.4Gym实验环境（5）Robotics：抓取机器人完成基于目标的任务2.4Gym实验环境（6）MuJoCoMoJoCo是一个物理模拟器，可以用于机器人控制优化等研究；官方网站为：/index.html；注意：MoJoCo需要license，可以在

https://www.roboti.us/license.html

上申请试用30天的Licence。

2.4Gym实验环境（7）MoJoCo：快速实体任务中的连续控制任务2.4Gym实验环境（8）Gym环境体验2.4Gym实验环境（9）Gym中的重要函数env=gym.make(‘CartPole-v0’)：创建CartPole环境；env.reset()：每一个情节结束后，agent初始化；env.render()：图像引擎用来显示环境中的物理图像；env.step()：用来描述agent与环境交互的所有信息：输入是动作a，输出是下一个状态，立即奖赏和是否终止等。

2.4Gym实验环境（10）Gym的使用使用下面代码可以简单的使用gym环境。

importgymenv=gym.make('MountainCar-v0')env.reset()env.render()env.close()

如果想看看别的环境是什么样子的，可以将MountainCar-v0替换成CartPole-v0,Pendulum-v0，Acrobot-v1等，这些环境都来自Env基类。

282023/10/72.4Gym实验环境（11）搭建扫地机器人的Gym环境利用Gym搭建一个扫地机器人环境。该环境描述如下：在一个的扫地机器人环境中，有一个垃圾和一个充电桩，到达[5,4]处机器人捡到垃圾，并结束游戏，同时获得+5的奖赏；左下角[1,1]处有一个充电桩，机器人到达充电桩可以充电，且不再行走，获得+1的奖赏。环境中间[3,3]处有一个障碍物，机器人无法通过。

292023/10/72.4Gym实验环境（12）1.安装