深度学习与围棋

深度学习与围棋读书笔记模板01思维导图读书笔记作者介绍内容摘要目录分析精彩摘录目录0305020406思维导图围棋深度技术读者深度围棋机器人小结围棋神经网络第章深度训练网络搜索预测游戏机器人资源本书关键字分析思维导图内容摘要内容摘要这是一本深入浅出且极富趣味的深度学习入门书。本书选取深度学习近年来最重大的突破之一AlphaGo，将其背后的技术和原理娓娓道来，并配合一套基于BetaGo的开源代码，带领读者从零开始一步步实现自己的“AlphaGo”。本书侧重实践，深入浅出，庖丁解牛般地将深度学习和AlphaGo这样深奥的话题变得平易近人、触手可及，内容非常精彩。全书共分为3个部分：第一部分介绍机器学习和围棋的基础知识，并构建一个最简围棋机器人，作为后面章节内容的基础；第二部分分层次深入介绍AlphaGo背后的机器学习和深度学习技术，包括树搜索、神经网络、深度学习机器人和强化学习，以及强化学习的几个高级技巧，包括策略梯度、价值评估方法、演员-评价方法3类技术；第三部分将前面两部分准备好的知识集成到一起，并最终引导读者实现自己的AlphaGo，以及改进版AlphaGoZero。读完本书之后，读者会对深度学习这个学科以及AlphaGo的技术细节有非常全面的了解，为进一步深入钻研AI理论、拓展AI应用打下良好基础。本书不要求读者对AI或围棋有任何了解，只需要了解基本的Python语法以及基础的线性代数和微积分知识。读书笔记读书笔记几乎都在讲machine，几乎看不到什么围棋布局、下法，还是在讲机器，人工智能，围棋只是润饰词。目录分析目标读者关于源代码学习路线图关于本书第1章走近深度学习：机器学习入门第3章实现第一个围棋机器人第2章围棋与机器学习第一部分基础知识第1章走近深度学习：机器学习入门1.1什么是机器学习1.2机器学习示例1.3深度学习1.4阅读本书能学到什么1.5小结第2章围棋与机器学习2.1为什么选择游戏2.2围棋快速入门2.3更多学习资源2.4我们可以教会计算机什么2.5如何评估围棋AI的能力2.6小结第3章实现第一个围棋机器人3.1在Python中表达围棋游戏3.2跟踪游戏状态并检查非法动作3.3终盘3.4创建自己的第一个机器人：理论上最弱的围棋AI3.5使用Zobrist哈希加速棋局3.6人机对弈3.7小结第4章使用树搜索下棋第5章神经网络入门第6章为围棋数据设计神经网络第7章从数据中学习：构建深度学习机器人第8章实地部署围棋机器人第9章通过实践学习：强化学习010302040506第二部分机器学习和游戏AI第10章基于策略梯度的强化学习第12章基于演员-评价方法的强化学习第11章基于价值评估方法的强化学习第二部分机器学习和游戏AI第4章使用树搜索下棋4.1游戏分类4.2利用极小化极大搜索预测对手4.3井字棋推演：一个极小化极大算法的示例4.4通过剪枝算法缩减搜索空间4.5使用蒙特卡洛树搜索评估游戏状态4.6小结第5章神经网络入门5.1一个简单的用例：手写数字分类5.2神经网络基础5.3前馈网络5.4我们的预测有多好？损失函数及优化5.5在Python中逐步训练神经网络5.6小结第6章为围棋数据设计神经网络6.1为神经网络编码围棋棋局6.2生成树搜索游戏用作网络训练数据6.3使用Keras深度学习库6.4使用卷积网络分析空间6.5预测围棋动作概率6.6使用丢弃和线性整流单元构建更深的网络6.7构建更强大的围棋动作预测网络6.8小结第7章从数据中学习：构建深度学习机器人7.1导入围棋棋谱7.2为深度学习准备围棋数据7.3基于真实棋局数据训练深度学习模型7.4构建更逼真的围棋数据编码器7.5使用自适应梯度进行高效的训练7.6运行自己的实验并评估性能7.7小结第8章实地部署围棋机器人8.1用深度神经网络创建动作预测代理8.2为围棋机器人提供Web前端8.3在云端训练与部署围棋机器人8.4与其他机器人对话：围棋文本协议8.5在本地与其他机器人对弈8.6将围棋机器人部署到在线围棋服务器8.7小结第9章通过实践学习：强化学习9.1强化学习周期9.2经验包括哪些内容9.3建立一个有学习能力的代理9.4自我对弈：计算机程序进行实践训练的方式9.5小结第10章基于策略梯度的强化学习10.1如何在随机棋局中识别更佳的决策10.2使用梯度下降法修改神经网络的策略10.3使用自我对弈进行训练的几个小技巧10.4小结第11章基于价值评估方法的强化学习11.1使用Q学习进行游戏11.2在Keras中实现Q学习11.3小结第12章基于演员-评价方法的强化学习12.1优势能够告诉我们哪些决策更加重要12.2为演员-评价学习设计神经网络12.3用演员-评价代理下棋12.4用经验数据训练一个演员-评价代理12.5小结第14章AlphaGoZero：将强化学习集成到树搜索中第13章AlphaGo：全部集结第三部分一加一大于二第13章AlphaGo：全部集结13.1为AlphaGo训练深度神经网络13.2用策略网络启动自我对弈13.3从自我对弈数据衍生出一个价值网络13.4用策略网络和价值网络做出更好的搜索13.5训练自己的AlphaGo可能遇到的实践问题13.6小结第14章AlphaGoZero：将强化学习集成到树搜索中14.1为树搜索构建一个神经网络14.2使用神经网络来指导树搜索14.3训练14.4用狄利克雷噪声改进探索14.5处理超深度神经网络的相关最新技术14.6探索额外资源14.7结语14.8小结A.2五分钟了解微积分：导数和寻找极大值A.1向量、矩阵和其他：线性代数介绍附录A数学基础B.1几个符号记法B.3顺序神经网络的反向传播B.2前馈网络的反向传播算法附录B反向传播算法B.5反向传播的计算挑战B.4通用神经网络的反向传播附录B反向传播算法C.2围棋服务器C.1围棋程序附录C围棋程序与围棋服务器D.2在AWS上用HTTP托管一个机器人D.1在AWS上进行模型训练附录D用AWS来训练和部署围棋程序与围棋服务器E.1在OGS上注册机器人并激