深度学习之美：AI时代的数据处理与最佳实践

深度学习之美：AI时代的数据处理与最佳实践读书笔记模板01思维导图目录分析读书笔记内容摘要作者介绍精彩摘录目录0305020406思维导图深度实践第章深度时代实践实战相关小结神经网络卷积函数训练网络数据算法模型损失胶囊本书关键字分析思维导图内容摘要内容摘要深度学习是人工智能的前沿技术。本书深入浅出地介绍了深度学习的相关理论和实践，全书共分16章，采用理论和实践双主线写作方式。第1章给出深度学习的大图。第2章和第3章，讲解了机器学习的相关基础理论。第4章和第5章，讲解了Python基础和基于Python的机器学习实战。第6至10章，先后讲解了M-P模型、感知机、多层神经网络、BP神经网络等知识。第11章讲解了被广泛认可的深度学习框架TensorFlow。第12章和第13章详细讲解了卷积神经网络，并给出了相关的实战项目。第14章和第15章，分别讲解了循环递归网络和长短期记忆（LSTM）网络。第16章讲解了神经胶囊网络，并给出了神经胶囊网络设计的详细论述和实践案例分析。目录分析1.1深度学习的巨大影响1.3什么是机器学习1.2什么是学习第1章一入侯门“深”似海，深度学习深几许1.4机器学习的4个象限1.5什么是深度学习1.6“恋爱”中的深度学习1.7深度学习的方法论1.8有没有浅层学习12345第1章一入侯门“深”似海，深度学习深几许1.10请你思考1.9本章小结第1章一入侯门“深”似海，深度学习深几许2.1信数据者得永生吗2.3深度学习的归属2.2人工智能的“江湖定位”第2章人工“碳”索意犹尽，智能“硅”来未可知2.4机器学习的形式化定义2.5为什么要用神经网络2.6人工神经网络的特点2.7什么是通用近似定理2.8本章小结2.9请你思考010302040506第2章人工“碳”索意犹尽，智能“硅”来未可知3.1监督学习3.2非监督学习3.3半监督学习3.4从“中庸之道”看机器学习3.5强化学习12345第3章“机器学习”三重门，“中庸之道”趋若人3.7请你思考3.6本章小结第3章“机器学习”三重门，“中庸之道”趋若人3.1监督学习3.1.1感性认知监督学习3.1.2监督学习的形式化描述3.1.3k-近邻算法3.2非监督学习3.2.1感性认识非监督学习3.2.2非监督学习的代表—K均值聚类4.1Python概要4.2Python的版本之争4.3Python环境配置4.4Python编程基础第4章人生苦短对酒歌，我用Python乐趣多4.6请你思考4.5本章小结第4章人生苦短对酒歌，我用Python乐趣多4.1Python概要4.1.1为什么要用Python4.1.2Python中常用的库4.3Python环境配置4.3.1Windows下的安装与配置4.3.2Mac下的安装与配置4.4Python编程基础4.4.1如何运行Python代码4.4.2代码缩进4.4.3注释4.4.4Python中的数据结构4.4.5函数的设计4.4.6模块的导入与使用4.4.7面向对象程序设计5.1线性回归5.2k-近邻算法5.3本章小结5.4请你思考第5章机器学习终觉浅，Python带我来实践5.1线性回归5.1.1线性回归的概念5.1.2简易线性回归的Python实现详解5.2k-近邻算法5.2.1k-近邻算法的三个要素5.2.2k-近邻算法实战5.2.3使用scikit-learn实现k-近邻算法6.1M-P神经元模型是什么6.2模型背后的那些人和事6.3激活函数是怎样的一种存在6.4什么是卷积函数第6章神经网络不胜语，M-P模型似可寻6.6请你思考6.5本章小结第6章神经网络不胜语，M-P模型似可寻7.1网之初，感知机7.3感性认识“感知机”7.2感知机名称的由来第7章HelloWorld感知机，懂你我心才安息7.4感知机是如何学习的7.5感知机训练法则7.6感知机的几何意义7.7基于Python的感知机实战7.8感知机的表征能力12345第7章HelloWorld感知机，懂你我心才安息7.10请你思考7.9本章小结第7章HelloWorld感知机，懂你我心才安息8.1多层网络解决“异或”问题8.2感性认识多层前馈神经网络8.3是浅而“胖”好，还是深而“瘦”佳8.4分布式特征表达8.5丢弃学习与集成学习12345第8章损失函数减肥用，神经网络调权重8.6现实很丰满，理想很骨感8.7损失函数的定义8.8热力学定律与梯度弥散8.9本章小结8.10请你思考12345第8章损失函数减肥用，神经网络调权重9.1“鸟飞派”还飞不9.21986年的那篇神作9.3多层感知机网络遇到的大问题9.4神经网络结构的设计9.5再议损失函数9.6什么是梯度010302040506第9章山重水复疑无路，最快下降问梯度9.7什么是梯度递减9.8梯度递减的线性回归实战9.9什么是随机梯度递减9.10利用SGD解决线性回归实战9.11本章小结9.12请你思考010302040506第9章山重水复疑无路，最快下降问梯度10.1BP算法极简史10.2正向传播信息10.3求导中的链式法则10.4误差反向传播10.5BP算法实战详细解释12345第10章BP算法双向传，链式求导最缠绵10.7请你思考10.6本章小结第10章BP算法双向传，链式求导最缠绵10.4误差反向传播10.4.1基于随机梯度下降的BP算法10.4.2输出层神经元的权值训练10.4.3隐含层神经元的权值训练10.4.4BP算法的感性认知10.4.5关于BP算法的补充说明10.5BP算法实战详细解释10.5.1初始化网络10.5.2信息前向传播10.5.3误差反向传播10.5.4训练网络（解决异或问题）10.5.5利用BP算法预测小麦品种的分类11.1TensorFlow概述11.2深度学习框架比较11.3TensorFlow的安装11.4JupyterNotebook的使用11.5TensorFlow中的基础语法12345第11章一骑红尘江湖笑，TensorFlow谷歌造11.6手写数字识别MNIST11.7TensorFlow中的Eager执行模式11.8本章小结11.9请你思考参考资料12345第11章一骑红尘江湖笑，TensorFlow谷歌造11.2深度学习框架比较11.2.1Theano11.2.2Keras11.2.3Caffe11.2.4PyTorch11.3TensorFlow的安装11.3.1Anaconda的安装11.3.2TensorFlow的CPU版本安装11.3.3TensorFlow的源码编译11.4JupyterNotebook的使用11.4.1JupyterNotebook的由来11.4.2JupyterNotebook的安装11.5TensorFlow中的基础语法11.5.1什么是数据流图11.5.2构建第一个TensorFlow数据流图11.5.3可视化展现的TensorBoard11.5.4TensorFlow的张量思维11.5.5TensorFlow中的数据类型11.5.6TensorFlow中的操作类型11.5.7TensorFlow中的Graph对象11.5.8TensorFlow中的Session11.5.9TensorFlow中的placeholder11.6手写数字识别MNIST11.6.1MNIST数据集简介11.6.2MNIST数据的获取与预处理11.6.3分类模型的构建—SoftmaxRegression11.7TensorFlow中的Eager执行模式11.7.1Eager执行模式的背景11.7.2Eager执行模式的安装11.7.3Eager执行模式的案例11.7.4Eager执行模式的MNIST模型构建12.1卷积神经网络的历史12.2卷积神经网络的概念12.3图像处理中的卷积12.4卷积神经网络的结构第12章全面连接困何处，卷积网络显神威12.5卷积层要义12.6细说激活层12.7详解池化层12.8勿忘全连接层12.9本章小结12345第12章全面连接困何处，卷积网络显神威参考资料12.10请你思考第12章全面连接困何处，卷积网络显神威12.1卷积神经网络的历史12.1.1眼在何方？路在何方？12.1.2卷积神经网络的历史脉络12.1.3那场著名的学术赌局12.2卷积神经网络的概念12.2.1卷积的数学定义12.2.2生活中的卷积12.3图像处理中的卷积12.3.1计算机“视界”中的图像12.3.2什么是卷积核12.3.3卷积在图像处理中的应用12.5卷积层要义12.5.1卷积层的设计动机12.5.2卷积层的局部连接12.5.3卷积层的3个核心概念12.6细说激活层12.6.1两个看似闲扯的问题12.6.2追寻问题的本质12.6.3ReLU的理论基础12.6.4ReLU的不足之处13.1TensorFlow的CNN架构13.2卷积层的实现13.3激活函数的使用13.4池化层的实现第13章纸上谈兵终觉浅，绝知卷积要编程13.5规范化层13.6卷积神经网络在MNIST分类器中的应用13.7经典神经网络——AlexNet的实现13.8本章小结13.9请你思考12345第13章纸上谈兵终觉浅，绝知卷积要编程13.2卷积层的实现13.2.1TensorFlow中的卷积函数13.2.2图像处理中的常用卷积核13.3激活函数的使用13.3.1Sigmoid函数13.3.2Tanh函数13.3.3修正线性单元——ReLU13.3.4Dropout函数13.5规范化层13.5.1为什么需要规范化13.5.2局部响应规范化13.5.3批规范化13.6卷积神经网络在MNIST分类器中的应用13.6.1数据读取13.6.2初始化权值和偏置13.6.3卷积和池化13.6.4构建第一个卷积层13.6.5构建第二个卷积层13.6.6实现全连接层13.6.7实现Dropout层13.6.8实现Readout层13.6.9参数训练与模型评估13.7经典神经网络——AlexNet的实现13.7.1AlexNet的网络架构13.7.2数据读取13.7.3初始化权值和偏置13.7.4卷积和池化13.7.5局部响应归一化层13.7.6构建卷积层13.7.7实现全连接层和Dropout层13.7.8实现Readout层13.7.9参数训练与模型评估14.1你可能不具备的一种思维14.2标准神经网络的缺陷所在14.3RNN简史14.4RNN的理论基础14.5RNN的结构14.6循环神经网络的训练010302040506第14章循环递归RNN，序列建模套路深14.7基于RNN的TensorFlow实战——正弦序列预测14.9请你思考14.8本章小结第14章循环递归RNN，序列建模套路深14.3RNN简史14.3.1Hopfield网络14.3.2Jordan递归神经网络14.3.3Elman递归神经网络14.3.4RNN的应用领域14.4RNN的理论基础14.4.1Elman递归神经网络14.4.2循环神经网络的生物学机理14.6循环神经网络的训练14.6.1问题建模14.6.2确定优化目标函数14.6.3参数求解14.7基于RNN的TensorFlow实战——正弦序列预测14.7.1生成数据14.7.2定义权值和偏置14.7.3前向传播14.7.4定义损失函数14.7.5参数训练与模型评估15.1遗忘是好事还是坏事15.3为什么需要LSTM15.2施密德胡伯是何人第15章LSTM长短记，长序依赖可追忆15.4拆解LSTM15.5LSTM的前向计算15.6LSTM的训练流程15.7自然语言处理的一个假设15.8词向量表示方法15.9自然语言处理的统计模型010302040506第15章LSTM长短记，长序依赖可追忆15.10基于PennTreeBank的自然语言处理实战15.12请你思考15.11本章小结第15章LSTM长短记，长序依赖可追忆15.4拆解LSTM15.4.1传统RNN的问题所在15.4.2改造的神经元15.5LSTM的前向计算15.5.1遗忘门15.5.2输入门15.5.3候选门15.5.4输出门15.8词向量表示方法15.8.1独热编码表示15.8.2分布式表示15.8.3词嵌入表示15.9自然语言处理的统计模型15.9.1NGram模型15.9.2基于神经网络的语言模型15.9.3基于循环神经网络的语言模型15.9.4LSTM语言模型的正则化15.10基于PennTreeBank的自然语言处理实战15.10.1下载及准备PTB数据集15.10.2导入基本包15.10.3定义相关的参数15.10.4语言模型的实现15.10.5训练并返回perplexity值15.10.6定义主函数并运行15.10.7运行结果16.1从神经元到神经胶囊16.2卷积神经网络面临的挑战16.3神经胶囊的提出16.4神经胶囊理论初探16.5神经胶囊的实例化参数12345第16章卷积网络虽动人，胶囊网络更传“神”16.6