《人工智能》教材第7章-卷积神经网络课件

新工科信息技术基础系列规划教材人工智能新工科信息技术基础系列规划教材人工智能第七章卷积神经网络7.1基于手工特征的图像分类7.2卷积神经网络的发展历程7.3

卷积的本质7.6非线性激活层新工科信息技术基础系列规划教材习题7.7池化层7.8

全连接层7.9

CNN网络的训练7.5卷积层7.4卷积神经网络的结构7.10

经典的卷积神经网络第七章卷积神经网络7.1基于手工特征的图像分类7.2卷7.1基于手工特征的图像分类第七章卷积神经网络of313赵高的“指鹿为马”7.1基于手工特征的图像分类第七章卷积神经网络of3137.1基于手工特征的图像分类第七章卷积神经网络of314计算机内的图片表示7.1基于手工特征的图像分类第七章卷积神经网络of3147.1基于手工特征的图像分类第七章卷积神经网络of315传统模式分类与深度神经网络的区别与联系7.1基于手工特征的图像分类第七章卷积神经网络of315第七章卷积神经网络7.1基于手工特征的图像分类7.2卷积神经网络的发展历程7.3

卷积的本质7.6非线性激活层新工科信息技术基础系列规划教材习题7.7池化层7.8

全连接层7.9

CNN网络的训练7.5卷积层7.4卷积神经网络的结构7.10

经典的卷积神经网络第七章卷积神经网络7.1基于手工特征的图像分类7.2卷7.2卷积神经网络的发展历程第七章卷积神经网络of317DavidHunterHubel

由低级特征向上抽象形成高级特征7.2卷积神经网络的发展历程第七章卷积神经网络of3177.2卷积神经网络的发展历程第七章卷积神经网络of318YannLeCun

1989：CNNLeNet的网络架构（7层）

7.2卷积神经网络的发展历程第七章卷积神经网络of318第七章卷积神经网络7.1基于手工特征的图像分类7.2卷积神经网络的发展历程7.3

卷积的本质7.6非线性激活层新工科信息技术基础系列规划教材习题7.7池化层7.8

全连接层7.9

CNN网络的训练7.5卷积层7.4卷积神经网络的结构7.10

经典的卷积神经网络第七章卷积神经网络7.1基于手工特征的图像分类7.2卷7.3

卷积的本质第七章卷积神经网络of3110卷积示意图7.3卷积的本质第七章卷积神经网络of3110卷积示意图7.3

卷积的本质第七章卷积神经网络of31117.3卷积的本质第七章卷积神经网络of31117.3

卷积的本质第七章卷积神经网络of3112生活中的“卷积”

7.3卷积的本质第七章卷积神经网络of3112生活中的“7.3

卷积的本质第七章卷积神经网络of31137.3卷积的本质第七章卷积神经网络of31137.3

卷积的本质第七章卷积神经网络of31147.3卷积的本质第七章卷积神经网络of31147.3

卷积的本质第七章卷积神经网络of31157.3卷积的本质第七章卷积神经网络of31157.3

卷积的本质第七章卷积神经网络of3116计算机“眼中”的图像7.3卷积的本质第七章卷积神经网络of3116计算机“眼7.3

卷积的本质第七章卷积神经网络of3117简化版本的图像矩阵和卷积核7.3卷积的本质第七章卷积神经网络of3117简化版本的7.3

卷积的本质第七章卷积神经网络of3118动态2D卷积7.3卷积的本质第七章卷积神经网络of3118动态2D卷7.3

卷积的本质第七章卷积神经网络of3119常用的图像卷积核7.3卷积的本质第七章卷积神经网络of3119常用的图像7.3

卷积的本质第七章卷积神经网络of31207.3卷积的本质第七章卷积神经网络of31207.3

卷积的本质第七章卷积神经网络of31217.3卷积的本质第七章卷积神经网络of31217.3

卷积的本质第七章卷积神经网络of31227.3卷积的本质第七章卷积神经网络of3122第七章卷积神经网络7.1基于手工特征的图像分类7.2卷积神经网络的发展历程7.3

卷积的本质7.6非线性激活层新工科信息技术基础系列规划教材习题7.7池化层7.8

全连接层7.9

CNN网络的训练7.5卷积层7.4卷积神经网络的结构7.10

经典的卷积神经网络第七章卷积神经网络7.1基于手工特征的图像分类7.2卷7.4卷积神经网络的结构第七章卷积神经网络of31247.4卷积神经网络的结构第七章卷积神经网络of31247.4卷积神经网络的结构第七章卷积神经网络of3125典型卷积神经网络的结构7.4卷积神经网络的结构第七章卷积神经网络of3125典第七章卷积神经网络7.1基于手工特征的图像分类7.2卷积神经网络的发展历程7.3

卷积的本质7.6非线性激活层新工科信息技术基础系列规划教材习题7.7池化层7.8

全连接层7.9

CNN网络的训练7.5卷积层7.4卷积神经网络的结构7.10

经典的卷积神经网络第七章卷积神经网络7.1基于手工特征的图像分类7.2卷7.5卷积层第七章卷积神经网络of3127局部连接示意图7.5卷积层第七章卷积神经网络of3127局部连接示意图7.5卷积层第七章卷积神经网络of31287.5卷积层第七章卷积神经网络of31287.5卷积层第七章卷积神经网络of31297.5卷积层第七章卷积神经网络of31297.5卷积层第七章卷积神经网络of31307.5卷积层第七章卷积神经网络of31307.5卷积层第七章卷积神经网络of31317.5卷积层第七章卷积神经网络of3131第七章卷积神经网络7.1基于手工特征的图像分类7.2卷积神经网络的发展历程7.3

卷积的本质7.6非线性激活层新工科信息技术基础系列规划教材习题7.7池化层7.8

全连接层7.9

CNN网络的训练7.5卷积层7.4卷积神经网络的结构7.10

经典的卷积神经网络第七章卷积神经网络7.1基于手工特征的图像分类7.2卷7.6非线性激活层第七章卷积神经网络of3133激活层：非线性变换提升神经网络的表达能力7.6非线性激活层第七章卷积神经网络of3133激活层：第七章卷积神经网络7.1基于手工特征的图像分类7.2卷积神经网络的发展历程7.3

卷积的本质7.6非线性激活层新工科信息技术基础系列规划教材习题7.7池化层7.8

全连接层7.9

CNN网络的训练7.5卷积层7.4卷积神经网络的结构7.10

经典的卷积神经网络第七章卷积神经网络7.1基于手工特征的图像分类7.2卷7.7池化层第七章卷积神经网络of3135采样的本质就是力图以合理的方式“以偏概全”7.7池化层第七章卷积神经网络of3135采样的本质就是7.7池化层第七章卷积神经网络of3136最大池化和均值池化策略比对图7.7池化层第七章卷积神经网络of3136最大池化和均值7.7池化层第七章卷积神经网络of3137池化带来的好处：平移不变性（Invariance）7.7池化层第七章卷积神经网络of3137池化带来的好处7.7池化层第七章卷积神经网络of3138池化前后的特征图谱变化7.7池化层第七章卷积神经网络of3138池化前后的特征第七章卷积神经网络7.1基于手工特征的图像分类7.2卷积神经网络的发展历程7.3

卷积的本质7.6非线性激活层新工科信息技术基础系列规划教材习题7.7池化层7.8

全连接层7.9

CNN网络的训练7.5卷积层7.4卷积神经网络的结构7.10

经典的卷积神经网络第七章卷积神经网络7.1基于手工特征的图像分类7.2卷7.8

全连接层第七章卷积神经网络of3140

全连接层（DenseLayer）目的：在于分类/回归等。前面若干层（卷积、激活、池化等）目的：数据变换-->提取特征，作为全连接层的输入，为全连接层服务。7.8全连接层第七章卷积神经网络of31407.8

全连接层第七章卷积神经网络of31417.8全连接层第七章卷积神经网络of3141第七章卷积神经网络7.1基于手工特征的图像分类7.2卷积神经网络的发展历程7.3

卷积的本质7.6非线性激活层新工科信息技术基础系列规划教材习题7.7池化层7.8

全连接层7.9

CNN网络的训练7.5卷积层7.4卷积神经网络的结构7.10

经典的卷积神经网络第七章卷积神经网络7.1基于手工特征的图像分类7.2卷7.9

CNN网络的训练第七章卷积神经网络of3143CNN的反向传播（BP）过程7.9CNN网络的训练第七章卷积神经网络of3143CN第七章卷积神经网络7.1基于手工特征的图像分类7.2卷积神经网络的发展历程7.3

卷积的本质7.6非线性激活层新工科信息技术基础系列规划教材习题7.7池化层7.8

全连接层7.9

CNN网络的训练7.5卷积层7.4卷积神经网络的结构7.10

经典的卷积神经网络第七章卷积神经网络7.1基于手工特征的图像分类7.2卷7.10

经典的卷积神经网络第七章卷积神经网络of3145LeNet-5的网络架构7.10经典的卷积神经网络第七章卷积神经网络of31457.10

经典的卷积神经网络第七章卷积神经网络of3146AlexNet的整体架构图7.10经典的卷积神经网络第七章卷积神经网络of31467.10

经典的卷积神经网络第七章卷积神经网络of31477.10经典的卷积神经网络第七章卷积神经网络of31477.10

经典的卷积神经网络第七章卷积神经网络of31487.10经典的卷积神经网络第七章卷积神经网络of3148第七章卷积神经网络7.1基于手工特征的图像分类7.2卷积神经网络的发展历程7.3

卷积的本质7.6非线性激活层新工科信息技术基础系列规划教材习题7.7池化层7.8

全连接层7.9

CNN网络的训练7.5卷积层7.4卷积神经网络的结构7.10

经典的卷积神经网络第七章卷积神经网络7.1基于手工特征的图像分类7.2卷习题：1．除了文中描述的常见卷积核，你还知道哪些常用于图像处理的卷积核？2．CNN的反向传播部分用的是BP算法，而BP算法是否符合生物视觉系统的工作机制，是存在争议的，你知道这些争议都体现在何处？3．编程（如何使用Python）实现（或用深度学习框架如Tensorflow、Keras等）卷积神经网络，并在手写字符识别数据集MNIST上进行试验测试。习题：1．除了文中描述的常见卷积核，你还知道哪些常用于图像处感谢聆听感谢聆听新工科信息技术基础系列规划教材人工智能新工科信息技术基础系列规划教材人工智能第七章卷积神经网络7.1基于手工特征的图像分类7.2卷积神经网络的发展历程7.3

卷积的本质7.6非线性激活层新工科信息技术基础系列规划教材习题7.7池化层7.8

全连接层7.9

CNN网络的训练7.5卷积层7.4卷积神经网络的结构7.10

经典的卷积神经网络第七章卷积神经网络7.1基于手工特征的图像分类7.2卷7.1基于手工特征的图像分类第七章卷积神经网络of3154赵高的“指鹿为马”7.1基于手工特征的图像分类第七章卷积神经网络of3137.1基于手工特征的图像分类第七章卷积神经网络of3155计算机内的图片表示7.1基于手工特征的图像分类第七章卷积神经网络of3147.1基于手工特征的图像分类第七章卷积神经网络of3156传统模式分类与深度神经网络的区别与联系7.1基于手工特征的图像分类第七章卷积神经网络of315第七章卷积神经网络7.1基于手工特征的图像分类7.2卷积神经网络的发展历程7.3

卷积的本质7.6非线性激活层新工科信息技术基础系列规划教材习题7.7池化层7.8

全连接层7.9

CNN网络的训练7.5卷积层7.4卷积神经网络的结构7.10

经典的卷积神经网络第七章卷积神经网络7.1基于手工特征的图像分类7.2卷7.2卷积神经网络的发展历程第七章卷积神经网络of3158DavidHunterHubel

由低级特征向上抽象形成高级特征7.2卷积神经网络的发展历程第七章卷积神经网络of3177.2卷积神经网络的发展历程第七章卷积神经网络of3159YannLeCun

1989：CNNLeNet的网络架构（7层）

7.2卷积神经网络的发展历程第七章卷积神经网络of318第七章卷积神经网络7.1基于手工特征的图像分类7.2卷积神经网络的发展历程7.3

卷积的本质7.6非线性激活层新工科信息技术基础系列规划教材习题7.7池化层7.8

全连接层7.9

CNN网络的训练7.5卷积层7.4卷积神经网络的结构7.10

经典的卷积神经网络第七章卷积神经网络7.1基于手工特征的图像分类7.2卷7.3

卷积的本质第七章卷积神经网络of3161卷积示意图7.3卷积的本质第七章卷积神经网络of3110卷积示意图7.3

卷积的本质第七章卷积神经网络of31627.3卷积的本质第七章卷积神经网络of31117.3

卷积的本质第七章卷积神经网络of3163生活中的“卷积”

7.3卷积的本质第七章卷积神经网络of3112生活中的“7.3

卷积的本质第七章卷积神经网络of31647.3卷积的本质第七章卷积神经网络of31137.3

卷积的本质第七章卷积神经网络of31657.3卷积的本质第七章卷积神经网络of31147.3

卷积的本质第七章卷积神经网络of31667.3卷积的本质第七章卷积神经网络of31157.3

卷积的本质第七章卷积神经网络of3167计算机“眼中”的图像7.3卷积的本质第七章卷积神经网络of3116计算机“眼7.3

卷积的本质第七章卷积神经网络of3168简化版本的图像矩阵和卷积核7.3卷积的本质第七章卷积神经网络of3117简化版本的7.3

卷积的本质第七章卷积神经网络of3169动态2D卷积7.3卷积的本质第七章卷积神经网络of3118动态2D卷7.3

卷积的本质第七章卷积神经网络of3170常用的图像卷积核7.3卷积的本质第七章卷积神经网络of3119常用的图像7.3

卷积的本质第七章卷积神经网络of31717.3卷积的本质第七章卷积神经网络of31207.3

卷积的本质第七章卷积神经网络of31727.3卷积的本质第七章卷积神经网络of31217.3

卷积的本质第七章卷积神经网络of31737.3卷积的本质第七章卷积神经网络of3122第七章卷积神经网络7.1基于手工特征的图像分类7.2卷积神经网络的发展历程7.3

卷积的本质7.6非线性激活层新工科信息技术基础系列规划教材习题7.7池化层7.8

全连接层7.9

CNN网络的训练7.5卷积层7.4卷积神经网络的结构7.10

经典的卷积神经网络第七章卷积神经网络7.1基于手工特征的图像分类7.2卷7.4卷积神经网络的结构第七章卷积神经网络of31757.4卷积神经网络的结构第七章卷积神经网络of31247.4卷积神经网络的结构第七章卷积神经网络of3176典型卷积神经网络的结构7.4卷积神经网络的结构第七章卷积神经网络of3125典第七章卷积神经网络7.1基于手工特征的图像分类7.2卷积神经网络的发展历程7.3

卷积的本质7.6非线性激活层新工科信息技术基础系列规划教材习题7.7池化层7.8

全连接层7.9

CNN网络的训练7.5卷积层7.4卷积神经网络的结构7.10

经典的卷积神经网络第七章卷积神经网络7.1基于手工特征的图像分类7.2卷7.5卷积层第七章卷积神经网络of3178局部连接示意图7.5卷积层第七章卷积神经网络of3127局部连接示意图7.5卷积层第七章卷积神经网络of31797.5卷积层第七章卷积神经网络of31287.5卷积层第七章卷积神经网络of31807.5卷积层第七章卷积神经网络of31297.5卷积层第七章卷积神经网络of31817.5卷积层第七章卷积神经网络of31307.5卷积层第七章卷积神经网络of31827.5卷积层第七章卷积神经网络of3131第七章卷积神经网络7.1基于手工特征的图像分类7.2卷积神经网络的发展历程7.3

卷积的本质7.6非线性激活层新工科信息技术基础系列规划教材习题7.7池化层7.8

全连接层7.9

CNN网络的训练7.5卷积层7.4卷积神经网络的结构7.10

经典的卷积神经网络第七章卷积神经网络7.1基于手工特征的图像分类7.2卷7.6非线性激活层第七章卷积神经网络of3184激活层：非线性变换提升神经网络的表达能力7.6非线性激活层第七章卷积神经网络of3133激活层：第七章卷积神经网络7.1基于手工特征的图像分类7.2卷积神经网络的发展历程7.3

卷积的本质7.6非线性激活层新工科信息技术基础系列规划教材习题7.7池化层7.8

全连接层7.9

CNN网络的训练7.5卷积层7.4卷积神经网络的结构7.10

经典的卷积神经网络第七章卷积神经网络7.1基于手工特征的图像分类7.2卷7.7池化层第七章卷积神经网络of3186采样的本质就是力图以合理的方式“以偏概全”7.7池化层第七章卷积神经网络of3135采样的本质就是7.7池化层第七章卷积神经网络of3187最大池化和均值池化策略比对图7.7池化层第七章卷积神经网络of3136最大池化和均值7.7池化层第七章卷积神经网络of3188池化带来的好处：平移不变性（Invariance）7.7池化层第七章卷积神经网络of3137池化带来的好处7.7池化层第七章卷积神经网络of3189池化前后的特征图谱变化7.7池化层第七章卷积神经网络of3138池化前后的特征第七章卷积神经网络7.1基于手工特征的图像分类7.2卷积神经网络的发展历程7.3

卷积的本质7.6非线性激活层新工科信息技术基础系列规划教材习题7.7池化层7.8

全连接层7.9

CNN网络的训练7.5卷积层7.4卷积神经网络的结构7.10

经典的卷积神经网络第七章卷积神经网络7.1基于手工特征的图像分类7.2卷7.8

全连接层第七章卷积神经网络of3191

全连接层（DenseLayer）目的：在于分类/回归等。前面若干层（卷积、激活、池化等）目的：数据变换-->提取特征，作为全连接层的输入，为全连接层服务。7.8全连接层第七章卷积神经网络of31407.8

全连接层第七章卷积神经网络of31927.8全连接层第七章卷积神经网络of3141第七章卷积神经网络7.1基于手工特征的图像分类7.2卷积神经网络的发展历程7.3

卷积的本质7.6非线性激活层新工科信息技术基础系列规划教材习题7.7池化层7.8

全连接层7.9

CNN网络的训练7.5卷积层7.4卷积神经网络的结构7.10

经典的卷积神经网络第七章卷积神