人工智能芯片设计第4章-人工智能与深度学习

第四章：人工智能与深度学习人工智能芯片设计ArtificialIntelligenceChipDesign2人工智能2ArtificialIntelligenceChipDesign,

Lecture

04:ArtificialIntelligenceAndDeepLearning人工智能人工智能（ArtificialIntelligence，简称AI）是一门研究如何使机器能够模拟和扩展人类思维方式与智能行为的科学。涵盖了机器学习、深度学习、知识表示与推理、自然语言处理、计算机视觉、专家系统等众多领域的研究。33ArtificialIntelligenceChipDesign,

Lecture

04:ArtificialIntelligenceAndDeepLearning发展历程44ArtificialIntelligenceChipDesign,

Lecture

04:ArtificialIntelligenceAndDeepLearning到了20世纪90年代，研究者提出了一系列机器学习算法。21世纪初，GeoffreyHinto等人正式提出了深度学习这一概念。55ArtificialIntelligenceChipDesign,

Lecture

04:ArtificialIntelligenceAndDeepLearning人工智能演化的其他方向强化学习联邦学习可解释人工智能多模态人工智能可持续和伦理人工智能6深度学习6ArtificialIntelligenceChipDesign,

Lecture

04:ArtificialIntelligenceAndDeepLearning深度学习深度学习是机器学习中的一个重要分支。深度学习主要使用神经网络解决问题，由于其表现相比于传统算法有很大的提升，深度学习逐渐成为主流。77ArtificialIntelligenceChipDesign,

Lecture

04:ArtificialIntelligenceAndDeepLearning深度学习的发展历程深度学习起源于1943年。在1949年，赫布在他的论文中提出了赫布学习规则。1958年，在前面的算法基础之上，美国一名科学家提出了感知器学习。20世界90年代，其发展进入了瓶颈期。2006年，Hinton提出了解决方案。2012年，在AlexNet使用ReLU作为激活函数，解决了神经网络训练过程中梯度消失的问题。8卷积神经网络8ArtificialIntelligenceChipDesign,

Lecture

04:ArtificialIntelligenceAndDeepLearning

MP神经元结构模型 99ArtificialIntelligenceChipDesign,

Lecture

04:ArtificialIntelligenceAndDeepLearning算法特征局部特征连接相比于全连接网络，局部连接网络权重数量和计算量也获得了成倍的降低全连接局部连接1010ArtificialIntelligenceChipDesign,

Lecture

04:ArtificialIntelligenceAndDeepLearning二维图像中的卷积神经网络局部连接1111ArtificialIntelligenceChipDesign,

Lecture

04:ArtificialIntelligenceAndDeepLearning权值共享下图为3×3的卷积核在5×5的输入特征图上滑动进行卷积运算。当卷积核滑动到输入特征图的其他位置时，连接权重保持不变，这种特性被称为权值共享。二维卷积运算过程1212ArtificialIntelligenceChipDesign,

Lecture

04:ArtificialIntelligenceAndDeepLearning降采样（池化）降采样（池化）极大值池化（Maxpooling）平均值池化（Averagepooling）等等1313ArtificialIntelligenceChipDesign,

Lecture

04:ArtificialIntelligenceAndDeepLearning降采样（池化）图中池化窗尺寸为2×2，步长为2，通过池化操作，将左图转化为右图表示。极大值池化（Maxpooling）过程1414ArtificialIntelligenceChipDesign,

Lecture

04:ArtificialIntelligenceAndDeepLearning卷积神经网络的层级结构卷积层激活函数层池化层dropout层分类器1515ArtificialIntelligenceChipDesign,

Lecture

04:ArtificialIntelligenceAndDeepLearning卷积神经网络的层级结构1616ArtificialIntelligenceChipDesign,

Lecture

04:ArtificialIntelligenceAndDeepLearning卷积神经网络的加速运算卷积神经网络的加速算法（1）网络稀疏化网络稀疏化处理可以显著降低参数规模，下图为一种典型的深度压缩方法。1717ArtificialIntelligenceChipDesign,

Lecture

04:ArtificialIntelligenceAndDeepLearning1818ArtificialIntelligenceChipDesign,

Lecture

04:ArtificialIntelligenceAndDeepLearning

1919ArtificialIntelligenceChipDesign,

Lecture

04:ArtificialIntelligenceAndDeepLearning

2020ArtificialIntelligenceChipDesign,

Lecture

04:ArtificialIntelligenceAndDeepLearning

2121ArtificialIntelligenceChipDesign,

Lecture

04:ArtificialIntelligenceAndDeepLearning（3）轻量级神经网络模型典型代表：MobileNet，ShuffleNet，ShuffleNetV2等2222ArtificialIntelligenceChipDesign,

Lecture

04:ArtificialIntelligenceAndDeepLearning卷积神经网络硬件加速器Google公司针对神经网络设计的高性能加速运算处理器TPU的体系结构如图所示：TPU体系结构2323ArtificialIntelligenceChipDesign,

Lecture

04:ArtificialIntelligenceAndDeepLearning卷积神经网络硬件加速器TPU的运算核心是矩阵乘法单元。控制线路部分…………＋＋＋＋结束数据部分和矩阵乘法单元工作原理2424ArtificialIntelligenceChipDesign,

Lecture

04:ArtificialIntelligenceAndDeepLearning卷积神经网络硬件加速器核心问题是如何匹配计算吞吐量和FPGA平台提供的内存带宽。加速器主要包括处理单元（Processingelement，PE）、片上缓存、片外存储以及片上/片外交互单元组成。计算资源……处理单元处理单元-1处理单元处理单元-2处理单元处理单元-n互联片上缓存缓冲区1缓冲区2片外存储片上/片外交互单元2525ArtificialIntelligenceChipDesign,

Lecture

04:ArtificialIntelligenceAndDeepLearning运算引擎卷积神经网络硬件加速器基于数据间的关系可以确定出PE与缓存区的组织关系，如图所示：2626ArtificialIntelligenceChipDesign,

Lecture

04:A