人工智能概论课件(郭福春)第四章 AI芯片让人工智能大脑更聪明

《人工智能概论》第四章AI芯片让人工智能大脑更聪明主讲教师：XXX目录三人工智能芯片类型一芯片基础知识二人工智能对芯片的需求四国内外AI芯片发展芯片基础知识一情景导入你身边哪些设备上存在有芯片？芯片基础知识(一)芯片的构成及原理(二)计算机中主要芯片类型(三)存储器芯片芯片基础知识所谓微电子是相对"强电"、"弱电"等概念而言，指它处理的电子信号极其微小。它是现代信息技术的基础，我们通常所接触的电子产品，包括通讯、计算机、智能化系统、自动控制、空间技术、电台、电视等等都是在微电子技术的基础上发展起来的。通常所说的“芯片”是指集成电路，它是微电子技术的主要产品。芯片基础知识（一）芯片的构成及原理芯片的工作速度与芯片内电路之间信号传送路程的长短有关，路程越短速度越快，反之则越慢。芯片的工作时间单位是以纳秒计量的。芯片中的电路越紧密地挤在一起，芯片的工作速度越快，而且由于更多的电路被设计在同样面积的硅片上，芯片的功能更强。实际中芯片所做的工作都是由晶体管完成的。芯片的衬底材料是具有n-或p-型的轻掺杂质单晶硅层。它起两个作用，一是作为在其上面和内部制造集成电路的物理介质，另一作用是作为电路本身的一部分，构成芯片核心的半导体电路和微型晶体管通过沉积或刻蚀直接构建在单晶硅表面上。芯片基础知识（二）计算机中主要芯片类型微处理芯片接口芯片芯片基础知识（二）计算机中主要芯片类型微处理芯片微处理芯片，又称微处理器(英语：Microprocessor，缩写：μP或uP)，是可编程特殊集成电路。该芯片所有组件小型化至一块或数块集成电路内，可在其一端或多端接受编码指令，执行此指令并输出描述其状态的信号。这些指令能在内部输入、集中或存放起来。如中央处理器，CPU芯片基础知识（二）计算机中主要芯片类型接口芯片接口，特指硬件类接口，是指同一计算机不同功能层之间的通信规则。接口芯片是指内有接口电路的芯片。功能特点有：设置数据的寄存、缓冲逻辑;进行信息格式的转换；协调CPU和外设两者在信息的类型和电平的差异设置中断和直接存储区访问控制逻辑；芯片基础知识（三）存储器芯片又称存储器（Memory），是现代信息技术中用于保存信息的记忆设备。其概念很广，有很多层次，在数字系统中，只要能保存二进制数据的都可以是存储器；在集成电路中，一个没有实物形式的具有存储功能的电路也叫存储器，如RAM、FIFO等；在系统中，具有实物形式的存储设备也叫存储器，如内存条、TF卡等。人工智能与芯片二人工智能与芯片(一)人工智能开发应用不同阶段(二)神经网络在训练阶段的硬件需求(三)神经网络在预测阶段的硬件需求人工智能与芯片（一）人工智能开发应用不同阶段

训练预测决策训练过程是指在已有数据中学习，建立识别或预测某个目标任务模型的过程；预测决策过程则是指对新的数据，使用已经训练的模型完成特定任务，比如垃圾邮件分类、人脸识别等。人工智能与芯片（二）神经网络在训练阶段的硬件需求12神经网络的训练过程对精度非常依赖，因为它直接影响预测的准确度。所以，支持训练的硬件必须支持具有较长字长的浮点数或定点数。另外，神经网络算法在训练中通常同时包括正向和反向的计算过程，并进行多次迭代，计算量要求非常高。这就需要支持训练的芯片不仅要具有强大的单芯片计算能力，还要具备很好的扩展性，可以通过多芯片系统提供更强大的计算能力。人工智能与芯片（三）神经网络在预测阶段的硬件需求12使用已训练的神经网络模型来进行预测决策时，运算和存储的需求都远远低于训练。但由于神经网络模型的应用场景多种多样，模型部署的设备可以在从云到端，如数据中心、自动驾驶汽车、智慧家庭和IoT设备等，其需求和约束呈现出多样化的特点。对于多数应用来说，速度、能效、安全和硬件成本等是最重要的考虑因素，而模型的准确度和数据精度则可以依具体情况适当降低。人工智能芯片类型三人工智能芯片类型CPUGPUFPGAASIC类脑仿生芯片人工智能与芯片（一）CPUCPU作为运算和控制核心，在未来高性能计算中将更多与其他专用芯片搭配使用。CPU由于要兼顾运算和控制功能，内部大量晶体管用于构建控制电路（比如分支预测等）和高速缓冲存储器（Cache），单从运算性能和效率上来说并不是计算芯片的最佳选择。由于之前人工智能高性能计算需求尚未集中出现，普通的机器学习和深度学习需求用传统CPU服务器也可以满足。人工智能与芯片（一）CPU根据Intel内部报告统计，2016年服务器市场中有7%被用于人工智能产业，其中60%用于普通机器学习，40%用于深度学习，普通机器学习中97%使用传统CPU架构，1%使用CPU+GPU架构；深度学习中91%使用传统CPU架构，7%采用CPU+GPU架构。未来随着人工智能对计算性能和低能耗要求越来越高，以及GPU、FPGA、ASIC专用芯片等产品不断成熟，CPU在人工智能专用计算领域占比预计将越来越低，但其作为计算系统控制核心将更多的与其他专用计算芯片搭配使用。主流的CPU厂商有Intel、AMD公司。人工智能与芯片（二）GPU01定义GPU又称显示核心、视觉处理器、显示芯片，是一种专门在个人电脑、工作站、游戏机和手机平板电脑等移动设备上进行图像运算工作的微处理器。0203功能

随着通用计算技术发展，GPU的功能已经不再局限于图形处理了，在浮点运算、并行计算等高性能计算方面开始有广泛的应用。分类GPU在分类上主要分为集成显卡和独立显卡。人工智能与芯片（二）GPUGPU的特点共享内存结构可提高线程间通信速度主流的GPU厂商：NVIDIA，AMD公司，景嘉微；移动端GPU厂商：ARM、Imagination计算能力远超CPU高速全局内存可进一步提升运算速度拥有完备的人工智能计算软件生态并行数据处理流程大幅提高运算能力人工智能与芯片（三）FPGAFPGA，可编程逻辑门阵列。FPGA采用了逻辑单元阵列LCA（LogicCellArray）这样一个概念，内部包括可配置逻辑模块CLB（ConfigurableLogicBlock）、输出输入模块IOB（InputOutputBlock）和内部连线（Interconnect）三个部分。人工智能与芯片（三）FPGA可编程高性能低功耗GPU、CPU等常用计算芯片由于架构固定，硬件原生支持的指令也是固定的。FPGA是可编程的，可以灵活地针对算法修改电路，提前把固定算法的数据流以及执行指令写在硬件里，节约了指令获取和解码时间从而大幅提高运算效率。FPGA供应商：Xilinx（赛灵思）、Altera、Microsemi、Lattice、深鉴科技等公司。人工智能与芯片（四）ASICASIC，专用集成电路，是指应特定用户要求或特定电子系统的需要而设计、制造的集成电路功能优越性体积更小、功耗更低、可靠性提高、性能提高、保密性增强、成本低。ASIC用于专门的任务，比如去除噪声的电路，播放视频的电路。人工智能与芯片（四）ASIC-神经网络处理器神经网络处理器是ASIC专用电路在人工智能领域的应用形态。神经网络处理器从硬件方向对神经网络结构进行模拟，把处理器内部功能部件当作神经元，把内存作为突触，一条指令即可完成一组神经元的处理，并对神经元和突触数据在芯片上的传输提供了一系列专门的支持。人工智能与芯片（四）ASIC-神经网络处理器神经网络处理器被认为全面优于传统芯片是人工智能计算终极解决方案，华为、苹果最新产品推出标志其进入实用化阶段。谷歌公司、IBM、中国的北京寒武纪科技有限公司、北京比特大陆科技有限公司、北京地平线信息技术有限公司等公司也都推出了用于深度神经网络加速的ASIC芯片。人工智能与芯片（五）类脑仿生芯片类脑仿生芯片1类脑仿生芯片的主流理念是采用神经拟态工程设计的神经拟态芯片。2神经拟态芯片采用电子技术模拟已经被证明的生物脑的运作规则，从而构建类似于生物脑的电子芯片，即“仿生电子脑”。3类脑放生芯片目前仍然是其技术成熟度的早期阶段，但是它代表了AI芯片的一个很有前景的长期方向。国内外AI芯片战略四国内外AI芯片战略Intel（一）苹果（三）AMD（二）国内（四）国内外AI芯片战略（一）Intel基于Nervana平台的人工智能系列专用方案2016年8月开始投入3.5亿美元研发服务于DNN的Nervana软硬件一体化平台。在该平台上制定了一系列的人工智能计算方案，用于不同级别的数据中心应用。这其中包括普通机器学习、高性能需求机器学习、灵活可编程低功耗方案以及高级别深度学习领域。国内外AI芯片战略（一）Intel基于Nervana平台的人工智能系列专用方案01普通的机器学习方案CPU方案（XEON），用于服务器和数据中心的旗舰CPU至强（XEON），采用SKYLAKE架构02更高性能需求的机器学习CPU+GPU方案（XEONPHI）03可编程低功耗方案CPU+FPGA（XEON+ARRIA10）04最高级别深度学习CPU+ASIC（XEON+LAKECREST）国内外AI芯片战略（二）AMD的人工智能解决方案2017年，AMD开始和竞争对手Intel展开合作，在Intel的CPU上集成AMD的RadeonGPU。KabyLake-GCPU部分通过PCI-Ex8通道连接独立的GPU芯片，并且还带有HBM2高带宽显存。GPU部分是个单独的芯片，通过MCM方式与KabyLake处理器整合封装在一起，Intel标注它是个“2-chip”样式的产品。国内外AI芯片战略（二）AMD的人工智能解决方案2017年8月，基于代号Vega织女星的新一代RADEONRXVEGA64GPU正式发布，在各项测试和应用中性能超过英伟达Pascal系列，在DeepBench中的跑分是英伟达TeslaP100显卡的1.38-1.51倍，Vega凭借强劲的性能，有望和NVIDIAPascalGP10x甚至是下一代的Volta正面对决。2017年1月，AMD公布了最新的VegaGPU架构架构织女星国内外AI芯片战略（二）AMD的人工智能解决方案AMD还推出了CPU+GPU的异构计算方案APU。

APU就是一种智能计算架构，通过无缝地分配相应的任务至适合的处理单元，使CPU、GPU和其他处理器和谐工作在单一芯片上。AMD下一代APU代号RavenRidge，官方称CPU性能提升50%，GPU性能提升40%，功耗降低50%，综合性能以及能效会比之前的APU会提升一个等级，在AI时代AMD异构计算APU架构将会占据市场重要位置。国内外AI芯片战略（三）苹果A11处理器2017年9月12日，苹果在秋季发布会上正式推出最新移动芯片A11Bionic。A11芯片拥有六个核心和43亿个晶体管，与A10Fusion芯片相比，两个性能核心的速度提升最高可达25%，四个能效核心的速度提升最高可达70%。当需要提升处理速度时，第二代性能控制器能同时发挥全部六个核心的性能最高提升70%。国内外AI芯片战略（三）苹果A11处理器除了强大的CPU和GPU，A11另一大亮点是其搭载的“A11生物神经网络引擎”（A11bionicneuralengine）芯片，该芯片采用双核设计，每秒运算次数最高可达6000亿次。该芯片主要用于机器学习任务，赋能的最重要工作是FaceID身份认证功能，可以快速识别人脸从而解锁iPhoneX或进行购物。A11内置了苹果自研的最新GPU，图形处理速度较A10提升了30%，功耗降低了一半。国内外AI芯片战略（四）中国AI芯片发展现状海外国家对芯片技术管控严格美欧等发达国家出于安全和技术保护对我国高端芯片进口以及技术获取设置了各种障碍，并多次阻止中国企业和基金收购海外芯片业务，中国人工智能国产芯片相对薄弱人工智能三大要素中唯独在计算能力的基石——智能计算芯片领域，我国还严重依赖海外产品：目前国内CPU、GPU民用市场几部被Intel、AMD和NVIDIA三家巨头全部占据。国内外AI芯片战略（四）中国AI芯片发展现状寒武纪新兴的人工智能ASIC专用芯片领域国内技术处于比较领先的地位。全球第一个成功流片并拥有成熟产品的智能芯片公司，主要产品是各类智能云服务器、智能终端以及智能机器人的核心处理器芯片。国内外AI芯片战略（四）中国AI芯片发展现状寒武纪世界首款商用深度学习处理器CAMBRICON-1A系列IP产品可授权集成到手机、安防、可穿戴设备、无人机、智