神经网络硬件方面的调查研究课件

1、神经网络硬件方面的调查研究1 神经网络硬件方面的调查研究 智能计算作业 姓名：张可新 学号：12171020 神经网络硬件方面的调查研究2 文献摘要文献摘要 在过去的十年中，并行人工神经网络模型 的硬件开发设计很多。本文旨在对人工神经网 络硬件进行回顾述。介绍硬件规格、执行评价 等神经网络的基础技术，介绍人工神经网络主 要结构类型。详细描述了CNAPS（连接网络 的自适应处理器） 和SYNAPSE-1（神经算法 在并行脉动阵列中的合成 ）两种神经硬件以 及一些神经网络硬件的应用。讨论了神经网络 硬件的未来发展与挑战。 神经网络硬件方面的调查研究3 一、介绍一、介绍 l在过去十年，神经网络的硬件

2、有了迅速的发展。 神经网络硬件设备被认为在一些领域中上具有 发展空间，如图像处理，语音合成分析，模式 识别，高能物理等。 l神经网络硬件通常被认为是实施神经网络结构 和学习算法的设备，特别是那些具有神经网络 所固有并列属性的设备。 神经网络硬件方面的调查研究4 一、介绍一、介绍 l在过去十年，神经网络的硬件有了迅速的发展。神经 网络硬件设备被认为在一些领域中上具有发展空间， 如图像处理，语音合成分析，模式识别，高能物理等。 l神经网络硬件通常被认为是实施神经网络结构和学习 算法的设备，特别是那些具有神经网络所固有并列属 性的设备。 l本文概述了神经网络硬件结构的发展现状，介绍了神 经网络的硬件

3、规格、分类、结构种类、设计方法以及 最新的发展状况以及实际应用。对神经网络硬件的发 展趋势进行了讨论。 神经网络硬件方面的调查研究5 二、人工神经元模型和神经网络二、人工神经元模型和神经网络 的结构的结构 l人工神经元模型 输入输入 权值权值 判定神经元判定神经元 是否被激发是否被激发 输出输出 神经网络硬件方面的调查研究6 二、人工神经元模型和神经网络二、人工神经元模型和神经网络 结构结构 l人工神经网络结构 图2：(a)多层馈送神经网络 (b)递归神经网络 第一层神第一层神 经元是从经元是从 前一层得前一层得 到的输入，到的输入， 其输出会其输出会 作为下一作为下一 层的输入。层的输入。

4、连接神经连接神经 元到同一元到同一 层或前一层或前一 层的结构层的结构 成为递归成为递归 神经网络。神经网络。 神经网络硬件方面的调查研究7 三、神经网络的硬件与软件三、神经网络的硬件与软件 l神经网络软件 当所处理的任务不需要非常快的运行速度 时，大多数神经网络设计师的解决方案，是采 用软件应用于电脑或工作站上，而不是寻求特 殊附加硬件去解决。 即使是最快的串行处理器也无法提供实时 响应和对大量的神经元、突触的网络学习。 神经网络硬件方面的调查研究8 三、神经网络的硬件与软件三、神经网络的硬件与软件 l神经网络硬件 多个简单处理单元并行处理，可以提供巨 大加速。当硬件实现时，神经网络可以充分

5、利 用其固有的并行性，并且其运行量级远远大于 软件模拟。 一般来说，神经网络硬件设计人员所采用 的方法有两种。一种方法是建立一个普通但较 贵的系统上，这个系统可根据不同任务重新编 程，如自适应解决方案CNAPS 15 。另一个 办法是建立一个专门的廉价芯片迅速有效的处 理一件事，如IBM ZISC 16 。 神经网络硬件方面的调查研究9 四、模块表示法及其规范四、模块表示法及其规范 神经网络硬件方面的调查研究10 四、模块表示法及其规范四、模块表示法及其规范 l激活模块，是执行wj、xj相乘并且对各相乘组 求和，它是位于在神经元芯片（或神经元计算 机的处理单元）。 l其他模块，即神经元状态块，

6、权值模块和传输 功能模块均可以设在芯片上或芯片外，其中一 些功能可以由主机执行。这些模块之间的数据 传输是通过芯片上的控制单元控制着。而控制 参数是主机用来控制硬件的。 神经网络硬件方面的调查研究11 四、模块表示法及其规范四、模块表示法及其规范 l数据流是权值模块中的权值，外部的输入或从 相乘后的输出结果作为的输入，在激活模块概 括出结果，并通过转换、总和以上结果在神经 状态模块中得到输出。 神经网络硬件方面的调查研究12 四、模块表示法及其规范四、模块表示法及其规范 l传递函数 对于多层感知器和Hopfield(霍普菲尔)神经 网络（例如 18 ）的传递函数可能是一个阈 值，线性，斜坡和双

7、弯曲函数。Kohonen网络 （例如 19 ），通过激活模块计算要符合输 入和权重向量的欧式距离。 神经网络硬件方面的调查研究13 四、模块表示法及其规范四、模块表示法及其规范 l规范 对于量化神经网络硬件性能传统的方法是 在单位时间测量乘法和累加计算数目和权值更 新率。这两种测量方法有些符合MIPS或传统 系统中的MFLOPS测量。他们只是提供一种指 示，必须对不同精度和尺寸进行细心比较。 由于缺乏有效的、便携的软件，因而没有 尽力去做出一个与神经网络硬件相适应的综合 基准。 神经网络硬件方面的调查研究14 五、神经网络硬件分类五、神经网络硬件分类 l分类标准：神经网络硬件根据不同属性对神经

8、 网络的硬件进行分类，如系统结构、并行度、 处理器间通信网络、通用或专用设备、芯片上 运算或不在芯片上运算等等。 l基于并行度，神经网络硬件可分为4类：粗粒 子，中粒子，细粒度和大规模并行处理 24 。 神经网络硬件方面的调查研究15 五、神经网络硬件分类五、神经网络硬件分类 l对文献 5 所提出的方案进行分析，将神经网 络硬件为四大类，如图所示。 l基于集成电路标准，神经元计算机首先分为两 大部分。一部分主要加速器板和并行多处理器 系统组成的。加速器板，可以加快传统电脑如 个人电脑或工作站；并行多处理器系统，可以 单独运行，也可通过计算机主机对其监控。另 一部分是建立在专用神经元ASIC（专

9、用集成 电路）上的神经元芯片。这些神经元芯片可以 是数字，模拟，或混合。 神经网络硬件方面的调查研究16 五、神经网络硬件分类五、神经网络硬件分类 l加速器板介绍 加速器板是最常用于神经元的商业硬件，因为他们 是相对便宜的，应用广泛，连接到电脑或工作站较为 简单，并且可以提供用户友好的软件工具。它们插在 扩展插槽，用于加快神经网络计算。可实现的加速， 是一个数量级与连续实现的比较。加速器板通常是采 用神经网络芯片，但有些只是使用高速数字信号处理 器（数字信号处理器），它们可很快处理多重累积的 操作。加速器板的一个缺点是他们为某个具体任务设 定的，因而缺乏灵活性、不适应其他新范例。 神经网络硬件

10、方面的调查研究17 五、神经网络硬件分类五、神经网络硬件分类 l加速器板实例 加速器板的一个很好实例就是IBM ZISC ISA和 PCI卡。ZISC 036芯片是IBMessonnes实验室开发处 理的 16 。一个单ZISC 036拥有36个神经元，或原 机，通过RCE（或ROI）算法训练实现。ISA卡包含 16 ZISC 036芯片，提供576个原机神经元。PCI卡可 容纳19芯片，684个原型。PCI卡每秒可以处理 165000种模式，每种个模式是64个8位的元向量。 其他加速器系统，包括SAIC SIGMA-1 25, Neuro Turbo 26, HNC 27等。 神经网络硬件方

11、面的调查研究18 五、神经网络硬件分类五、神经网络硬件分类 l对通用处理器的神经元计算机的建立 通用处理器为神经元功能可通过编程实现。由于 其广泛的可用性和相对低廉的价格，许多神经元计算 机用通用芯片进行组装。从简单结构，低成本单元 （例如在BSP400 28 和COKOS 29 ）到像晶体计 算机那样相当复杂处理结构的实现，它们的并行输入/ 输出线 30 、数字信号处理器是独特的。 对于许多处理器而言寻找好的一个互联策略被证 明是一个复杂的问题。然而，许多关于这些大规模、 并行计算机结构的知识可以于神经元结构的设计。 神经网络硬件方面的调查研究19 五、神经网络硬件分类五、神经网络硬件分类

12、l对通用处理器的神经元计算机的建立 （实例） RAP（环阵列处理器） 33 是由通用处理器构造出神经 元处理器的一个例实例。它是在ICSI（国际计算机科学研究 所，伯克利，加利福尼亚州）研发出的，并且自1990以来它 是作为开发语音识别中的连接算法的一个重要部分。RAP是 由一个4 MB的动态随机存取存储器和440个具有256千字 节快速静态存储器的定点数字信号处理器TITMS320C30组 成。这些芯片通过Xilinx公司的可编程门阵列（PGAs）进行 连接。这些芯片是通过一个连接环连接成可编程门阵列，每 个芯片执行一个简单的数据管道。此外，每板有一个虚拟机 环境总线的逻辑接口，允许它连接到

13、主机上。 RAP的软 件支持需要一个具有命令解释器的工作站，C标准环境的工 具和一个矩阵、向量库。在前处理中计算一个多层感知器网 络，一个简单的板就可以每秒运行57兆周，而处理反向训练 可以每秒运行13.2兆周。 神经网络硬件方面的调查研究20 五、神经网络硬件分类五、神经网络硬件分类 l神经元芯片 实现神经元功能采用的专用芯片需设计专用的电 路。通过比较通用处理器执行的2阶幅度，神经元芯 片提高了神经元交互时间。设计神经元芯片可以选择 一些应用技术。其主要区别在于选择了一个全数字化， 完全模拟，或混合的设计。 一些实例表明直接在电路中执行改变了原始计算 机单元（模拟或分析）确切功能。这主要是

14、由于精度 的有限。有限的精度对原始模式的运作具有非常大的 影响。为构造出大规模的执行机构，许多神经元芯片 就必须互联。因此一些芯片就用于专门的通信通道。 其他的神经元芯片就被专用通信元件互联了。 神经网络硬件方面的调查研究21 五、神经网络硬件分类五、神经网络硬件分类 l数字神经元芯片 数字神经元专用集成电路（ASIC）是强大 和成熟的神经元芯片。数字技术提供的高精度， 高可靠性，高可编程性。此外，强大的设计工 具对数据全、半定制设计是有效的。缺点是与 模拟实现相比，具有相对较大的电路尺寸。突 触权重可以存在芯片上也可不存在芯片上。这 是权衡速度和大小来选择的。 神经网络硬件方面的调查研究22

15、 五、神经网络硬件分类五、神经网络硬件分类 l模拟神经元芯片 模拟电子技术有一些特性是可以直接用于神 经网络的实现。例如，运算放大器，可以很容 易用晶体管构建，可以自动运行神经功能，如 集成与双弯曲线转换。 这些密集型计算，可以通过物理过程自动执 行，如集合电流或电荷。模拟电子技术是非常 紧凑，且可在低能耗条件下提供高速运转。根 据目前最先进的微电子技术，一个简单的神经 元可以把1000多个神经元联想记忆芯片和100多 个输入集成到一个100GCPS的芯片上。 神经网络硬件方面的调查研究23 五、神经网络硬件分类五、神经网络硬件分类 l模拟神经元芯片 （优缺点） 模拟技术的缺点是对噪音和工艺参

16、数变化容易 产生变化，从而限制了计算精度。除了设计模拟电 路的困难，如何表示可适用的权重问题也限制了模 拟电路的应用。 尽管模拟芯片不能达到数字芯片的灵活性，但 其速度和紧凑，使模拟芯片在神经网络的研究中占 有一席之位，特别原神经网络模式自适应特性的模 拟芯片。最后一个有价值的优势是可以与真实的模 拟世界直接接口，而数字实现将需要一个快速模拟 数字转换器读取世界信息，和一个数字模拟转换器 把数据转换回世界信息。 神经网络硬件方面的调查研究24 五、神经网络硬件分类五、神经网络硬件分类 l合成神经元芯片 数字和模拟技术具有独特的优势， 但他们也 存在缺点，主要是关于神经网络实现中的适应 性。数字

17、技术的主要缺点是相对计算缓慢、硅 的使用量大和倍增电路的大功率。模拟技术的 缺陷是对噪声的敏感性、对干扰和过程变化具 有易变性。对这些过程的执行采用正确的模拟 和数字技术混合是非常有利的。为了获得两种 技术的优点，并避免主要缺陷，一些研究小组 已经实施了混合系统。 神经网络硬件方面的调查研究25 五、神经网络硬件分类五、神经网络硬件分类 l合成神经元芯片 （举例） ANN（模拟神经网络的算术和逻辑单元）芯 片 。 Epsilon 42 芯片是一个种混合型神经元芯片， 用于脉冲编码技术。 最近用于脉冲流技术的神经元芯片是PDM （脉冲密度调制）数字神经网络系统43。 神经网络硬件方面的调查研究2

18、6 六、案例分析六、案例分析 l CNAPS 最广为人知的商用神经元计算机CNAPS（连接网 络的自适应处理器） 15 是自适求解。CNAPS系统 基本构造模块是神经元芯片N6400。如图所示，该 N6400本身由64处理单元（简称处理节点）组成，它 们通过在一个SIMD（单指令多数据）模型中的传播 总线相连接。双8位总线可以将输入输出数据传到所 有的PN中。 CNAPS结构的一大优势是系统的可扩展性：由于 传播总线，处理器间通信和SIMD模式，和N6400芯 片均可以很容易地添加。 神经网络硬件方面的调查研究27 六、案例分析六、案例分析 l SYNAPSE-1 SYNAPSE-1是由8个M

19、A-16芯片连接到两根并行 环上，通过2个摩托罗拉MC68040处理器控制。权值 是存储在一个外芯片DRAM，它总计达到128M字节 并且通过扩展可达到512M字节。神经网络是映射到 前一阶段的SP-并行，和学习阶段的NP-并行。神经 元传递函数是用查表法在外芯片上计算。特别是高容 量的在线权值存储器可以作为SYNAPSE-1来处理复 杂的应用。 不同于CNAPS中的简单SIMD结构，编写 SYNAPSE-1程序是困难的。虽然有神经算法程序设 计语言可用，但相当复杂的处理单元和脉动阵列二维 结构对直接编程造成影响。 神经网络硬件方面的调查研究28 七、神经网络硬件的应用七、神经网络硬件的应用

20、神经网络的硬件应用于实际和获利已经越 来越多了。本节说明其在光学字符识别 （OCR），语音识别，神经形态系统和高能 物理的应用。 神经网络硬件方面的调查研究29 七、神经网络硬件的应用七、神经网络硬件的应用 l光学字符识别 光学字符识别已成为一个神经网络最大的商业应 用。现在购买一个新的扫描仪通常包括商业光学字符 识别程序。把图片文本转换到文本文件，很多或更多 的步骤必须通过光学字符识别程序完成，包括清理图 像，分割字符，特征提取，分类和校验字符等等。大 多数的光学字符识别程序通过ANN选择完成一个或多 个光学字符识别步骤，而其他步骤中所使用的技术有 传统的人工智能（IF-THEN规则），统计

21、模型，隐马 尔可夫模型等等。 光学字符识别的神经网络硬件阐明了两点：高通 量，需要高性能专用硬件；消费产品，必须采用廉价 的专用芯片。 神经网络硬件方面的调查研究30 七、神经网络硬件的应用七、神经网络硬件的应用 l语音识别 传感系统元件在语音识别神经元芯片中是很 专业化的 46 。芯片的成本只有几美元。芯片 可识别有限的词汇，例如10-100个单词。其目 的是便于为消费者应用，如手机、玩具等。它 们涉及原声信号变成频率和送入神经网络的单 独变换表示。神经网络的结构进行非线性贝叶 斯分类。训练数据包括一个300 600个声音的 潜在用户样本语言库。 神经网络硬件方面的调查研究31 七、神经网络

22、硬件的应用七、神经网络硬件的应用 l神经形态硬件 神经形态是指与生物神经系统的结构和功能密切相 关的系统，如：硅视网膜和模拟耳蜗 47 。这种装置 主要是模拟，特别是在前端传感器阶段。一个成功的 商业产品是突触触摸板 48 。它是一个很小但非常灵 敏的触点，可以感察到人手在其屏幕导航、光标移动、 互动的输入板上的移动位置。突触触摸板就是用了在 视网膜和触摸研究的思路，尤其神经元的输出是受其 连接到其他附近神经元的影响。该触摸板可以用在多 种应用，其应用是需要一个薄，稳健，准确，易于使 用输入和导航设备。 神经形态设备和触摸板一样，在转换成数字信号前， 要做很多前端处理拟电路，因而具有低带宽要求。 神经网络硬件方面的调查研究32 七、神经网络硬件的应用七、神经网络硬件的应用