版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
神经网络硬件方面的调查研究第1页/共36页文献摘要
在过去的十年中,并行人工神经网络模型的硬件开发设计很多。本文旨在对人工神经网络硬件进行回顾述。介绍硬件规格、执行评价等神经网络的基础技术,介绍人工神经网络主要结构类型。详细描述了CNAPS(连接网络的自适应处理器)和SYNAPSE-1(神经算法在并行脉动阵列中的合成)两种神经硬件以及一些神经网络硬件的应用。讨论了神经网络硬件的未来发展与挑战。第2页/共36页一、介绍在过去十年,神经网络的硬件有了迅速的发展。神经网络硬件设备被认为在一些领域中上具有发展空间,如图像处理,语音合成分析,模式识别,高能物理等。神经网络硬件通常被认为是实施神经网络结构和学习算法的设备,特别是那些具有神经网络所固有并列属性的设备。第3页/共36页一、介绍在过去十年,神经网络的硬件有了迅速的发展。神经网络硬件设备被认为在一些领域中上具有发展空间,如图像处理,语音合成分析,模式识别,高能物理等。神经网络硬件通常被认为是实施神经网络结构和学习算法的设备,特别是那些具有神经网络所固有并列属性的设备。本文概述了神经网络硬件结构的发展现状,介绍了神经网络的硬件规格、分类、结构种类、设计方法以及最新的发展状况以及实际应用。对神经网络硬件的发展趋势进行了讨论。第4页/共36页二、人工神经元模型和神经网络
的结构人工神经元模型输入权值判定神经元是否被激发输出第5页/共36页二、人工神经元模型和神经网络
结构人工神经网络结构图2:(a)多层馈送神经网络(b)递归神经网络第一层神经元是从前一层得到的输入,其输出会作为下一层的输入。连接神经元到同一层或前一层的结构成为递归神经网络。第6页/共36页三、神经网络的硬件与软件神经网络软件当所处理的任务不需要非常快的运行速度时,大多数神经网络设计师的解决方案,是采用软件应用于电脑或工作站上,而不是寻求特殊附加硬件去解决。即使是最快的串行处理器也无法提供实时响应和对大量的神经元、突触的网络学习。第7页/共36页三、神经网络的硬件与软件神经网络硬件多个简单处理单元并行处理,可以提供巨大加速。当硬件实现时,神经网络可以充分利用其固有的并行性,并且其运行量级远远大于软件模拟。一般来说,神经网络硬件设计人员所采用的方法有两种。一种方法是建立一个普通但较贵的系统上,这个系统可根据不同任务重新编程,如自适应解决方案CNAPS[15]。另一个办法是建立一个专门的廉价芯片迅速有效的处理一件事,如IBMZISC[16]。第8页/共36页四、模块表示法及其规范第9页/共36页四、模块表示法及其规范激活模块,是执行wj、xj相乘并且对各相乘组求和,它是位于在神经元芯片(或神经元计算机的处理单元)。其他模块,即神经元状态块,权值模块和传输功能模块均可以设在芯片上或芯片外,其中一些功能可以由主机执行。这些模块之间的数据传输是通过芯片上的控制单元控制着。而控制参数是主机用来控制硬件的。第10页/共36页四、模块表示法及其规范数据流是权值模块中的权值,外部的输入或从相乘后的输出结果作为的输入,在激活模块概括出结果,并通过转换、总和以上结果在神经状态模块中得到输出。第11页/共36页四、模块表示法及其规范传递函数对于多层感知器和Hopfield(霍普菲尔)神经网络(例如[18])的传递函数可能是一个阈值,线性,斜坡和双弯曲函数。Kohonen网络(例如[19]),通过激活模块计算要符合输入和权重向量的欧式距离。第12页/共36页四、模块表示法及其规范规范对于量化神经网络硬件性能传统的方法是在单位时间测量乘法和累加计算数目和权值更新率。这两种测量方法有些符合MIPS或传统系统中的MFLOPS测量。他们只是提供一种指示,必须对不同精度和尺寸进行细心比较。由于缺乏有效的、便携的软件,因而没有尽力去做出一个与神经网络硬件相适应的综合基准。第13页/共36页五、神经网络硬件分类分类标准:神经网络硬件根据不同属性对神经网络的硬件进行分类,如系统结构、并行度、处理器间通信网络、通用或专用设备、芯片上运算或不在芯片上运算等等。基于并行度,神经网络硬件可分为4类:粗粒子,中粒子,细粒度和大规模并行处理[24]。第14页/共36页五、神经网络硬件分类对文献[5]所提出的方案进行分析,将神经网络硬件为四大类,如图所示。基于集成电路标准,神经元计算机首先分为两大部分。一部分主要加速器板和并行多处理器系统组成的。加速器板,可以加快传统电脑如个人电脑或工作站;并行多处理器系统,可以单独运行,也可通过计算机主机对其监控。另一部分是建立在专用神经元ASIC(专用集成电路)上的神经元芯片。这些神经元芯片可以是数字,模拟,或混合。第15页/共36页五、神经网络硬件分类加速器板介绍加速器板是最常用于神经元的商业硬件,因为他们是相对便宜的,应用广泛,连接到电脑或工作站较为简单,并且可以提供用户友好的软件工具。它们插在扩展插槽,用于加快神经网络计算。可实现的加速,是一个数量级与连续实现的比较。加速器板通常是采用神经网络芯片,但有些只是使用高速数字信号处理器(数字信号处理器),它们可很快处理多重累积的操作。加速器板的一个缺点是他们为某个具体任务设定的,因而缺乏灵活性、不适应其他新范例。第16页/共36页五、神经网络硬件分类加速器板实例加速器板的一个很好实例就是IBMZISCISA和PCI卡。ZISC036芯片是IBMessonnes实验室开发处理的[16]。一个单ZISC036拥有36个神经元,或原机,通过RCE(或ROI)算法训练实现。ISA卡包含16ZISC036芯片,提供576个原机神经元。PCI卡可容纳19芯片,684个原型。PCI卡每秒可以处理165000种模式,每种个模式是64个8位的元向量。其他加速器系统,包括SAICSIGMA-1[25],NeuroTurbo[26],HNC[27]等。第17页/共36页五、神经网络硬件分类对通用处理器的神经元计算机的建立通用处理器为神经元功能可通过编程实现。由于其广泛的可用性和相对低廉的价格,许多神经元计算机用通用芯片进行组装。从简单结构,低成本单元(例如在BSP400[28]和COKOS[29])到像晶体计算机那样相当复杂处理结构的实现,它们的并行输入/输出线[30]、数字信号处理器是独特的。对于许多处理器而言寻找好的一个互联策略被证明是一个复杂的问题。然而,许多关于这些大规模、并行计算机结构的知识可以于神经元结构的设计。第18页/共36页五、神经网络硬件分类对通用处理器的神经元计算机的建立(实例)
RAP(环阵列处理器)[33]是由通用处理器构造出神经元处理器的一个例实例。它是在ICSI(国际计算机科学研究所,伯克利,加利福尼亚州)研发出的,并且自1990以来它是作为开发语音识别中的连接算法的一个重要部分。RAP是由一个4MB的动态随机存取存储器和4—40个具有256千字节快速静态存储器的定点数字信号处理器TITMS320C30组成。这些芯片通过Xilinx公司的可编程门阵列(PGAs)进行连接。这些芯片是通过一个连接环连接成可编程门阵列,每个芯片执行一个简单的数据管道。此外,每板有一个虚拟机环境总线的逻辑接口,允许它连接到主机上。RAP的软件支持需要一个具有命令解释器的工作站,C标准环境的工具和一个矩阵、向量库。在前处理中计算一个多层感知器网络,一个简单的板就可以每秒运行57兆周,而处理反向训练可以每秒运行13.2兆周。第19页/共36页五、神经网络硬件分类神经元芯片实现神经元功能采用的专用芯片需设计专用的电路。通过比较通用处理器执行的2阶幅度,神经元芯片提高了神经元交互时间。设计神经元芯片可以选择一些应用技术。其主要区别在于选择了一个全数字化,完全模拟,或混合的设计。一些实例表明直接在电路中执行改变了原始计算机单元(模拟或分析)确切功能。这主要是由于精度的有限。有限的精度对原始模式的运作具有非常大的影响。为构造出大规模的执行机构,许多神经元芯片就必须互联。因此一些芯片就用于专门的通信通道。其他的神经元芯片就被专用通信元件互联了。第20页/共36页五、神经网络硬件分类数字神经元芯片数字神经元专用集成电路(ASIC)是强大和成熟的神经元芯片。数字技术提供的高精度,高可靠性,高可编程性。此外,强大的设计工具对数据全、半定制设计是有效的。缺点是与模拟实现相比,具有相对较大的电路尺寸。突触权重可以存在芯片上也可不存在芯片上。这是权衡速度和大小来选择的。第21页/共36页五、神经网络硬件分类模拟神经元芯片模拟电子技术有一些特性是可以直接用于神经网络的实现。例如,运算放大器,可以很容易用晶体管构建,可以自动运行神经功能,如集成与双弯曲线转换。这些密集型计算,可以通过物理过程自动执行,如集合电流或电荷。模拟电子技术是非常紧凑,且可在低能耗条件下提供高速运转。根据目前最先进的微电子技术,一个简单的神经元可以把1000多个神经元联想记忆芯片和100多个输入集成到一个100GCPS的芯片上。第22页/共36页五、神经网络硬件分类模拟神经元芯片(优缺点)模拟技术的缺点是对噪音和工艺参数变化容易产生变化,从而限制了计算精度。除了设计模拟电路的困难,如何表示可适用的权重问题也限制了模拟电路的应用。尽管模拟芯片不能达到数字芯片的灵活性,但其速度和紧凑,使模拟芯片在神经网络的研究中占有一席之位,特别原神经网络模式自适应特性的模拟芯片。最后一个有价值的优势是可以与真实的模拟世界直接接口,而数字实现将需要一个快速模拟数字转换器读取世界信息,和一个数字模拟转换器把数据转换回世界信息。第23页/共36页五、神经网络硬件分类合成神经元芯片数字和模拟技术具有独特的优势,但他们也存在缺点,主要是关于神经网络实现中的适应性。数字技术的主要缺点是相对计算缓慢、硅的使用量大和倍增电路的大功率。模拟技术的缺陷是对噪声的敏感性、对干扰和过程变化具有易变性。对这些过程的执行采用正确的模拟和数字技术混合是非常有利的。为了获得两种技术的优点,并避免主要缺陷,一些研究小组已经实施了混合系统。第24页/共36页五、神经网络硬件分类合成神经元芯片(举例)
ANN(模拟神经网络的算术和逻辑单元)芯片。
Epsilon[42]芯片是一个种混合型神经元芯片,用于脉冲编码技术。最近用于脉冲流技术的神经元芯片是PDM(脉冲密度调制)数字神经网络系统[43]。第25页/共36页六、案例分析CNAPS
最广为人知的商用神经元计算机CNAPS(连接网络的自适应处理器)[15]是自适求解。CNAPS系统基本构造模块是神经元芯片N6400。如图所示,该N6400本身由64处理单元(简称处理节点)组成,它们通过在一个SIMD(单指令多数据)模型中的传播总线相连接。双8位总线可以将输入输出数据传到所有的PN中。
CNAPS结构的一大优势是系统的可扩展性:由于传播总线,处理器间通信和SIMD模式,和N6400芯片均可以很容易地添加。第26页/共36页六、案例分析SYNAPSE-1SYNAPSE-1是由8个MA-16芯片连接到两根并行环上,通过2个摩托罗拉MC68040处理器控制。权值是存储在一个外芯片DRAM,它总计达到128M字节并且通过扩展可达到512M字节。神经网络是映射到前一阶段的SP-并行,和学习阶段的NP-并行。神经元传递函数是用查表法在外芯片上计算。特别是高容量的在线权值存储器可以作为SYNAPSE-1来处理复杂的应用。不同于CNAPS中的简单SIMD结构,编写SYNAPSE-1程序是困难的。虽然有神经算法程序设计语言可用,但相当复杂的处理单元和脉动阵列二维结构对直接编程造成影响。第27页/共36页七、神经网络硬件的应用
神经网络的硬件应用于实际和获利已经越来越多了。本节说明其在光学字符识别(OCR),语音识别,神经形态系统和高能物理的应用。第28页/共36页七、神经网络硬件的应用光学字符识别光学字符识别已成为一个神经网络最大的商业应用。现在购买一个新的扫描仪通常包括商业光学字符识别程序。把图片文本转换到文本文件,很多或更多的步骤必须通过光学字符识别程序完成,包括清理图像,分割字符,特征提取,分类和校验字符等等。大多数的光学字符识别程序通过ANN选择完成一个或多个光学字符识别步骤,而其他步骤中所使用的技术有传统的人工智能(IF-THEN规则),统计模型,隐马尔可夫模型等等。光学字符识别的神经网络硬件阐明了两点:高通量,需要高性能专用硬件;消费产品,必须采用廉价的专用芯片。第29页/共36页七、神经网络硬件的应用语音识别传感系统元件在语音识别神经元芯片中是很专业化的[46]。芯片的成本只有几美元。芯片可识别有限的词汇,例如10-100个单词。其目的是便于为消费者应用,如手机、玩具等。它们涉及原声信号变成频率和送入神经网络的单独变换表示。神经网络的结构进行非线性贝叶斯分类。训练数据包括一个300–600个声音的潜在用户样本语言库。第30页/共36页七、神经网络硬件的应用神经形态硬件神经形态是指与生物神经系统的结构和功能密切相关的系统,如:硅视网膜和模拟耳蜗[47]。这种装置主要是模拟,特别是在前端传感器阶段。一个成功的商业产品是突触触摸板[48]。它是一个很小但非常灵敏的触点,可以感察到人手在其屏幕导航、光标移动、互动的输入板上的移动位置。突触触摸板就是用了在视网膜和触摸研究的思路,尤其神经元的输出是受其连接到其他附近神经元的影响。该触摸板可以用在多种应用,其应用是需要一个薄,稳健,准确,易于使用输入和导航设备。神经形态设备和触摸板一样,在转换成数字信号前,要做很多前端处理拟电路,因而具有低带宽要求。第31页/共36页七、神经网络硬件的应用高能物理在线过滤器高能物理实验涉及亚原子粒子碰撞,如质子与电子,粒子
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 机柜喷涂合同范例
- 2024年模具生产与价格条款合同
- 2024年智能家居系统研发与许可合同
- 酒类进货合同范例
- 食堂物业合同范例
- 生产租场地合同范例
- 2024年房产转让授权书
- 2024年果园区承包管理合同标准文本版
- 2024年建筑贴砖合同3篇
- 销售公司工厂合同范例
- 国开《学前教育科研方法》期末大作业范文1
- 三年级数学-数独练习题打印版10组
- 2024-2030年生物化工行业市场深度分析及前景趋势及投资战略研究报告
- 调节阀门的基本定义与计算
- 院感手卫生试题及答案
- 安徽省合肥市五十中学东校2024-2025学年部编版九年级上学期质量调研历史试卷
- 2024年昆明仲裁委员会招聘工作人员历年高频难、易错点500题模拟试题附带答案详解
- 2024-2025学年小学信息技术(信息科技)三年级上册川教版(2024)教学设计合集
- 中国现代文学名家名作学习通超星期末考试答案章节答案2024年
- 期中 (试题) -2024-2025学年人教PEP版英语六年级上册
- 第五章第一节《天气与天气预报》课件-2024-2025学年地理湘教版七年级上册
评论
0/150
提交评论