神经网络硬件方面的调查

神经网络硬件方面的调查研究智能计算作业姓名：张可新学号：12171020文献摘要在过去的十年中，并行人工神经网络模型的硬件开发设计很多。本文旨在对人工神经网络硬件进行回顾述。介绍硬件规格、执行评价等神经网络的基础技术，介绍人工神经网络主要结构类型。详细描述了CNAPS（连接网络的自适应处理器）和SYNAPSE-1（神经算法在并行脉动阵列中的合成）两种神经硬件以及一些神经网络硬件的应用。讨论了神经网络硬件的未来发展与挑战。一、介绍在过去十年，神经网络的硬件有了迅速的发展。神经网络硬件设备被认为在一些领域中上具有发展空间，如图像处理，语音合成分析，模式识别，高能物理等。神经网络硬件通常被认为是实施神经网络结构和学习算法的设备，特别是那些具有神经网络所固有并列属性的设备。一、介绍在过去十年，神经网络的硬件有了迅速的发展。神经网络硬件设备被认为在一些领域中上具有发展空间，如图像处理，语音合成分析，模式识别，高能物理等。神经网络硬件通常被认为是实施神经网络结构和学习算法的设备，特别是那些具有神经网络所固有并列属性的设备。本文概述了神经网络硬件结构的发展现状，介绍了神经网络的硬件规格、分类、结构种类、设计方法以及最新的发展状况以及实际应用。对神经网络硬件的发展趋势进行了讨论。二、人工神经元模型和神经网络

的结构人工神经元模型输入权值判定神经元是否被激发输出二、人工神经元模型和神经网络

结构人工神经网络结构图2：(a)多层馈送神经网络(b)递归神经网络第一层神经元是从前一层得到的输入，其输出会作为下一层的输入。连接神经元到同一层或前一层的结构成为递归神经网络。三、神经网络的硬件与软件神经网络软件当所处理的任务不需要非常快的运行速度时，大多数神经网络设计师的解决方案，是采用软件应用于电脑或工作站上，而不是寻求特殊附加硬件去解决。即使是最快的串行处理器也无法提供实时响应和对大量的神经元、突触的网络学习。三、神经网络的硬件与软件神经网络硬件多个简单处理单元并行处理，可以提供巨大加速。当硬件实现时，神经网络可以充分利用其固有的并行性，并且其运行量级远远大于软件模拟。一般来说，神经网络硬件设计人员所采用的方法有两种。一种方法是建立一个普通但较贵的系统上，这个系统可根据不同任务重新编程，如自适应解决方案CNAPS[15]。另一个办法是建立一个专门的廉价芯片迅速有效的处理一件事，如IBMZISC[16]。四、模块表示法及其规范四、尚模块盐表示究法及导其规枪范激活撞模块个，是侍执行wj、xj相乘盈并且碑对各劝相乘跟组求锈和，扫它是枯位于钞在神嗓经元垫芯片澡（或龟神经用元计廉算机悔的处车理单找元）绢。其他匪模块梅，即筝神经把元状糕态块煎，权护值模深块和滑传输合功能陪模块偷均可迎以设恩在芯夏片上虹或芯帝片外猜，其化中一柜些功侄能可劫以由孩主机网执行隙。这线些模捞块之师间的族数据味传输纱是通逢过芯吃片上笋的控距制单闻元控阔制着患。而斯控制赛参数傻是主献机用坛来控货制硬节件的白。四、调模块吊表示路法及年其规麻范数据俱流是用权值慨模块洁中的黄权值咳，外趴部的猪输入钢或从病相乘涌后的沟输出宴结果心作为吴的输奏入，命在激拔活模逼块概业括出帖结果环，并低通过剃转换气、总泼和以框上结做果在揉神经锐状态弊模块植中得丑到输饺出。四、球模块满表示躁法及写其规户范传递稍函数对于血多层联感知从器和Ho究pf败ie侨ld搭(霍普渠菲尔)神经痛网络骨（例型如[斧18从]）的树传递住函数督可能卧是一含个阈纸值，苍线性谁，斜脏坡和寒双弯绝曲函荒数。Ko柏ho瓦ne银n网络胞（例利如[免19洲]），犬通过逃激活肌模块似计算艇要符各合输锋入和隙权重蛋向量饺的欧鼓式距跪离。四、湿模块丙表示林法及因其规奇范规范对于矛量化列神经景网络依硬件摆性能沾传统秤的方舰法是锋在单眉位时衰间测粘量乘便法和该累加密计算薯数目栗和权古值更劝新率惕。这叮两种俩测量泻方法麦有些锻符合MI候PS或传抽统系绞统中郊的MF慎LO恼PS测量五。他饶们只梁是提杆供一顶种指勒示，勤必须杨对不爸同精滤度和上尺寸播进行饶细心涉比较煎。由于楼缺乏钳有效林的、返便携壶的软协件，碑因而备没有简尽力摩去做闲出一张个与蛙神经浓网络议硬件惊相适旅应的奸综合肤基准考。五、衫神经腥网络钻硬件练分类分类皮标准太：神罚经网芬络硬罗件根总据不威同属刚性对跪神经绒网络容的硬拒件进怎行分穿类，著如系眉统结准构、算并行花度、罚处理真器间尘通信口网络磁、通鲁用或联专用伙设备怒、芯圣片上称运算迈或不张在芯残片上稻运算浸等等继。基于惕并行幻玉度，神神经臭网络马硬件屠可分卡为4类：猛粗粒吵子，捷中粒方子，胀细粒干度和声大规召模并该行处膊理[巴24正]。五、举神经肤网络盲硬件密分类对文辣献[辣5惧]所提猎出的楚方案蚂进行救分析陈，将遗神经倍网络割硬件栋为四脱大类滚，如挥图所猎示。基于澡集成刺电路伸标准支，神灰经元顾计算管机首叮先分至为两贴大部堡分。巡寿一部努分主常要加删速器桂板和策并行趁多处梅理器刺系统崖组成论的。哈加速珠器板罚，可沃以加想快传酬统电预脑如替个人犯电脑村或工期作站猎；并凳行多暮处理锁器系洞统，秘可以拿单独晕运行漂，也测可通狱过计表算机称主机运对其忆监控雀。另阳一部帆分是升建立姿在专称用神丈经元AS需IC（专嫂用集峰成电灵路）宰上的牢神经周元芯名片。妈这些辰神经俗元芯隙片可帝以是掏数字挣，模蚀拟，筝或混予合。五、恋神经长网络嗽硬件鞠分类加速享器板妇介绍加速绢器板懒是最租常用侮于神朋经元百的商渐业硬板件，谁因为顽他们勇是相惕对便夜宜的衰，应还用广熄泛，参连接礼到电弊脑或绳工作峰站较汁为简目单，孕并且侄可以洲提供激用户利友好孝的软扇件工校具。规它们结插在道扩展虽插槽留，用乖于加搞快神奸经网颤络计呜算。衰可实欲现的逢加速大，是鉴一个常数量隶级与驶连续善实现李的比笛较。谦加速宣器板起通常换是采滩用神促经网芒络芯缓片，刚但有牲些只刑是使下用高燃速数时字信讽号处绞理器乓（数峰字信起号处捏理器嫌），算它们饶可很懂快处迫理多按重累辽积的泉操作焰。加给速器释板的肥一个驼缺点碌是他削们为马某个位具体滩任务象设定零的，馅因而软缺乏谣灵活隆性、度不适衔应其浙他新骑范例捧。五、羽神经残网络垄硬件刺分类加速强器板旱实例加速吊器板堤的一核个很螺好实递例就堡是IB洪M醋ZI跌SC回I胖SA和PC盾I卡。ZI亡SC倾0营36芯片粒是IB友Me折ss素on祥ne纵s实验娇室开娃发处仁理的[听16茧]。一孔个单ZI糠SC加0偏36拥有36个神奸经元惧，或旺原机苏，通慈过RC饲E（或RO汉I）算雅法训帖练实秆现。IS克A卡包销含16册Z买IS凉C昼03宿6芯片拐，提诊供57悠6个原均机神耗经元纵。PC其I卡可咽容纳19芯片献，68帮4个原第型。PC错I卡每遣秒可纵以处运理16都50阅00种模煌式，唯每种演个模未式是64个8位的施元向谦量。其他固加速主器系黎统，鄙包括SA但IC演S党IG坚MA李-1见[戒25啊],Ne榆ur勤oTu菜rb燥o秤[2破6]棋,塌HN赶C协[2摧7]等。五、启神经共网络执硬件受分类对通巴用处盏理器族的神公经元莲计算增机的橡建立通用射处理华器为摧神经铜元功来能可猴通过镜编程狼实现参。由狭于其键广泛国的可暴用性循和相良对低甜廉的庄价格伞，许粉多神驰经元杯计算领机用舅通用梅芯片题进行奶组装目。从衬简单傻结构设，低泊成本典单元落（例毯如在BS鹿P4解00摘[堪2徐8栋]和CO惨KO桑S[盘2华9银]）到协像晶烛体计绩算机向那样茧相当收复杂葵处理任结构剖的实萌现，脸它们碍的并屠行输钢入/输出成线[需30浊]、数犹字信失号处汤理器习是独咐特的末。对于悠许多稼处理蹦器而屠言寻矮找好携的一夜个互必联策袜略被望证明妇是一鸽个复香杂的铃问题下。然期而，剥许多影关于灭这些俭大规麻模、教并行依计算浙机结杨构的桥知识涂可以熄于神贿经元惨结构六的设慢计。五、感神经妹网络唉硬件迹分类对通恨用处肆理器章的神争经元口计算笋机的翁建立我（序实例帜）RA浓P（环默阵列近处理再器）[秒33骗]是由常通用绢处理搏器构相造出服神经剂元处井理器桑的一庄个例淋实例乓。它育是在IC篮SI（国泥际计弱算机辛科学槐研究俘所，科伯克肆利，林加利剃福尼弹亚州绘）研雕发出鹿的，惭并且责自19佩90以来灯它是缝作为颗开发偿语音碌识别棵中的容连接忧算法韵的一扬个重机要部沟分。RA血P是由激一个4荷MB的动屯态随柿机存蜓取存爬储器维和4—竟40个具恒有25毫6千字翅节快沸速静皇态存郑储器五的定呼点数哑字信填号处品理器TI钉TM遮S3受20栋C3搁0组成衡。这冈些芯铜片通推过Xi嘱li踩nx公司粱的可聋编程免门阵辣列（PG绒As）进店行连授接。夫这些纳芯片哄是通拢过一园个连纺接环暖连接垂成可漫编程哈门阵挖列，板每个厌芯片义执行怜一个耽简单绿的数捧据管陶道。历此外养，每鹊板有爷一个船虚拟某机环刻境总传线的怕逻辑钥接口安，允辫许它罪连接员到主投机上验。RA袄P的软蹲件支波持需糊要一错个具巴有命亭令解舒释器梨的工果作站芹，C标准鄙环境扣的工龄具和必一个谎矩阵央、向监量库麦。在塌前处集理中脆计算单一个守多层念感知宁器网拣络，唐一个辅简单宝的板炭就可米以每栋秒运岗行57兆周碗，而浴处理瘦反向怜训练站可以材每秒惜运行13张.2兆周碌。五、水神经河网络脉硬件而分类神经躬元芯档片实现犯神经喊元功轻能采棍用的孝专用稿芯片丽需设企计专革用的跟电路压。通狐过比裕较通张用处服理器铸执行烂的2阶幅乌度，盐神经菊元芯贱片提蹄高了顿神经扬元交荣互时扛间。胸设计鼓神经棵元芯伪片可退以选棉择一悠些应卖用技仙术。珍其主祸要区幸别在尘于选叶择了数一个遍全数睁字化象，完闯全模拔拟，念或混次合的沈设计轨。一些劫实例龟表明废直接铸在电伞路中州执行她改变候了原蕉始计鄙算机帽单元董（模悠拟或陡分析踏）确歉切功凡能。秋这主溜要是狂由于爱精度僻的有死限。村有限姜的精不度对沉原始强模式巡寿的运胡作具阻有非柱常大坏的影杏响。伟为构效造出印大规臂模的显执行叨机构袍，许拥多神江经元蒙芯片益就必厦须互鼻联。掩因此盒一些详芯片滨就用铲于专已门的区通信结通道低。其匠他的舟神经弃元芯早片就粮被专具用通宗信元修件互起联了妻。五、围神经绩网络询硬件怖分类数字顿神经案元芯哲片数字辛神经史元专悄用集徒成电府路（AS稠IC）是粮强大陷和成胳熟的艳神经井元芯搜片。匀数字轨技术腾提供僚的高艳精度摇，高研可靠劳性，着高可扰编程极性。梳此外组，强处大的练设计殊工具寒对数磁据全凑、半爪定制欢设计怕是有顷效的凯。缺珍点是盲与模盟拟实宇现相池比，擦具有攀相对粪较大节的电京路尺奖寸。千突触奖权重蛛可以粉存在余芯片鼠上也垫可不团存在尝芯片最上。慌这是基权衡甚速度容和大阿小来港选择蛇的。五、馒神经单网络洋硬件抄分类模拟绘神经沙元芯悄片模拟县电子棕技术抵有一镰些特通性是垮可以伪直接少用于页神经书网络离的实并现。弃例如柳，运选算放启大器厦，可狭以很单容易攀用晶砍体管鬼构建吨，可田以自塔动运返行神纤经功尽能，福如集扔成与抽双弯援曲线荣转换娘。这些撞密集督型计规算，冻可以涛通过庄物理慈过程羡自动定执行朱，如第集合条电流使或电陡荷。允模拟霉电子局技术受是非练常紧芒凑，栏且可姻在低奔能耗假条件贫下提远供高倒速运弓转。脆根据它目前游最先至进的设微电斑子技套术，季一个碧简单夸的神格经元悲可以克把10训00多个豆神经垄元联内想记卫忆芯闹片和10初0多个喂输入芹集成眯到一置个10孩0G守CP坏S的芯普片上指。五、姿神经普网络库硬件个分类模拟缠神经躺元芯幕片驶（优风缺点价）模拟深技术垫的缺咳点是赖对噪锡音和担工艺闲参数强变化灭容易肚产生腊变化咏，从烈而限津制了恭计算撤精度罪。除尝了设谊计模块拟电啊路的单困难钟，如辱何表筹示可芦适用杂的权翁重问脸题也巴限制僻了模舟拟电亲路的咬应用仿。尽管衔模拟市芯片惨不能奸达到君数字仁芯片脖的灵饲活性壳，但芦其速筋度和骆紧凑炭，使样模拟饺芯片梳在神扣经网挎络的效研究枝中占毯有一抱席之刃位，介特别侍原神勤经网晨络模膏式自撕适应嫂特性扶的模鸭拟芯民片。煮最后兵一个娃有价店值的柄优势循是可篮以与挨真实希的模倾拟世锤界直绒接接保口，付而数脱字实确现将厌需要茂一个钱快速礼模拟饼数字纸转换闸器读只取世跃界信蛮息，挎和一析个数敞字模挥拟转侄换器马把数折据转荒换回崭世界若信息稻。五、判神经夺网络兴硬件饲分类合成能神经田元芯权片数字贩和模帝拟技竟术具溉有独恢特的甘优势腊，亲但他座们也妥存在递缺点衡，主援要是花关于墓神经爹网络方实现涂中的貌适应粥性。采数字扁技术项的主鬼要缺喝点是室相对享计算阅缓慢聪、硅旨的使埋用量倒大和使倍增劝电路彻的大李功率掠。模撑拟技待术的全缺陷缘瑞是对给噪声适的敏川感性有、对昌干扰鄙和过援程变谱化具从有易膝变性滥。对彼这些吉过程喜的执储行采央用正辰确的午模拟躁和数陶字技决术混捎合是耍非常梢有利切的。贿为了圈获得稿两种爱技术寨的优它点，则并避绸免主爆要缺惩陷，火一些组研究季小组挖已经祥实施倦了混辆合系塞统。五、史神经愧网络糕硬件缝分类合成绢神经等元芯辛片抬（举志例）AN蚀N（模心拟神脖经网扁络的陶算术豆和逻牢辑单鼠元）煌芯片幕。Ep秃si到lo渡n[译4削2怠]芯片罪是一剖个种统混合叫型神双经元筒芯片树，用缩慧于脉课冲编填码技污术。最近唱用于炸脉冲烘流技签术的己神经勿元芯刮片是PD汇M（脉忌冲密劲度调纲制）男数字桌神经狸网络份系统[4呢3]。六、书案例辞分析CN围AP典S最广夫为人接知的谎商用荐神经渐元计袋算机CN械AP剩S（连愁接网峡络的伏自适卷应处联理器羡）[案15含]是自秃适求寨解。CN晋AP征S系统寨基本如构造异模块旨是神宁经元亏芯片N6虹40袄0。如脱图所古示，喜该N6央40溉0本身内由64处理知单元斩（简条称处砍理节刑点）涂组成各，它贷们通类过在轧一个SI焦MD（单已指令心多数符据）牲模型卡中的续传播过总线怖相连额接。糖双8位总耗线可描以将兔输入燥输出切数据园传到斯所有岁的PN中。CN注AP碑S结构兴的一楼大优咬势是郊系统百的可胡扩展甜性：房诚由于稻传播允总线盟，处叹理器疾间通漆信和SI鸡MD模式书，和N6鼻40正0芯片娱均可捐以很拖容易凭地添宪加。六、廊案例姓分析SY秤NA垃PS污E-品1SY蛮NA充PS耀E-棋1是由8个MA汪-1乱6芯片缘瑞连接重到两漆根并航行环僻上，店通过2个摩礼托罗渴拉MC恳68贫04脆0处理淘器控溜制。戚权值趟是存歪储在谣一个郑外芯骆片DR锄AM，它阔总计净达到12肠8M字节模并且担通过非扩展尘可达俊到51余2M字节策。神施经网印络是关映射颜到前毕一阶躺段的SP年-并行林，和很学习育阶段尼的NP肤-并行私。神呆经元该传递烟函数绑是用现查表意法在期外芯岔片上待计算捞。特逆别是咏高容肯量的铸在线要权值籍存储流器可与以作蝴为SY疫NA墨PS乐E-莲1来处肌理复跃杂的雨应用泪。不同竹于CN璃AP亲S中的掀简单SI狼MD结构海，编衬写SY傅NA砍PS俩E-烛1程序低是困却难的旦。虽尤然有坏神经绑算法什程序厕设计其语言插可用公，但锐相当划复杂防的处胳理单虾元和初脉动著阵列冰二维仅结构侍对直厅接编谜程造时成影贵响。七、棒神经理网络惨硬件燃的应乘用神经悲网络高的硬椅件应垃用于峡实际桂和获杀利已巷经越教来越侄多了掏。本磁节说棵明其财在光绢学字逢符识徒别（OC刻R），套语音死识别服，神竞经形员态系翅统和倡高能悟物理唱的应纤用。七、轻神经怪网络准硬件无的应饱用光学进字符骑识别光学页字符报识别园已成确为一趟个神犹经网诞络最报大的歉商业桃应用陵。现陷在购神买一笨个新问的扫培描仪垂通常艰包括僚商业得光学版字符冷识别屑程序押。把补图片肢文本挑转换种到文臭本文坡件，盼很多孔或更卷多的敌步骤仍必须傲通过茧光学六字符肿识别奏程序朽完成霞，包肠括清齐理图畏像，挖分割眼字符禁，特敏征提类取，绝分类阴和校电验字体符等浆等。塌大多孩数的锹光学段字符绝识别蛮程序锹通过AN店N选择饰完成居一个铸或多亮个光扣学字狗符识响别步脱骤，厕而其违他步拴骤中碧所使寨用的鸣技术乌有传跟统的剩人工芽智能声（IF腰-T含HE强N规则乐），著统计兆模型花，隐太马尔污可夫萝模型坝等等哈。光学负字符蜡识别圾的神震经网刷络硬卧件阐雨明了遣两点全：高骆通量畏，需妙要高洽性能架专用绍硬件深；消社费产纵品，蜘必须嫌采用纷廉价云的专元用芯趣片。七、冲神经廉网络盘硬件盈的应讯用语音授识别传感益系统闭元件和在语昏音识州别神干经元珍芯片挥中是看很专停业化阻的[壤46导]。芯课片的窑成本纤只有闸几美笨元。昨芯片惩可识俗别有命限的伶词汇头，例颂如10列-1耀00个单汤词。鞭其目唉的是爹便于叫为消径费者装应用肤，如束手机孝、玩狗具等临。它向们涉伍及原器声信火号变堤成频绿率和丈送入聪神经治网络状的单扭独变朵换表盼示。呀神经皂网络嚼的结烤构进倦行非低线性命贝叶凝斯分举类。容训练节数据倾包括驾一个30承0碍–售60吧0个声利音的致潜在感用户套样本旦语言呜库。七、萄神经躺网络卫硬件岭的应烘用神经窜形态锻硬件神经巨形态怜是指绝与生狼物神缓经系苏统的组结构怠和功彻能密坏切相哨关的值系统吴，如稿：硅反视网文膜和谦模拟张耳蜗[汉47壶]。这打种装谱置主除要是呀模拟跌，特颂别是援在前撞端传纸感器示阶段失。一由个成惨功的秆商业坦产品煮是突脸触触消摸板[碰48鞠]。它译是一杯个很枪小但琴非常鸭灵敏饼的触痒点，赴可以茶感察仇到人幅手在疏其屏稍幕导之航、伴光标红移动臂、互棒动的浓输入刮板上竿的移只动位楚置。贸突触甜触摸乖板就珠是用决了在撤视网阶膜和泪触摸笋研究总的思驼路，霸尤其轻神经说元的披输出季是受拣其连赤接到滋其他尽附近渗神经钻元的膀影响心。该薯触摸搭板可镇以用贿在多载种应剧用，车其应技用是坝需要盼一个脾薄，凤稳健李，准聪确，姨易于香使用我输入桨和导宇航设拖备。神经谊形态要设备脊和触喂摸板川一样折，在广转换亲成数窜字信床号前拣，要庄做很雄多前音端处脖理拟爷电路例，因险而具罪有低晃带宽肺要求旱。七、腰神经歼网络组硬件只的应这用高能危物理街在线绩过滤怪器高能心物理控实验愁涉及绿亚原览子粒有子碰神撞，帆如质甚子与泊电子咳，粒键子加确速器叶。碰槽撞区龟域内丙，大锻型的凝传感西器可禽以检家测到欣在碎罢片中歼排放防出的谋粒子贴。大刻多数将碰撞软是很锦短的耕，通狼常不膨会产狂生任扛何有虾兴趣虚的东职西。攻