人工智能课件chapter4

Chapter4

DeepLearning

Deeplearning(alsoknownasdeepstructuredlearningorhierarchicallearning)ispartofabroaderfamilyofmachinelearningmethodsbasedonlearningdatarepresentations,asopposedtotask-specificalgorithms.Learningcanbesupervised,semi-supervisedorunsupervised.TextA深度学习（也称为深度结构化学习或分层学习）是基于学习数据表示的更广泛的机器学习方法的一部分，而不是特定于任务的算法。深度学习可以是有监督的、半监督的或无监督的。Deeplearningarchitecturessuchasdeepneuralnetworks,deepbeliefnetworksandrecurrentneuralnetworkshavebeenappliedtofieldsincludingcomputervision,speechrecognition,naturallanguageprocessing,audiorecognition,socialnetworkfiltering,machinetranslation,bioinformatics,drugdesign,medicalimageanalysis,materialinspectionandboardgameprograms,wheretheyhaveproducedresultscomparabletoandinsomecasessuperiortohumanexperts.深度学习架构（如深度神经网络、深度信念网络和循环神经网络）的应用领域包括计算机视觉、语音识别、自然语言处理、音频识别，社交网络过滤、机器翻译、生物信息学、药物设计、医学图像分析、材料检验和棋盘游戏项目，它们产生了相当大的成效，在某些情况下优于人类专家。Deeplearningmodelsarevaguelyinspiredbyinformationprocessingandcommunicationpatternsinbiologicalnervoussystemsyethavevariousdifferencesfromthestructuralandfunctionalpropertiesofbiologicalbrains(especiallyhumanbrains),whichmakethemincompatiblewithneuroscienceevidences.深度学习模型的灵感来源于生物神经系统的信息处理和通信模式，但与生物大脑（尤其是人脑）的结构和功能特性存在着诸多差异，与神经科学已经证明的生物事实不一致。OverviewMostmoderndeeplearningmodelsarebasedonanartificialneuralnetwork,althoughtheycanalsoincludepropositional

formulasorlatentvariablesorganizedlayer-wiseindeepgenerativemodelssuchasthenodesindeepbeliefnetworks1anddeepBoltzmannmachines.概述大多数现代的深度学习模型都是基于人工神经网络，尽管它们也可以包含命题公式或潜在变量，这些潜在变量在深层生成模型中按层组织，比如在深度信念网络中的节点和深层玻尔兹曼机中。Indeeplearning,eachlevellearnstotransformitsinputdataintoaslightlymoreabstractandcompositerepresentation.Inanimagerecognitionapplication,therawinputmaybeamatrixofpixels;thefirstrepresentationallayermayabstractthepixelsandencodeedges;thesecondlayermaycomposeandencodearrangementsofedges;thethirdlayermayencodeanoseandeyes;andthefourthlayermayrecognizethattheimagecontainsaface.Importantly,adeeplearningprocesscanlearnwhichfeaturestooptimallyplaceinwhichlevelonitsown.(Ofcourse,thisdoesnotcompletelyobviatetheneedforhand-tuning;forexample,varyingnumbersoflayersandlayersizescanprovidedifferentdegreesofabstraction.)在深度学习中，每个层次都学习将其输入数据转换为稍微抽象和复合的表示形式。在图像识别应用程序中，原始输入可以是像素矩阵；第一表示层可以抽象像素并对边缘进行编码；第二层可对边缘的排列进行组合和编码；第三层可能编码鼻子和眼睛；第四层可能识别出图像中包含一个人脸。重要的是，深度学习过程可以自己学习哪些特性最适合放在哪个级别。（当然，这并不完全排除手工调优的需要。例如，不同数量的层和层大小可以提供不同的抽象程度。）The“deep”in“deeplearning”referstothenumberoflayersthroughwhichthedataistransformed.Moreprecisely,deeplearningsystemshaveasubstantialcreditassignmentpath(CAP)depth.TheCAPisthechainoftransformationsfrominputtooutput.CAPsdescribepotentiallycausalconnectionsbetweeninputandoutput.Forafeedforwardneuralnetwork2,thedepthoftheCAPsisthatofthenetworkandisthenumberofhiddenlayersplusone(astheoutputlayerisalsoparameterized).Forrecurrentneuralnetworks,inwhichasignalmaypropagatethroughalayermorethanonce,theCAPdepthispotentiallyunlimited.Nouniversallyagreeduponthresholdofdepthdividesshallowlearningfromdeeplearning,butmostresearchersagreethatdeeplearninginvolvesCAPdepth>2.CAPofdepth2hasbeenshowntobeauniversalapproximatorinthesensethatitcanemulateanyfunction.[citationneeded]Beyondthatmorelayersdonotaddtothefunctionapproximatorabilityofthenetwork.Deepmodels(CAP>2)areabletoextractbetterfeaturesthanshallowmodelsandhence.“深度学习”中的“深度”指的是数据转换的层数。更准确地说，深度学习系统具有相当大的学分分配路径（CAP）深度。上限是从输入到输出的转换链。上限描述了输入和输出之间潜在的因果关系。对于前馈神经网络，上限的深度是网络的深度，是隐藏层的数量加1（因为输出层也是参数化的）。对于递归神经网络，信号可能不止一次通过一层传播，其上限深度可能是无限的。目前还没有公认的深度阈值将浅学习与深度学习区分开来，但大多数研究者认为深度学习涉及到CAPdepth>2。深度上限2已经被证明是一个通用的近似器，在这个意义上，它可以模拟任何函数。除此之外，更多的层次并不会增加网络的函数逼近能力。深度模型（CAP>2）能够比浅层模型提取更好的特征，因此，额外的层有助于学习特征。Deeplearningarchitecturesareoftenconstructedwithagreedylayer-by-layermethod.Deeplearninghelpstodisentangletheseabstractionsandpickoutwhichfeaturesimproveperformance.深度学习体系结构通常使用逐层的贪心算法构建。深度学习有助于理清这些抽象概念，并找出哪些特性可以提高性能。Forsupervisedlearningtasks,deeplearningmethodsobviatefeatureengineering3,bytranslatingthedataintocompactintermediaterepresentationsakintoprincipalcomponents,andderivelayeredstructuresthatremoveredundancyinrepresentation.对于监督学习任务，深度学习方法通过将数据转换为类似于主成分的紧凑的中间表示，并推导出消除表示冗余的分层结构，从而避免特征工程。Deeplearningalgorithmscanbeappliedtounsupervisedlearningtasks.Thisisanimportantbenefitbecauseunlabeleddataaremoreabundantthanlabeleddata.Examplesofdeepstructuresthatcanbetrainedinanunsupervisedmannerareneuralhistorycompressorsanddeepbeliefnetworks.深度学习算法可以应用于无监督学习任务。这是一个重要的优点，因为未标记的数据比标记的数据更丰富。可以在无监督方式下进行训练的深层结构的例子有神经历史压缩器和深层信念网络。RelationtohumancognitiveandbraindevelopmentDeeplearningiscloselyrelatedtoaclassoftheoriesofbraindevelopment(specifically,neocorticaldevelopment)proposedbycognitiveneuroscientistsintheearly1990s.Thesedevelopmentaltheorieswereinstantiatedincomputationalmodels,makingthempredecessorsofdeeplearningsystems.Thesedevelopmentalmodelssharethepropertythatvariousproposedlearningdynamicsinthebrain(e.g.,awaveofnervegrowthfactor4)supporttheself-organizationsomewhatanalogoustotheneuralnetworksutilizedindeeplearningmodels.Liketheneocortex,neuralnetworksemployahierarchyoflayeredfiltersinwhicheachlayerconsidersinformationfromapriorlayer(ortheoperatingenvironment),andthenpassesitsoutput(andpossiblytheoriginalinput),tootherlayers.Thisprocessyieldsaself-organizingstackoftransducers,well-tunedtotheiroperatingenvironment.A1995descriptionstated,“...theinfant’sbrainseemstoorganizeitselfundertheinfluenceofwavesofso-calledtrophic-factors...differentregionsofthebrainbecomeconnectedsequentially,withonelayeroftissuematuringbeforeanotherandsoonuntilthewholebrainismature.”与人类认知和大脑发育的关系深度学习与认知神经科学家在20世纪90年代初提出的大脑发展(特别是新皮层发展)理论密切相关。这些发展理论在计算模型中得到了实例化，成为深度学习系统的前身。这些发展模型的共同特征是，大脑中各种拟议的学习动力学（例如，一波神经生长因子）支持某种程度上类似于深度学习模型中使用的神经网络的自组织。与新大脑皮层一样，神经网络采用分层过滤的层次结构，每一层都考虑来自前一层(或操作环境)的信息，然后将其输出（可能还有原始输入）传递给其他层。这个过程产生一个自组织的传感器堆栈，很好地适应了它们的操作环境。1995年的一份描述说：“……婴儿的大脑似乎在所谓的营养因子波的影响下自行组织起来……大脑的不同区域依次连接，一层组织先于另一层组织成熟，以此类推，直到整个大脑成熟。”Avarietyofapproacheshavebeenusedtoinvestigatetheplausibilityofdeeplearningmodelsfromaneurobiologicalperspective.Ontheonehand,severalvariantsofthebackpropagationalgorithmhavebeenproposedinordertoincreaseitsprocessingrealism.Otherresearchershavearguedthatunsupervisedformsofdeeplearning,suchasthosebasedonhierarchicalgenerativemodelsanddeepbeliefnetworks,maybeclosertobiologicalreality.Inthisrespect,generativeneuralnetworkmodelshavebeenrelatedtoneurobiologicalevidenceaboutsampling-basedprocessinginthecerebralcortex.从神经生物学的角度研究深度学习模型的合理性，已经使用了多种方法。为了提高反向传播算法的处理真实感，提出了几种不同的反向传播算法。其他研究人员认为，非监督形式的深度学习，例如基于层次生成模型和深度信念网络的深度学习，可能更接近生物学现实。在这方面，生成神经网络模型已经与大脑皮层基于采样处理的神经生物学证据相关。Althoughasystematiccomparisonbetweenthehumanbrainorganizationandtheneuronalencodingindeepnetworkshasnotyetbeenestablished,severalanalogieshavebeenreported.Forexample,thecomputationsperformedbydeeplearningunitscouldbesimilartothoseofactualneuronsandneuralpopulations.Similarly,therepresentationsdevelopedbydeeplearningmodelsaresimilartothosemeasuredintheprimatevisualsystembothatthesingle-unitandatthepopulationlevels.虽然目前还没有系统地比较人脑组织和深层网络中的神经编码，但是已经有一些类似的报道。例如，由深度学习单元进行的计算可以类似于实际神经元和神经种群的计算。同样地，由深度学习模型发展出来的表象，无论是在单个单位还是在种群水平上，都与灵长类视觉系统测量到的表象相似。Imaginehowmuchmoreefficientlawyerscouldbeiftheyhadthetimetoreadeverylegalbookeverwrittenandrevieweverycaseeverbroughttocourt.Imaginedoctorswiththeabilitytostudyeveryadvancementpublishedacrosstheworld’smedicaljournals,orconsulteverymedicalcase,ever.Unfortunately,thehumanbraincannotstorethatmuchinformation,anditwouldtakedecadestoachievethesefeats.TextB想象一下，如果律师们有时间阅读每一本写过的法律书籍，审查每一宗提交法庭的案件，他们会变得多么高效。再想象一下，医生有能力研究世界各地医学杂志上发表的每一项进展，或咨询每一个医学案例。不幸的是，人类的大脑不能储存那么多的信息，要实现这些壮举需要几十年的时间。Butacomputer,onespecificallydesignedtoworklikethehumanmind,could.Deeplearningneuralnetworksaredesignedtomimicthehumanbrain’sneuralconnections.Theyarecapableoflearningthroughcontinuousexposuretohugeamountsofdata.Thisallowsthemtorecognizepatterns,comprehendcomplexconcepts,andtranslatehigh-levelabstractions.Thesenetworksconsistofmanylayers,eachhavingadifferentsetofweights.Thedeeperthenetwork,thestrongeritis.但是一台专门设计成像人类思维一样工作的计算机却可以。深度学习神经网络被设计用来模拟人脑的神经连接。他们能够通过持续接触大量数据来学习。这允许他们识别模式，理解复杂的概念，并转换高级抽象。这些网络由许多层组成，每一层都有不同的权重集。网络越深，它就越强大。Currentapplicationsforthesenetworksincludemedicaldiagnosis,roboticsandengineering,facerecognition,andautomotivenavigation.However,deeplearningisstillindevelopment–notsurprisingly,itisahugeundertakingtogetmachinestothinklikehumans.Infact,verylittleisunderstoodaboutthesenetworks,andmonthsofmanualtuningareoftenrequiredforobtainingexcellentperformance.目前这些网络的应用包括医疗诊断、机器人和工程、人脸识别和汽车导航。然而，深度学习仍处于发展阶段——这并不奇怪，让机器像人类一样思考是一项艰巨的任务。事实上，人们对这些网络知之甚少，通常需要数月的手工调优才能获得出色的性能。FuxinLi,assistantprofessorattheOregonStateUniversitySchoolofElectricalEngineeringandComputerScience,andhisteamaretakingontheaccuracyoftheseneuralnetworksunderadversarialconditions.Theirresearchfocusesonthebasicmachinelearningaspectsofdeeplearning,andhowtomakegeneraldeeplearningmorerobust.俄勒冈州立大学电气工程与计算机科学学院助理教授李富新（FuxinLi）和他的团队正在研究这些神经网络在对抗条件下的准确性。他们的研究集中在深度学习的基础机器学习方面，以及如何使一般的深度学习更加健全。Totrytobetterunderstandwhenadeepconvolutionalneuralnetwork(CNN)isgoingtoberightorwrong,Li’steamhadtoestablishanestimateofconfidenceinthepredictionsofthedeeplearningarchitecture.Thoseestimatescanbeusedassafeguardswhenutilizingthenetworksinreallife.为了更好地理解深度卷积神经网络（CNN）是对是错，李的团队必须对深度学习架构的预测建立一个信心评估。这些估计可以作为在现实生活中利用网络时的保障。“Basically,”explainsLi,“tryingtomakedeeplearningincreasinglyself-awaretobeawareofwhattypeofdataithasseen,andwhattypeofdataitcouldworkon.”李解释说，“基本上，试着让深度学习越来越具有自我意识——意识到它看到了什么类型的数据，以及它可以处理什么类型的数据。”Theteamlookedatrecentadvancesindeeplearning,whichhavegreatlyimprovedthecapabilitytorecognizeimagesautomatically.Thosenetworks,albeitveryresistanttooverfitting,werediscoveredtocompletelyfailifsomeofthepixelsinsuchimageswereperturbedviaanadversarialoptimizationalgorithm.研究小组观察了深度学习的最新进展，深度学习极大地提高了自动识别图像的能力。这些网络虽然非常抗过拟合，但如果通过对抗性优化算法对图像中的某些像素进行扰动，这些网络就会完全失效。Toahumanobserver,theimageinquestionmaylookfine,butthedeepnetworkseesotherwise.Accordingtotheresearchers,thoseadversarialexamplesaredangerousifadeepnetworkisutilizedintoanycrucialrealapplication,suchasautonomousdriving.Iftheresultofthenetworkcanbehacked,wrongauthenticationsandotherdevastatingeffectswouldbeunavoidable.在人类观察者看来，这幅图像可能看起来很好，但深层网络却不这么认为。根据研究人员的说法，如果一个深层网络被用于任何关键的实际应用，例如自动驾驶，那么这些对抗性的例子是危险的。如果网络的结果可以被黑客攻击，错误的认证和其他破坏性的影响将不可避免。Inadeparturefrompreviousperspectivesthatfocusedonimprovingtheclassifierstocorrectlyorganizetheadversarialexamples,theteamfocusedondetectingthoseadversarialexamplesbyanalyzingwhethertheycomefromthesamedistributionasthenormalexamples.Theaccuracyfordetectingadversarialexamplesexceeded96%.Notably,90%oftheadversarialscanbedetectedwithafalsepositiverateoflessthan10%.与以前关注改进分类器以正确组织对抗式示例的观点不同，团队关注于通过分析这些对抗式示例是否来自与正常示例相同的分布来检测这些对抗式示例。对抗性样本的检测准确率超过96%。值得注意的是，90%的对抗物可以检测到假阳性率低于10%。Thebenefitsofthisresearcharenumerous.Itisvitalforaneuralnetworktobeabletoidentifywhetheranexamplecomesfromanormaloranadversarialdistribution.Suchknowledge,ifavailable,willhelpsignificantlytocontrolbehaviorsofrobotsemployingdeeplearning.Areliableprocedurecanpreventrobotsfrombehavinginanundesirablemannerbecauseofthefalseperceptionsitmadeabouttheenvironment.这项研究的好处是多方面的。神经网络能够识别一个例子是来自正态分布还是反向分布是至关重要的。这些知识，如果可用，将大大有助于控制使用深度学习的机器人的行为。一个可靠的程序可以防止机器人由于对环境的错误感知而做出不受欢迎的行为。Ligivesoneexample:“Inroboticsthere’sthisbigissueaboutrobotsnotdoingsomethingbasedonerroneousperception.It’simportantforarobottoknowthatit’snotmakingaconfidentperception.Forexample,if[therobot]issayingthere’sanobjectoverthere,butit’sactuallyawall,he’llgotofetchthatobject,andthenhehitsawall.”李举了一个例子：“在机器人技术中，有一个很大的问题是机器人不能基于错误的感知去做某件事。对机器人来说，重要的是要知道它没有做出自信的感知。例如，如果(机器人)说那边有一个物体，但它实际上是一堵墙，它就会去取那个物体，然后撞上墙。Hopefully,Lisays,thatwon’thappen.However,currentsoftwareandmachinelearninghavebeenmostlybasedsolelyonpredictionconfidencewithintheoriginalmachinelearningframework.Basically,thetestingandtrainingdataareassumedtobepulledfromthesamedistributionindependently,andthatcanleadtoincorrectassumptions.“希望这不会发生。”李说。然而，目前的软件和机器学习大多是基于原始机器学习框架内的预测置信度。基本上，测试和训练数据被认为是从同一个分布中独立提取的，这可能导致错误的假设。BetterconfidenceestimatescouldpotentiallyhelpavoidincidentssuchastheTeslacrashscenariofromMay2016,whereanadversarialexample(truckwithtoomuchlight)wasinthemiddleofthehighwaythatcheatedthesystem.Aconfidenceestimatecouldpotentiallysolvethatissue.Butfirst,thecomputermustbesmarter.Thecomputerhastolearntodetectobjectsanddifferentiate,say,atreefromanothervehicle.更好的信心估计可能有助于避免2016年5月发生的特斯拉（Tesla）撞车事故，当时，一辆对抗式卡车（载重量过大的卡车）行驶在公路中间，骗过了系统。信心评估有可能解决这个问题。但首先，电脑必须更聪明。计算机必须学会探测物体并将树与其他交通工具区分开来。“Tomakeitreallyrobust,youneedtoaccountforunknownobjects.Somethingweirdmayhityou.Adeermayjumpout.”Thenetworkcan’tbetaughteveryunexpectedsituation,saysLi,“soyouneedittodiscoverthemwithoutknowledgeofwhattheyare.That’ssomethingthatwedo.Wetrytobridgethegap.”“为了让他真正健全，你需要考虑未知的对象。”可能会有奇怪的事情发生。鹿可能会跳出来。“网络不可能在每一个意想不到的情况下都被教授，”李说，“所以你需要他来发现它们，而不知道它们是什么。”我们就是这么做的。我们试图弥合这一差距。Trainingprocedureswillmakedeeplearningmoreautomaticandleadtofewerfailures,aswellasconfidenceestimateswhenthedeepnetworkisutilizedtopredictnewdata.Mostofthistraining,explainsLi,comesfromphotodistributionusingstockima