FAFU机器学习 10-2NN中文

机器学习基础人工神经网络2020/12/3人工神经网络第10-1课人工神经网络人工神经网络:导论单层神经网络多层神经网络自组织映射(SOM)其他神经网络sklearn.neural_network2020/12/3人工神经网络第10-2课人工神经网络:导论大脑和神经元（）神经元是大脑的组成部分它们之间的相互连接形成了程序，使我们能够解决所有的日常任务它们能够执行并行和容错计算关于大脑中的神经元如何工作以及它们如何学习的理论模型，从人工智能开始就已经发展起来了这些模型中的大多数都非常简单（但功能强大），与真正的大脑神经元有细微的相似之处2020/12/3人工神经网络第10-3课人工神经网络:导论Aneuronmodel（神经元模型）1943年，[McCullochandPitts,1943]抽象出“M-P神经元模型”,在这个模型中，神经元接收到来自n个其他神经元传递过来的输入信号，这些输入信号通过带权重的连接(connection)进行传递，神经元接收到的总输入值将与神经元的阈值进行比较，然后通过“激活函数”(activationfunction)处理以产生神经元的输出。2020/12/3人工神经网络第10-4课人工神经网络导论，“0”“1”，“1”，“0”。，，，sigmoid，（0，1），“”（挤压函数）。2020/12/3人工神经网络第10-5课人工神经网络:导论神经元/网络的组织，/通常神经元相互连接形成网络，基本上有两种架构前馈网络（），神经元只在一个方向上连接递归网络（，），输出端可以连接到输入端前馈网络按层组织，一层连接另一层单层神经网络（感知器网络，）:输入层（），输出层（）多层神经网络:输入层，隐层（），输出层2020/12/3人工神经网络第10-6课人工神经网络:导论作为逻辑门的神经元（）神经网络的最初研究将神经元定义为能够模拟逻辑门（阈值逻辑单元，TLU）的函数输入xi∈{0，1}，权重wi∈{+1，−1}，阈值w0∈R，激活函数阈值函数:如果x≥w0，则g(x)=1，否则为0神经元组可以计算布尔函数，组成计算OR，AND和NOT函数的TLU2020/12/3人工神经网络第10-7课人工神经网络:导论作为逻辑门的神经元（）2020/12/3人工神经网络第10-8课ArtificialNeuralNetworksArtificialNeuralNetworks:IntroductionSingleLayerNeuralNetworksMultipleLayerNeuralNetworksSelf-OrganizingMap(SOM)OtherNeuralNetworkssklearn.neural_network2023/11/4ArtificialNeuralNetworksLesson10-9SingleLayerNeuralNetworksTheperceptron（感知机）感知机(Perceptron)由两层神经元组成，输入层接收外界输入信号后传递给输出层，输出层是M-P神经元。2023/11/4ArtificialNeuralNetworksLesson10-10SingleLayerNeuralNetworksTheperceptron（感知机）感知机(Perceptron)由两层神经元组成，输入层接收外界输入信号后传递给输出层，输出层是M-P神经元。2023/11/4ArtificialNeuralNetworksLesson10-11SingleLayerNeuralNetworksTheperceptron（感知机）Theperceptronlearningrule(感知器学习规则)感知机学习规则非常简单，对训练样例（x，y)，若当前感知机的输出为y’，则感知机权重将这样调整:wi=wi+∆wi∆wi=η(y−y’)xi其中η属于(0,1)为学习率(learningrate)2023/11/4ArtificialNeuralNetworksLesson10-12SingleLayerNeuralNetworksLimitationsoflinearperceptrons(线性感知器的不足)WithlinearperceptronswecanonlyclassifycorrectlylinearlyseparableproblemsThehypothesisspaceisnotpowerfulenoughforrealproblemsExample,theXORfunction:2023/11/4ArtificialNeuralNetworksLesson10-13ArtificialNeuralNetworksArtificialNeuralNetworks:IntroductionSingleLayerNeuralNetworksMultipleLayerNeuralNetworks（多层神经网络）Self-OrganizingMap(SOM)OtherNeuralNetworkssklearn.neural_network2023/11/4ArtificialNeuralNetworksLesson10-14MultipleLayerNeuralNetworksMultilayerPerceptron要解决非线性可分问题，需考虑使用多层功能神经元，比如对异或问题:2023/11/4ArtificialNeuralNetworksLesson10-15MultipleLayerNeuralNetworksMultilayerPerceptron一般地，多层神经网络中每层神经元与下层神经元全互连，神经元之间不存在同层连接，也不存在跨层连接，这样的神经网络结构通常称为“多层前馈神经网络”(multi-layerfeedforwardneuralnetworks)。其中输入层神经元接收外界输入，隐层与输出层神经元对信号进行加工，最终结果由输出层神经元输出。换言之，输入层神经元仅是接受输入，不进行函数处理，隐层与输出层包含功能神经元。2023/11/4ArtificialNeuralNetworksLesson10-16MultipleLayerNeuralNetworksLearningMultilayerNetworks（多层网络的学习）InthecaseofsinglelayernetworkstheparameterstolearnaretheweightsofonlyonelayerInthemultilayercasewehaveasetofparametersforeachlayerandeachlayerisfullyconnectedtothenextlayerForsinglelayernetworkswhenwehavemultipleoutputswecanlearneachoutputseparatelyInthecaseofmultilayernetworksthedifferentoutputsareinterconnected2023/11/4ArtificialNeuralNetworksLesson10-17MultipleLayerNeuralNetworksBackPropagation(反向传播)–IntuitivelyTheerrorofthesinglelayerperceptronlinksdirectlythetransformationoftheinputintheoutputInthecaseofmultiplelayerseachlayerhasitsownerrorTheerroroftheoutputlayerisdirectlytheerrorcomputedfromthetruevaluesTheerrorforthehiddenlayersismoredifficulttodefineTheideaistousetheerrorofthenextlayertoinfluencetheweightsofthepreviouslayerWearepropagatingbackwardstheoutputerror,hencethenameofBackPropagation(BP)2023/11/4ArtificialNeuralNetworksLesson10-18MultipleLayerNeuralNetworksBackPropagation(反向传播)–IntuitivelyTheideaistousetheerrorofthenextlayertoinfluencetheweightsofthepreviouslayer2023/11/4ArtificialNeuralNetworksLesson10-19MultipleLayerNeuralNetworksBackpropagation–Algorithm(BP算法）ThebackpropagationalgorithmworksintwostepsPropagatetheexamplesthroughthenetworktoobtaintheoutput(forwardpropagation)Propagatetheoutputerrorlayerbylayerupdatingtheweightsoftheneurons(backpropagation)2023/11/4ArtificialNeuralNetworksLesson10-20MultipleLayerNeuralNetworksBackpropagation–Algorithm(BP算法）ThebackpropagationalgorithmworksintwostepsPropagatetheexamplesthroughthenetworktoobtaintheoutput(forwardpropagation)Propagatetheoutputerrorlayerbylayerupdatingtheweightsoftheneurons(backpropagation)BP算法基于梯度下降(gradientdescent)策略，以目标的负梯度方向对参数进行调整。Sigmoid函数2023/11/4ArtificialNeuralNetworksLesson10-21MultipleLayerNeuralNetworks多层前馈神经网络学习的目标是均方误差，对(xk,yk)2023/11/4ArtificialNeuralNetworksLesson10-22MultipleLayerNeuralNetworksBP算法基本流程2023/11/4ArtificialNeuralNetworksLesson10-23输入:训练集D={(xk,yk)},k=l…m;学习率η.过程:1:在(0,

1)范固内随机初始化网络中所有连接权和阈值2:repeat3:forall(xk

,yk)inDdo4:

根据当前参数计算当前样本的输出5:

计算输出层神经元的梯度项;6:

计算隐层神经元的梯度项;7:

更新连接权whj

和vih，更新输出层阈值θj和隐层阈值γh8:endfor9:until达到停止条件输出:连接权与阈值确定的多层前馈神经网络ArtificialNeuralNetworksArtificialNeuralNetworks:IntroductionSingleLayerNeuralNetworksMultipleLayerNeuralNetworksSelf-OrganizingMap(SOM)，自组织映射OtherNeuralNetworkssklearn.neural_network2023/11/4ArtificialNeuralNetworksLesson10-24Self-OrganizingMapTheSelf-OrganizingMapisoneofthemostpopularneuralnetworkmodels.Itbelongstothecategoryofcompetitivelearningnetworks（竞争学习型网络）.TheSelf-OrganizingMapisbasedonunsupervisedlearning（无监督学习）,whichmeansthatnohumaninterventionisneededduringthelearningandthatlittleneedstobeknownaboutthecharacteristicsoftheinputdata.Wecould,forexample,usetheSOMforclusteringdatawithoutknowingtheclassmembershipsoftheinputdata.TheSOMcanbeusedtodetectfeaturesinherenttotheproblemandthushasalsobeencalledSOFM,theSelf-OrganizingFeatureMap.2023/11/4ArtificialNeuralNetworksLesson10-25SOM典型结构SOM网络是一种竞争学习型的无监督神经网络，将高维空间中相似的样本点映射到网络输出层中的邻近神经元。典型SOM网络共有两层，输入层模拟感知外界输入信息的视网膜，输出层模拟做出响应的大脑皮层。2023/11/4ArtificialNeuralNetworksLesson10-26SOM网络学习算法训练过程简述：在接收到训练样本后，每个输出层神经元会计算该样本与自身携带的权向量之间的距离，距离最近的神经元成为竞争获胜者，称为最佳匹配单元。然后最佳匹配单元及其邻近的神经元的权向量将被调整，以使得这些权向量与当前输入样本的距离缩小。这个过程不断迭代，直至收敛。输入层：假设一个输入样本为x=[x1,x2,x3,…,xn]，是一个n维向量，则输入层神经元个数为n个。输出层（竞争层）：通常输出层的神经元以矩阵等拓扑结构排列在二维空间中，每个神经元都有一个权值向量。假设输出层有m个神经元，则有m个权值向量，Wi=[wi1,wi2,....,win],1<=i<=m。2023/11/4ArtificialNeuralNetworksLesson10-27SOM网络学习算法流程1.初始化:权值使用较小的随机值进行初始化，并对输入向量和权值做归一化处理X‘=X/||X||，

ω’i=ωi/||ωi||，1<=i<=m，||X||和||ωi||分别为输入的样本向量和权值向量的欧几里得范数。2.将样本输入网络:样本与权值向量做点积，点积值最大的输出神经元赢得竞争，（或者计算样本与权值向量的欧几里得距离，距离最小的神经元赢得竞争）记为获胜神经元。3.更新权值:对获胜的神经元拓扑邻域内的神经元进行更新,并对学习后的权值重新归一化。4.更新学习速率η及拓扑邻域N，N随时间增大距离变小。5.判断是否收敛。如果学习率η<=ηmin或达到预设的迭代次数，结束算法，否则，返回第2步。2023/11/4ArtificialNeuralNetworksLesson10-28SOM网络学习算法流程1.初始化权值，并对输入向量和权值做归一化处理2.将样本输入网络，寻找获胜神经元。3.更新权值：对获胜的神经元拓扑邻域内的神经元进行更新,并对学习后的权值重新归一化。

ω(t+1)=ω(t)+η(t，n)*(x-ω(t))

η(t，n):η为学习率，是关于训练时间t和与获胜神经元的拓扑距离n的函数。

η(t，n)=η(t)e-n4.更新学习速率η及拓扑邻域N，N随时间增大距离变小。5.判断是否收敛。如果学习率η<=ηmin或达到预设的迭代次数，结束算法，否则，返回第2步。2023/11/4ArtificialNeuralNetworksLesson10-29SOM网络学习算法流程1.初始化权值，并对输入向量和权值做归一化处理2.将样本输入网络，寻找获胜神经元。3.更新权值：对获胜的神经元拓扑邻域内的神经元进行更新,并对学习后的权值重新归一化。

ω(t+1)=ω(t)+η(t，n)*(x-ω(t))

η(t，n):η为学习率，是关于训练时间t和与获胜神经元的拓扑距离n的函数。

η(t，n)=η(t)e-n4.更新学习速率η及拓扑邻域N，N随时间增大距离变小。5.判断是否收敛。如果学习率η<=ηmin或达到预设的迭代次数，结束算法，否则，返回第2步。2023/11/4ArtificialNeuralNetworksLesson10-30ArtificialNeuralNetworksArtificialNeuralNetworks:IntroductionSingleLayerNeuralNetworksMultipleLayerNeuralNetworksSelf-OrganizingMap(SOM)，自组织映射OtherNeuralNetworkssklearn.neural_network2023/11/4ArtificialNeuralNetworksLesson10-31OtherNeuralNetworksRBF网络RBF(RadialBasisFunction，径向基函数)网络是一种单隐层前馈神经网络，它使用径向基函数作为隐层神经元激活函数，而输出层则是对隐层神经元输出的线性组合.假定输入为d维向量x，输出为实值，

则RBF网络可表示为：常用的高斯径向基函数形如：2023/11/4ArtificialNeuralNetworksLesson10-32OtherNeuralNetworksRBF网络受限玻尔兹曼机，RestrictedBoltzmannmachines(RBM)RBM是由Hinton和Sejnowski于1986年提出的一种生成式随机神经网络(generativestochasticneuralnetwork)，该网络由一些可见单元(visibleunit，对应可见变量，亦即数据样本)和一些隐藏单元(hiddenunit，对应隐藏变量)构成，可见变量和隐藏变量都是二元变量，亦即其状态取{0,1}。整个网络是一个二部图，只有可见单元和隐藏单元之间才会存在边，可见单元之间以及隐藏单元之间都不会有边连接2023/11/4ArtificialNeuralNetworksLesson10-33OtherNeuralNetworksRBF网络受限玻尔兹曼机RBMareunsupervisednonlinearfeaturelearnersbasedonaprobabilisticmodel.ThefeaturesextractedbyanRBMorahierarchyofRBMsoftengivegoodresultswhenfedintoalinearclassifiersuchasalinearSVMoraperceptronRBM中的神经元都是布尔型的,即只能取0、1两种状态.状态1表示激活,状态0表示抑制.令向量s

属于{0,l}n

表币n个神经元的状态，ωij

表示神经元i与j

之间的连接权，θi也表示神经元i

的阈值，则状态向量s

所对应的Boltzmann机能量定义为：2023/11/4ArtificialNeuralNetworksLesson10-34ArtificialNeuralNetworksArtificialNeuralNetworks:IntroductionSingleLayerNeuralNetworksMultipleLayerNeuralNetworksSelf-OrganizingMap(SOM)，自组织映射OtherNeuralNetworkssklearn.neural_network2023/11/4ArtificialNeuralNetworksLesson10-35sklearn.neural_network