多层神经网络MLP快速入门

神经网络学习交流汇报多层神经网络MLP快速入门第1页目录CONTENTE神经元模型1感知机与多层神经网络2应用一：MLP分类器3应用二：MLP3D可视化4多层神经网络MLP快速入门第2页神经元模型人工神经网络（ann）是一个计算模型，启发自人类大脑处理信息生物神经网络。人工神经网络在语音识别、计算机视觉和自然语言理领域取得了一系列突破，让机器学习研究和产业兴奋了起来。神经网络（neuralnetworks）方面研究很早就已经出现，今天“神经网络”已是一个相当大、多学科交叉学科领域。神经网络中最基本成份是神经元（neuron）模型，普通称作「节点」（node）或者「单元」（unit）。节点从其它节点接收输入，或者从外部源接收输入，然后计算输出。每个输入都辅有「权重」（weight，即w），权重取决于其它输入相对主要性。节点将函数f（定义以下）应用到加权后输入总和，如图1所表示：多层神经网络MLP快速入门第3页神经元模型还有配有权重b（称为「偏置（bias）」或者「阈值（threshold）」）输入1。多层神经网络MLP快速入门第4页神经元模型函数f是非线性，叫做激活函数。激活函数作用是将非线性引入神经元输出。因为大多数现实世界数据都是非线性，我们希望神经元能够学习非线性函数表示，所以这种应用至关主要。每个（非线性）激活函数都接收一个数字，并进行特定、固定数学计算。在实践中，可能会碰到几个激活函数：Sigmoid（S型激活函数）：输入一个实值，输出一个0至1间值σ(x)=1/(1+exp(−x))tanh（双曲正切函数）：输入一个实值，输出一个[-1,1]间值tanh(x)=2σ(2x)−1ReLU：ReLU代表修正线性单元。输出一个实值，并设定0阈值（函数会将负值变为零）f(x)=max(0,x)多层神经网络MLP快速入门第5页神经元模型将上述情形抽象，就是一直沿用至今“M-P”神经元模型。在这个模型中，神经元收到来自n个其它神经元传递来输入信号，这些输入信号经过带权重（w）连接进行传递，神经元接收到输入值将与神经元阈值进行比较，然后经过“激活函数”得到神经元输出。多层神经网络MLP快速入门第6页感知机与多层神经网络前馈神经网络是最先创造也是最简单人工神经网络。它包含了安排在多个层中多个神经元（节点）。相邻层节点有连接或者边（edge）。全部连接都配有权重。多层神经网络MLP快速入门第7页感知机与多层神经网络一个前馈神经网络能够包含三种节点：1.输入节点：输入节点从外部世界提供信息，总称为「输入层」。在输入节点中，不进行任何计算——仅向隐藏节点传递信息。2.隐藏节点：隐藏节点和外部世界没有直接联络（由此得名）。这些节点进行计算，并将信息从输入节点传递到输出节点。隐藏节点总称为「隐藏层」。尽管一个前馈神经网络只有一个输入层和一个输出层，但网络里能够没有也能够有多个隐藏层。3.输出节点：输出节点总称为「输出层」，负责计算，并从网络向外部世界传递信息。在前馈网络中，信息只单向移动——从输入层开始前向移动，然后经过隐藏层（假如有话），再到输出层。在网络中没有循环或回路（前馈神经网络这个属性和递归神经网络不一样，后者节点连接组成循环）。多层神经网络MLP快速入门第8页感知机与多层神经网络多层感知器（MultiLayerPerceptron，即MLP）包含最少一个隐藏层（除了一个输入层和一个输出层以外）。单层感知器只能学习线性函数，而多层感知器也能够学习非线性函数。多层神经网络MLP快速入门第9页感知机与多层神经网络训练我们多层感知器BP算法（backpropagation），反向传输误差算法，是几个训练人工神经网络方法之一。这是一个监督学习方法，即经过标识训练数据来学习（有监督者来引导学习）。由前向传输和后向传输组成。简单说来，BackProp就像「从错误中学习」。监督者在人工神经网络犯错误时进行纠正。学习目标是为分配正确权重。经过输入向量，这些权重能够决定输出向量。前向传输：最初，全部边权重（edgeweight）都是随机分配。对于全部训练数据集中输入，人工神经网络都被激活，而且观察其输出。后向传输：这些输出会和我们已知、期望输出进行比较，误差会「传输」回上一层。该误差会被标注，权重也会被对应「调整」。该流程重复，直到输出误差低于制订标准。多层神经网络MLP快速入门第10页感知机与多层神经网络上述算法结束后，我们就得到了一个学习过人工神经网络，该网络被认为是能够接收「新」输入。该人工神经网络能够说从几个样本（标注数据）和其错误（误差传输）中得到了学习。然后我们看一个案例。多层神经网络MLP快速入门第11页感知机与多层神经网络我们通常在感知器输出层中使用Softmax函数作为激活函数，以确保输出是概率而且相加等于1。Softmax函数接收一个随机实值分数向量，转化成多个介于0和1之间、而且总和为1多个向量值。所以，在这个例子中：概率（Pass）+概率（Fail）=1多层神经网络MLP快速入门第12页感知机与多层神经网络多层神经网络MLP快速入门第13页感知机与多层神经网络假如我们现在再次向网络输入一样样本，网络应该比之前有更加好表现，因为为了最小化误差，已经调整了权重。如图7所表示，和之前[0.6,-0.4]相比，输出节点误差已经降低到了[0.2,-0.2]。这意味着我们网络已经学习了怎样正确对第一个训练样本进行分类。多层神经网络MLP快速入门第14页应用一：MLP分类器多层神经网络MLP快速入门第15页应用一：MLP分类器多层神经网络MLP快速入门第16页应用一：MLP分类器多层神经网络MLP快速入门第17页应用一：MLP分类器多层神经网络MLP快速入门第18页应用一：MLP分类器多层神经网络MLP快速入门第19页应用一：MLP分类器多层神经网络MLP快速入门第20页应用一：MLP分类器多层神经网络MLP快速入门第21页应用一：MLP分类器多层神经网络MLP快速入门第22页应用一：MLP分类器多层神经网络MLP快速入门第23页应用二：MLP3D可视化AdamHarley创造了一个多层感知器3D可视化（http://scs.ryerson.ca/~aharley/vis/fc/），并已经开始使用MNIST数据库手写数字进行训练。此网络从一个28x28手写数字图像接收784个数字像素值作为输入（在输入层有对应784个节点）。网络第一个隐藏层有300个节点，第二个隐藏层有100个节点，输出层有10个节点（对应10个数字）。即使这个网络跟我们刚才讨论相比大了很多（使用了更多隐藏层和节点），全部前向传输和反向传输步骤计算（对于每个节点而言）方式都是一样。多层神经网络MLP快速入门第24页应用二：MLP3D可视化多层神经网络MLP快速入门第25页应用二：MLP3D可视化多层神