自然语言处理理论与实践 课件 第2章 人工神经网络

第2章人工神经网络人工智能导论前馈神经网络循环神经网络卷积神经网络人工神经网络基础参考文献与思考题目录什么是神经元？生物体内的神经元人工神经网络的神经元什么是神经元？

感知机的概念感知机（perceptron）是1975年由美国心理学家FrankRosenblatt提出的，它仅包含一个神经元，是最简单的人工神经网络。利用感知机可以实现逻辑与、或、非的运算。常用的激活函数激活函数（activationfunction）负责将神经元的输入映射为输出，常用的有阶跃函数、logistic函数、tanh函数和ReLU函数。阶跃函数ReLU函数logistic函数和tanh函数前馈神经网络循环神经网络卷积神经网络人工神经网络基础参考文献与思考题目录什么是前馈神经网络？前馈神经网络（FeedforwardNeuralNetwork，FNN）是由多个神经元分成多组互相连接在一起的单向多层网络。反向传播算法前馈神经网络的训练可采用梯度下降法（gradientdescent）学习每一层网络的参数，其中的梯度经常使用反向传播算法（BackPropagation，BP）来计算。使用反向传播算法训练神经网络的过程一般分为三个步骤：前向计算，反向传播和梯度下降。为了衡量当前模型输出的好坏，需要使用损失函数（lossfunction），常用的损失函数有交叉熵（CrossEntropy，CE）损失函数和均方误差（MeanSquareError，MSE）损失函数。反向传播算法前向计算即根据训练样本逐层计算每一层的加权和和激活值，直至最后一层。

反向传播算法反向传播即从最后一层开始反向计算每一层的误差项，并计算最终损失关于每一层权重和偏置的偏导数。

反向传播算法梯度下降即按照梯度下降法来更新每一层的权重和偏置。

前馈神经网络循环神经网络卷积神经网络人工神经网络基础参考文献与思考题目录什么是循环神经网络？循环神经网络（RecurrentNeuralNetwork，RNN）是一种神经网络结构，其特点是隐藏层具有到其自身的“循环”连接，随着时间序列的推进而更新。

输入层隐藏层输出层简单循环神经网络简单循环神经网络按时间展开的循环神经网络

循环神经网络的训练由于循环神经网络每一时刻的隐藏层状态都受前一时刻的影响，因此其训练也先从最后一个时刻的误差开始计算，然后逐时刻回传。这种训练方法称为随时间反向传播算法（BackPropagationThroughTime，BPTT）双向循环神经网络在简单循环神经网络中，时间步t的状态仅依赖于过去的序列，而有些任务中需要对全局的序列状态进行建模。双向循环神经网络（BidirectionalRecurrentNeuralNetwork，Bi-RNN）正是这样一种模型，它在需要双向信息的应用中非常成功，如语音识别、机器翻译等。长短期记忆网络长短期记忆网络（LongShort-TermMemory，LSTM）是一种经典的循环神经网络，它能够克服简单循环神经网络存在的一些问题，如长程依赖（long-termdependency）、梯度消失（gradientvanishing）和梯度爆炸（gradientexploding）。

长短期记忆网络

门控循环单元门控循环单元（GatedRecurrentUnits，GRU）是另一种经典的循环神经网络，它克服了LSTM中由于结构复杂导致的计算效率低的问题。

门控循环单元

前馈神经网络循环神经网络卷积神经网络人工神经网络基础参考文献与思考题目录什么是卷积神经网络？卷积神经网络（ConvolutionalNeuralNetwork，CNN）的提出是受生物学上感受野（receptivefield）机制的启发，即卷积神经网络的神经元只处理其所支配的区域内的信号。卷积神经网络由卷积层、池化层和全连接层交叉堆叠而成，具有局部连接、权重共享和汇聚的特性，也具有了平移、缩放和旋转的不变性，因此在图像分析领域取得了优异的成绩，同时在自然语言处理等领域也有广泛应用。手写字体识别下图是用于手写字体识别的卷积神经网络LeNet-5的结构。网络的输入是一个手写字母A的灰度图像，图像大小为32x32像素，输出是其识别结果。卷积神经网络叠加了多层“卷积层”（convolution）和“子采样层”（subsampling）用于提取图像特征，最后用若干全连接层和高斯连接层得到输出。

手写字体识别卷积层的应用使得卷积神经网络具有了“权重共享”的特性，即通过卷积层使其支配的一组神经元具有相同的连接权重。手写字体识别

最大子采样均值子采样前馈神经网络循环神经网络卷积神经网络人工神经网络基础参考文献与思考题目录参考文献RosenblattF.Principlesofneurodynamics:Perceptionsandthetheoryofbrainmechanisms[M].[S.l.]:Spartan,1962.SiegelmannHT,SontagED.Onthecomputationalpowerofneuralnets[J/OL].J.Comput.Syst.Sci.,1995,50(1):132–150.SchusterM,PaliwalKK.Bidirectionalrecurrentneuralnetworks[J/OL].IEEETrans.SignalProcess.,1997,45(11):2673–2681.HochreiterS,SchmidhuberJ.Longshort-termmemory[J/OL].NeuralComputation,1997,9(8):1735–1780.GersFA,SchmidhuberJ,CumminsFA.Learningtoforget:ContinualpredictionwithLSTM[J/OL].NeuralComputation,2000,12(10):2451–2471.参考文献ChoK,vanMerrienboerB,GülçehreÇ,etal.LearningphraserepresentationsusingRNNencoder-decoderforstatisticalmachinetranslation[C/OL].EMNLP2014,October25-29,2014.LecunY,BottouL,BengioY,etal.Gradient-basedlearningappliedtodocumentrecognition[J].ProceedingsoftheIEEE,1998,86:2278–2324.思考题人工神经元由哪几部分构成？请说明感知机的工作原理，它是否能解决XOR问题？为什么？请列举几种常见的激活函数，它们各有什么特点？什么是反向传播？其工作过程是怎样的？试设计一个前馈神经网络来解决XOR问题。循环