神经网络课堂讲义PPT课件

1、主要内容第1页/共36页人工神经网络 人工神经网（Artificial Neural Network，ANN）是20世纪80年代后期迅速发展起来的人工智能技术，对未经训练的数据具有分类模拟的能力，因此在网站信息、生物信息和基因以及文本的数据挖掘等领域得到了越来越广泛的应用。 人工神经网络分为前馈和递归。在前馈神经网络中,每一层的节点仅和下一层的节点相连。其中最简单的模型是感知器。在递归神经网络中，允许同一层节点或一层的节点连到前面各层中的节点。第2页/共36页感知器 人的视觉是重要的感觉器官，人通过视觉接受的信息占全部信息量的8085%。 感知器是模拟人的视觉，接受环境信息，并由神经冲动进行信

2、息传递的神经网络。 感知器分单层与多层，是具有学习能力的神经网络。第3页/共36页单层感知器第4页/共36页单层感知器模型三要素第5页/共36页常见形式的激活函数符号函数线性函数用于多层感知器模型。第6页/共36页第7页/共36页双曲正切函数第8页/共36页以符号函数为例第9页/共36页学习单层感知器模型第10页/共36页学习单层感知器模型(续)第11页/共36页单层感知器学习算法的流程图第12页/共36页单层感知器训练步骤可总结如下：第13页/共36页第14页/共36页第15页/共36页线性可分问题000100010111第16页/共36页线性不可分问题线性不可分问题 2u 1u 异或（异或

3、（XOR）问题）问题 在二维平面中不存在一条直线，将输入模式分为两类。在二维平面中不存在一条直线，将输入模式分为两类。可见可见：单层感知器不能解决单层感知器不能解决异或问题异或问题。第17页/共36页单层感知器的局限性 由于单层感知器的激活函数是符号函数，则感知器神经网络的输出只能取-1或1。因此单层感知器只能用于简单的分类问题。 只能解决线性可分问题，而大量的分类问题是线性不可分的。 当输入矢量中有一个数比其他数都大或小得很多时，可能导致较慢的收敛速度。第18页/共36页多层感知器 多层感知器(MLP)是一种多层前馈网络模型，它通常由三部分组成：(1)一组感知单元组成输入层(2)一层或多层计

4、算节点的隐藏层(3)一层计算节点的输出层 它广泛应用于模式识别、图像处理、函数逼近、优化计算等领域。根据Kolmogorov定理，只要给定足够数量的隐藏层节点、适当的非线性函数、以及权重，任何由输入向输出的连续映射函数均可用一个三层前馈神经网络实现。第19页/共36页三层感知器的预测公式第20页/共36页三层感知器解决异或三层感知器解决异或(XOR)(XOR)问题问题第21页/共36页网络拓扑结构第22页/共36页网络拓扑结构(续)第23页/共36页网络拓扑结构(续)第24页/共36页学习多层感知器模型第25页/共36页学习多层感知器模型(续)第26页/共36页学习多层感知器模型(续)第27页

5、/共36页人工神经网络的特点 具有自学习功能。例如实现图像识别时，只在先把许多不同的图像样板和对应的应识别的结果输入人工神经网络，网络就会通过自学习功能，慢慢学会识别类似的图像。自学习功能对于预测有特别重要的意义。 至少含有一个隐藏层的多层神经网络是一种普适近似，即可以用来近似任何目标函数 。 可以处理冗余特征。 神经网络对训练数据中的噪声非常敏感。 训练ANN是一个很耗时的过程，特别当隐藏节点数量很大时。 可以建构非线性的模型，模型的准确度高。第28页/共36页数据的准备问题 神经网络对数据量有最低要求，一般情况下，一个权重至少需要10个训练数据。 通过输入节点将输入变量加以标准化，标准化后的变量数值落在0和1之间，或者是-1和1之间。 数据不能含有缺失值和离群点。 属性变量必须是数值型。 当有成百上千个属性变量时，神经网络效果就不是很好。第29页/共36页最近邻分类器右图中显示的分类框架包括两个步骤：(1)归纳步，由训练数据建立分类模型；(2)演绎步，把模型应用于测试样例。第30页/