神经网络课堂讲义

神经网络课堂讲义第一页，共三十六页，编辑于2023年，星期三主要内容第二页，共三十六页，编辑于2023年，星期三人工神经网络人工神经网（ArtificialNeuralNetwork，ANN）是20世纪80年代后期迅速发展起来的人工智能技术，对未经训练的数据具有分类模拟的能力，因此在网站信息、生物信息和基因以及文本的数据挖掘等领域得到了越来越广泛的应用。人工神经网络分为前馈和递归。在前馈神经网络中,每一层的节点仅和下一层的节点相连。其中最简单的模型是感知器。在递归神经网络中，允许同一层节点或一层的节点连到前面各层中的节点。第三页，共三十六页，编辑于2023年，星期三感知器人的视觉是重要的感觉器官，人通过视觉接受的信息占全部信息量的80~85%。感知器是模拟人的视觉，接受环境信息，并由神经冲动进行信息传递的神经网络。感知器分单层与多层，是具有学习能力的神经网络。第四页，共三十六页，编辑于2023年，星期三单层感知器第五页，共三十六页，编辑于2023年，星期三单层感知器模型三要素第六页，共三十六页，编辑于2023年，星期三常见形式的激活函数符号函数线性函数用于多层感知器模型。第七页，共三十六页，编辑于2023年，星期三第八页，共三十六页，编辑于2023年，星期三双曲正切函数第九页，共三十六页，编辑于2023年，星期三以符号函数为例第十页，共三十六页，编辑于2023年，星期三学习单层感知器模型第十一页，共三十六页，编辑于2023年，星期三学习单层感知器模型(续)第十二页，共三十六页，编辑于2023年，星期三单层感知器学习算法的流程图第十三页，共三十六页，编辑于2023年，星期三单层感知器训练步骤可总结如下：第十四页，共三十六页，编辑于2023年，星期三第十五页，共三十六页，编辑于2023年，星期三第十六页，共三十六页，编辑于2023年，星期三线性可分问题第十七页，共三十六页，编辑于2023年，星期三线性不可分问题异或（XOR）问题在二维平面中不存在一条直线，将输入模式分为两类。可见：单层感知器不能解决异或问题。第十八页，共三十六页，编辑于2023年，星期三单层感知器的局限性由于单层感知器的激活函数是符号函数，则感知器神经网络的输出只能取-1或1。因此单层感知器只能用于简单的分类问题。只能解决线性可分问题，而大量的分类问题是线性不可分的。当输入矢量中有一个数比其他数都大或小得很多时，可能导致较慢的收敛速度。第十九页，共三十六页，编辑于2023年，星期三多层感知器多层感知器(MLP)是一种多层前馈网络模型，它通常由三部分组成：(1)一组感知单元组成输入层(2)一层或多层计算节点的隐藏层(3)一层计算节点的输出层它广泛应用于模式识别、图像处理、函数逼近、优化计算等领域。根据Kolmogorov定理，只要给定足够数量的隐藏层节点、适当的非线性函数、以及权重，任何由输入向输出的连续映射函数均可用一个三层前馈神经网络实现。

第二十页，共三十六页，编辑于2023年，星期三三层感知器的预测公式第二十一页，共三十六页，编辑于2023年，星期三三层感知器解决异或(XOR)问题第二十二页，共三十六页，编辑于2023年，星期三网络拓扑结构第二十三页，共三十六页，编辑于2023年，星期三网络拓扑结构(续)第二十四页，共三十六页，编辑于2023年，星期三网络拓扑结构(续)第二十五页，共三十六页，编辑于2023年，星期三学习多层感知器模型第二十六页，共三十六页，编辑于2023年，星期三学习多层感知器模型(续)第二十七页，共三十六页，编辑于2023年，星期三学习多层感知器模型(续)第二十八页，共三十六页，编辑于2023年，星期三人工神经网络的特点具有自学习功能。例如实现图像识别时，只在先把许多不同的图像样板和对应的应识别的结果输入人工神经网络，网络就会通过自学习功能，慢慢学会识别类似的图像。自学习功能对于预测有特别重要的意义。至少含有一个隐藏层的多层神经网络是一种普适近似，即可以用来近似任何目标函数。可以处理冗余特征。神经网络对训练数据中的噪声非常敏感。训练ANN是一个很耗时的过程，特别当隐藏节点数量很大时。可以建构非线性的模型，模型的准确度高。第二十九页，共三十六页，编辑于2023年，星期三数据的准备问题神经网络对数据量有最低要求，一般情况下，一个权重至少需要10个训练数据。通过输入节点将输入变量加以标准化，标准化后的变量数值落在0和1之间，或者是-1和1之间。数据不能含有缺失值和离群点。属性变量必须是数值型。当有成百上千个属性变量时，神经网络效果就不是很好。第三十页，共三十六页，编辑于2023年，星期三最近邻分类器右图中显示的分类框架包括两个步骤：(1)归纳步，由训练数据建立分类模型；(2)演绎步，把模型应用于测试样例。第三十一页，共三十六页，编辑于2023年，星期三两种学习方法第三十二页，共三十六页，编辑于2023年，星期三