人工智能导论 - 汕头大学

人工智能导论方若宇ryfang@2011年秋季汕头大学计算机系本科课程人工神经元网络什么叫人工神经网络采用物理可实现的系统来模仿人脑神经细胞的结构和功能的系统。为什么要研究神经网络用计算机代替人的脑力劳动。计算机速度为纳秒级，人脑细胞反应时间是毫秒级。而计算机不如人。长期以来人类的梦想，机器既能超越人的计算能力，又有类似于人的识别、分析、联想等能力。人工神经元网络发展史

1890年，美国生物学家W.James出版了《Physiology》（生理学）一书。首次阐明了有关人脑结构及其功能，以及相关学习、联想、记忆的基本规律。指出：人脑中当两个基本处理单元同时活动，或两个单元靠得比较近时，一个单元的兴奋会传到另一个单元。而且一个单元的活动程度与他周围的活动数目和活动密度成正比。

1943年McCulloch（心理学家）和Pitts（数理逻辑学家）发表文章，提出M-P模型。描述了一个简单的人工神经元模型的活动是服从二值（兴奋和抑制）变化的。总结了神经元的基本生理特性，提出了神经元的数学描述和网络的结构方法。

——标志神经计算时代的开始

MP模型的意义：

M-P模型能完成一定的逻辑运算第一个采用集体并行计算结构来描述人工神经元和网络工作。为进一步的研究提供了依据（可以完成布尔逻辑计算）

1949年Donala

U.Hebb（心理学家）论著《TheOrganizationofBehavior（行为自组织）》，提出突触联系强度可变的假设，认为学习的过程最终发生在神经元之间的突触部位，突触的联系强度随着突触前后神经元的活动而变化。

——赫布规则

多用于自组织网络的学习。即：若两个神经元输出兴奋，则它们之间的连接权加强，反之减少。赫布规则意义（提出了变化的概念）提出了一个神经网络里信息是储藏在突触连接的权中的概念连接权的学习律是正比于两个被连接神经细胞的活动状态值的乘积假设权是对称的细胞的互相连接的结构是他们权的改变创造出来的

1957年FrankRosenblatt定义了一个神经网络结构，称为感知器(Perceptron)。

-----规则学习

意义：第一次把神经网络研究从纯理论的探讨推向工程实现，在IBM704计算机上进行了模拟，证明了该模型有能力通过调整权的学习达到正确分类的结果。掀起了神经网络研究高潮。

1969M.Minsky和S.Papert发表了《Perceptrons》的论著，指出感知器仅能解决一阶谓词逻辑，只能做线性划分。对于非线性或其他分类会遇到很大困难。

——神经网络研究达到低潮。原因有：计算机不够发达、VLSI还没出现、而人工智能和专家系统正处于发展高潮。七十年代,据说全球只有几十个人在研究，但还是成功的。如：日本Fukusima的Neocognitron；芬兰Kohonen的自组织神经网络；StephenCrossberg的共振自适应理论ART网络等。

1982年JohnJ.Hopfield（物理学家）提出了全联接网络，离散的神经网络模型。——全新的具有完整理论基础的神经网络模型。基本思想是对于一个给定的神经网络，对于一个能量函数，这个能量函数是正比于每一个神经元的活动值和神经元之间的联接权。而活动值的改变算法是向能量函数减少的方向进行，一直达到一个极小值为止。证明了网络可达到稳定的离散和连续两种情况。３年后AT&T等做出了半导体芯片。

——神经网络复兴时期开始。

1986年美国的一个平行计算研究小组提出了前项反馈神经网络的BackPropagation（BP）学习算法。成为当今应用最广泛的方法之一。该方法克服了感知器非线性不可分类问题，给神经网络研究带来了新的希望。

1987年在美国召开了第一届世界神经网络大会1000人参加。

IJCNN等大会

NeuralComputing,IEEENeuralNetwork等期刊

符号主义与连接主义

符号主义重视逻辑而轻视感知,符号主义易于形式化并能很方便地由计算机实现;连接主义则相反,重视感知而轻视逻辑,而不利于形式化和计算机实现,并且其数学理论十分深奥。共同之处：研究怎样使用计算机来模仿人脑工作过程。学习——实践——再学习——再实践。不同之处：符号主义研究人脑的推理、学习、思考、规划等思维活动，解决需人类专家才能处理的复杂问题。连接主义企图阐明人脑结构及其功能，以及一些相关学习、联想记忆的基本规则（联想、概括、并行搜索、学习和灵活性）神经元模型生物神经元传递信息的过程为多输入、单输出当神经元细胞体通过轴突传到突触前膜的脉冲幅度超过其阈值电位后，突触前膜将向突触间隙释放化学物质

具有不可逆性，脉冲只从突触前传到突触后，不逆向传递神经纤维传导的速度在1—150m／s之间信息传递时延和不应期，一般为0.3～lms

突触传递信息的强度是可变的，即具有学习功能存在学习、遗忘或疲劳（饱和）效应,对应突触传递作用增强、减弱和饱和人工神经网络的结构X2X1-1W1jW2jXnW2j··Σ()Yj

神经元单元由多个输入xi，i=1,2,...,n和一个输出y组成。中间状态由输入信号的权和表示，而输出为

式中，j为神经元单元的偏置，wij为连接权系数。n为输入信号数目，Yj为神经元输出，t为时间，f()为输出变换函数。(a)xf(x)1x00神经元中的某些变换（激发）函数(a)二值函数 (b)S形函数(c)双曲正切函数(c)xf(x)1-1(b)f(x)x10响应函数的基本作用控制输入对输出的激活作用对输入、输出进行函数转换将可能无限域的输入变换成指定的有限范围内的输出网络模型前馈网络：每层只与前层相联接

输入输出有反馈的前馈网络：输出层上存在一个反馈回路，将信号反馈到输入层。而网络本身还是前馈型的人脑神经网络： 人脑中约有１４０亿个神经细胞，根据Stubbz的估计这些细胞被安排在约１０００个主要模块内，每个模块上有上百个神经网络，每个网络约有１０万个神经细胞。

前馈内层互联网络：外部看还是一个前向网络，内部有很多自组织网络在层内互联着。反馈型全互联网络：所有计算单元之间都有联接。如：Hopfield网络反馈型局部联接网络：特例，每个神经元的输出只与其周围的神经元相连，形成反馈网络。前馈型神经网

从最初的感知器发展而来,是应用最广泛的一种人工神经网络模型，最主要原因是对该网络存在有效的学习方法(BP学习方法)。前馈网络结构是分层的，信息只能从下一层单元传递到相应的上一层单元。上层单元与下层所有单元相联接。转移函数可以是线性阈值的。

单层感知器

1957年感知器及其算法的提出,是人工神经网络研究的重大发现.F.Roseblatt成功的用其模拟和分析了动物和人的感知学习能力,可以称为是人类历史上第一个真正的人工神经网络,从该模型在计算机上模拟的学习结果上看,感知器有能力通过学习达到正确分类的目标,该模型是一个有效的学习机.问题:用单层感知器来模拟简单的布尔逻辑函数and,or,not其中利用单层感知器进行分类分类：如果输入x有k个样本，xp,p=1,2,…,k,xRn

当将这些样本分别输入到单输出的感知器中，在一定的和条件下，输出有两种可能+1或-1。把样本xp看作为在n维状态空间中的一个矢量，那么k个样本为输入空间的k个矢量。而感知器的转移函数方程就是把这个n为空间分为SA、SB两个子空间，其分界线为n-1维的超平面。即用一个单输出的感知器通过调整参数及来达到k个样本的正确划分。

即存在一组权值wij使得公式(1)满足:

则称样本集为线性可分的，否则为线性不可分的。

希望找到一根直线，把A,B两类样本分开，其分界线为:

解有无数个。

++++++++X1X2单层感知器进行二维分类的例子

感知機学习方法步驟一：網路初始化以隨機的方式來產生亂數，令w(0)為很小的實數，並且將學習循環n設定為1。步驟二：計算網路輸出值在第n次學習循環時，呈現輸入向量x(n)，此時類神經元的輸出為：

步驟三：調整鍵結值向量

步驟四：將學習循環n加1；回到步驟二。(2.11)感知機学习方法調整後的類神經元，若再用相同的輸入範例來加以測試，則其輸出值會更加地接近期待值，其原因如下：圖2.4：以幾何觀點來分析感知機之訓練過程；(a)若d=-1且y=1；(b)若d=1且y=-1。

例2.1：訓練資料x(n)

期望輸出值d(n)

(0,0)T1(0,1)T1(1,0)T-1(1,1)T1

學習率為0.8，並且將鍵結值的初始值設定為(0,1)，令活化函數為sgn函數，神經元之閥值為-1(1)n=0(1)n=1，

(2)n=2，

(3)n=3，

(5)n=5，

(6)n=6，

(4)n=4，

感知机在学习过程中的分类直线变化图

例2.1：

假設當初學習率設定為0.1，那麼的修正量會不同：

此時若將相同的輸入測試此新的鍵結值向量，會發現期望輸出值為-1，但感知機輸出值為1，分類錯誤，因此仍需修正感知機的鍵結值向量。

也就是說，感知機的學習過程並不保證一次就學會；有時更會發生為了學新的輸入卻將原先已正確分類的資料給誤判了。

单层感只能解决线性可分类的样本的分类问题。如样本不能用一个超平面分开，就会产生Minsky等提出的不可分问题。

问题:用单层感知器来模拟的布尔逻辑函数XOR吗?前馈型神经网及反向传播学习算法

由于前馈型神经网络多采用反向传播学习算法进行训练,有时也称为反向传播网络(BP网络)。其网络模型的输入输出关系与单层感知器完全相同,前一层的输入是下一层的输出。

BP是将W-H学习规则一般化，对非线性可微分函数进行权值训练的多层网络.权值的调整采用反向传播(Back-propagation）的学习算法,它是一种多层前向反馈神经网络，其神经元的变换函数是S型函数输出量为0到1之间的连续量，它可实现从输入到输出的任意的非线性映射。

.........x0y0ym2-1

绝大多数前馈神经网络有隐层结点(可以是一层或者是多层)。对于输入信号,先要向前传播到隐结点,经过转移函数后,再把隐结点的输出信息传播到输出结点,最后给出输出结果。BP学习算法BP学习算法的学习过程由正向传播两部分组成在正向传播过程中,输入信息从输入层经隐结点单元逐层处理,并传向输出层,每一层神经元的状态只影响下一层神经元的状态。如果在输出层不能得到期望的输出,则转入反向传播过程,将误差信号沿原来的连接通路返回,通过修改各层神经元的连接权值,使得误差信号递减至最小。因此,学习的过程就是求解连接权的过程。设输入样本集大小为P,有样本x1,x2,…,xp

和相应的教师信号t1,t2,…,tp

,学习算法用实际的输出y1,y2,…,yp

与t1,t2,…,tp

之间的误差来修改其连接权和阙值。为了方便,将阙值并入权重矩阵中W。(以一个隐层的BP网络为例),有

当第p个样本输入到网络时,得到输yk入,k=0,…,m-1,其使用平方型误差函数:

而对于整个样本集的P个样本的误差为

从误差方程中可以看到误差E是连接权值W的非线形函数。采用梯度下降法,对每个连接Wst权的修正值为由公式可知,采用梯度下降法,可以使得总的误差向减小的方向发展,直到0具体的学习过程如下：在迭代次数为t时，每一层的连接权为由网络结点转移函数公式已知，连接权仅仅与上层的结点有关，因此

理论上已经证明：具有偏差和至少一个S型隐含层加上一个线性输出层的网络，能够逼近任何有理函数增加层数主要可以进一步的降低误差，提高精度，但同时也使网络复杂化，从而增加了网络权值的训练时间。一般情况下应优先考虑增加隐含层中神经元数仅用具有非线性激活函数的单层网络来解决问题没有必要或效果不好BP网络学习精度BP网络学习速率学习速率决定每一次循环训练中所产生的权值变化量大的学习速率可能导致系统的不稳定小的学习速率导致较长的训练时间，可能收敛很慢，不过能保证网络的误差值不跳出误差表面的低谷而最终趋于最小误差值所以在一般情况下，倾向于选取较小的学习速率以保证系统的稳定性。学习速率的选取范围在0.01-0.8之间BP算法存在的问题神经网络存在的局部最小问题当网络达到一定的规模后，学习算法收敛速度较慢采用单向传播的方式，没有反馈机制可提供在线学习训练样本的顺序有可能影响学习的速度和精度，新加入的样本会影响到已经学完的样本应用例子1:

用于大字符集识别的神经网络结构图

IntegrationMLPnetworkGeneralizedMLPnetworkclassifierOutput1Output2OutputNIn