人工神经网络软计算-2

第二章神经网络原理第1节 神经网络基础1、人脑人类具有比其它生物更加优秀的脑，所以产生了文明与进步高度的学习能力、模式识别能力，广泛的适应能力、抽象的思考能力等，正是因为有了进化的脑，才成为可能通过语言的发明，人与人之间复杂、微妙的交流成为可能，也是一大要因由大脑支配的活动环境输入 维持生命活动 精神活动 看 体温调节 记忆 听 心律调节 思考 闻 呼吸 想象 感触 荷尔蒙调节 推理 味觉 运动控制 判断 睡眠 创造 由大脑支配的活动分为三类：来自环境的输入维持生命的活动精神活动特征：精神活动、特别是创造力优秀人脑的构造：可分为大脑、小脑、脑干（间脑，中脑，脑桥，延髓）其中，起最重要作用的是大脑人脑的功能与各机能相对应的大脑的部位图人脑，前头叶与侧头叶显著发达其中，前头叶是创造、思考等的高度的精神活动的重要的部位与听觉相对应的部位位于两耳的附近来自眼睛的视觉信息先送到脑的后部（后头叶），再往前部返回在该过程中进行知觉、认识、理解等的动作人脑的构造大脑、小脑、脑干其中，起最重要作用的是大脑构成脑的细胞，有神经细胞与胶质细胞

神经细胞：140亿左右胶质细胞：神经细胞的5-10倍神经细胞与信息处理直接相关胶质细胞给神经细胞提供能量，起到帮助神经细胞的活动的作用脑中，神经细胞很重要！ 约140亿个神经元，结合成神经网络神经网络的活动决定了大脑的功能大脑的神经网络系统构成了大脑信息处理的主体神经细胞自出生其数量不再增加！但人脑由出生时的400克左右，到成年人的1200-1500克左右，为什么增加？原因：1）胶质细胞的增加2）神经细胞间的连接强度的增加随着成长，神经细胞间的连接变得多了起来，就象人类随着成长，认识越来越多的人，人际关系网络越来越大一样2、神经元的信息处理方式神经元的基本构造：由细胞体、树突和轴突组成树突：由细胞体向外伸出的许多树枝状较短的突起，是信息的输入通道轴突：由细胞体向外伸出的最长的一条神经纤维，是信息的输出通道突触：一个神经元的轴突末梢和另一个神经元的树突或细胞体之间的相互连接处，是输入输出接口神经元电脉冲：0.5~1ms/次神经元的工作机制——非常简单！1）各个神经元接受其他神经元的信号2）当他们的总和超过某值时，即兴奋，产生脉冲，传给下一个神经元，就这么简单但脑中有140亿个神经细胞一个神经元，平均与1000~200000个其它神经元有联系人类高度的信息处理机能的秘密就隐藏在这么多神经元及神经元间的连接上工程上神经网络中所用的神经元的模型神经元的模型来自其它神经元的加权和，超过0输出1，否则什么也不输出（阶跃函数的场合）关键：1）神经元间怎样连接—NN的构成、自组织化2）神经元间结合的强度怎样决定—NN的学习问题神经网络信息处理的基本特点分布存储与容错性:10~40万个死亡/天并行处理性:1ms/次信息处理与存储的合二而一性可塑性与自组织性:学习、熟能生巧层次性与系统性:大脑对信息的处理过程是分层次进行的3、神经网络研究历史1943年，心理学家McCulloch，数学家Pitts：M-P模型，最初的神经元模型，与目前的神经元模型基本一样1949年，心理学家Hebb：Hebb学习规则，目前NN学习规则的基本1958年，Rosenblatt：感知机模型：perceptron—最初的NN模型，具有学习能力的机械，研究热潮1969年，M.Minsky，Papert：共著《Perceptron》书，指出perceptron的局限72年，Kohonen，线性神经网络模型甘利，理论解析中野，联想记忆模型75年，福岛，自组织识别神经网络模型80年，Kohonen，自组织映射理论82年，Hopfieldnetwork，NN中引入物理的能量函数的概念，可解组合优化问题83年，BoltzmannMachine，引入模拟退火概念，更好地解决组合优化问题86年，Rumelhart，BP算法，多层构造NN的较简单的学习方法技术背景计算机的发展，用NN仿真快、方便随着计算机技术的进步，程序内藏式的局限显现了出来这样，人们注目的焦点，由一个处理装置的串行的信息处理方式，变成由多个处理装置的并行的信息处理方式通过多个神经元的结合，达到更高度的信息处理模式的NN，在进行并列处理这点上，与技术的潮流相一致4、神经元的模型将多个模型化的神经元进行连接，构成网络，追求新的信息处理原理模型图1）计算来自其他神经元的带权重的输入之和:对神经元1的输入和=w12*神经元2的输出+w13*神经元3的输出+…+w1n*神经元n的输出=∑w1ixi,i=2…nwij----神经元j与神经元i的连接权重xi—神经元i的输出2）输入之和通过非线性函数f（.）变成输出该非线性函数的存在，是NN能力的源泉f（.）大多具有饱和特性，即函数的值限制在某范围内常用的几种：阶跃函数S函数：Sigmoid函数S函数用的最多，输出连续变化，其微分也是连续的函数，数学上很好处理5、阶层型神经网络的信息处理模式NN对文字识别、声音识别等的模式识别问题比较擅长以由NN构成的文字识别系统为例，简要说明一下神经网络的动作原理由NN的文字识别系统所使用的NN，是层状的构造，所以称阶层型神经网络利用NN识别文字输入层的神经元与所有中间层的神经元结合中间层与输出层也同样输出层的各个神经元与想识别的文字对应例如，想认识数字0~9，则输出层的神经元的个数是10想识别26个字母，输出层的神经元个数应有26个如，3层NN，识别0~9输出层的节点与0~9一一对应识别3：对3利用予处理装置转换成矩阵列表示，将各元素作为NN的输入神经元的模型使用阶跃函数：0、1输入层：当某神经元的输入和超过某一给定值，输出1，否则，输出0其输出乘以权重输入到中间层中间层：抽取输入数据的特征例如，1与0的区别，1有竖线，0为椭圆等，中间层的各神经元，注目于输入数据的某个特征当某神经元的输入和超过某一给定值，认为输入数据中包含了该特征，输出1，向输出层传递输出层：组合由中间层传来的特征，进行最终的决定如识别3时，只与3对应的节点激活这种过程，正好与公司组织中计划的采择过程相似：自下而上，信赖度高的人的意见得到重视，信赖度低的人的意见不太考虑神经网络：输入层中间层 输出 公司组织：一般职员科、室总经理两者均自下而上进行，在此过程中，信赖度低的少数意见被忽略阶层型的神经网络，就是这样，由输入层逐渐向上一层进行阶段式的信息处理NN的特征抽取，并不是使用如“1有竖线”这样明确可用的规则而进行的如果规则能明确记叙，用它们可以得到充分的特性，使用以往的专家系统足够，就不必用NN实际上，作为输入的数字，有许多不确定性，如位置、大小的不同，倾斜、个人差别、杂音等。如，写“0”，接口处NN用多个神经元来吸收这种不确定性6、神经网络的学习以往的信息处理，必须事先按处理顺序编制详细的程序，送入计算机NN与之最大的不同是学习机能。通过学习，仅给出数值数据，就能自动形成判断逻辑NN的学习有三个方面：1）神经元的函数的学习2）神经元的结合方法的学习3）神经元间的结合强度的学习图神经元的函数的学习学习f（）的形状如将斜率由开始的平缓渐渐变陡：学习初期，斜率小，表示意见不明确的迷惑状态随着学习的进行，斜率变陡，即意见逐渐明朗的状态人类思考过程的特点，通过改变神经元函数的倾斜度而表现出来神经元的结合方法的学习决定NN的构造的重要的学习如，要精确测量椅子的高度，使用长一点的尺最合适但因要求测量精度高而用微型尺，反而不能正确测量NN的情况也如此。根据问题对象的难易程度的不同，与之相应的NN的大小也不同但用数学方法确定大小很困难神经元间的结合强度的学习——最重要的学习结合的强度，可表示神经元的信赖度神经元间的结合强度的学习是现在的NN学习的中心7、神经元的学习神经元的学习方法，加上改进算法，有很多，各有优缺点最重要的是理解几个基本的学习方法根据有无教师数据，可分为两大类：有教师学习法、无教师学习法代表性的NN学习方法教师

名称

学习方式（权重的修正量）无 Hebb型学习 输出*其它神经元的输出 （仅限于两个神经元兴奋时）无 竞争型学习 输入向量-权重向量 有 相关学习 教师信号*其它神经元的输出 有 BP算法 (教师信号-输出)*(函数’（输入和))*输出

无教师学习代表性的学习方法是Hebb型学习算法：相邻的两个神经元若相互发火，则两者间的连接权重应加强仅将数据输入给神经网络，可自动生成与之相应的有选择地进行反应的NN因为是网络自身进行其组织的形成，又称自组织化也常用于分类：将输入数据中，相似的同类集合在一起，自动进行分类有教师学习代表性的学习方法是误差反传法，即BP算法该算法是在阶层构造的NN中广泛使用的学习算法，如前面的文字识别的例子首先，利用输入数据与教师数据组，让网络学习。这样，学习后的NN，对于未知的输入，也能给出适应的输出特别适合模式识别问题现在，还有很多人认为NN就是BP算法。BP的提出是1986年。至今已20年，超过该算法的典型方法还没有发现BP算法的概略—以文字识别为例输出层的各神经元与各自的数字相对应要识别数字3，使只与3对应的输出层神经元发火的学习方法具体来说，首先，输入数据，根据输入，输出层的神经元发火但在学习途中，不一定是仅与想识别的文字对应的输出层神经元发火强度最大该神经元的发火程度小，或其他神经元的发火强度大，都有可能发生于是，可求出误差：误差=教师信号（希望输出）-实际输出该发火的神经元完全没有发火：误差=1（该发火）-0（没有发火）=1不该发火的神经元发火了：误差=0（不该发火）-1（发火了）=-1BP算法，利用求出的输出层的误差，调节与输出层神经元所连接的权重，使误差为0，即学习而且，BP学习方法在数学上也很巧妙在输出层的前一层，利用在输出层求出的结果，使在该层的等价误差减少，学习权重同样的操作向输入层逐层进行，所有的权重都进行学习这样，BP算法中，误差成分由输出层向输入层反向传递，修正权重BP学习算法也叫一般化δ规