神经网络模式识别法介绍

第8章神经网络模式识别法介绍第1页8.1人工神经网络发展概况8.2神经网络基本概念8.3前馈神经网络8.4反馈网络模型Hopfield网络第8章神经网络模式识别法神经网络模式识别法介绍第2页8.1人工神经网络发展概况人工神经网络(ArtificialNeuralNetworks，ANN)：简称神经网络。模拟人脑神经细胞工作特点：与当前按串行安排程序指令计算机结构截然不一样。*单元间广泛连接；*并行分布式信息存贮与处理；*自适应学习能力等。优点：(1)较强容错性;(2)很强自适应学习能力；(3)可将识别和若干预处理融为一体进行；神经网络模式识别法介绍第3页(4)并行工作方式；(5)对信息采取分布式记忆，含有鲁棒性。四个发展阶段：第一阶段：启蒙期，始于1943年。形式神经元数学模型提出。第二阶段：低潮期，始于1969年。《感知器》(Perceptions)一书出版，指出不足。第三阶段：复兴期，从1982年到1986年。Hopfield两篇论文提出新神经网络模型；《并行分布处理》出版，提出反向传输算法。第四个阶段：1987年至今，趋于平稳。回顾性综述文章“神经网络与人工智能”。神经网络模式识别法介绍第4页8.2神经网络基本概念8.2.1生物神经元1．生物神经元结构细胞体、树突、轴突和突触。神经网络模式识别法介绍第5页2．生物神经元工作机制兴奋和抑制两种状态。抑制状态神经元由树突和细胞体接收传来兴奋电位不应期产生输出脉冲输入兴奋总量超出阈值神经元被激发进入兴奋状态由突触传递给其它神经元神经网络模式识别法介绍第6页8.2.2人工神经元及神经网络人工神经元：生物神经元简化模拟。人工神经元间互连：信息传递路径轴突-突触-树突简化；连接权值：两个互连神经元之间相互作用强弱。图8.2人工神经元模型接收信息(其它神经元输出)

互连强度作比较阈值n维输入向量X

输出输出函数神经网络模式识别法介绍第7页神经元动作：输出函数f：也称作用函数，非线性。阈值型S型伪线性型f为阈值型函数时：设，点积形式：式中，神经网络模式识别法介绍第8页8.2.3神经网络学习学习：同一个训练集样本输入输出模式重复作用于网络，网络按照一定训练规则自动调整神经元之间连接强度或拓扑结构，使实际输出满足期望要求或者趋于稳定。实质：1．Hebb学习规则经典权值修正方法：Hebb学习规则、误差修正学习假如神经网络中某一神经元与另一直接与其相连神经元同时处于兴奋状态，那么这两个神经元之间连接强度应该加强。神经网络最主要特征之一。神经网络模式识别法介绍第9页wij(t+1)：修正一次后某一权值；η：学习因子，表示学习速率百分比常数；yj(t)，yi(t)：分别表示t时刻第j个和第i个神经元状态（输出）。由有：神经元间连接神经网络模式识别法介绍第10页2.δ学习规则（3）更新权值，阈值可视为输入恒为（－1）一个权值；（1）选择一组初始权值wij(1)；（2）计算某一输入模式对应实际输出与期望输出误差；式中，（4）返回(2)，直到对全部训练模式网络输出均能满足要求。dj，yj(t)：第j个神经元期望输出与实际输出；xi(t)：第j个神经元第i个输入。神经网络学习表达在：η：学习因子；权值改变；网络结构改变。神经网络模式识别法介绍第11页8.2.4神经网络结构分类分层结构有显著层次，信息流向由输入层到输出层。——前馈网络没有显著层次，任意两个神经元之间可达，含有输出单元到隐层单元或输入单元反馈连接。——反馈网络相互连接结构神经网络模式识别法介绍第12页8.3前馈神经网络8.3.1感知器感知器（Perceptron）：F．Rosenblatt于1957年提出。感知器结构示意图*双层（输入层、输出层）；*两层单元之间为全互连；*连接权值可调。结构特点：*输出层神经元个数等于类别数（两类问题时输出层为一个神经元）。神经网络模式识别法介绍第13页设输入模式向量，，共M类。输出层第j个神经元对应第j个模式类，θj：第j个神经元阈值；wij：输入模式第i个分量与输出层第j个神经元间连接权。令。取

有输出为输出单元对全部输入数值加权求和，经阈值型输出函数产生一组输出模式。神经网络模式识别法介绍第14页M类问题判决规则(神经元输出函数)为*正确判决关键：输出层每个神经元必须有一组适当权值。*感知器采取监督学习算法得到权值；*权值更新方法：δ学习规则。算法描述第一步：设置初始权值wij(1)，w(n+1)j(1)为第j个神经元阈值。第二步：输入新模式向量。第三步：计算神经元实际输出。神经网络模式识别法介绍第15页设第k次输入模式向量为Xk，与第j个神经元相连权向量为第j个神经元实际输出为第四步：修正权值。dj：第j个神经元期望输出。第五步：转到第二步。当全部学习样本都能正确分类时，学习过程结束。经验证实，当η随k增加而减小时，算法一定收敛。神经网络模式识别法介绍第16页8.3.2BP网络BP网络：采取BP算法（Back-PropagationTrainingAlgorithm）多层感知器。误差反向传输算法认识最清楚、应用最广泛。性能优势：识别、分类1．多层感知器针对感知器学习算法不足：模式类必须线性可分。输入层第一隐层第二隐层输出层中间层为一层或多层处理单元；前馈网络；结构：只允许一层连接权可调。神经网络模式识别法介绍第17页2．BP算法两个阶段正向传输阶段：逐层状态更新反向传输阶段：误差BP算法学习过程设：某层任一神经元j输入为netj，输出为yj；相邻低一层中任一神经元i输出为yi。jiwij：神经元i与j之间连接权；f(∙)：神经元输出函数。神经网络模式识别法介绍第18页S型输出函数：θj：神经元阈值；h0：修改输出函数形状参数。设：输出层中第k个神经元实际输出为yk，输入为netk；与输出层相邻隐层中任一神经元j输出为yj。神经网络模式识别法介绍第19页对输入模式Xp，若输出层中第k个神经元期望输出为dpk，实际输出为ypk。输出层输出方差：若输入N个模式，网络系统均方差为：当输入Xp时，wjk修正增量：其中，由式得到：神经网络模式识别法介绍第20页令，可得输出单元误差：输出单元修正增量：对于与输出层相邻隐层中神经元j和该隐层前低一层中神经元i：输出层中神经元输出误差反向传输到前面各层，对各层之间权值进行修正。神经网络模式识别法介绍第21页BP算法步骤：第一步：对权值和神经元阈值初始化：(0，1)上分布随机数。第二步：输入样本，指定输出层各神经元希望输出值。第三步：依次计算每层神经元实际输出，直到输出层。第四步：从输出层开始修正每个权值，直到第一隐层。若j是输出层神经元，则：若j是隐层神经元，则：第五步：转到第二步，循环至权值稳定为止。神经网络模式识别法介绍第22页改进权值修正：——收敛快、权值平滑改变α：平滑因子，0<α<1。BP算法存在问题：*存在局部极小值问题；*算法收敛速度慢；*隐层单元数目标选取无普通指导标准；*新加入学习样本影响已学完样本学习结果。神经网络模式识别法介绍第23页*输出层各单元之间相互用较大负权值输入对方，组成正反馈。8.3.3竞争学习神经网络1．竞争学习经典非监督学习策略。与二层前馈网络类似；结构特点：输出层含有侧抑制。竞争层：竞争学习网络关键侧抑制：加强本身*含有最高输入总和单元输出状态为1，其它单元为0。神经网络模式识别法介绍第24页2．汉明(Hamming)网分类器结构：仿效生物神经网“中心激励，侧向抑制”功效。神经网络模式识别法介绍第25页工作原理：*每个模式类由一个经典样本代表；*匹配网计算输入样本与各类经典样本匹配度，由匹配度决定匹配网输出；*由最大网给出输入样本所在类别号（分类）。匹配度=n－输入样本与经典样本之间汉明距离xij：第j类经典样本第i个分量；xi：输入样本第i个分量；n：样本向量维数。输入样本与典型样本越相同：汉明距离越小，匹配度越大。二值模式向量(分量：+1,-1)分类准则：样本间汉明距离最小。神经网络模式识别法介绍第26页匹配网上层每个神经元输出：：输入样本第i个分量与匹配网上层第j个神经元连接权；：第j个神经元阈值。

wij由第j类经典样本各分量确定。匹配网输出函数f(∙)：神经网络模式识别法介绍第27页汉明网算法步骤：第一步：设置权值和神经元阈值。wlk：最大网中第l个神经元和第k个神经元连接权；最大网中神经元阈值为零。xij：第j类经典样本第i个分量；wij：匹配网上层神经元j和输入样本第i个分量连接权;θj

：神经元j阈值。神经网络模式识别法介绍第28页第三步，进行迭代运算直到收敛。第四步：转到第二步。第二步：输入未知样本，计算匹配网上层各神经元输出sj，设置最大网中神经元输出初始值。设最大网中第j个神经元在t时刻输出为y(t)，则神经网络模式识别法介绍第29页3．自组织特征映射神经网络

（SOM网络）图8.10神经元之间相互作用与距离关系神经网络中邻近各神经元经过侧向交互作用彼此相互竞争，自适应地发展成检测不一样信号特殊检测器。T.Kohonen关于自组织特征映射含义：神经网络模式识别法介绍第30页输入层：每个神经元与输出层全部神经元连接。输入连续值模式向量。SOM网络结构：输出层：广泛连接，格阵形式。竞争学习算法：由交互作用函数取代简单侧抑制。神经网络模式识别法介绍第31页自组织特征映射算法步骤：第一步：设置初始权值，定义输出层神经元邻域。第二步：输入新模式向量。第三步：计算输入模式到每个输出层神经元j距离dj。wij(t)：t时刻输入层神经元i到输出层神经元j之间连接权。第四步：选择与输入模式距离最小输出层神经元j*。第五步：修改与j*及其邻域中神经元连接权值。设t时刻神经元j*邻域用表示，权值修改为：：修正参数，，随t增加而减小。第六步：转到第二步。神经网络模式识别法介绍第32页聚类中心：存放在与神经元j*连接权值上。输出层神经元邻域选择：初始邻域选择大些，随算法进行逐步收缩。神经网络模式识别法介绍第33页8.4反馈网络模型Hopfield网络寻找记忆：模拟人脑联想记忆功效神经网络模型。网络由初始状态向稳定状态演化过程。初始输出模式向量单层全互连、权值对称神经网络。结构：Hopfield网络（HNN）离散型HNN(DHNN)：M-P模型二值神经元连续型HNN(CHNN)：神经元为连续时间输出。神经网络模式识别法介绍第34页*每个神经元输出经过加权与其余神经元输入端连接；*输入模式向量各分量及神经元输出值取(+1)或(-1)；*神经元个数与输入模式向量维数相同；*记忆样本记忆在神经元之间连接权上。DHNN：*每个模式类有一个记忆样本，是网络一个稳定输出状态。神经网络模式识别法介绍第35页设是第s类记忆样本。为了存放M个记忆样本，神经元i和神经元j之间权值wij为设有M类模式，则有M个记忆样本，分别是网络M个稳定输出状态。若神经元i输入为ui，输出为，则式中，神经网络模式识别法介绍第36页