神经网络模式识别

神经网络模式识别法2.1人工神经网络发展概况2.2神经网络基本概念2.3前馈神经网络2.4反馈网络模型Hopfield网络2.5基于神经网络的电子鼻识别技术第2章神经网络模式识别法2.1人工神经网络发展概况人工神经网络(ArtificialNeuralNetworks，ANN)：简称神经网络。模拟人脑神经细胞的工作特点：与目前按串行安排程序指令的计算机结构截然不同。*单元间的广泛连接；*并行分布式的信息存贮与处理；*自适应的学习能力等。优点：

(1)较强的容错性;(2)很强的自适应学习能力；(3)可将识别和若干预处理融为一体进行；(4)并行工作方式；(5)对信息采用分布式记忆，具有鲁棒性。四个发展阶段：第一阶段：启蒙期，始于1943年。形式神经元的数学模型提出。第二阶段：低潮期，始于1969年。《感知器》(Perceptions)一书出版，指出局限性。第三阶段：复兴期，从1982年到1986年。Hopfield的两篇论文提出新的神经网络模型；《并行分布处理》出版，提出反向传播算法。第四个阶段：1987年至今，趋于平稳。回顾性综述文章“神经网络与人工智能”。2.2神经网络基本概念2.2.1生物神经元1．生物神经元的结构细胞体、树突、轴突和突触。2．生物神经元的工作机制兴奋和抑制两种状态。抑制状态的神经元由树突和细胞体接收传来的兴奋电位不应期产生输出脉冲输入兴奋总量超过阈值神经元被激发进入兴奋状态由突触传递给其它神经元2.2.2人工神经元及神经网络人工神经元：生物神经元的简化模拟。人工神经元间的互连：信息传递路径轴突-突触-树突的简化；连接的权值：两个互连的神经元之间相互作用的强弱。人工神经元模型接收的信息(其它神经元的输出)

互连强度作比较的阈值n维输入向量X

输出输出函数神经元的动作：输出函数f：也称作用函数，非线性。阈值型S型伪线性型f为阈值型函数时：设，点积形式：式中，2.2.3神经网络的学习学习：

同一个训练集的样本输入输出模式反复作用于网络，网络按照一定的训练规则自动调节神经元之间的连接强度或拓扑结构，使实际输出满足期望的要求或者趋于稳定。实质：1．Hebb学习规则典型的权值修正方法：Hebb学习规则、误差修正学习

如果神经网络中某一神经元与另一直接与其相连的神经元同时处于兴奋状态，那么这两个神经元之间的连接强度应该加强。神经网络的最重要特征之一。wij(t+1)：修正一次后的某一权值；η：学习因子，表示学习速率的比例常数；yj(t)，yi(t)：分别表示t时刻第j个和第i个神经元的状态（输出）。由有：

神经元间的连接2.δ学习规则（3）更新权值，阈值可视为输入恒为（－1）的一个权值；（1）选择一组初始权值wij(1)；（2）计算某一输入模式对应的实际输出与期望输出的误差；式中，（4）返回(2)，直到对所有训练模式网络输出均能满足要求。dj，yj(t)：第j个神经元的期望输出与实际输出；xi(t)：第j个神经元的第i个输入。神经网络的学习体现在：η：学习因子；权值变化；网络结构变化。2.2.4神经网络的结构分类分层结构有明显层次，信息流向由输入层到输出层。——前馈网络

没有明显层次，任意两个神经元之间可达，具有输出单元到隐层单元或输入单元的反馈连接。——反馈网络相互连接结构2.3前馈神经网络2.3.1感知器感知器（Perceptron）：F．Rosenblatt于1957年提出。

感知器结构示意图*双层（输入层、输出层）；*两层单元之间为全互连；*连接权值可调。结构特点：*输出层神经元个数等于类别数（两类问题时输出层为一个神经元）。设输入模式向量，，共M类。输出层第j个神经元对应第j个模式类，θj：第j个神经元的阈值；wij：输入模式第i个分量与输出层第j个神经元间的连接权。令。取

有输出为

输出单元对所有输入数值加权求和，经阈值型输出函数产生一组输出模式。M类问题判决规则(神经元的输出函数)为*正确判决的关键：输出层每个神经元必须有一组合适的权值。

*感知器采用监督学习算法得到权值；*权值更新方法：δ学习规则。算法描述第一步：设置初始权值wij(1)，w(n+1)j(1)为第j个神经元的阈值。第二步：输入新的模式向量。第三步：计算神经元的实际输出。设第k次输入的模式向量为Xk，与第j个神经元相连的权向量为第j个神经元的实际输出为第四步：修正权值。dj：第j个神经元的期望输出。第五步：转到第二步。当全部学习样本都能正确分类时，学习过程结束。经验证明，当η随k的增加而减小时，算法一定收敛。2.3.2BP网络BP网络：采用BP算法（Back-PropagationTrainingAlgorithm）的多层感知器。误差反向传播算法认识最清楚、应用最广泛。性能优势：识别、分类1．多层感知器

针对感知器学习算法的局限性：模式类必须线性可分。输入层第一隐层第二隐层输出层中间层为一层或多层处理单元；前馈网络；结构：只允许一层连接权可调。2．BP算法两个阶段正向传播阶段：逐层状态更新反向传播阶段：误差BP算法的学习过程

设：某层任一神经元j的输入为netj，输出为yj；相邻低一层中任一神经元i的输出为yi。jiwij：神经元i与j之间的连接权；f(∙)：神经元的输出函数。S型输出函数：θj：神经元阈值；

h0：修改输出函数形状的参数。设：输出层中第k个神经元的实际输出为yk，输入为netk；与输出层相邻的隐层中任一神经元j的输出为yj。

对输入模式Xp，若输出层中第k个神经元的期望输出为dpk，实际输出为ypk。输出层的输出方差：若输入N个模式，网络的系统均方差为：当输入Xp时，wjk的修正增量：其中，由式得到：令，可得输出单元的误差：输出单元的修正增量：

对于与输出层相邻的隐层中的神经元j和该隐层前低一层中的神经元i

：

输出层中神经元输出的误差反向传播到前面各层，对各层之间的权值进行修正。BP算法步骤：第一步：对权值和神经元阈值初始化：(0，1)上分布的随机数。第二步：输入样本，指定输出层各神经元的希望输出值。第三步：依次计算每层神经元的实际输出，直到输出层。第四步：从输出层开始修正每个权值，直到第一隐层。若j是输出层神经元，则：若j是隐层神经元，则：第五步：转到第二步，循环至权值稳定为止。改进的权值修正：——收敛快、权值平滑变化α：平滑因子，0<α<1。BP算法存在问题：*存在局部极小值问题；*算法收敛速度慢；*隐层单元数目的选取无一般指导原则；*新加入的学习样本影响已学完样本的学习结果。*输出层各单元之间相互用较大的负权值输入对方，构成正反馈。2.3.3竞争学习神经网络1．竞争学习典型的非监督学习策略。与二层前馈网络类似；结构特点：输出层具有侧抑制。竞争层：竞争学习网络的核心侧抑制：加强自身*具有最高输入总和的单元的输出状态为1，其他单元为0。2．汉明(Hamming)网分类器结构：仿效生物神经网“中心激励，侧向抑制”的功能。工作原理：*每个模式类由一个典型样本代表；*匹配网计算输入样本与各类典型样本的匹配度，由匹配度决定匹配网的输出；*由最大网给出输入样本所在类别号（分类）。匹配度=n－输入样本与典型样本之间的汉明距离xij：第j类典型样本的第i个分量；xi

：输入样本的第i个分量；n：样本向量的维数。输入样本与典型样本越相似：汉明距离越小，匹配度越大。二值模式向量(分量：+1,-1)分类准则：样本间汉明距离最小。匹配网上层每个神经元的输出：：输入样本第i个分量与匹配网上层第j个神经元的连接权；：第j个神经元的阈值。

wij由第j类典型样本的各分量确定。匹配网输出函数f(∙)：汉明网算法步骤：

第一步：设置权值和神经元阈值。wlk：最大网中第l个神经元和第k个神经元的连接权；最大网中神经元的阈值为零。xij：第j类典型样本的第i个分量；wij：匹配网上层神经元j和输入样本第i个分量的连接权;θj

：神经元j的阈值。第三步，进行迭代运算直到收敛。第四步：转到第二步。第二步：输入未知样本，计算匹配网上层各神经元的输出sj，设置最大网中神经元输出的初始值。设最大网中第j个神经元在t时刻的输出为y(t)，则3．自组织特征映射神经网络

（SOM网络）神经元之间相互作用与距离的关系

神经网络中邻近的各神经元通过侧向交互作用彼此相互竞争，自适应地发展成检测不同信号的特殊检测器。T.Kohonen关于自组织特征映射的含义：输入层：每个神经元与输出层所有神经元连接。输入连续值模式向量。SOM网络结构：输出层：广泛连接，格阵形式。竞争学习算法：由交互作用函数取代简单的侧抑制。自组织特征映射算法步骤：

第一步：设置初始权值，定义输出层神经元的邻域。第二步：输入新的模式向量。第三步：计算输入模式到每个输出层神经元j的距离dj。wij(t)：t时刻输入层神经元i到输出层神经元j之间的连接权。第四步：选择与输入模式距离最小的输出层神经元j*。第五步：修改与j*及其邻域中神经元连接的权值。设t时刻神经元j*的邻域用表示，权值修改为：：修正参数，，随t的增加而减小。第六步：转到第二步。聚类中心：存储在与神经元j*连接的权值上。输出层神经元邻域的选择：初始邻域选择大些，随算法的进行逐步收缩。2.4反馈网络模型Hopfield网络寻找记忆：模拟人脑联想记忆功能的神经网络模型。网络由初始状态向稳定状态演化的过程。初始输出模式向量单层全互连、权值对称的神经网络。结构：Hopfield网络（HNN）离散型HNN(DHNN)：M-P模型二值神经元连续型HNN(CHNN)：神经元为连续时间输出。*每个神经元的输出通过加权与其余神经元的输入端连接；*输入模式向量的各分量及神经元的输出值取(+1)或(-1)；*神经元的个数与输入模式向量的维数相同；*记忆样本记忆在神经元之间的连接权上。DHNN：*每个模式类有一个记忆样本，是网络的一个稳定输出状态。

设是第s类的记忆样本。为了存储M个记忆样本，神经元i和神经元j之间的权值wij为

设有M类模式，则有M个记忆样本，分别是网络的M个稳定输出状态。若神经元i的输入为ui，输出为，则式中，

若输入一个未知类别的模式X，网络初始状态由X决定，根据上述算法，网络从初始状态开始逐步演化，最终趋向于一个稳定状态，即输出一个与未知类别模式相似的记忆样本。说明：定义网络的能量函数由某一神经元的状态的变化量引起的E变化量为式中，，。∆E<0，E有界，网络最终可达到一个不随时间变化的稳定状态。算法步骤：

第一步：给神经元的连接权赋值，即存贮记忆样本。第二步：用输入的未知类别的模式

设置网络的初始状态。

若表示神经元i在t时刻的输出状态，则初始值：第三步：迭代计算至算法收敛。第四步：转到第二步，输入新模式。神经元输出与未知模式匹配最好的记忆样本。Hopfield神经网络的局限性：*网络能记忆和正确回忆的样本数相当有限；*如果记忆中的某一样本的某些分量与别的记忆样本的对应分量相同，这个记忆样本可能是一个不稳定的平衡点。

已证明：当记忆不同模式类的样本数小于网络中神经元个数（或模式向量的维数）的0.15倍时，收敛于伪样本的情况才不会发生。可以利用正交算法消除。2.5基于神经网络的电子鼻识别技术电子鼻技术什么是电子鼻？电子鼻技术的发展历史电子鼻技术的基本原理电子鼻技术的研究现状电子鼻技术的应用前景什么是电子鼻？电子鼻是利用气体传感器阵列的响应图案来识别气味的电子系统，它可以在几小时、几天甚至数月的时间内连续地、实时地监测特定位置的气味状况。电子鼻主要由气味取样操作器、气体传感器阵列和信号处理系统三种功能器件组成。电子鼻识别的主要机理是在阵列中的每个传感器对被测气体都有不同的灵敏度，例如，一号气体可在某个传感器上产生高响应，而对其他传感器则是低响应；同样，二号气体产生高响应的传感器对一号气体则不敏感，归根结底，整个传感器阵列对不同气体的响应图案是不同的，正是这种区别，才使系统能根据传感器的响应图案来识别气体。

电子鼻技术的发展历史由于气体传感器的交叉敏、选择性差等缺点，单一传感器往往对被测环境中的各种气体敏感，因而很难有选择地测量出某种气体的成分和含量。电子鼻技术是解决这一问题的有效途径，它正是利用各个气敏器件对复杂成分气体都有响应却又互不相同这一特点，借助数据处理方法对多种气味进行识别，从而对气味质量进行分析与评定。1982年，英国学者Persuad和Dodd用3个商品化的SnO2气体传感器（TGS813、812、711）模拟哺乳动物嗅觉系统中的多个嗅感受器细胞对戊基醋酸酯、乙醇、乙醚、戊酸、柠檬油、异茉莉酮等有机挥发气进行了类别分析，开电子鼻研究之先河。1989年在北大西洋公约组织的一次关于化学传感器信息处理会议上对电子鼻做了如下定义:“电子鼻是由多个性能彼此重叠的气敏传感器和适当的模式分类方法组成的具有识别单一和复杂气味能力的装置。”随后,于1990年举行了第一届电子鼻国际学术会议。为了促进电子鼻技术的交流和发展，国际上每年举行一次化学传感器国际学术会议。电子鼻技术是探索如何模仿生物嗅觉机能的一门学问。其研究涉及材料、精密制造工艺、多传感器融合、计算机、应用数学以及各具体应用领域的科学与技术，具有重要的理论意义和应用前景。其中传感器技术和计算机技术处于当今科学技术研究和发展的前沿。

商品化的电子鼻电子鼻技术的基本原理电子鼻的工作可简单归纳为：传感器阵列－信号预处理－神经网络和各种算法－计算机识别(气体定性定量分析）。从功能上讲，气体传感器阵列相当于生物嗅觉系统中的大量嗅感受器细胞，神经网络和计算机识别相当于生物的大脑，其余部分则相当于嗅神经信号传递系统。

气体传感器阵列电子鼻系统中，传感器及其阵列是电子鼻的关键,它的功能是把不同的气味分子在其表面的化学作用转化为可测的电信号。传感器阵列可以采用数个单独的气敏传感器组合而成，也可以采用集成工艺制作专门的气敏传感器阵列。后者体积小，功耗低，便于信号的集中采集与处理。

西班牙《ACMOSmonolithicallyintegratedgassensorarraywithelectronicsfortemperaturecontrolandsignalinterfacing》

作传感器的材料必须具备两个基本条件:1)对不同的气味均有响应,即通用性要强,要求对成千上万种不同的嗅味能在分子水平上作出鉴别。2)与嗅味分子的相互作用或反应必须是快速、可递的,不产生任何“记忆效应”。金属氧化物型传感器已被普遍应用在电子鼻中。最常见的材料有锡、锌、钛、钨和铱的氧化物,并掺入像铂和钯等贵金属催化剂。酞菁类聚合物是有机半导体敏感材料的代表,它们所具有的环状结构使得吸附气体分子与有机半导体之间产生电子授受关系。不同的酞菁聚合物可选择如真空升华技术、ＬＢ膜技术、旋涂技术和自组织膜技术等制膜技术在检测器件上制得薄膜型气敏元件,并可制得传感器阵列,使其与计算机模式识别技术结合使用。聚吡咯、蒽、二萘嵌苯、β—胡萝卜素等近年来也被用作有机半导体气敏材料受到人们关注。

传感器阵列数据采集系统传感器阵列的模拟输出经Ａ/Ｄ转换为数字信号输入计算机中的数据处理和模式识别系统被测嗅觉的强度既可用每个传感器的输出的绝对电压、电阻或电导来表示,也可用相对信号值如归一化的电阻或电导值,即它们的变化率来比较嗅味的性质。

传感器阵列的数据采集系统模式识别处理传感器阵列输出的信号经专用软件采集、加工、处理后，利用多元数据统计分析方法、神经网络方法和模糊方法将多维响应信号转换为感官评定指标值或组成成分的浓度值，得到被测气味定性分析结果的智能解释器。早期的电子鼻多用主成分分析、多元线性拟合、模板匹配、聚类等数据处理方法。模式识别——人工神经网络由于气体传感器的响应与被测气体体积分数之间的关系一般是非线性的，现在的电子鼻系统多用神经网络方法和偏最小二乘法。近些年发展起来的人工神经网络(artificialneuralnetwork)由于具有很强的非线性处理能力及模式识别能力而得到了广泛的应用.神经网络通过学习自动掌握隐藏在传感器响应和气味类型与强度之间的、难以用明确的模型数学表示的对应关系。许多统计技术和ＡＮＮｓ是互为补充的,所以常常与ＡＮＮｓ联合使用,以得到一组比用单个技术得到的数据更加全面的分类和聚类。这类统计学或化学计量学方法包括主分量分析,部分最小平方法,辨别分析法,辨别因子分析法,和聚类分析法等。

人工神经网络脑细胞神经元人工神经网络神经元