（计算机软件与理论专业论文）基于复合神经网络的掌纹识别方法的研究.pdf

摘要 当今社会，随着信息化与网络化的高度发展，信息安全显示出前所未有的重要性。 因此，作为其中一个分支的身份识别技术也就具有相当高的研究价值与广泛的应用前 景。其中，生物特征识别技术以其特有的稳定性、唯一性和方便性，得到越来越广泛的 应用。 作为一种非常重要的身份识别方法一掌纹识别，由于掌纹易于获取、特征明显， 并具有稳定、可分性等特点，以及掌纹自动识别系统具有直接、友好、方便、良好的唯 一性和应用范围广等优点，而具有较大的发展潜力。但是由于掌纹的复杂性等原因，基 于掌纹的生物特征识别技术的研究更多的还停留在特征提取算法的开发和分类器的设 计阶段。 本文在对掌纹识别作了深入的研究的基础上，给出了一种全新的关键点定位算法， 并提出了一种分层次利用多种特征的由粗到细的掌纹识别技术。在该方法中，主要定义 了两个层次的特征：基于距离的几何特征( 第一层特征) 和基于z c m i k e 矩的纹理特征 ( 第二层特征) 针对两种不同的特征，我们采用两种不同的经典神经网络，并把两种 网络有效的合成到一个识别系统中。最后实验验证了该方法的可行性和有效性。 本文在对现有的掌纹识别技术进行了深入的研究和比较，并给出其优缺点的基础 上，做了以下几点主要工作：( 1 ) 给出了一种全新的基于距离的手掌关键点定位以及有 效区域分割算法；( 2 ) 采用了基于距离的几何特征提取算法和基于z e m i k e 矩的纹理特 征提取方法进行两个层次的特征提取；( 3 ) 提出了一种基于复合神经网络的多特征掌纹 识别方法，并用实验对其性能加以测试。 关键词：生物认证；掌纹识别：z e m i k c 矩；复合神经网络 a b s t r a c t t o d a y , 喇t ht h er a p i dd e v e l o p m e n to fi n f o r m a t i o na n di n t e r n e ta l lo v e rt h ew o r l d ， i n f o r m a t i o ns e c u r i t y , e s p e c i a l l y , p e r s o n a li d e n t i f i c a t i o nt e c h n o l o g yb e c o m e se x t r a o r d i n a r i l y i m p o r t a n t , a n dm u s th a v ew i d e l ya p p l i e dp e r s p e c t i v e h e r e i n t o ，b e c a u s eo fi t su n i q u ef e a t u r e s o fs t a b i l i t y , u n i q u e n e s sa n dc o n v e n i e n c e t h eb i o l o g i c a lf c a n l r 弓i d e n t i f i c a t i o nt e c h n o l o g yh a s b e e na p p l i e dm o r ea n dm o r eb r o a d l y a sak i n do fv e r yi m p o r t a n t b i o l o g i c a lf c a l u r ei d e n t i f i c a t i o nt e c h n o l o g y , p a l m p r i n t a u t o m a t i ci d e n t i f i c a t i o nw i l lh a v ec o n s i d e r a b l ep o t e n t i a lp r o f i t i n gf r o ms u c hf b a n l i eo f p a l m p r i n ta se a s ya o q u j s i t i ，m a j o rf e a t u r eb e i n ga p p a r e n t , s t a b i l i t y , d i v i s i b i l i t ya n ds oo n , a n df r o mc e r t a i na d v a n t a g e so fp a l m p r i n ta u t o m a t i ci d e n t i f i c a t i o ns y s t e m , s u c ha sd i r e c t n e s s ， k i n d n e s s , c o n v e n i e n c e ，n i c eu n i q u e n e s sa n dw i d e l ya p p l i e ds c o p e h o w e v e r ，d u et ot h e c o m p l e x i t ya n dd i v e r s i t yo fp a h n p r i n t , t h er e s e a r c ha n da p p l i c a t i o no fb i o l o g i c a lf e a t u r e i d e n t i f i c a t i o nb a s e do np a l m p r i n ts t i l ls t a yo nd e v e l o p i n gt h ea l g o r i t h mo ff e a t u r ea b s t r a c t i n g a n dd e s i g n i n gc l a s s i f i e r , a n dt h ee x i s t i n gp a l m p r i n ti d e n t i f i c a t i o nt e c h n o l o g ym a i n l yb a s e do n t h et e x t u r e , s t r u c t u r a lo rg e o m e t r yf e a t u r eo fp a l m p r i n t h a v i n gt h o r o u g i d yr e s e a r c h e dt h ee x i s t i n gp a l m p r i n ti d e n t i f i c a t i o nt e c h n o l o g y , i nt h i s p a p e r , w eg i v e an o v e la l g o r i t h mo fk e yp o i n t sl o c a t i o n , a n dp r o p o s eah i e r a r c h i c a l m u l t i - f e a t u r es c h e m et of a c i l i t a t ec o a r s e - t o - f i n em a t c h i n gf o re f f i c i e n ta n de f f e c t i v ep a l m p r i n t r e c o g n i t i o n i no u ra p p r o a c h , t w ol e v e l so ff e a t u r ea r cd e f i n e d ：g e o m e t r yf e a t u r eb a s e do n d i s t a n c e ( 1 e v e l - 1f e a t u r e ) a n dt e x t u r ef e a t u r eb a s e do nz e m i k em o m e n t ( 1 e v e l - 2f e a t u r e ) f o r d i f f e r e n tf e a t u r e s ，w ca d o p tt w ok i n d so fd i f f e r e n tn e u r a ln e t w o r k , a n dt h e nc o m b i n et h e m i n t oo n er e c o g n i t i o ns y s t e me f f e c t i v e l y f i n a l l y , t h ee x p e r i m e n t a lr e s i l l td e m o n s t r a t e st h e f e a s i b i l i t ya n de f f i c i e n c yo f t h ep r o p o s e ds y s t e m b a s eo nt h et h o r o u g hr e s e a r c ha n dc o m p a r i s o no ft h ee x i s t i n gp a h n p r i n tr e c o g n i t i o n t e c h n o l o g y , t h em a i nc o n t r i b u t i o n so ft h i sp a p e rc o n c l u d e ：( 1 ) g i v ean o v e la l g o r i t h mo f p a l m p r i n tk e yp o i n t sl o c a t i o na n dr o ie x t r a o n ( 2 ) u s et w oa l g o r i t h m so fg e o m e t r yf e a t u r e a b s t r a c t i n gb a s e do nd i s t a n c ea n dt e x t u r ef e a t u r ea b s t r a c t i n gb a s e do nz e r n i k em o m e n tt o a b s t r a c tt h et w o - l e v e lf e a t u r ed e f i n e da b o v e 0 ) p r o p o s ean o v e lm u l t i - f e a t u r ep a l m p r i n t i d e n t i f i c a t i o nt e c h n o l o g yb a s e do nc o m p o u n dn e u r a ln e t w o r k k e yw o r d s ：b i o l o g i c a lf e a t u r ei d e n t i f i c a t i o n ；p a l m p r i n ti d e n t i f i c a t i o n ；z e m i k em o m e n t ； c o m p o u n dn e u r a ln e t w o r k 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究 成果。据我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经 发表或撰写过的研究成果，也不包含为获得东北师范大学或其他教育机构的学位或证 书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了 明确的说明并表示谢意。 学位论文作者签名：日期： 学位论文版权使用授权书 本学位论文作者完全了解东北师范大学有关保留、使用学位论文的规定，即：东 北师范大学有权保留并向国家有关部门或机构送交学位论文的复印件和磁盘，允许论 文被查阅和借阅。本人授权东北师范大学可以将学位论文的全部或部分内容编入有关 数据库进行检索，可以采用影印、缩印或其它复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后适用本授权书) 学位论文作者签名；皂立熟男指导教师签名：学位论文作者签名；气l ! 墼劣指导教师签名： 日 瓤郴日瓤 学位论文作者毕业后去向： 工作单位： 通讯地址： 华 2 型l6 电话： 邮编： 1 1 课题背景 第一章引言 人体生物特征识剐是一种重要的身份识别技术。区别于密码、证件等传统的身份识 别方法，人体生物特征识别技术提取人体固有的生理特征和行为特征，利用其稳定性和 唯一性等特点完成身份验证i l 叫。此外，生物特征识别技术除了能实现身份验证之外， 还能实现身份的识别，即从多个人中辨认出某个特定的人。随着现代社会信息化程度的 不断提高，生物特征识别技术已经得到了越来越广泛的应用 s , 6 l ，并且逐渐成为商业、金 融和国防机构信息安全系统的重要组成部分和必不可少的安全措施。同时，现代社会方 方面面的普遍应用也对生物特征识别技术提出了新的要求，促进了其自身的迅速发展。 指纹是率先得到广泛使用的生物特征。在指纹识别中最常用的特征是乳突纹的细节 点，用这些特征可以实现高精度的识别系统。指纹识别系统通常价格低廉，处理的指纹 图像信息量小，系统反应速度快，因此已经出现了很多商用的识别系统。但是由于指纹 同时也是罪犯档案的主要纪录之一，人们经常会对采集指纹图像产生抵制情绪，因此影 响了指纹识别系统的进一步普及，而且由于指纹位于手掌的最外部，经常接触外界事物， 容易使纤细的指纹皮肤受到磨损，从而影响了指纹识别的准确性。 虹膜上丰富而稳定的纹理特征具有很强的区分能力，从而使之成为最可靠的人体生 物特征之一。虹膜识别系统无接触式地摄取虹膜图像，不会像角膜识别那样有传播疾病 的危险，而且虹膜特征的高稳定性也带来了识别系统的高识别率。但是，虹膜识别系统 的造价一般非常昂贵，影响了其商业上的广泛推广 在人脸识别中，用的最多的人脸特征有两类：第一类是面部基本构件( 如眼、眉、 鼻、嘴等) 的位置、形状和他们的空间拓扑关系；第二类是将每个用户的人脸图像用一 系列标准人脸的加权和来表示，从而获得人脸的全部特征。人脸识别曾经引起过研究者 们浓厚的兴趣，但是人脸表情的变化严重影响了识别率的提高。 掌纹识别是利用手掌的几何特征和纹理特征进行个人身份识别和鉴定的生物特征 识别方法之一。手掌因所含信息量巨大、少量的磨损和局部的变化几乎不会对整体的识 别效果产生很大影响、图像采集要求低以及系统造价低廉等诸多优点，近几年来逐渐受 到人们的关注。掌纹识别作为一种非常有效且实用的生物特征识别方法，有望应用于金 融、商业和国防机构的安全系统等领域。 1 2 生物特征识别技术的发展历史 虽然生物特征识别技术主要是因为计算机和因特网的普及才逐渐成为人们的研究 热点，但人们将生物特征作为身份识别工具的思想却由来已久。生物特征识别这个概念， 可以追溯到1 0 0 0 年以前。在东亚，陶器工人将自己的手指印在陶器上，作为表明身份 的印记：在埃及的尼罗河谷，商人最初就是根据身高、眼睛的颜色和肤色这些基本的身 体特征互相辨认。这是有历史记载的最早的生物特征识别技术的应用，甚至到现在某些 地区仍在采用 j 在1 9 世纪，参与法律工作的专业人士和研究人员需要辨认出那些经常犯罪的惯犯， 于是他们尝试去寻找能够更好的辨别不同人的方式。在法国，a l p h o n s eb e r t i l l i o n 发展 了神人体测量方法，这种方法测量人体的多种物理参数，甚至包括一个人的特殊之处 ( 伤疤和纹身) ；在英国，研究主要局限于指纹，这还要部分地归功于英属印度警署的 工作。出于法律强制的目的，指纹后来成为公认的身份识别标志之一1 1 0 1 生物特征识别技术作为一种自动识别个人身份的方法，首先是在物理访问控制的应 用领域内出现的这方面的进展并没有跟随电子商务的发展，而是针对实体的进入提供 了更加有效和可靠的验证方法。生物识别作为商业化、现代化的技术开始于上个世纪7 0 年代早期，第一个商业应用系统名叫i d c n t i m a t ，是1 9 7 2 年在华尔街一家叫s h e a r s o ni - i a m i l 的公司安装使用的，该设备是通过测量手指来进行时间管理和控制。世界上第一台基于 角膜特征的识别系统8 0 年代末产生同时，j o h nd a u g h m a n 也在剑桥开始了虹膜识别 的研究随着时间的发展，越来越强大的计算能力、越来越好的算法以及越来越多样化 的存储机制的出现极大的促进了生物特征识别技术的蓬勃发展【1 1 - 2 3 1 3 生物特征识别技术的应用 人体生物特征是最安全、最方便的身份鉴别工具，不能被盗取和遗忘。人体的生物 特征由于具有诸多优点而成为利用计算机实现身份识别的首选对象。 人体有很多的生物特征，但并不是每一种生物特征都可以用于身份识别可用于身 份识别的人体生物特征必须满足普遍性、唯一性、稳定性、可采集性、可接受性以及安 全性等要求。换句话说，用于身份识别的人体生物特征必须具备“人人拥有、人各不同、 长期不变”等特点。 人体生物特征主要分为两大类：生理特征和行为特征生理特征是指对人体某部分 进行直接测量所获得的数据。当前，常用的人体生理特征有d n a 、耳廓、体味、人脸、 热辐射、虹膜、视网膜、指纹、掌纹、手型和静脉 7 , s , g j 等。行为特征是对个人习惯性动 作的度量，是对人体特征的间接性测量。常用的人体行为特型有手写签名、击键打字和 步态等。 生物特征识别技术主要有两方面的应用：身份鉴别和身份识别身份鉴别是确定当 前特征是不是当前对象宣称的对象特征，是一种一对一的特征匹配。通常，鉴别系统存 2 储当前对象的已知特征模板，系统要完成鉴定的任务，也就是判断模式识别中的两类问 题，其答案只有两种可能，是或者不是。身份识别与身份鉴别相比相对复杂，是模式识 别中的多类问题。对于当前对象。我们关心的是其究竟是否属于已知对象，如果是的话， 属于哪类已知对象。这个过程是一个一对多的匹配问题。而且由于已知对象是一个动态 增长的特征库，所以身份识别对算法的要求较高。高效的算法要在达到一定的识别率同 时满足系统的反应时间要求。即较高的识别率和较短的系统反应时间 生物特征识别技术的应用非常广泛，在任何需要进行身份识别的地方，都可以用到 生物识别技术，如信息考勤、银行系统、民政部门和刑侦破案等。 1 4 本文的主要工作 本文深入的研究了国内外掌纹识别方法中的图像获取、图像预处理、关键点定位、 有效区域分割、特征提取以及分类器的设计等模块的各种方法，并对这些方法进行了介 绍和讨论，在此基础上提出了一种新颖的基于复合神经网络的掌纹识别方法。具体来说， 本文主要做了以下几方面的工作：首先，提出了一种新的关键点定位以及有效区域分割 方法。其次，提取了掌纹的几何特征，并基于z e m i k e 矩方法提取了掌纹的纹理特征。 最后在深入研究神经网络技术的基础上，设计出了基于复合神经网络的掌纹识别分类 器，并通过实验验证了文中方法的有效性。 1 5 论文结构 针对研究内容，本文的具体章节安排如下： 第一章为引言，介绍了生物特征识别技术的研究背景、发展历史及应用。 第二章为掌纹识别技术概述，简要介绍了掌纹识别技术的发展现状，并对关键技术 进行了阐述。 第三章介绍了神经网络的发展历史、应用、结构以及类型，并对b p 网络和s o m 网络进行了详细的介绍 第四章提出了一种基于复合神经网络鹩识别方法。同时给出了一种新的关键点定位 以及有效区域分割算法，并提出了几何特征提取方法和基于z e m i k e 矩方法的纹理特征 提取方法。 第五章为实验及结果分析。依据前面各章所述的算法设计了相应的掌纹识别系统， 做了大量实验，并对实验结果进行了分析 最后一章对本文工作进行了总结并对以后的工作提出展望 3 第二章掌纹识别技术研究与发展 2 1 掌纹识别技术发展现状 利用掌纹进行个人身份识别的观点是km a l s u m o t o 3 0 1 在1 9 8 5 年首次提出来的。但 是只有从2 0 0 1 年开始，国内外才有一批学者开始对掌纹进行广泛而深入的研究，之前 只有少数这方面的文章。因此，掌纹识别的研究现在仍然还停留在新方法的探索和尝试 阶段，不同的实验室以不同的方式进行着，尚未形成具有规模的讨论和共识。而且由于 研究者采集掌纹的方式不同，从而使用的掌纹图像差别也很大( 图像大小、分辨率、采 样环境和对象等等) ，因此这些算法就识别率来讲很难具有可比性，仅在思路上可以相 互借鉴。 1 9 9 9 年，清华大学的束为等人提出了基于掌纹基准点检测的自动识别方法1 3 l 妫， 初步尝试对掌纹的基准点进行定义，并提出了一种自动检测掌纹基准点的方法。根据检 测到的基准点确定掌纹的几何和结构特征，然后利用这些特征进行身份识别。 2 0 0 3 年，h a n 6 1 用s o b e l 算予和形态学的方法( m o r p h o l o g y ) ，k u m a r l l 6 1 用方向模版的 方法提取用特征矢量表示的“类线特征”。他们将预处理后的图像分成若干块，用每一 块的灰度均值或标准差来形成特征矢量。 2 0 0 4 年，z l l 柚9 1 3 3 j 采用对掌纹图像进行小波变换，然后在变换后的每一个子图上进 行方向性的上下文建模，并在此基础上定义和计算能反映主线租皱褶强度的特征。该方 法在小波域内提取了能充分反映掌纹纹线信息的特征，取得了较好的实验效果。 2 0 0 5 年，w u 3 4 l 等人首先将掌纹图像进行小波分解，然后将每一个子图划分成s s 个 子块，计算每一子块的小波能量，组成长为3 x s x ，的特征向量，最后通过计算两个特征 向量之间的加权的c i t y - - b l o c k 距离来实现两个掌纹图像的匹配 2 2 掌纹特征介绍 掌纹识别是用掌纹特征来进行身份识别的方法，手掌上的掌纹特征非常丰富，包括 主线、皱褶、乳突纹、细节点和三角点等。 我们可以通过选择合适的算法来提取不同的掌纹特征，以区分不同的人。总的来说， 可用于身份识别的基本特征总结如下： 1 几何特征 这是早期掌纹识别依据的主要特征，包括手掌宽度、长度和几何形状，以及手掌不 4 同区域的分布。 2 主线特征 手掌最清晰的几条纹线，俗称为生命线、感情线、智慧线等。作为一个成年人，这 些纹线基本上长期不发生较大变化，而且在低分辨率和低质量图像中仍然能够清晰辨 认，所以主线特征是掌纹识别的主要特征。 3 褶线 。7 ： 除了主线外，手掌还有很多皱褶线，一般来说褶线比主要纹线更短、更细。由于这 些褶线尺度不一，在不同人的手掌上分布毫无规律，因此很难提取，也没有统一的尺度 衡量。但由于褶线恰恰体现了掌纹唯一性的特点，因此也是掌纹识别所应处理的重要识 别特征。 4 脊 手掌有和指纹非常类似的皮肤表面特征，我们称之为脊。脊之间的交叉点和间断点 是指纹识别的关键特征。但由于手掌区域要远大于指纹区域，而且同主要纹线和褶线相 比，脊对图像质量要求较高，而高分辨率和高质量的图像会极大增加系统反应和处理时 间因此在很多掌纹识别算法中，脊都不在考虑范围内。 2 3 掌纹识别系统 掌纹识别系统同一般的模式识别系统在结构上是一致的，同样由两阶段构成：注册 阶段和识别阶段，如图2 1 所示。在注册阶段，将获取的训练样本首先进行预处理，进 而将提取的特征存入模版库，最后根据模版库设计相应的分类器。识别阶段获取的测试 样本同样要进行预处理和特征提取操作，并通过分类器对其分类。这两阶段都要进行掌 纹图像获取，掌纹预处理以及特征提取步骤，下面分别对这三步以及分类决策进行介绍。 2 3 1 掌纹获取 为了能够对掌纹进行分类和识别，首先要把掌纹图像表示成计算机可以识别和处理 的符号，而掌纹获取的目的就是利用某种数字设备把掌纹图像转换成这种符号，比如矩 阵或向量由于国际上至今还没有公认的掌纹图像库，因此不同的研究人员设计了不同 的掌纹获取设备。 j a n e1 ，o u 陋】所采集的掌纹图像是掌纹印，输入到计算机的是用户的掌纹印记，所获 取的是大小为2 3 2 x 2 3 2 像素，分辨率1 2 8 d p i 的2 5 6 色灰度图像，如图2 2 ( a ) 所示。结 果证明，通过这样的方式获取的掌纹图像及分辨率足以用来进彳亍掌纹识别。 c h i n c h u a nh a n 2 6 1 采用c c d 相机通过如图2 2 所示的设备获取掌纹图像，并设计 了相应的识别软件，验证了通过这种方式所获得的图像可以进行效率较高的掌纹身份识 别。但是通过这种方法获取图像的过程中，用户的手指需要被固定而不能自由地伸缩。 5 图2 1 掌纹识别流程 论文 2 7 通过如图2 2 ( c ) 所示的设备获取掌纹图像，该设备对用户要求很少，只需 要用户手掌自由伸展，手指互不接触，并且不受光照条件的影响。 张大鹏【2 8 】通过如图2 2 ( d ) 所示的设备获取了3 8 4 x 3 8 4 像素，7 5 d p i 的低分辨率的掌纹 图像，实现了一个具有较高识别率的在线掌纹识别系统，同样，在掌纹图像的获取中， 用户的手是被固定的。 c h i n c h u a n h a n 2 9 1 在他的论文中所采用的掌纹获取方法克服了设备对用户的限制， 本文即采用此方法。为了避免外界杂光的干扰，采集环境设计成封闭型，同时考虑用户 舒适度要求，设备不对用户的手掌进行固定，只要求用户尽量伸展手掌即可。通过如图 2 2 ( c ) 所示的设备获得了3 0 0 d p i 的掌纹图像 2 3 - 2 预处理 预处理的目的是使所获取的掌纹图像能方便于后续处理，如去除噪声使图像更清 晰，对图像采集时光线的影响或其他因素所造成的退化现象进行复原，并对不规则的图 像按照需要进行规一化处理等，在模式识别中对图像预处理的效果好坏直接影响到识别 的结果 6 2 3 3 特征提取和选择 图2 2 攀纹图像获取方法 特征提取和选择的基本任务是如何从许多特征中找出那些最有效的特征。在样本很 多的情况下，用很多特征进行分类器设计，无论从计算的复杂程度还是分类器性能来看 7 都是不适宜的。因此研究如何把高维特征压缩成低维特征以便有效的设计分类器就成为 一个重要的课题。任何识别过程的第一步，不论用计算机还是由人去识别，都要首先分 析各种特征的有效性并选出最有代表的特征。 在模式识别中，特征的选择和提取是很重要的，它强烈的影响到分类器的性能如 果对不同的类别所选择的特征有足够的可分性，就比较容易设计出较高性能的分类器， 否则分类的效果就很不理想。因此特征选择是模式识别的一个关键问题：由于在很多实 际问题中常常不容易找到那些最重要的特征，或受条件限制不能对它们进行测量，这就 使得特征选择和提取的任务复杂化而成为构造模式识别系统最困难的任务之一这个问 题已经越来越受到人们的重视。 我们一般将特征分为三类：i 、物理的，2 ，结构的，3 、数学的。人们通常利用物 理和结构特征来识别对象，因为这样很容易被视觉、触觉以及其他感觉器官所发现。但 在使用计算机去构造识别系统时应用这些特征有时比较复杂，因为用硬件去模拟人类感 觉器官是很复杂的，而机器在提取数学特征的能力方面则又比人强得多；因j 烷采用计 算机进行识别时往往采用对象的数学特征进行分类。这些数学特征有统计平均值、相关 系数、协方差阵的特征值及特征向量等等。 2 3 4 分类决策 分类决策就是在特征空间中把被识别对象归为某一类别。基本做法是在样本训练基 础上确定某个判决规则，使按这种判决规则对识别对象进行分类操作所造成的错误率最 小或者引起的损失最小分类器的设计包括建立分类器的逻辑结构和建立分类规则。大 多数分类器的分类规则最终都转换成阈值规则，将测量空问划分成互不重叠的区域，每 一个类对应一个区域如果特征值落在某区域中，就将该对象归入对应类别中。 分类器的基本决策规则确定以后，就需要确定划分类别的阈值。一般的做法是用一 组已知的对象来训练分类器( 训练集由每个类别中已被正确识别的一部分对象组成) ， 对这些对象进行度量，并将度量空间用决策面划分成不同的区域，使得对训练样本集的 分类准确性最高。当训练分类器时，可以使用简单的规则，诸如将分类错误的总量降低 至最小值。如果希望某些错误分类要少于其他的错误分类，可以借助于损失函数，对不 同的错误分类采用适当的加权。 如果一个训练样本集代表了对象集的总体分布，那么分类器对新的对象操作的性能 就和对训练样本集一样。然而，获取足够大样本集是一件费力的事。为了使样本集具有 代表性，就必须使其包括可能遇到的各种类型对象的例子，包括一些很少见的对象。 分类器的准确率可以通过直接对一组已知的对象的测试集进行分类的结果进行估 计。如果该测试集达到对对象总体具有代表性并且没有错误，则所得到的性能估计是很 有用的。较好的方法是使用一个独立的测试集来评价分类器的性能。 8 第三章人工神经网络 3 1 神经网络的发展历史 人工神经网络是一门新兴的交叉学科，对它早期的研究工作可追溯到上世纪4 0 年 代。1 9 4 3 年，心理学家m c c u l l o c h 和数学家p i t t s 合作提出了形式神经元的模型，成为 神经网络研究的开端。1 9 4 8 年，v o n n e u m a n n 在研究工作中比较了人脑结构与存储程 泞式计算机的根本区别，提出了以简单神经元构成的自再生自动机网络结构。71 9 4 9 + 年 “0 h e b b 提出神经元之间突触联系强度可变的假设，7 并据此提出神经元的学习准则， 为神经网络的发展奠定了基础【镭j 。5 0 年代末，r o s e n b l a t t 提出了感知器模型，首次把人 工神经网络的研究从理论付诸工程实践，引起了许多科学家的兴趣。1 9 6 9 年，人工智能 创始人之一的m i n s k y 和p a o e r t 从数学上深入分析了感知器的原理。但在这之后，人工 神经网络的研究陷入了低谷嗍，这主要是由于当时人们对数字计算机的局限性还没有充 分的认识，而且由于制作工艺水平及理论上的落后，人工神经网络难以得到广泛的应用。 直到8 0 年代初期，模拟与数字混合的v l s i 电路制作技术提高到新的水平，完全付诸实 用，而且，数字计算机的发展在若干应用领域遇到困难，这预示着向人工神经网络寻求 出路的时机己经成熟。美国物理学家h o p f i e l d 于1 9 8 2 和1 9 8 4 年发表了两篇关于人工神 经网络的论文，引起了极大的反响他根据网络的非线性微分方程，引用能量函数的概 念，使网络的平衡稳定状态有了明确的判据方法，并利用模拟电路的基本元件构成了人 工神经网络的硬件原理模型，将上述成果用于求解当时计算机不善于解决的典型问题， 取得了令人满意的结果。这以后人工神经网络的研究热潮再度兴起。1 9 8 6 年r u m e lh a r t 等人提出了多层感知器的反向转播算法，克服了当时阻碍感知器模型继续发展的重要障 碍，同时传统的基于符号处理的人工智能在解决工程问题时遇到了许多困难，于是又形 成了对神经网络研究的热潮。 3 2 神经网络的应用 目前神经网络理论【5 1 捌的应用已经取得了令人瞩目的成绩，特别是在人工智能、自、， 动控制、计算机科学、信息处理、机器人、模式识别等方面都有重大的应用实例。下面 列出一些重要的应用领域。 1 模式识别和图像处理。主要有印刷体和手写体字符识别、语音识别、指纹识别、 图像识别、人体病理分析、目标检测与识别、图像压缩和图像复原等。 9 2 控制和优化主要有化工过程控制、机器人运动控制、家电控制、石油精炼优化 控制和超大规模集成电路布线设计等。 3 预报和智能信息管理。主要有股票市场预测、地震预报、有价证券管理、租赁 风险分析、i c 卡管理和交通管理等。 4 信息技术领域。主要有自适应均衡、回波抵消、路由选择和a t m 网络中的呼叫 接纳识别及控制等。 5 空间科学。主要有空间交会对接控制、导航信息、智能管理、飞行器制导和飞 行程序优化管理等。 3 3 神经网络的结构 神经网络由许多并行运算、功能简单的单元组成，这些单元类似于生物神经系统的 神经元。神经网络是一个非线性动力学系统，其特色在于信息的分布式存储和并行协同 处理。虽然单个神经元的结构极其简单，功能有限，但大量神经元构成的网络系统所能 实现的行为却是极其丰富多彩的。神经网络系统具有集体运算的能力和自适应的学习能 力。此外，它还有很强的容错性和鲁棒性，善于联想、综合和推广一般而言，神经网 络是一个并行和分布式的信息处理网络结构，它一般由许多个神经元组成，每个神经元 只有一个输出，它可以连接到很多其它的神经元，每个神经元输入都有多个连接通路， 每个连接通路对应于一个连接权系数。 严格地说，神经网络是一个具有下列性质的有向图： 1 每个节点有一个状态变量z ， 2 节点跨目节点门亨一个连接权值系数w 。 3 每个节点有一个域值0 ， 4 每个节点定义一个变换函数乃k ，b o 一，) j ，最常见的形式为 ，( ) ：= 峋一口，) 3 4 神经网络的类型 神经网络模型各种各样，它们从不同的角度对生物神经系统进行描述和模拟。有代 表性的网络模型有感知器、b p 网络、s o m 网络及h o p f i d d 模型等。由于本文的主要工 作是基于b p 网络和s o m 网络，所以，下面我们将详细对这两种网络进行介绍。* 3 4 1 b p 网络 反向传播网络a c kp r o p a g a t i o nn e 咐o r k ，简称b p 网络) 【5 堋是对非线型可微分函数 进行权值训练的多层网络。b p 网络包含了神经网络理论中精华的部分，由于结构简单、 1 0 可塑性强，得到了广泛的应用。特别是它的数学意义明确、步骤分明的学习算法更使其 具有广泛的应用前景。b p 网络主要用于函数逼近、模式识别，数据压缩等领域。 b p 网络的结构如图3 1 所示，它有输入层和输出层，还有一层或多层隐层。 输入层隐层 图3 1 b p 神经网络三层结构图 b p 神经网络由于隐层的存在，使得网络可以实现输入到输出的非线性映射，增加 网络层数可以更进一步地降低误差，但同时也使网络复杂化，增加了网络权值的训练时 间。误差精度的提高也可以通过增加隐层中的神经元数目来获得，其训练效果比增加层 数更容易调整。因此，一般情况，应优先考虑增加隐层中的神经元数，其直接影响神经 网络的学习能力和记忆能力。隐层神经元数目较少时，网络每次学习的时间较短，但有 可能因为学习不足造成网络无法记住全部学习信息，使权值无法达到全局最小。隐层神 经元数目越多那么网络识别也就越精确，但训练时间也越长，因此隐层神经元数不宜过 多，否则会造成网络存储容量过大，也会降低网络的抗噪能力，进而使识别率急剧下降。 b p 神经网络的最大缺点是样本训练的收敛速度慢，为提高网络的收敛速度，又防止 网络的震荡发散，主要采用两种改进方法：调整训练步长和加入动量系数。虽然选择足 够大的训练步长可以使网络迅速收敛，但是取值过大可能会导致学习过程系数不稳定， 选择太小，又可能使迭代次数明显增加，导致训练过长，不能保证网络的误差值能跳出 误差表面的低谷而最终趋向最小误差值，所以本系统选取相对较小的值0 1 0 8 以保证 系统稳定性。由于步长的加入会加快学习速度，但同时会引起振荡，所以在算法中加入 动量系数以抑制振荡，加快收敛速率，其值选取范围为0 1 ，一) 2 b p 网络的传递函数一般为s 型函数，( 力i 击，误差函数为e oi i 工r - _ ， 1 + e 。 z 式中t 。，d 。分别为网络的期望输出和实际计算输出。 反向传播算法的主要思想是从后向前逐层传播输出层的误差，以间接算出隐层误 差。算法分为两个阶段：第一阶段( 正向过程) 输入信息从输入层经过隐层逐层计算各 单元的输出值；第二阶段( 反向传播过程) 从输出层开始，误差逐层向前算出隐层各单 元的误差，并用此误差修正前一层权值。 1 1 在反向传播算法中通常采用梯度法修正权值，为此要求输出函数可微。我们研究处 于某一层的第j 个计算单元，下标玳表其前层第f 个单元，下标七代表后层第七个单元， d 代表本层输出，和砰名是前层到本层的权值，如图3 2 所示。 图3 2b p 神经网络信息传播示意图 k 当输入某个样本时，从前到后对每层样本作如下计算 厅哆- 萃q ( 3 1 ) q - f ( n e t i ) 对于输出层而言，万一q 是实际输出值，) ，j 是理想输出值，此样本下的误差为 ( ) ，一驴- 。 e 一一 2 定义局部梯度 6 ，旦 。a n e t j 考虑权值对误差的影响，可得 a e a eo n e t ， 。 一o d n 0 n e t i ” 权值修正应使误差最快的减小，修正为 挑- 叩6 辟 ( f + d - 峋( f ) + a o ) 如果节点，是输出单元，则 o i i y t 岛一等普咄，一泓( n e t i ) 。如果节点，不是输出单元，则d ；对后层的全部节点都有影响。，因此。 ( 3 2 ) ( 3 3 ) ( 3 4 ) ( 3 5 ) ( 3 6 ) ( 3 7 ) ( 3 8 ) ( 3 9 ) 岛-oe一摹盖鲁老-；瓯(netj)oneti o n8 08 n e t ( 3 1 0 ) | d ii 。” 综上所述，采用s i g m o i d ( s i g m o i d 函数如图3 3 所示) 作传递函数的反向传播算法 步骤如下： y 一 o _ 图i 3s 函数曲线 1 选定权系数初始值。 2 重复下述过程直至收敛 1 ) 从前向后逐层计算各单元d ， n e t 一芝q 1 o j 。万 2 ) 对输出层计算岛 岛- o ，一0 1 ) o j 0 一o j ) 3 ) 从后向前计算各层6 ， 岛o j o 一巳) 以 4 ) 计算并保持各权值正量 a 峋- a w o ( t 一1 ) + 叩蚋 5 ) 修正权值 3 4 2 s o m 网络 x ( 3 ，1 1 ) ( 3 1 2 ) ( 3 1 3 ) ( 3 1 4 ) ( 3 1 5 ) w c ( t + 1 ) ( f ) + a o ) ( 3 1 6 ) 1 s o m 神经网络的思想来源自组织映特征射神经网络舶a 姻铡翌努垫学耆j 龋黧 k o h o n e n 提出的一种神经网络模型【琏5 9 l ，它模拟了哺乳动物大脑皮层神经元的侧抑制、 1 3 自组织等特性。1 9 8 4 年k o h o n e n 将芬兰语音精确地组织为因素图，1 9 8 6 年又将运动指 令组织成运动控制图。由于这些成功应用，自组织特征映射引起世人的高度重视，形成 一类很有特色的无监督训练神经网络模型。自组织特征映射的思想来源有两个方面：人 脑的自组织性和矢量量化。 人脑的自组织性：现代遗传生理学的研究表明，对人类的眼、耳、鼻、舌、皮肤五 种基本感觉信号，大脑皮层有相应的处理区域与之对应，这是由遗传决定的：但是，在 高层信息融合处理中并没有发现脑皮层有特殊细胞负责处理特定信息。尽管目前人们对 脑细胞如何来协调复杂信息的过程和机理还不十分清楚，但是己经有以下几点共识： 1 工- b l ，屯，r ，如同图形可看成一个二维点阵加上三原色颜色等分量，脑 皮层尽管有许多沟回，但本质上是一个二维平面的拓扑变形，脑皮层的每个细胞可视作 二维平面下一个点。多维信号传递到脑皮层的过程可视作高维空间信号到二维空间信号 的降维映射，降维过程去掉了原始信号的次要特征，保留了其主要特征。 i 2 信号空间彤中具有相近特征的信号被映射到脑皮层中相近区域时；大致保留了 信号在掣中的概率分布特征以及拓扑结构特征，也就是说，大脑有自动归类能力，可 自动将信号分类。 3 在形成感觉的区域内，各细胞接收信息的强度是随机的，有强有弱，可视作随 机变量。 4 以响应最强的一个神经元为中心，形成一个区域，大致来说，中心强度最大， 离中心越远强度越弱。 5 神经细胞之间有侧抑制，存在竞争。这种竞争是通过反馈实现的：对自己给予 最大正反馈，对邻居给予一定正反馈，对远处的细胞则给予负反馈即抑制。 总之，根据k o h o n e n 的观点，高层次的信息在大脑中似乎是按空间位置来组织的， 但这种组织方式是十分复杂的，比如不同的两句话，在脑皮层的听觉区域各有其空间轨 迹，它们属于一种超距离的逻辑结构，所以不能用通常的距离概念去度量二者的差别 以上神经学的知识是k o h o n e n 设计网络的根据之一。自组织映射网络引入了网络的 拓扑结构，并在这种拓扑结构上进一步引入变化邻域概念来模拟生物神经网络中的侧抑 制现象，从而实现网络的自组织特性 矢量量化：矢量量化( v q ) 是s o m 神经网络的另一个思想来源，是2 0 世纪年 代提出的数据压缩方法，广泛用于语音及图像数据的传输，其基本思想是将输入空间划 分成多个不相交的超多面体，每个超多面体称为一个区域，每个区域中选一个代表点， 称为码本向量。这样凡是同一区域的点均用码本向量来表示，数据可大大压缩。 2 s o m 神经网络的结构自组织映射网络模型具备这样的特点：输入点和输出神 经元的权值互连，在输出神经元之间进行竞争选择，输出神经元之间存在侧抑制，擞功 能上来说，它能够将单个神经元的变化规则和一层神经元的群体变化规则联系在一起。 该网络是一个由全互连的神经元阵列形成的无监督自组织学习网络。k o h o n e n 认为，处 于空间中不同区域的神经元有不同的分工，当这个神经网络接受外界输入模式时，将会 分为不同的反映区域，各区域对输入模式具有不同的响应特征s o m 神经网络结构如 1 4 图3 4 所示。 x lz 2 x t c a ) 一维s o m 网的输出阵列( b ) 二维s o m 网的输出阵列 图3 4 s o m 网络输出阵列 输出层按一维阵列组织的s o m 网络是最简单的自组织特征映射神经网络，网络的 输出层只标出相邻神经元间的侧向连接。输出层按二维平面组织是s o m 网络最典型的 组织方式，该组织方式更具有大脑皮层的形象。输出层的每个神经元同它周围的其