（计算机应用技术专业论文）基于统计学习的鱼龄识别方法的研究.pdf

摘要 鱼的年龄知识是鱼类资源评估和管理的一个重要考核指标，传统年龄估计方法就是 鱼类科学家根据耳石内钙化形成的结构来判断鱼的年龄，但由于耳石的形成、发育受许 多因素的影响，例如：季节的变化、温度、栖息地和饮食等，耳石的结构具有其自身的 特点，人工通过耳石判断鱼类的年龄只有经验丰富的鱼类专家才能解释，即便如此，也 会产生不精确的年龄估计问题。所以通过人工识别鱼的年龄仍然是一个费时、费力的难 题。诸多因素决定了对鱼龄识别自动化的迫切需要。运用图像处理、模式识别等学科知 识，开发出计算机辅助鱼龄自动识别系统有很大的应用价值。 依据鱼的耳石图像对鱼的年龄进行解释和识别是目前鱼类年龄的研究热点，对耳石 图像进行有效的特征选择和分类识别在鱼龄识别系统的开发研究中占有重要的地位。本 文结合耳石图像的特点，提出了基于主成分分析( p c a ) 和核主成分分析( k p c a ) 的 特征选择方法，并结合模式识别的分类原理、比较各种可用于模式识别的分类决策方法， 提出了基于支持向量机( s v m ) 和概率支持向量机( p p s v m ) 的分类算法。具体包括： 1 基于p c a 和s v m 的鱼龄识别方法。该方法首先获得鱼的耳石图像的特征，然 后通过主成分分析的方法来提取这些特征的主元，接着将这些主元输入到支持 向量机中进行训练，然后通过支持向量机来对鱼的分类结果进行决策。 2 基于k p c a 和s v m 的鱼龄识别方法。与主成分分析的方法不同的是该方法通过 核主成分分析的方法来提取鱼的耳石图像特征的主元，然后用支持向量机对鱼 的年龄进行分类。实验证明核主成分分析的方法可以得到更好的识别效果。 3 基于k p c a 和概率支持向量机( p p s v m ) 的鱼龄识别方法。该方法将概率应用到 支持向量机中去，使得支持向量机的分类结果具有概率特性，不仅能得到样本 所属的类，而且还能得到属于该类的概率。 关键词：鱼龄主成分分析核主成分分析支持向量机概率支持向量机 a b s t r a c t f i s h s a g ek n o w l e d g e i sa l l i m p o r t a n t i n d i c a t o ro ff i s hs t o c k a p p r a i s a l a n d m a n a g e m e n t t h et r a d i t i o n a lw a y i st h a tf i s hs c i e n t i s t sd e t e r m i n et h ea g eo ff i s ha c c o r d i n gt o o t o l i t hc a l c i f i c a t i o ni nt h ef o r m a t i o no ft h es t r u c t u r e h o w e v e r , o t o l i t h - s f o r m a t i o n ，g r o w t h a f f e c t e db ym a n yf a c t o r s ，f o r e x a m p l e ：s e a s o nc h a n g e ，t e m p e r a t u r e ，h a b i t a ta n dd i e te t c ， o t o l i t hs t r u c t u r eh a si t so w nc h a r a c t e r i s t i c s ，o n l yw e l le x p e r i e n c e df i s he x p e r tc a ne s t i m a t e f i s h s a g et h r o u g ho t o l i t h ，e v e ns o ，w i l lh a v eap r o b l e mo fi n a c c u r a t ee s t i m a t e so ft h e a g e t h e r e f o r e ，t h ea r t i f i c i a lc o g n i t i o nf i s h s a g er e m a i n s at i m e c o n s u m i n g , l a b o r i o u s p r o b l e m m a n yf a c t o r sd e t e r m i n et h a tt h ea g eo ft h ef i s hr e c o g n i t i o no ft h eu r g e n tn e e df o r a u t o m a t i o n t h eu s eo fi m a g ep r o c e s s i n ga n dp a t t e r nr e c o g n i t i o n ，t od e v e l o pc o m p u t e r - a i d e d a u t o m a t i ci d e n t i f i c a t i o ns y s t e mo ff i s ha g eh a v eg r e a tv a l u e b a s e do nt h eo t l i t hi m a g et oe s t i m a t ef i s h sa g ei st h ep r e s e n tf i s ha g er e s e a r c hh o ts p o t a n e f f e c t i v ef e a t u r es e l e c t i o na n dc l a s s i f i c a t i o no nt h eo t o l i t hi m a g e p l a y 锄i m p o r t a n tr o l eo nt h e s y s t e mo ff i s h sa g er e c o g n i t i o n i nt h i sp a p e r , b a s e do nt h ec h a r a c t e r i s t i c so ft h eo t o l i t h t m a g e ，w ep r o p o s e dp r i n c i p a lc o m p o n e n ta n a l y s i s ( p c a ) a n dk e m e lp r i n c i p a lc o m p o n e n t a n a l y s i s ( k p c a ) t os e l e c tt h ef e a t u r eo fo l o l i t h c o m b i n e dw i t ht h ec l a s s i f i c a t i o np r i n c i p l ea n d t h ed e c i s i o n m a k i n gm e t h o d so fp a t t e r nr e c o g n i t i o n ，w ep r o p o s e ds u p p o r tv e c t o rm a c h i n e s ( s v m ) a n d p r o b a b i l i t yo u t p u ts u p p o r tv e c t o rm a c h i n e s ( p p s v m ) t oc l a s s i f yt h ee x t r a c t i n g f e a t u r e so ft h eo t o l i t hi m a g e i n c l u d i n g ： 1 f i s ha g er e c o g n i t i o nb a s e do np c aa n ds v m t h i sm e t h o df i r s to b t a i n st h ef e a t u r e so f f i s h so t o l i t hi m a g e ，t h e nt h r o u g ht h ep c a t oe x t r a c tt h ep r i n c i p a lc o m p o n e n to ft h e f e a t u r e s ，a n dt h e ni n p u tt h i sp r i n c i p a lc o m p o n e n tt ot h es v mf o rt r a i n i n g ，a n dt h e n c l a s s i f yf i s h sa g et h r o u g hs v m 2 f i s ha g er e c o g n i t i o nb a s e do nk p c aa n ds v m w eu s et h ek p c at oe x t r a c tt h e p r i n c i p a lc o m p o n e n to ft h ef e a t u r e so ft h eo t o l i t hi m a g e t h ee x p e r i m e n tp r o v e dt h a t k p c am e t h o do b t a i nab e t t e rr e c o g n i t i o ne f f e c t 3 f i s ha g er e c o g n i t i o nb a s e do nk p c aa n dp p s v m 。t h i sm e t h o da p p l i e sp r o b a b i l i t y i n t os v m ，m a k es v mc l a s s i f i c a t i o nr e s u l t sw i t ht h ep r o b a b i l i t yc h a r a c t e r i s t i c ，s ot h a t w ec a nn o to n l yo b t a i nt h ec l a s st h a tt h es a m p l eb e l o n g st o ，b u ta l s oo b t a i nt h e p r o b a b i l i t yt h a tt h es a m p l eb e l o n g st ot h ec l a s s k e yw o r d s ：f i s h sa g e ，p c a ，k p c a ，s v m ，p p s v m 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作和取 得的研究成果，除了文中特别加以标注和致谢之处外，论文中不包含其他 人已经发表或撰写过的研究成果，也不包含为获得 墨洼墨墨盘鲎 或 其他教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研 究所做的任何贡献均己在论文中作了明确的说明并表示了谢意。 学位论文作者签名：赳喜签字f l 期：o 夕年月g 日 学位论文版权使用授权书 本学位论文作者完全了解 墨盗堡兰盘堂有关保留、使用学位论文 的规定。特授权叁洼堡墨盘望 可以将学位论文的全部或部分内容编入 有关数据库进行检索，并采用影印、缩印或扫描等复制手段保存、汇编， 以供查阅和借阅。同意学校向国家有关部门或机构送交论文的复本和电子 义仲。 ( 保密的学位论文在解密后适用本授权说明) 学位论文作者签名：刘导 签字日期：0 9 年f 月g 日 导师签名： 邑名八 签字日期：。珥年f 月莎日 第一章绪论 第一章绪论 1 1 鱼类年龄估计的方法和研究意义 鱼类资源是渔业生产的物质基础，和其它生物资源一样，必须加以合理开发利用， 才能发挥它的最高潜力，如果无限制地滥捕，那么鱼类资源就会遭到破坏。 研究鱼类的生长和年龄对于捕捞生产有密切的关系。如估计鱼类的资源、侦察鱼群、 养殖、驯化等。鱼类生长的特点是：只要饵料充足、环境合适，可以一直长到死，不像 其它脊椎动物因性成熟而停止生长，但是鱼类的生长速度并不是均匀的，而是随着不同 的时期而有变化。一般在性成熟以前的幼鱼阶段，生长速度是比较快的，成熟以后则生 长速度逐渐下降，到老年时，则生长缓慢。鱼的生长速度也随着不同鱼类而有不同。有 的第一年生长最快，有的要到第二年或第三年才有显著的生长。从捕捞方面来看，如果 大量捕捞正处在迅速生长阶段的鱼类，对合理利用鱼类资源是不适宜的，而如果生长已 经缓慢的老年鱼尚迟迟未捕，则是对资源和水体的利用不足。因此，鱼类年龄的研究可 提供适龄的捕捞对象，为渔情预报提供可靠的依据。 鱼类在一年中的生长是不均匀的，即生长有周期性的变化，每当春、夏季水温升高 时，饵料丰富，鱼类大量摄食，生长迅速，当冬季来临时，水温降低，鱼类进入休眠期 ( 对外界不利环境的一种适应) ，生长几乎停滞。这种生长的不均衡性，反映到鱼类的 鳞片、耳石和某些骨片上。生长迅速时期，鳞片形成宽而稀疏的环纹；生长缓慢的时候， 则形成窄而紧密的环纹。这样一年中随着季节、温度的变化而引起鱼类摄食的变化，反 映到鳞片、耳石和某些骨骼上形成疏密相间的环纹，称年轮。根据这些年轮可以鉴定鱼 类的年龄。 鱼类年龄的鉴定，有助于确定合理的捕捞强度，分析捕获鱼的年龄组成和百分比， 是确定捕捞过渡或捕捞不足的重要标准( 年龄组成是指在一批渔获物中，各年龄鱼类的 尾数与全部鱼尾数的比率) 。如果在渔获物中低龄鱼的百分比增加而高龄鱼的百分比减 少，说明这种鱼类资源利用过多，也就是通常所说的捕捞过度。相反地，如高龄鱼的百 分比大，说明这种鱼类资源利用不足，还有潜力可挖，可以增加捕捞量。也可根据渔获 物的年龄组成，加上其它一些因素来预报渔情。因此，鱼类的年龄估计已经成为鱼类研 亢：i ：作者最重要的研究课题之一，具有深远的意义。 第一章绪论 1 2 国内外研究现状分析 1 2 1 利用直接观察鉴定鱼年轮 该方法是在人工控制条件下进行鱼类养殖或在天然水体中通过人工标志放流与回 收，通过观察和测量直接掌握鱼类的年龄及其生长特性。这种方法虽然最可靠，但因操 作过程比较费时、费力、费钱，所以这种直接的方法很少使用。通常作为辅助手段验证 = l 七他间接方法的准确性。 1 2 2 利用渔获物长度组成分析年龄 卅麦生物学家p e t e r s e n ( 1 8 9 2 ) 首先应用鱼群长度频率( s i z ef r e q u e n c y ) 分布法分 ! ji 约吲 iz o a c r e sv i v i p a r u s ) 的年龄组成。 本方法的原理是同一水体、同一世代的鱼往往在相同或相近的外界环境条件下生 活，大部分个体的生长率相似。因此，不同世代的鱼具有明显不同的长度范围，于是就 可以通过测定大批渔获物，点画出其长度频率分布图来分析其年龄组成和生长。频率图 中显示出一个个高峰，其中每一个高峰代表一个年龄组。 李惠等【l 】( 1 9 9 6 ) 应用混合物分析法对日本鱼箴鱼的体长频率进行解析表明其体长 由两个或三个峰值组成，结合生物学资料判断由两个年龄组成。 但这种方法鉴定年龄时存在一定的局限性，例如取材的渔具渔法不当，某种年龄的 鱼选择性地偏多。其次，鱼类在性成熟后长度生长速度减慢，特别是老龄时，甚至停止 生长，这样各年龄组长度分布可能重叠，发生错误，因此，此法一般用于龄组简单，不 同龄组之间体长间隔明显的种类，而对龄组复杂的种类或高龄鱼群常不起作用或造成失 真。 1 2 3 用鳞片( s c a l e ) 鉴定鱼年龄 鳞”呵以用来识别鱼的年龄，但是鳞片在鱼体周身分布的形状有差异，不同鱼类分 布情况亦不同，故用于鉴定年龄和推算体长的鳞片选取点随鱼类不同而异，多数鱼类选 取背鳍起点下方，侧线以上的几行鳞片作为鉴定材料。 鳞片因取材方便不需特殊加工，观察方便，而得到广泛使用。但越来越多的研究表 明，鳞片上读取的年龄通常比实际低，这种情况特别是生长速度慢和高龄的个体上表现 突出。 1 2 4 用耳石( o t o l i t h ) 来鉴定鱼年龄 任鱼耳内腔里，藏有一种石灰质的耳石，它的形状和大小在各种鱼内亦不相同，在 大多数的硬骨鱼类中，耳石成小块状。鱼就是靠这种精巧的器官一耳石来倾听四面八方 第一章绪论 的动静，当外界稍有“风吹草动 ，内耳的淋巴就发生同样的振荡，这种振荡能刺激耳 石和感觉细胞，再由耳石经过神经传递到脑中。这样，鱼就知道周围发生的一切。 鱼的耳石作用很大，它不仅能产生听觉，而且在科学领域上，人们可以用耳石代替 鱼鳞米推算出鱼的年龄。因此耳石的体积随年龄增长而增大。夏季长得快，冬季长得慢， 所以夏季和冬季的生长环可以区别出来，它的形成和鳞片上的“年轮非常近似。这样， 就可借助耳石上的轮纹来判断鱼的年龄了。 自r e b i s i c h ( 1 8 9 9 ) 最早在欧洲鱼类耳石上观察到周期性轮纹以来，耳石至今一直 是鉴定鱼类年龄的重要材料之一。 我国学者洪秀云( 1 9 8 0 ) 【2 】，兰永伦【3 】( 1 9 9 6 ) 分别对带鱼，黄鱼运用耳石鉴定年 龄，i 汉得了较好的效果。c a m p a l l a j 等( 2 0 0 1 ) 认为耳石的特殊性在于其生长是连续的， 与外界环境相对独立而且不会被吸收。耳石在鱼体生长缓慢甚至几乎停止时，依然保持 生长，所以是鉴定年龄的理想材料，而且很多研究表明与其它钙化组织相比，用耳石读 取年轮更为准确。 传统的方法就是鱼类科学家根据耳石( o t o l i t h ) 内钙化形成的结构来判断鱼的年龄， 解释鱼的其它现象，得到耳石年轮( g r o w t hr i n g ) 和鱼龄之间的一个相互关系【5 】，但这 只是一种定性分析方法，由于耳石的发育、形成受许多因素的影响，例如：季节的变化、 温度、栖息地和饮食等，耳石的结构具有其自身的特点，人工通过耳石判断鱼类的年龄 只有经验丰富的鱼类专家才能解释，即便如此，也会产生不精确的年龄估计问题【6 】。所 以通过人工识别鱼的年龄仍然是一个费时、费力的难题。 随着计算机技术的发展，以计算机技术为工具的鱼类管理、储存和鱼类年龄的识别 应运而型7 8 1 ，出现了各种关于耳石的解释方法，比较典型的工作有：耳石图像序列的自 动化获取【9 】、耳石结构数据库的存储和管理【9 l0 1 、依据耳石图像的结构对鱼的年龄和发 育成长的解释和识别【l l 】- 【吲，特别是后者，主要集中在鱼类年龄的自动识别和判断，是 目前鱼类年龄的研究热点。这类方法可以归纳为两类：一是一维方法，该类方法一般沿 眷一个特定的轴线分析、提取强度信息；另一类是二维方法，该方法主要利用图像处理 技术分割、识别耳石内年轮，实现年龄的判断，如：从耳石的形状推断可变形模板技术， 图框架技术，基于样条的局部可变形模型和多代理系统。相对于一维方法，尽管这些二 维方法比较好，但对于年轮的检测仍然存在很多限制，还不能满足所有的解释任务，如 伪年轮的处理和检测，于是有专家提出基于神经网络设计出耳石年轮的识别系统，但这 一方法的结果过分地依赖耳石图像的f o u r i e r 变换后的特征提取，而由于耳石图像信号 的不平稳性，使得f o u r i e r 变换后提取的特征对年龄的估计并没有得到很大的改进。 第一章绪论 1 3 目前国内外研究所存在的问题 尽管在鱼类年龄识别方面已取得了一些成果，但比较好的方法大多基于人工神经网 络和支持向量机的学习理论。而人工神经网络遵循的却是经验风险最小原则，追求的是 在样本趋于无穷时的最优解。由于实际的训练样本不可能无穷多，致使期望风险和实际 的经验风险存在一定的差异，从而使得神经网络的推广性较差，且具有局部最优的特点： 支持向量机方法具有较好的泛化能力，但由于在构造最优分类面时所有的样本具有相同 的作用，当训练样本中含有噪声与野值样本时，导致获得的分类面不是真正的最优分类 面。另一方面，传统的支持向量机方法不提供后验概率的输出，在研究样本点分类时， 只考虑两个极端情况，即属于某一类的概率为1 ，或者不属于某一类的概率为l 。而耳 石图像具有模糊性，不同区域之间难以有清晰的边界，导致一些样本不能准确地确定其 类别，即表现为样本具有不精确性与分类的不确定性的特点，因此，导致判断的正确率 较低，所以如何基于智能算法，高精度的j 下确估计鱼类年龄仍有很多问题没有解决。 1 4 本文的研究内容和组织 本文使用耳石图像来鉴定鱼的年龄，研究了统计学知识在特征提取中的应用，选择 主成分分析和核主成分分析的方法来提取鱼的耳石图像的特征；在此基础上研究了支持 向量机分类算法，并将后验概率应用到支持向量机算法中，使得支持向量机具有概率输 出的能力。 论文按以下章节组织： 第一章介绍了鱼类年龄估计的方法和研究意义，分析了国内外的研究现状，并概括 总结了目前存在的问题。 第二章对本论文使用的基础知识进行了概括介绍，其中包括图像识别系统的概述， 以及统计学知识的简介。 第三章深入地研究了支持向量机算法，并在支持向量机算法中加入了后验概率得到 了概率支持向量机，使得支持向量机的分类结果具有概率特性，不仅能得到样本所属的 类，而且还能得到属于该类的概率。 第四章介绍了鱼的耳石图像特征，系统的介绍了主成分分析的方法，并提出了基于 p c a 和s v m 的鱼龄识别方法。 第五章研究了核主成分分析算法，并提出了基于k p c a 和s v m 的鱼龄识别方法以 及基于k p c a 和p p s v m 的鱼龄识别方法。 第六章对提出的三种鱼龄识别方法进行进行综合的分析和比较。 第七章对全文研究内容作一总结，并对未来的研究进行展望。 第二章基础知识 第二章基础知识 本文将统计学方法应用到鱼龄识别系统中，将主成分分析和核主成分分析的方法应 用到耳石图像的特征提取中，并通过改进的支持向量机对耳石图像进行分类，从而可以 识别鱼的年龄。本章将介绍图像识别系统以及统计学的知识。 2 1 图像、图像处理、图像识别 通常人眼所看到的客观存在的世界称之为景象。从某一点观察某一景象时，物体所 发出的光线( 可以是发光物体本身辐射的光，也可以是物体受光源照射后反射或透射的 光) 进入人眼，在人眼的视网膜上成像【z o 】。视网膜成像是一种自然的生理现象，但直到 人类文明发展到一定时候才意识到它的存在，并设法用各种方法把它记录下来。这种记 录下来的各种形式的“像就是通常所说的图像，它包括各类图片、照片、绘图、文稿、 x 光胶片等等。这些图像都是人们对客观景象、事物，以及人们的思维、想象的一种描 述和记录，是人类用来表达和传递信息的一种重要的手段。由于图像与人类生活关系非 常密切，d , n 家庭生活，大到生产、医疗、艺术、文教、军事、航天都离不开图像，因 而对图像处理提出了越来越高的要求。正是由于这种迫切的实际需要，给图像处理技术 的发展提供了巨大的动力，促进了这门年轻科学的突飞猛进的发展。在研究图像时，首 先要对获得的图像信息进行预处理以滤去干扰、噪音，做几何、彩色校正等。这样可提 高信噪比。有时由于信息微弱，无法辨识，还得进行增强。增强的作用，在于提供一个 满足一定要求的图像，或对图像进行变换，以便人、机分析。并且为了从图像中找到需 要识别的东西，必须对图像进行分割，也就是进行定位和分离。为了给观察者以清晰的 陶像，还要对图像进行改善，即进行复原处理。它是把已经退化了的图像加以重建或恢 复的过程，以便改进图像的保真度。在实际处理中，由于图像信息量非常大，在存储及 传送时，还要对图像信息进行压缩。总之，图像处理包括图像描述、图像编码、图像增 强、图像压缩、图像复原、图像分割等。对图像处理环节来说，输入是图像，输出也是 图像，也就是处理后的图像。图像识别是对处理后的图像进行分类，确定类别名称，它 可在分割的基础上选择需要提取的特征，并对某些参数进行测量，再提取这些特征；最 后根据测量结果作分类。为了更好的识别图像，还要对整个图像做结构上的分析，对图 像进行描述，以便对图像的主要信息得到一个解释和理解，并通过许多对象相互间的结 构关系对图像加深理解，以便更好的帮助识别。所以图像识别是在上述分割后的每个部 分中，提取它的特征，以便对图像进行分类，并对整个图像做结构上的分析。因而对图 第二章基础知识 像识别环节来说，输入是图像，输出是类别和图像的结构分析，而结构分析的结果则是 对图像作描述，以便对图像的重要信息得到一种理解和解释。上述的图像处理和图像识 别可如图2 - 1 表示。 图像输入 图像处理( 编码、压缩、增图像输出 一 强、分割、复原等) ( a ) 图像输入 图像输入 图像识别( 预处理、特征抽 类别+ 结构分析 取、分类、分析等) 2 2 图像识别系统 ( b ) 图像识别 图2 - 1 图像处理、识别示意图 模式识别诞生于2 0 世纪2 0 年代，随着4 0 年代计算机的出现，5 0 年代人工智能的 兴起，模式识别在6 0 年代迅速发展成一门学科，它所研究的理论和方法在很多科学技 术领域中得到广泛的应用，推动了人工智能系统的发展，扩大了计算机应用的可能性。 几十年来，模式识别研究取得了大量的成果，在很多方面得到了成功的应用。 广义的说，存在于时间和空间中可观察的事物，如果可以区别他们是否相同或是否 相似，都可以称之为模式【2 。但模式所指的并不是事物本身，而是从事物中获得的信息。 通常把通过对具体的个别事物进行观测所得到的具有时间和空间分布的信息称为模式， 而把模式所属的类别或同一类中模式的总体称为模式类( 或简称为类) 。有时也把模式 类称为模式，而把个别具体的模式称为样本。显然，图像是一种模式，图像分类是一种 特定臼勺模式识别，可称为图像识别。 图像识别系统首先对输入图像做预处理，改善图像质量，然后根据需要对图像做分 割，提取特征信息，最后输出的是对图像中目标( 物体) 的识别或分类。图像识别过程 一般包括图像预处理、图像分割、特征提取和图像分类。如图2 2 所示。 图2 - 2 图像识别系统 第二章基础知识 2 2 1 数据获取 为了使计算机能够对各种现象进行分类识别，要用计算机可以运算的符号来表示所 研究的对象。通常输入对象的信息有下列3 种类型2 2 1 ，即 ( 1 ) 二维图像如文字、指纹、人脸、地图、照片等。 ( 2 ) 一维波形如脑电图、心电图、机械震动波形等。 ( 3 ) 物理参量和逻辑值如大、小、是、否等。 通过测量、采样和量化，可以用矩阵或向量表示二维图像或一维波形，这就是数据 获取的过程。 2 2 2 图像预处理 在图像的形成、传输和记录的过程中，由于成像系统、传输介质和记录设备的不完 善，物体的运动、离焦等各种原因，不可避免地带来某些图像失真和程度不同的图像降 质。在图像识别过程中，图像预处理的目的就是去除噪声，加强有用的信息，突出目标， 并对测量仪器或其他因素所造成的退化现象进行复原，以达到更好的识别效果。图像预 处理通常包括对获取的图像进行灰度修正( 包括灰度均衡、灰度拉伸、灰度的线性变换 等) 、平滑去噪、锐化等处理，将图像中感兴趣的特征有选择的突出，改善图像质量【2 3 1 。 一般来说，图像的预处理有空域法和频域法。空域法主要是在空间域中对图像的灰 度值直接进行运算处理，多数算法涉及到邻域处理，对考察点的像素值与其邻域像素值 有关，即它是通过变换指定大小的邻域中的像素值来获得最后结果。这种邻域处理通常 是由一个模板决定，典型的算法如中值滤波、均值滤波等。频域法就是在图像的某种变 换域中( 通常是在频率域中) 对图像的变换值进行某种运算处理，然后变换回空间域。 近年来，数学形态学原理在数字图像处理领域也得到了广泛的应用。 2 2 3 图像的分割 图像分割是数字图像处理中的关键技术之一。图像分割是将图像细分为构成它的子 区域或对象，也就是将图像中有意义的特征部分提取出来，其有意义的特征有图像中物 体的边缘、区域等，这是进一步进行图像识别、分析和理解的基础。虽然目前已研究出 不少边缘提取、区域分割的方法，但还没有一种普遍使用于各种图像的有效方法。对图 像分割的研究是目前图像处理中的热点之一。 2 2 4 图像的特征提取和选择 所谓特征提取就是对模式的某些物理性质进行数学描述。具体而言，就是对原始数 据进行变换，得到最能反映描述分类的本质特征。一般把原始数据构成的空间叫做测量 空间，把分类识别赖以进行的空间叫做特征空间。通过变换可以把在维数较高的测量空 第二章基础知识 间中表示的模式变为在维数较低的特征空间中表示的模式。常用的数学特征有：统计平 均值、相关系数、协方差矩阵的特征值和特征向量等等。 图像的特征和选择的基本任务是如何从许多特征中找出那些最有效的特征特征选 取的好坏强烈地影, 1 6 j n 分类器的设计及其性能。通常情况下，样本数目都不会很多，若 用很多特征进行分类器设计，无论从计算的复杂程度还是分类器性能来看都是不适宜 的。因此，研究如何把高维特征空间压缩到低维特征空间以便有效地设计分类器是整个 识别过程中的重要一步。 2 2 5 图像的分类决策 分类决策就是在特征空间中用统计方法把被识别对象归为某一类别。通常就是在样 本训练集基础上确定某个判决规则，使按这种判决规则对被识别对象进行分类所造成的 错误识别率最小或引起的损失最小。 分类决策一般分为训练和识别两个阶段。训练是在建立识别系统时，对已选定的特 征完成特征提取之后，对系统进行训练的过程。训练可以分为：有监督的( i i o i j i i 练过程 中样本的类别已知) 和无监督的( 要求训练环节对样本集有一个聚类的过程) 两种方式。 识别是在掌握分类规律后，在实现阶段对连续输入的大量模式进行分类。常用的判别方 法有： ( 1 ) 判别函数法利用一个( 或多个) 判别函数对两类( 或多类) 模式进行判别； ( 2 ) 距离方法用已识别的特征对训练样本特征进行广义的距离运算，求出距离最 近的标准特征，常用的有：欧氏距离、加权欧氏距离、汉明距离和马氏距离等； ( 3 ) 相似度方法与距离方法相反，是用被识别特征对训练样本特征进行隶属度运 算，求出隶属度最大的标准类作为被识别模式。 综上所述，图像识别中特征提取方法和分类决策方法的确定是很重要的。如果能选 取具有高度准确描述能力的特征，无疑对系统的建立具有重要意义。它可以用较少的存 贮，表达较多的物理意义，而分类器的正确设计可使系统具有较高的稳定性和准确性。 2 3 模式识别的主要方法 在早期的模式识别研究中，模式的特征被表示为一个数组，它们是对原始数据进行 各种测量所得的结果。这些数据可以解释为矢量空间中点的坐标，如果特征源自同模 式的物体，就几何距离而论，其对应点总是很接近的。于是模式识别问题就变成为寻找 空间中一些区域的问题，这些区域中的点来源于某个单一模式，这就是分类。由于解决 这燮题的方法多数基于贝叶斯决策统计理论，所以称这类方法为统计模式识别。 应用统计决策理论进行模式识别，必须建立在能正确测量或抽取模式特征的基础 第二章基础知识 上，然而统计模式识别方法不能提供对测量或抽取特征的指导。特别是在复杂模式的情 况下，抽取特征是相当困难的。 在6 0 年代后期，这一困难把许多研究者引导到一个不同的方法上，即句法模式识 别。这种方法的基本思想是把一个复杂模式用简单的子模式或基元递归地描述。例如， 汉字可以由笔画描述，这种递归描述与课文中短语通过单词描述十分相似，由于这一原 因，形式语言中的许多方法都可以应用，但句法方法本质上是一种串行的操作，这一性 质给句法方法的应用带来了很大的局限性。 句法模式识别是建立在二值逻辑基础上的，而在人们的日常生活中，普遍存在着模 糊概念，诸如“较冷”、“暖和”、“较重”、“较轻、“长”、“短”等等都是一些既有区别 又有联系的无确定分界的概念。模糊概念是客观事物本质属性在人们头脑中的反映，是 人类社会长期发展过程中约定俗成的东西。为了描述和分析自然界中各种模糊事物，近 年来又出现了一种基于连续逻辑的模式识别方法：模糊集识别法。这种方法既有其数学 基础( 模糊数学) ，又更接近于人的思维方法。利用模糊似然推理及模糊方法等技术来 实现模式识别是当前智能机器发展的方向之一。 模式识别作为一个学科领域已存在3 0 多年了，虽然己经建立起了丰富的理论并且 还在进一步发展，然而，要实现使机器具有类似人的进行复杂模式识别能力的目标还相 差甚远，一个根本的问题在于搞清楚人类本身是怎样进行模式归纳、学习与识别的。这 一问题如不取得突破性进展，那么只能在特定领域的应用中使机器完成相当有限的工 作，更深一步的工作就必然会遇到巨大困难。近年来，许多学者正在从事于“神经元网 络”的研究，目的是使机器模拟人处理信息的功能，解决当前人工智能与模式识别领域 所遇到若干的问题。人工神经网络所表现出的类似人的学习、归纳与分类的能力，以及 并行分布式处理结构，有可能同时完成特征提取和识别。传统的模式识别方法所面临的 一个突出问题是在模式识别过程中如何利用这种并行分布式处理方式来解决不确定性 问题。神经网络理论的诞生和发展已促使计算机视觉与模式识别处于一个新的迅速发展 阶段。 2 4 机器学习 人的智慧中一个很重要的方面是从实例中学习知识的能力，即通过对已知事实的分 析总结出规律，预测无法直接观测的事实。在这种学习中，重要的是举一反三的能力， 即利用学习得到的规律，不但可以较好地解释已知事实，而且能够对未来或无法观测的 现象做出正确的预测和判断，这叫做推广能力。在机器智能的研究中，希望用机器来模 拟人的这种能力，这就是机器学习理论的出发点。机器学习的目的是，设计某种方法， 通过对己知数据的学习，找到数据内在的相互依赖关系，从而对未知数据进行预测或对 第二章基础知识 其性质进行判断。 传统的学习理论主要是基于经验风险最小化原则( e i 蝴) 的。所谓经验风险，是指 在训练集上的风险，通常用平均平方误差表示。理论表明，当训练数据趋于无穷多时， 经验风险收敛于实际风险。因此经验风险最小化原则隐含地使用了训练样本无穷多的假 设条件。 但是在现实问题中，可用的训练样本数目总是有限的。虽然人们知道这一点，但传 统上仍然基于经验风险最小化原则来推导各种算法。在实际应用中，这些算法遇到了很 多困难，如小样本问题，高维问题，学习机器结构问题和局部极值问题等。 2 4 1 学习问题的一般表示 机器学习的目的是根据给定的训练样本，估计系统输入与输出之间依赖关系，使之 能够尽刖。能准确地预测系统的未来输出。机器学习的基本模型，可以用图2 3 表示。图 2 3 中，系统是研究的对象，它在给定的输入x 下得到输出y 。在训练过程中，输入与 输出组成训练样本( x ，y ) ，提供给学习机器。在测试过程中，训练后的学习机器对于输 入x 给出预测输出y 。 图2 3 机器学习问题的基本模型 假定对于所研究的系统，己知在其输出y 和输入x 之问具有某种未知的依赖关系， t ：靠卟未知的联合分布f ( x ，y ) 。对该系统的输入输出进行观测，得到如下独立同分 铋如， ! l ! 洲十￥本： ( 五，乃) ，( 再，儿) ，( 而，m ) ( 2 1 ) 其中，表示训练样本数，毛r ”表示，l 维输入的模式向量，乃表示系统输出。对于两类 的模式识别问题，咒 1 ，- i ) ，表示该模式向量葺所对应的类别。而在回归估计中，咒r 表示对应于该向量的实数值。 假定学习机器具有广义参数口( 所有参数的集合) ，则对于输入石，学习机器的预测 输山yu j 农示为 第二章基础知识 y = q ( x ，口) 则该学习机器的预测输出的期望风险( 也叫风险泛函) 可以表示为 尺( 口) = 弘( y ，q ( x ，口) ) 护( x ，y ) ( 2 2 ) 其中，l ( y ，q ( x ，口) ) 为损失函数，表示在输入石下，用学习机器的预测输出y 对系统的实 际输出y 进行估计而造成的损失。 冈此，机器学习问题也可以表达为，从一组独立同分布的观测样本出发，通过最小 化风险泛函r ( a ) ，确定学习机器的广义参数a 的过程。 2 4 2 经验风险最小化原则 显然，要最小化期望风险( 风险泛函) r ( a ) ，由式( 2 2 ) ，必须利用联合概率f ( x ，y ) 的信息。但是在实际问题中，联合分布是未知的，所能利用的信息只有式( 2 1 ) 中的 观测样本。因此，期望风险无法直接计算和最小化。 根据概率论中的大数定律的思想人们自然想到用算术平均： 1 i ( 以) = ( 咒，q ( 薯，口) ) f = l ( 2 - 3 ) 来逼近式( 2 2 ) 中的期望风险。由于r ，。( 口) 是用已知的训练样本( 即经验数据) 定义 的，因此称为经验风险。用经验风险最小化来代替期望风险r ( 口) 最小化从而求得学习机 器的参数a 的方法，就是所谓的经验风险最小化( e r m ) 原则。经典的模式识别分类器 都j ：攮j ：经验风险最小化原则的。 仔细研究经验风险最小化原则和机器学习问题中的期望风险最小化要求，可以发 现，使用经验风险代替期望风险并没有可靠的理论依据，所凭借的只是直觉上的信念。 首先r e m p ( a ) 和r ( a ) 都是a 的函数，概率论中的大数定律只说明( 在一定条件下) 当样本趋向于无穷多时，0 ) 将在概率意义上趋近于r ( a ) ，并不保证( 口) 和r ( a ) 在同一个点上取得最小值。 其次，没有理论保证在样本数无穷大条件下得到的学习机器，在样本数有限的情况 下仍_ ：j 乇有好的效果。 多年来，经验风险最小化原则作为解决模式识别等机器学习问题的基本思想，几乎 第二章基础知识 统治了这个领域内的所有研究。大部分的研究者们把注意力集中在如何更好地逼近最小 化经验风险的最优解。 2 4 3 模型复杂度与推广能力 经验风险最小化原则希望通过最小化训练误差来实现最小化测试误差的目的。在早 期的神经网络研究中，人们总是把注意力集中在如何使r 。( n ) 更小，但很快发现，一味 追求训练误差最小并不总能达到好的预测效果。实际情况是，只要学习机器足够复杂， 训练时间足够长，贝j j i ) l l 练误差可以任意减小。最极端的情况是，学习机器“记住 所有 训练样本，则训练误差为零，但是实际上这种学习机器几乎不具有推广能力。某些情况 下，训练误差过小反而可能会导致推广能力下降，这就是几乎所有的神经网络研究者都 曾遇到的过学习( o v e r f i t t i n g ) 问题。 例如，考虑使用b p 网络对二维平面上两类数据的分类问题。设有两类数据，是分 别从两个不同的数据发生器产生的。实验中，首先从这两个数据发生器中各采集一部分 作为训练数据，另外再采集一部分作为测试数据。所使用的b p 网络采用典型的三层结 构( 输入层，隐层和输出层) 。设定网络的隐层节点数，对b p 网络训练并测试，重复进 行5 0 次，并记录平均训练误差和测试误差；改变隐层节点数，重复前一步骤。实验结 果列于表2 1 中。 表2 1b p 网络的误差 隐层节点数 251 02 05 0 训练误差 8 9 8 6 7 8 6 1 6 0 测试误差 9 2 9 0 9 9 1 1 4 1 4 3 由表2 1 可见，随着隐层节点数的增加，训练误差越来越小，这是意料之中的。然 而，测试误差在五个隐层节点时达到最低，之后随着隐层节点数的增加却呈上升趋势， 这是一种典型的过学习问题。从这里可以得到如下几个结论： 1 经验风险( 或者说训练误差) 对学习机器的性能有一定的影响，但不起决定作 用。执行经验风险最小化原则( 即最小化训练误差) ，并不总能提高学习机器 的推广性能( 或者说降低测试误差) 。 2 复杂度高的学习机器，往往具有较低的经验风险。因此，经验风险最小化原则 的结果，将使学习机器变得越来越复杂( 隐层节点数增多) 。 3 学习机器的复杂度对其性能有较大影响，推广性能好的学习机器应该具有与实 际面对的问题相对应的复杂度。在这个仿真的例子中，具有五个隐层节点的三 第一二章基础知识 层b p 网络是比较理想的结构。 因此，如何根据实际问题，在学习机器的经验风险和模型复杂度之间取得合理的折 衷，从而使学习机器具有更高的推广能力，是非常重要的问题。 2 5 统计学习理论的基本思想 统计学习理论从控制学习机器复杂度的思想出发，提出了结构风险最小化原则。该 原则使得学习机器在可容许的经验风险范围内，总是采用具有最低复杂度的函数集。支 持向量机是在统计学习理论基础上发展出的一种性能优良的学习机器。其基本的思想 是，首先将原始模式空间映射到非常高维的特征空间，并在该特征空间中寻找最优分类 超平面。支持向量机利用一些具有特殊性质的核函数，将特征空间中的内积运算转化为 低维空间中的非线性运算，从而巧妙地避免了高维空间中的计算问题。 统计学习理论是一种比较新的理论，虽然国外已经成为研究热点，但是国内的相关 著述还比较少。与神经网络相比，统计学习理论是建立在牢固的数学基础上的，公式复 杂，头绪繁多，掌握并正确应用该理论需要较扎实的数学基础。本节将简明扼要地介绍 统计学习理论，旨在为进一步扩展应用本方法提供理论上的依据。 任何学习机器都可以看成是一组函数的集合，机器学习问题就是从函数集合中选择 合适的逼近函数并参数化的过程。所谓学习机器的容量也就是它所对应的函数集的容量 【2 5 1 ，或者叫复杂度。容量或复杂度代表了函数集实现从输入到输出的映射的能力，对学 习机器来说，叫做学习能力。容量越大，机器的学习能力就越强在模式识别问题中， 学习能力强的机器能够得到更加复杂的分类面。然而，越复杂的分类面，就越依赖于训 练数据分布的细节，这种对训练数据的过于细致的刻划，往往会导致学习机器的推广能 力不足。 统计学习理论用v c 维来描述学习机器的容量，并从控制学习机器容量的思想出发， 结合经验风险和训练样本数目，导出了期望风险在不同情况下的一组分析上界。这些界 具有如下特点： 1 这些界是通用的，与具体数据的分布无关； 2 在小样本情况下同样成立； 3 不能被显著地改进。 在实际的训练过程中，可以通过最小化风险上界，实现对学习机器的优化，因此所 得到的学习机器的复杂度受到很好地控制，即使在小样本情况下也同样具有比较高