模式识别文献综述报告

指导老师：马丽学号：700班级：075111姓名：刘建成绩：目录报告内容要点二、《应用主成分分解(PCA)法的图像融合技术》三、《基于类内加权平均值的模块PCA算法》四、 《PCA-LDA算法在性别鉴别中的应用》五、《一种面向数据学习的快速PCA算法》六、 《TheoryoffractionalcovariancematrixanditsapplicationsinPCAand2D-PCA》七、 课程心得体会八、 参考文献一、 报告内容要点每篇论文主要使用什么算法实现什么论文有没有对算法做出改进(为什么改进，原算法存在什么问题，改进方法是什么)论文中做了什么对比试验，实验结论是什么？可以加入自己的分析和想法，例如这篇论文还存在什么问题或者缺点，这篇论文所作出的改进策略是否好，你自己对算法有没有什么改进的想法？二、《应用主成分分解(PCA)法的图像融合技术》第一篇《应用主成分分解(PCA)法的图像融合技术》，作者主要是实现用PCA可以提取图像数据中主要成分这一特点，从元图像获得协方差矩阵的特征值和特征向量，据此确定图像融合算法中的加权系数和最终融合图像。作者在图像融合的算法上进行改进，用PCA获得待融合的每幅图像的加权系

数Wi。是这样实现的：计算待融合的i幅图像数据矩阵的协方差矩阵，从中获得入i,用图像所对应的入i在所有入和中所占比例作为这幅图像的加权系数。算法流程:设共有N幅源图,把每幅图像看作一维向量记做由源图像构造数据矩阵计算数据矩阵X的协方差矩阵C为图像的方差,为第i幅源图像的平均灰度值。计算协方差矩阵的C的特征值入及相应的特征向量1由特征值方程求出特征值入i和对应的特征向量gi(i=l,2,…,m)。确定加权系数si计算最终融合图像F得到的图像可以用下式来表达作者做了几种确定加权系数算法的对比试验，并且实验结果如下，可见PCA分解确定加权系数得到的图像交互信息量和联合熵都优于另外两个,所以是相对较好的算法。结合我们模式识别课程所学，其实PCA算法应用于图像融合就相当于遥感数据图像中各个波段的图像融合在一起。作者在论文中提到：他是将每幅图像都看做一维的向量，其实也就相当于我们一个波段的图像向量(zy3中[145*145,1])。我们在MATLAB中实现的PCA提取前K个主成分，也就是前K个波段的图像融合在一起。加权系数也是从各个特征值确定，取对应特征向量矩阵来对图像进行变换。按照融合前是否对图像进行多尺度分解,作者将已有的图像融合算法分为多尺度分解和非多尺度分解两大类。本文作者创新点在于利用主称分分解(PCA)可以保留原数据中的主要信息的特点,在非多尺度分解的框架下,发展了一种基于PCA分解确定加权系数的图像融合算法。在对比实验中经过定量的观察和定性的计算发现该算法优于其它的非多尺度融合方法。我的想法：若能将该图像融合办法加入多尺度分解算法,必将取得更好的融合图像。三、《基于类内加权平均值的模块PCA算法》本文作者针对主成分分析(PCA)算法在人脸识别中识别率低的问题，提出一种基于类内加权平均值的模块PCA算法。该算法对每一类训练样本中每个训练样本的每个子块求类内加权平均值，用类内加权平均值对训练样本类内的相应子块进行规范化处理。由所有规范化后的子块构成总体散布矩阵，得到最优投影矩阵，由训练集全体子块的中间值对训练样本子块和测试样本子块进行规范化后投影到最优投影矩阵，得到识别特征，并用最近距离分类器分类。作者在本文中是对模块PCA算法的改进，主要是基于类内加权平均值，其基本思想是先将一个mXn的图像矩阵I分成pXq分块图像矩阵，即其中，每个子图像矩阵Ikl是矩阵，然后将所有训练图像样本的子图像矩阵看作训练样本图像向量施行PCA方法。相对于传统模块PCA算法的改进是：在求总体散布矩阵时不是用所有训练样本子块的平均值，而是用子块的类内加权平均值。这样可以减小训练样本均值偏离类中心对求取最优投影矩阵的影响，有利于识别率的提高.对比试验：作者做了传统PCA算法、2X2模块PCA算法和基于类内加权平均值的2X2模块PCA算法的实验•并且得出的结果为：①传统PCA算法的识别率最低，最高识别率只有77%，模块PCA算法提高了识别率，而基于类内加权平均值的分块PCA算法优于该方法。②在4X2分块情况下，改进的算法比普通模块PCA算法有更高的识别率并且鲁棒性更强。③4X2分块方式优于2X2分块方式。④在4X4分块方式下的正确识别率有很大下降，这是因为对每张图片分的块数越多，每个子块包含的可区分信息量越少，会出现较多的相似子块，不利于分类，导致正确识别率下降。在这种情况下同样基于类内加权平均值的模块PCA算法仍然优于普通模块PCA算法。模块PCA人脸识别算法的突出优点是能够抽取图像的局部特征，这些局部特征更好地反映了图像之间的差异，便于模式识别。同时，由于对原始数字图像进行分块，可以方便地在较小的图像上使用鉴别分析的方法，因此过程简便。为了进一步提高识别率，作者对模块PCA人脸识别算法进行了改进，提出了基于类内加权平均值的模块PCA算法。在ORL人脸库上的实验表明，此方法优于传统的PCA算法和普通模块PCA算法。我的想法：对同一个数据库，原始图像采用不同的分块，获得的最高识别率一般不同，所以我认为这个算法可以继续寻找最佳分块方式以获得最高识别率以及如何简化分块PCA算法。四、 《PCA-LDA算法在性别鉴别中的应用》本文的PCA-LDA算法是将PCA算法与LDA算法构造的特征子空间进行融合，获得其融合特征空间；然后，将训练样本与测试样本分别朝该融合特征空间投影，获得识别特征；最后，利用最近邻准则完成性别鉴别。算法流程：设训练样本表示为N,N表示训练样本数。在训练过程中，首先读入训练样本xi，i二1,...,N，并计算训练样本的均值avg，即其中，。同样，利用训练样本可计算每类训练样本的均值。性别鉴别属于两类模式识别问题，划分类别仅为男女两类。接着，对训练样本规范化。然后，计算协方差矩阵的特征值与特征向量，并取其较大l个特征值对应的特征向量，组成PCA算法的特征子空间根据即可把训练样本矩阵X投影到特征子空间W1中。其中，Y称为训练样本矩阵X的PCA降维特征，即识别特征。显然,mXn维的训练样本图像经过PCA算法获得了lX1维的降维特征。数据量得到了大大压缩。从这篇论文中我知道，通过PCA算法的特征子空间的投影，每一幅人脸图像就对应于该特征子空间中的一个点。同样，特征子空间中的任一点也对应于一幅图像。特征子空间中的点重构后的图像很像“人脸”，所以被称为“特征脸”。有了“特征脸”组成的降维子空间，任何一幅人脸图像都可以向其做投影并获得PCA降维特征，该特征表征了图像在特征子空间中的位置。因此，在PCA算法中,原来的人脸图像识别问题就转化为依据特征子空间中的训练样本点进行分类的问题。对比实验：本文作者对PCA-LDA算法与PCA算法进行对比，他们的特征空间维数与正确识别率的关系如下图：试验结果为：PCA-LDA算法的融合特征空间的不同选择，以及不同的训练样本数均影响性别鉴别的正确识别率。同时,CA-LDA算法比PCA算法识别性能好,对样本数据具有较好的鲁棒性。本文作者结合PCA算法与LDA算法的特点，提出了用于性别鉴别的PCA-LDA算法。该算法将原始图像投影到PCA-LDA算法构造的融合特征空间中,去掉了图像大量的冗余信息,同时,保留了图像的有用信息。该算法既实现了PCA算法的特征压缩，又解决了LDA算法出现的小样本集问题，为性别鉴别提供了一种新途径。我的想法：在作者对算法改进的基础上进行有效地实现PCA算法与LDA算法特征子空间的融合以及有效地选择融合特征空间的维数，应该可以更加优化算法。五、《一种面向数据学习的快速PCA算法》因为高维数据的主成分分析较难处理,而且计算时间和空间复杂度随着数据维数的增加而急剧增加。鉴于此，作者在文中提出了一种直接面向数据学习的PCA算法,即在迭代中新的权向量等于所有样本向量的加权和,这样可以不必计算数据协方差矩阵.在解决给定样本向量或平稳随机过程的PCA问题时,该算法能够弥补目前批量的算法和增量算法存在的不足。此外,作者还从理论上证明该算法的收敛性。作者提出的PCA算法基于一种直接面向数据学习的思想，即在迭代中新的权向量是所有数据向量的加权和,称为直接面向数据学习的PCA算法(Data-OrientedPCA,DOPCA).在解决给定数据或平稳随机过程的PCA问题时,DOPCA算法能够弥补目前批量算法和增量算法存在的不足.首先,它不需要计算数据协方差矩阵,运算复杂度低,可解决高维数据问题.其次,DOPCA算法具有单边渐近的收敛特性,能够较为快地求出最优特征向量的精确解.除此之外,本文作者还证明PCA子空间的收敛一致性，并提出一种快速算法，使计算效率更高，收敛速度加快.算法流程如下：求解第1个特征向量求解高阶特征向量快速计算算法具体如下：前p个特征向量的DOPCA基本算法step1选择需要计算的特征向量数p,并使k=1.step2随机初始化权向量wkstep3更新权向量：step4归一化权向量:step5若wk未收敛，则返回到step3.否则，转到step6.step7k=k+1,回到step2直到k=p.在step6紧缩所有样本向量,数据矩阵X的每一列对应一个样本向量.当第k个特征向量的当前值wk和更新以前的值满足时迭代收敛.通常地,可允许有很小的收敛容差,即判断迭代收敛的标准为其中,E是收敛容差,abs(#)是求绝对值运算.对比实验：实验1：平均迭代次数l与样本向量维数之间的关系•实验2：计算时间随着向量空间维数或样本数目的增加总体呈现线性增长趋势•实验3：采用ORL人脸图像数据库进行特征脸提取实验.CCIPCA(CandidCovariance-FreeIncre-mentalPCA)算法比随机梯度上升(StochasticGradientAscen,tSGA)算法和广义Hebbian算法(GeneralizedHebbianAlgorithm,GHA)[6]有更好的收敛特性，所以仅用CCIPCA作为增量学习算法的代表进行比较.在特征脸实验中,由于数据库中只有400张图像,所以可用矩阵计算方法来求特征向量.但是,当数据量较大时,矩阵计算方法就很难处理了,而用DOPCA就可求出特征向量的精确解.实验结果表明,DOPCA算法收敛速度快，能求出最优特征向量的精确解，是一种解决大数据量高维PCA问题的有效方法。这篇论文主要研究不需计算协方差矩阵而求解高维数据特征向量精确解的办法。基于面向数据学习的思想,本文提出一种简单的DOPCA算法。经过分析,这个算法可精确收敛到数据协方差矩阵的特征向量.利用迭代向量在高阶线性子空间投影,FastDOPCA可进一步加快收敛速度.在这篇论文中，面向数据学习的思想给了我很大的启示，它可以应用在很多的算法中，大大提高算法的速度和效率。六、 《TheoryoffractionalcovariancematrixanditsapplicationsinPCAand2D-PCA》在这篇论文中，作者给了定义的部分方差和部分协方差的新定义。此外，还给出部分协方差矩阵的定义。基于部分协方差矩阵，主成分分析（PCA）和二维主成分分析（2D-PCA）,作者提出了两种新的技术，叫做部分主成分分析（FPCA）和二维部分主成分分析（2D-FPCA）,它把PCA和2D-PCA成部分顺序形式，并扩展了PCA和2D-PCA的过渡识别范围。为了比较FPCA及2D-FPCA的性能，并且在ORL和Yale这两个人脸图像数据库进行了一系列的对比实验。对比实验：1.PCA和FPCA的对比FPCA与传统的无监督的PCA方法在ORL人脸库进行性能评估的对比。该ORL人脸库包含从40个人，每个提供10个不同的图像。对于图像的拍摄时间不同。面部表情（眼睛的开或闭、微笑或不笑）和面部细节（戴眼镜或不戴眼镜）也各不相同。首先，对每一类第一个五张图像样本做训练数据，剩余的图像作为测试数据。因此，总的训练和测试数量是200。所有图像都是灰度像素规范化到23X28像素。部分协方差由得到的矩阵。这里，部分协方差矩阵的大小是644X644，我们很容易计算其特征值以及对应的特征向量，并且贡献率特征值由计算可得。根据特征值的贡献率，我们选择对应于P最大特征值的特征向量，E1，E2,。。。，EP,作为投影轴。图像的投影由可以投影到轴上，我们在低维空间中得到构造子图像。最近邻分类器与欧几里德距离应用于分类。结果很显然，在相同的维度FPCA最佳识别的精度总是高于PCA。总的来说FPCA的顶部的识别精度大约5%,比PCA更高。和2D-FPCA的对比2D-FPCA与经典的无监督方法2DPCA在Yale人脸库进行性能评估的比较。Yale人脸数据库包含15个人的165图像（每个人都有11种不同的图像）在不同光照下的各种表情。在该实验每个图像是人为裁剪并调整到40X40个像素。首先，将试验在每类中随机选择六个图像作为，而其余保持进行测试。该FCM是由计算。计算FCM的特征向量后，很容易由获得2D-FPCA和2D-PCA的CRE。结果显示如下图，然后，最近邻分类器与欧氏距离最终用于分类。它的识别类似于2D-PCA方法。实验结果表明，两个新的技术优于标准的PCA和2D-PCA如果0和1之间选择不同的顺序。结果很显然，在同维度2D-FPCA的最佳平均识别精度优于2D-PCA。我的想法：从论文中我们知道，在一般情况下，降序的FPCA顶端识别精度比PCA高大约5%。，降维且降序时2D-FPCA的平均识别精度比2D-PCA大了约5%而比2D-PCA大了10%。整体而言，本文中FPCA及2D-FPCA的性能比PCA和2D-PCA的更好。我会认为作者提出的部分方差和部分协方差在未来可以应用在图像处理并可以对图像分析提供有价值的信息。七、课程心得体会非常高兴选择了马丽老师的通选课程，老师的作风一向严谨认真，朴素求实，这也正是我能够把模式识别这门课程学得相当深刻的原因。而在模式识别的课程中，PCA算法可以说是最感兴趣的一个算法，因为从网上查阅资料得知，其在人脸识别的领域有着非常高的地位，这迎合了我从小的科幻梦想。并且，马老师在课堂上对PCA和LDA的对比给了我非常深刻的印象。PCA和LDA有着不同的决策函数线,所有样本点在PCA决策函数上的投影特点是:方差最大，但是可分性不好，而且各点直接由重合部分。而在LDA上的投影特点是：可分性最好，各个点的投影布容易重合，利于分类。而从性能上来说，PCA对高光谱数据图