华南理工模式识别期末考试总结self

1、 华南理工模式识别期末考试总结、/、刖言本人是华工17级学生，作为对刚刚的模式识别课程学习的总结，此篇文章只供参考借鉴使用。基本考纲就在本文章中，对于考纲内容，不分是做了解释，部分是想到哪写到哪。对于哪些是考试重点，已经标出，希望可以帮助到大家！另，附联系方式QQ：2049945431，欢迎喜欢模式识别课程的同学们一起讨论。由于部分内容是截取课程PPT，所以如果有版权问题，也请按如上方式联系。第一章绪论监督模式识别与非监督模式识别1）有监督模式识别分类（classification）a给出若干已知答案的样本（训练样本trainingsamples）a由机器从这些样本中进行学习（训练traini

2、ng/learning）a学习的目的在于从这些样本中总结规律，使之能够对新的样本进行判断2）无监督模式识别一一聚类（clustering）a所面对的只有未知答案的样本a由机器从这些样本中进行学习（自学习）a学习的目的在于从这些样本中发现规律,这种规律应该是某种固有的关系，或者依据这种规律对对象的分类有某种功用模式识别系统的典型构成组成：信息获取与预处理、特征提取与选择、分类或聚类、后处理等四个部分第二章贝叶斯决策理论（必考）多维正太分布（廿级考,最小错误率贝叶斯决策巾7级考点）1）贝叶斯公式J-I尸（月P2）各种概率样本x,类别先验概率：除固有条件外没有其他条件情况下，类发生的概率，P（w）。

3、后验概率：P（Ux）,样本x出现的条件下，类发生的概率。类概率:P（x|0,类条件下x的概率分布密度。最小风险贝叶斯决策第三章概率密度函数估计最大似然估计1）视参数为确定量，只是数值未知，最大化所观察样本概率得最优参数2）P（X|0）=nP（x|0）贝叶斯估计与贝叶斯学习贝叶斯估计是连续化了的相对于贝叶斯决策。视参数为服从某一先验概率密度分布的随机变量，对样本进行观察的过程，就是把先验概率密度转化为后验概率密度，后验概率密度在待估测参数值附近取最大。与极大似然估计类似，均已后验概率表示分类准则。概率密度的非参数方法非参数估计的基本原理P(x)二k/(NV)；k为落在窗口中的样本数、N为样本总数

4、、V为样本大小K近邻估计方法窗口点数一定Parze门窗(0级考了计算，QAQ)窗口大小一定样本、数窗宽对估计结果的影响第四章线性分类器线性判别函数G(x)二(wAT)x-w0|G(x)|二r|w|；r为x到G(x)的距离Fisher线性判别分析(17级考点)样本在原特征空间映射后的y空间各类拝本均/值向呈叫2_,/=1,2样本类网离歆.m.r.度距阵空与議-叫)丫J=l,2裝内禹散度距叭陈抽sh.=s,+s2耐二+工X心L2=工0-冈)1心口氏小祥本慣间詔散度距阵&:込=(叫-也Jf/Mj-也Sh=(fn-ih2)大1)最佳法向量解：；常用阈值负的均值中点感知器(7级考点)增广一一尾行添1(无

5、论规范化正负)；规范化一一第二类样本向量取反(说白了，加负号)=艺(ary)火+1)=口幺)+仇工2屮感知准则函数；迭代公式线性支持向量机思想：边界距离最大；由此可得全局最优解，且鲁棒性好。数学表示：已知：rr个观測样本，偶曲仅必)x为日维向童也就是我们常说的特征向量；y.e-1,+1,.即用y是钥或/競示其类别*目痂最优分类面討曷+压“将利别固数归一也便两类所有样車都潇足剧工壯|甘英mil世匿x支持荐卒点到fll优分董豆枝的距离(帳据4.2知识，向臺倒另娄面OWQ的距寓是冰刃川刖冊min.w|3求解1对偶问题拉格朗日因子与支持向量的关系L(w,b,*)=|w|a4-a(1-a?i4*i)转化

6、为对偶问题可以简化计算；可以引入核函数支持向量的拉格朗日乘子不为0第五章非线性分类器(17级未考察，但之前有考察计算)多层感知神经网络Kolmogorov定理：任何一个判决都可以用三层神经网络实现。激活函数学习率和隐藏层节点数，两者对训练的影响支持向量机核函数Xj)(飒曲)4仗了)枫航卩0(站j)应用举例近年来百VM方法已经在圏像识别、信号处理和基因图谱识别等方面得到了成功的应用显示了它的优势。SVM通过核函数实现到高维空间的非线性映射，所以适台于解决本曉上非线性的分类、回归和密度函数估计等问题。支持向呈方法也対样本分析、因子筛选、信息压缩、知识挖掘和数据修复等提供了新工具*第六章其他分类方法

7、近邻法最近邻（左图）第六章其他分类方法近邻法最近邻（左图）；K-近邻法（右图，k=5）决策树（随机森林）1）预剪枝时间短简单，但会带来欠拟合风险后剪枝泛化能力较强，但逐一导致训练时间长划分纯度依据：信息增益、增益率、基尼指数ID3算法信息增益=ptF*,（SsLnftot切工jp-鬥-信息*商；信息增益错误率问题错误率（贝叶斯P0最近邻P1k近邻P2）P0P1、P22P0在k趋近无穷时p2趋近贝叶斯误差率二第七章特征选择特征子集的搜索特征的评价准则夹Hl證飙阻矩阵可能是以有哪些判据，简要说明各判据方式考察）-T是类内离散度矩晖占基于距离可分性准则J特征提取1）类内类间距离的可分性判据（17级考

8、察计算）Fishery则时曾用过两牛描述离歆屢的矩阵。一平是类间则可痔上列各式表示成:其中，m为总均值向量*巴表示各娄别的先脸概率，E,1）概率分布的可分性判据根据特征的概率密度分布曲线是否交叠，Jmax完全不交叠2）熵的可分性判据熵值越，说明样本的类别不确定性越口特征选择策论1）过滤式特征选择发生在做脸至少。2）包裹式将分类器的性能（维数、错误率）作为特征评估方法3）嵌入式特征选择可以学习器训练嵌入到一个过程完成。总结背最特征子集搜索方法前向櫻索，后向摟索，或向摟索.特征子集评估方法基于距离的判据，基于概率密度的刘据#基于爛的判捕特征逋择的策略过滤式，邑裏式,嵌入式第八章特征提取（特征提取与

9、选择的区别）假谕已有D维特征向量空间y=yPey.t则所谓特征选擇是指从原肓的口维特征空间.删去一些特征描述呈，从而得到精简后的特征空间.在这个特征空间中，样本由也维的特征向量描述：AK1T跆.dD.由于X只是的一个子集，因此毎个分虽儿必然能在原特征集中找到其对座的描述量，旦庐而特征提取则是找到一于映射关系：A：Y-*X；便朋样本特征描述维数比原维数曄低。基中每个分量幻是原特征向量各分量的函数*即Xi=Xi（yi!yEPyo）基于类别可分判据的特征提取主成分分析（PCA）线性提取方法在力求数据馆息丢罠最少的原则下，对高錐的变童空间降维，即研究指标休系的少数几个线.性组合，并且这几个钱性组律所构

10、成的加含楣标将尽可能多地保留原来捕标变异方面的信息.这些综合描标就称为主成分方差最大化KL变换（基于自相关矩阵的计算，17级考点）1）基本原理变换方法】以样本特征向量在特征空间分布为康始数据*通过实行&I.变换.找到维数较少的组含特征*达到降维的目飢2）步骤2.利用自相关矩阵的氏儿变換进軒轄証提耽设X是z堆馬止向GKX是来自阿芋模此植的样水也.总样本將用童按为卅览恫v町旧后的方也；K爭i家样本隼的的想体白相養輕障取第耳：購R同转征恤厶.；-Ls-.-r.时转证北山人到小iS和排馭，罐诽肪M亍牧丸的转证ffU第三步：计垮川亍待征價茁应的特征向最叶）-1,2,d,归一隹启购成充找悔阵U.U=他.伸

11、1严-也|第艸!趴对丨觸中的邻牛庄世行K丄变按，即更搀拆向更X：0=UTXd址向眾注崔餐粹FT址罔ftX进行井鑿的模式HS.上述两种方法的关系答：CA是线性变换的特征提取方法达到降维目的无监督以方差最大化为评价标准。KL是基于非线性KL变换，映射得到降维的特征空间；有监督；以均方误差的期望值最小为评价标准。两者都是在原有特征集中进行正交化的整合处理得到维数更小的特征集合。合。两者各自的不足之处及优点第九章非监督模式识别非监督处理的样本无标签动态聚类算法C均值算法（17级考点计算+概念，重点内容）1）流程图=刃|“-2）误差平方和准则目标：使其最小化分级聚类方法分级聚类方法的目的井不把N个样本分成某一个预定的类别数C,而是把样本集按不同的相似程度要求分成不同类别的聚类，最极端的情况毘每个样本各自为一类，N个样本共有阳类，没有