南邮模式识别复习提纲(整理)

绪论列举三个模式识别的应用：人脸识别，语音识别，基因识别列举模式识别比较强的研究单位：拥有国家重点学科的五所大学：清华、上交、南理工、西交、北航。中科院。模式识别国家重点实验室---中科院北京自动化研究所---汉王识别系统。机器人学国家重点实验室---中科院沈阳自动化所---机器人视觉（ATR导弹自动目标识别）。南邮---江苏省图像处理与图像通信重点实验室。何为模式识别：Patternrecognitionisthestudyofhowmachinescanobservetheenvironment,learntodistinguishpatternsofinterestfromtheirbackground,andmakesoundandreasonabledecisionsaboutthecategoriesofthepatterns.模式识别是机器如何可以观察到环境的研究，了解其背景，以区别于利益格局，使有关的模式类别的健全和合理的决定。模式识别系统的基本组成：模板匹配法：1首先对每个类别建立一个或多个模版2输入样本和数据库中每个类别的模版进行比较，求相关或距离3根据相关性或距离大小进行决策句法模式识别（给图画树）：在学习过程中，确定基元与基元的关系，推断出生成景物的方法。判决过程中，首先提取基元，识别基元之间的连接关系，使用推断的文法规则做句法分析。若分析成立，则判断输入的景物属于相应的类型。监督学习与非监督学习的主要区别：训练样本的类别是否已知。语音识别的基本单位：音素模式识别过程：1三个空间：模式空间特征空间类型空间2三个操作：模式采集、特征提取/选择、以及分类决策第二章贝叶斯决策理论贝叶斯公式：最小错误率贝叶斯决策最小风险贝叶斯决策细胞化验ω1正常，ω2异常；P(ω1)=0.85P(ω2)=0.15；p(x|ω1)=0.15和p(x|ω2)=0.45;判决两种α1,α2。风险矩阵：试用最小风险判决规则，判断根据最小风险判决规则，x∈ω2，即试验人属于癌症病人，与例1的结论相反。类型空间与决策空间统一根据最小风险判决规则，x∈ω2，即试验人属于癌症病人，与例1的结论相反。类型空间与决策空间统一 Np判决规则的基本思想：在一种错误率不变的条件下，使另一种错误率最小。由于存在先验概率未知，增加一种已知条件，由此给出判决规则限定一类错误率，使另一类错误率最小举例：经济过热，细胞化验NP适用条件：先验概率未知（不可变），仅知道类概率密度。判别函数和决策面方程的区别——判别函数：每个类有一个判别函数。决策面方程：相邻两个类别判别函数相等构成的方程。最大值判决：gi（x）>gj(x)j=1,2……则x属于wi最小距离判决：条件：先验概率相等协方差矩阵……在描述特征中的两点性质1对角线上的元素代表单个元素的离散性。2非对角线上的元素代表不同特征相关性，若都为0则各特征都独立。协方差矩阵：类等概率曲线形状：同心圆why：不同轴相互垂直且相等——对角阵。决策线与两类的均值点（圆心）连线的位置关系：垂直先验概率对交点的影响？交点向先验概率较小的那个类型的均值点偏移。第三章概率密度函数的估计什么是参数估计，非参数估计？参数估计：先假定研究的问题（类概率密度）具有某种数学模型，如正态分布，二项分布，再用已知类别的训练样本估计里面的参数非参数估计：不假定数学模型，直接用已知类别的训练样本的先验知识直接估计数学模型（类概率密度）。区别：类概率密度是否已知。分类器设计与判决过程似然函数：训练样本集和未知参数的函数。最大似然估计：将未知参数看做一确定值，所选取的估计参数能使得训练样本集能发生的概率最大，这一估计值成为最大似然估计。贝叶斯函数估计的基本思想：把待估的参数作为具有某种先验分布的随机变量;通过对第i类学习样本Xi的观察借助ρ(Xi|θ)使得ρ(θ)转化为后验概率ρ(θ|Xi);最后求贝叶斯估计。步骤：①已知θ的先验分布p(θ),待估参数为随机变量。②用第i类训练样本的似然函数p(Xi|θ)，它是θ的函数。由样本独立p(Xi|θ)=∏p(xi|θ)③

利用贝叶斯公式,求θ的后验概率密度④求贝叶斯估计相比参数估计，非参数估计的优缺：优——无须已知类概率密度函数形式缺：需要大量的训练样本。直方图法的三个步骤：1把样本x的每个分量在其取值范围内分成k个等间隔的小窗。如果x是d维向量，则这种分割就会得到kd方个小体积或者称作小舱，每个小舱的体积记作V。2统计落入每个小舱内的样本数目qi。3把每个小舱内的概率密度看作是常数，并用qi/(NV)作为其估计值，其中N为样本总数。小舱体积的选择的影响：如果小舱选择过大，则假设p(x)在小舱内为常数的做法就显得粗糙，导致最终估计出的密度函数也非常粗糙。如果小舱过小，则有些小舱内可能就会没有样本或很少样本，导致估计出的概率密度很不连续。小舱的选择应与样本总数相适应。小舱体积固定的缺点：可能导致密度的估计在样本密度不同的地方表现不一致。1随着样本数的增加，小舱体积应该尽可能小2必须保证小舱内有充分多的样本3每个小舱内的样本数又必须是总样本数中很小的一部分kN近邻估计法（可变大小的小舱）基本做法：根据样本总数确定一个参数kN，即在总样本数为N时我们要求每个小舱内拥有的样本个数。在求x处的密度估计p(x)时，我们调整包含x的小舱的体积，直到小舱内恰好落入kN个样本kN近邻估计法中的窗口选择与样本密度的关系：样本密度越大，小舱体积越小。kN近邻估计法的优点：能够比较好地兼顾在高密度区域估计的分辨率和在低密度区域估计的连续性。立方体的边长h的大小对概率密度估计的影响：h越大，样本密度曲线越平滑，分辨率越低。第四章线性分类器样本直接设计分类器要确定的三个基本要素：1分类器即判别函数的类型，也就是从什么样的判别函数类（函数集）中去求解。2分类器设计的目的或准则，在确定了设计准则后，分类器设计就是根据样本从事先决定的函数集中选择在该准则下最优的函数，通常就是确定函数类中的某些待定参数。3在前两个要素明确之后，如何设计算法利用样本数据搜索到最优的函数参数（即选择函数集中的函数）。设计线性分类器主要步骤如下：1、要有一组其有类别标志的样本集2、要根据实际情况确定一个准则函数J，它必须满足：J是样本集和W、w0函数，J(X,W,w0)J的值反映分类器的性能，它的极值解则对应于“最好”的决策3、用最优化技术求出准则函数的极值解W*和w*04、最后得到线性判别函数感知准则函数：梯度下降法迭代