模式识别-复习笔记

第一章概论什么是模式识别？使计算机模仿人的感知能力，从感知数据中提取信息〔判别物体和行为〕的过程。〔老师的简略说法：用机器判断事物类别〕模式识别系统主要由四个局部组成：原始数据的获取和预处理，特征提取与选择，分类或类聚，后处理。紧致性：做模式识别的前提条件是每个模式类满足紧致性。相似性度量满足的条件：1234点一些专业术语的中英文：PR〔patternrecognition〕模式识别 BP〔back-propagation〕反向传播算法 PCA〔principalcomponentanalysis〕主成分分析NN〔neuralnetworks〕神经网络欧式距离：马氏距离：贝叶斯决策〔两大贝叶斯决策=最小错误率贝叶斯决策+最小风险贝叶斯决策〕：贝叶斯决策的三个前提条件：类别数确定，各类的先验概率p(wi)，各类的条件概率密度函数p(x|wi)。最小错误率贝叶斯决策：使错误率最小的分类决策。对应于最大后验概率。贝叶斯公式：P17白细胞例子最小风险贝叶斯决策：考虑各种错误造成损失不同时的一种最优决策。第三章最大似然估计〔两大参数估计=最大似然估计+贝叶斯估计〕：最可能出一题最大似然估计的计算题。判断估计好坏的标准：无偏性、有效性、一致性。最大似然估计的求解流程：1、构造似然函数2、对数化3、求偏导4、求解第四章线性分类器Fisher判别法Fisher准那么：找到一个最适宜的投影轴，使两类样本在该轴上的投影之间的距离尽可能远，而每一类样本的投影尽可能紧凑，从而使分类效果为最正确。各类样本均值向量mi判定函数J〔w〕越大，说明分子类间距离越大，分母类内距离越小。符合fisher准那么。引入拉格朗日函数：求偏导最小二乘法y=ax+b第五章非线性分类器反向传播算法BP：三层结构简述BP过程、偏差回来调整权系数P95学习规那么：随机给定权系数；计算输出；得到偏差；进行调整算法步骤：第七章特征选择遗传算法过程：初始化：设置进化代数计数器t=0，设置最大进化代数T，随机生成M个个体作为初始群体P〔0〕.个体评价：计算群体P〔t〕中各个个体的适应度。选择：将选择算子作用于群体。选择的目的是把优化的个体直接遗传到下一代或通过配对交叉产生新的个体再遗传到下一代。选择操作是建立在群体中个体的适应度评估根底上的。交叉：将交叉算子作用于群体。作为交叉是指把两个父代个体的局部结构加以替换重组而生成新个体的操作。遗传算法中起核心作用的就是交叉算子。变异：将变异算子作用于群体。即是对群体中的个体串的某些基因座上的基因值变动。群体P(t)经过选择、交叉、变异运算之后得到下一代群体P(t+1)。终止条件判断：假设t=T，那么以进化过程中所得到的具有最大适应度个体作为最优解输出，终止计算。〔终止条件：到达适应度函数或到达进化规定的代数〕第八章特征提取PCA〔主成分分析〕K-L变换〔最优正交线性〕〔完整掌握〕结合KL变换表达人脸识别的经典流程：对向量x用确定的完备正交归一向量基uj展开，对应到的人脸识别问题上就是一个脸可以由无穷多个本征脸进行重构；用有限项估计X，对应人脸识别时一个脸由有限个本征脸进行重构，假设有d个，那么；下面是寻找uj，即对应的本征脸；由于是用d个本征脸来重构一张脸x，所以存在一定的误差。求估计的均方误差：第九章非监督模式识别K均值聚类根本思想：k均值聚类是最著名的划分聚类算法，由于简洁和效率使得他成为所有聚类算法中最广泛使用的。给定一个数据点集合和需要的聚类数目k，k由用户指定，k均值算法根据某个距离函数反复把数据分入k个聚类中。K均值的迭代思想：K均值算法：先随机选取K个对象作为初始的聚类中心。然后计算每个对象与各个种子聚类中心之间的距离，把每个对象分配给距离它最近的聚类中心。聚类中心以及分配给它们的对象就代表一个聚类。一旦全部对象都被分配了，每个聚类的聚类中心会根据聚类中现有的对象被重新计算。这个过程将不断重复直到满足某个终止条件。终止条件可以是以下任何一个：1)没有〔或最小数目〕对象