模式识别 复习笔记

1、第一章概论什么是模式识别？使计算机模仿人的感知能力，从感知数据中提取信息(判别物体和行为)的过程。(老师的简略说法：用机器判断事物类别)模式识别系统主要由四个部分组成：原始数据的获取和预处理，特征提取与选择,分类或类聚，后处理。训媒过観图1】檯式识別系旣的基本构盛紧致性：做模式识别的前提条件是每个模式类满足紧致性。从上面讨论中*我门可贞看別紧致集具有下列性质迎串界点的敬a；与总的点数棉比很少.集台中任意两个内点可以用光滑线世接，在该连线上的点也屛丁这个集合“彗F内点赭一牛足够大的邻威，在该答域中只包含同一集合中的点相似性度量满足的条件：1234点前猖到广泛喷用的用拟性庫宣是在空闾中毎文的某种腔

2、离，斛定个蘇1人样丰集合、灣.我门JHD维空间中的一个点表示某个样两个棒本心和xf之间的相似性庫量&(x应满足厦下嬰求：F2tA)=O.182曲以合理的决策是把工归类于正常状态最小风险贝叶斯决策：考虑各种错误造成损失不同时的一种最优决策。例24在例2-】条件的基础丄，利用表匕E的决赞表.按显小凤险灵叶斯决貳进行分尸仙(：,91IW|)=Cr2VA|2=0i屈=1*P姚一!h1p(x|气=a4根据例zi的卄算结果可知后险概率为P(!|j)-0.B18j再按弍卄算出祭件城险J=0.81S由于尺（旳;x）即抉鹫为叫的条件风险小于按策为帥的条件凤险，因此我心来取决第行动叫，即判斷符说别的纽側鼻为叫类耳

3、常细第三章最大似然估计（两大参数估计=最大似然估计+贝叶斯估计）:最可能出一题最大似然估计的计算题。判断估计好坏的标准：无偏性、有效性、一致性。最大似然估计的求解流程:1、构造似然函数流程:1、构造似然函数*12、对数化3、求偏导N3、求偏导N1*】L=04、求解第四章线性分类器Fisher判别法Fisher准则：找到一个最合适的投影轴，使两类样本在该轴上的投影之间的距离尽可能远，而每一类样本的投影尽可能紧凑，从而使分类效果为最佳。各类样本均值向量mi样本类内离散度矩阵时与总类内离散度矩阵Sr&二工（兀-叫心-叫几/=1,2-S2样本类间离哉度矩阵S/?：=（111-m-mJ判定函数J（w）越

4、大，说明分子类间距离越大，分母类内距离越小。符合fisher准则。4（问=脣於卜=W/frW=argmaxJ（w）聲十S?wrw“引入拉格朗日函数:A）=w7w/!（wr.w-）引入拉格朗日函数:求偏导二令站刑厂叩川2&皆$田戏入久叩vtr*=SZ；(m.-m,最小二乘法y=ax+b艸宅戈07什纽區监汇叫讪吃工圳4-纟：f；n勺二副联瓯叮七2讥丫血2*（丫*xX】gj.今ktj恥书员二（仪门0丫第五章非线性分类器反向传播算法BP：1.三层结构简述BP过程、偏差回来调整权系数P95(Back-Propogiion*简楙BF算法JI：主要思想是从后向前反向)逐屋祐播愉H圧的误差.限间接算出關层误羞

5、。算法分为两个阶段;第一阶段(正向过程检人倍息从输人层竪隐层理层片算各单元的输出值第二阶段(反向传播过程)內输出课羞逐层向前算出陆层各单元的溟差、并用此提差穆正前层权值。学习规则：随机给定权系数；计算输出；得到偏差；进行调整算法步骤：(D选定权系数初始值。逐复下述过程直至收敛(对各样本战次计算人从前向后各层计算各单元Qnetj=O*Ot=1/(1-对输出层计其毎=(y0)0(1Oj)从后向前计算各陳层&一0(1工叫&J!计算井保存各权值修正量金Am时(r1)帖XZ修止权值%。十1)=十Arj(J第七章特征选择遗传算法过程：a.初始化：设置进化代数计数器t=0,设置最大进化代数T,随机生成M个个

6、体作为初始群体P(0).个体评价：计算群体P（t）中各个个体的适应度。选择：将选择算子作用于群体。选择的目的是把优化的个体直接遗传到下一代或通过配对交叉产牛新的个体再遗传到下一代。选择操作是建立在群体中个体的适应度评估基础上的。交叉：将交叉算子作用于群体。作为交叉是指把两个父代个体的部分结构加以替换重组而生成新个体的操作。遗传算法中起核心作用的就是交叉算子。变异：将变异算子作用于群体。即是对群体中的个体串的某些基因座上的基因值变动。群体P（t）经过选择、交叉、变异运算之后得到下一代群体P（t+1）。终止条件判断：若t=T,则以进化过程中所得到的具有最大适应度个体作为最优解输出，终止计算。（终止

7、条件：达到适应度函数或达到进化规定的代数）下面给出遗传算迭的基本框架：步骤1令进化代数上=5步骤2給出初始化群体并令町为任亍个体。步骤3对尸中每个个体估值，并将群休中最优解度与如比较，如果工的性能优于S则J严N*步骤4如果终止条件満足,则算医结束山为绘后算法结果r否则*转到步骤5。涉骤5从FQ）选择个休并进行交叉和变岸揀作舒到新一代午体FQ1人令=个+1,转到步骤S遗传算法的览缺虫遗传算沬与传统前优化方沬枚举，启发式等）相比较.以生物进化为原型，貝有:艮好的收敛性.在计算精度要求时，计算吋间少“鲁棒性高等都是它的优点。在现在的工作中，遗传算法（1972年捉出）已经不能很好的解决大规模计算屋问题

8、，它很容易陷入“早熟”0第八章特征提取PCA（主成分分析）K-L变换（最优正交线性）（完整掌握）.-X-一豈氛曲曇CM匕支块费彷二M如妁7殳二和円坯训m二憾广最忙.、（/|亠入只）胪仇.结合KL变换叙述人脸识别的经典流程：对向量x用确定的完备正交归一向量基uj展开，对应到的人脸识别问题上就是一个脸可以由无穷多个本征脸进行重构；用有限项估计X,对应人脸识别时一个脸由有限个本征脸进行重构，假设有d个，则；下面是寻找uj,即对应的本征脸；由于是用d个本征脸来重构一张脸x,所以存在一定的误差。求估计的均方误差:E=E(x-x)r(x-x)J=E=Et叫ZuR=|5=玖兀丹）=EXX3=XUsxrddu

9、/=SM叫站|&.iJ+Lgtl/i/4i用Lagrange乘于法：“ifRuy=then割二VnRutR得极值以相关矩阵E的川亍本征向量为基向量来展开X时.其均方误差为E=Z心/=/+1当取拒阵R的川个最大本征值对应的本征向量来展开x吋*其截断均方课差最小。第九章非监督模式识别K均值聚类基本思想：k均值聚类是最著名的划分聚类算法，由于简洁和效率使得他成为所有聚类算法中最广泛使用的。给定一个数据点集合和需要的聚类数目k，k由用户指定，k均值算法根据某个距离函数反复把数据分入k个聚类中。K均值的迭代思想：已、初始化：选择叮个代农点pl,p2pc?认建立f个空聚类列表：K1tK2,-sKcJ按照最小距离法则逐个对样本区进行分类d、计算J及用各聚类列表（Ki）计算聚类均值（pi）,作为各聚类新的代表点（更新代表点）一若J不变或代表点未发生变化，则停止否则转黔K均值算法：先随机选取K个对象作为初始的聚类中心。然后计算每个对象与各个种子聚类中心之间的距离，把每个对象分配给距离它最近的聚类中心。聚类中心以及分配给它们的对象就代表一个聚类。一旦全部对象都被分配了，每个聚类的聚类中心会