模式识别习题

1、第一章绪论1 .什么是模式？具体事物所具有的信息.信息.模式所指的不是事物本身,而是我们从事物中获得的2 .模式识别的定义？让计算机来判断事物.3 .模式识别系统主要由哪些局部组成？数据获取一预处理一特征提取与选择一分类器设计/分类决策.如果l(x)第二章贝叶斯决策理论p(w2)/p(w1)_,那么x1 .最小错误率贝叶斯决策过程？答：先验概率,类条件概率.利用贝叶斯公式得到后验概率.根据后验概率大小进行决策分析.2 .最小错误率贝叶斯分类器设计过程？答：根据练习数据求出先验概率P(wi),'类条件概率分布p(x|wi),i1,2利用贝叶斯公式得到后验概率P(wi1x)P(wi|x)P

2、(x|wi)P(wi)2P(x|wj)P(wj)j11,2P(x|wi)P(wi)2P(x|wj)P(wj)1如果输入待测样本X,计算X的后验概率根据后验概率大小进行分类决策分析.3 .最小错误率贝叶斯决策规那么有哪几种常用的表示形式?决策规那么的不I司形式工孽点)如贝尸|=max:尸(那么X二Vt；如果p(x>=max|>尸),同h*(3)i'A-=-11"/(JV)=-111IW.)+111I1)vlnX尸(Wj)腹j#三下尸5小4 .贝叶斯决策为什么称为最小错误率贝叶斯决策？答：最小错误率Bayes决策使得每个观测值下的条件错误率最小因而保证了(平均)错误率

3、最小.Bayes决策是最优决策：即,能使决策错误率最小.5 .贝叶斯决策是由先验概率和(类条件概率)概率,推导(后验概率)概率,然后利用这个概率进行决策.6 .利用乘法法那么和全概率公式证实贝叶斯公式答:p(AB)p(A|B)p(B)p(B|A)p(A)mp(B)p(B|Aj)p(Aj)j1所以推出贝叶斯公式P(B|Ai)P(Ai)P(B)P(B|Ai)P(Ai)7MP(B|Aj)P(Aj)7 .朴素贝叶斯方法的条件独立假设是(P(x|wi)=P(x1,x2,xn|coi)=P(x1|coi)P(x2|coi)P(xn|coi)8 .怎样利用朴素贝叶斯方法获得各个属性的类条件概率分布？答：假设

4、各属性独立,P(x|coi)=P(x1,x2,xn|wi)=P(x1|«i)P(x2|coi)P(xn|«i)后验概率：P(coi|x)=P(coi)P(x1|coi)P(x2|coi)P(xn|«i).、1m.均值：mean(x)ximi1类别清楚的直接分类算,如果是数据连续的,假设属性服从正态分布,算出每个类的均值方差,最后得到类条件概率分布.1m万差：var(x)(xix)A2m1i19 .计算属性MaritalStatus的类条件概率分布给表格计算,婚姻状况几个类别和分类几个就求出多少个类条件概率.10,朴素贝叶斯分类器的优缺点？答：分类器容易实现.面对孤

5、立的噪声点,朴素贝叶斯分类器是健壮的.由于在从数据中估计条件概率时.这些点被平均.面对无关属性,该分类器是健壮的.相关属性可能降低分类器的性能.由于对这些属性,条件独立的假设已不成立.11 .我们将划分决策域的边界称为(决策面),在数学上用可以表示成(决策面方程)12 .用于表达决策规那么的函数称为(判别函数)13 .判别函数与决策面方程是密切相关的,且它们都由相应的决策规那么所确定14 .写出多元正态概率下的最小错误率贝叶斯决策的判别函数,即q(x)ln(p(x|i)P(i)1(X内)Ti1(x内)d1gi(x)gj(x)021n221n|i|InP(i)15 .多元正态概率下的最小错误率贝

6、叶斯决策的决策面方程为16 .多元正态概率下的最小错误率贝叶斯决策,当类条件概率分布的协方差矩阵为i2时,每类的协方差矩阵相等,且类内各特征间(相互独立),并具有相等的方差.17 .多元正态概率下的最小错误率贝叶斯决策,如果先验概率相等,并2且i=1,2,.c,那么分类问题转化为只要计算待测样本x到各类均值的(欧式距离),然后把x归于具有(最小距离平方)的类.这种分类器称为(最小距离分类器).18 .I己知样本类条件概率由度,中小二)0其中n=(2'上.产w=4.丘,*P(电)=0.乙,如果用星小霜i吴率贝叶斯决策来进行分类器设计,决策而耨不通过C通JH*不通过外和“连线的中点

7、6;决策面与I句最19正交交,不正交).19 .多元正态概率下的最小错误率贝叶斯决策,类条件概率密度各类的协方差矩阵不相等时,决策面是(超二次曲面),判别函数是(二次型)证实:多元正态概率下的最小错误率贝叶斯决策,对于2=,f,r=L2c的特殊情况,最终的决策面方程为超平面口证实二多元正态概率下的最小错误率贝叶斯决策,对于F=Fi-12C的特殊情况,最终的决策面方程为：岳3=/.-硝修二叼131 尸叫碣=洲+1-；丁三=7&-%2 旧-因£内一町多元正态概率卜的最小错设率贝叶斯决策,对于二=er2/,z=L2ci的特殊情况.证实光弊概率相等时,形成的分类罂曷最小即高分类器.多

8、元正态概率卜的最小错误率贝叶斯决策,对于E=二,=I-/的特殊情况.证实判别函数是线件的.2.6对麟可虬让腿小腿叫喊策顾咻示为"吗为一短电p八一I铲口两浮飞.Rcc.=*工="F如,+z.J9»,xsILJ'I1'匕H-£IR.士=ffl2|x=见打尸tWj|x+jt22P/a2|x用Bayes公式展开,最小风险贝叶斯决策决策得到：如果星三回上MJI出如果必三包_P工I%22靠尸t,叱4?一/"尸&一4口尸叱那么,ME他那么tX<0,第三章概率密度函数的估计1 .类条件概率密度估计的两种主要方法参数估计和非参数估计

9、2 .类条件概率密度估计的非参数估计有两种主要的方法Parzen窗法和KN近邻法.它们的根本原理都是基于样本对分布的未知原那么.K3 .如果有N个样本,可以计算样本邻域的体积V,然后获得V中的样本数k,那么Px=、N4 .假设正常细胞和癌细胞的样本的类条件概率服从多元正态分布,使用最大似然估计方法,对概率密度的参数估计的结果为.证实：使用最大似然估计方法,对一元正态概率密度的参数估计的结果如下:?1XkNk15.5个样本和2个属性构成的数据集中,1N2Xk?VNkiw1类有3个样本,w2类有两个样本.如果使用贝叶斯方法设计分类器,需要获得各类样本的条件概率分布,现假设样本服从多元正态分布px|

10、iN出,Ji1,2那么只需获得分布的参数均值向量和协方差矩阵即可,那么采用最大似然估计获得的w1类的202类条件概率密度均值向量为2,3转置,以及协方差矩阵为022.224第四章线性判别函数1 .两类问题的样本集中,有两个样本.Xi13,2T属于类,X21,2,3T属于类,对它们进行增广后,这两个样本的增广样本分别为y1=1,1,-3,2T,y2=-1,-1,-2,3T2 .广义线性判别函数主要是利用映射原理解决普通函数不能解决的高次判别函数问题,利用广义线性判别函数设计分类器可能导致维数灾难.3 .线性分类器设计步骤？主要步骤：1 .收集练习数据集D=x1,x2,xN2 .按需要确定一个准那

11、么函数JD,w,w0或JD,a,其值反映分类器的性能,其极值解对应于“最好决策.3 .用最优化技术求准那么函数J的极值解w*,w*或a*.TT4 .最终,得到线性判别函数,完成分类器设计gxw*xWo,gxa*y5 .线性判另ij函数gx的几何表示是：点x到决策面H的距离的一种代数度量.6 .增广样本向量使特征空间增加了一维,但样本在新的空间中保持了样本间的欧氏距离不变,对于分类效果也与原决策面相同.在新的空间中决策面H通过坐标原点7 .Fisher准那么的根本原理为：找到一个最适宜的投影轴,使_类间在该轴上投影之间的距离尽可能远,而类内的投影尽可能紧凑,从而使分类效果为最正确.当wTSbw8

12、.Fisher准那么函数的定义为Jf(w)9Fisher方法中,样本类内离散度矩阵SixmjxmJT,ixDi%T-qSS2wSwwSi与总类内离散度矩阵Sw分别为1,2SwSiS210 .利用Lagrange乘子法使Fisher线性判别的准那么函数极大化,最终可以得到的判别函数权向重w1z、Swmm211 .表达Fisher算法的根本原理.Fisher准那么的根本原理：找到一个最适宜的投影轴,使两类样本在该轴上投影之间的距离尽可能远,而每一类样本的投影尽可能紧凑,从而使分类效果为最正确.12Fisher公式的推导定义1昨1tinge函数：L(w.4)=-以环丁邑河-仁)141Taw=.S&#

13、39;w=-mNm-mJ:vWirIT、L上D=SJ叫一=S13.两类问题的样本集中,有两个样本属于w1类,x2(1,2,3)T属于Xi叫一m；1,3,2Tw2类,对它们进行增广标准化后,这两个样本的标准化增广样本分别为y1=(1,1,-3,2)转置和y2=(1,-1,-2,3)转置.14.表达感知准那么的梯度下降算法的根本过程.答：1.初值：任意给定一向量初始值a(1)2 .迭代：第k+1次迭代时的权向量a(k+1)等于第k次的权向量a(k)加上被错分类的所有样本之和与pk的乘积3 .终止：对所有样本正确分类任慝给定一向量初始值XI)a(k+l)=a(k)+p*xSunn(被错分雌所有样本)

14、F所有/7F确公类广得科例的3完成、分美署投讣15感知准那么函数JP(a)aTyyYk16线性判另1J函数g(x)的几何表示是：点x到决策面H的(距离的代数度量)17 .感知机方法主要有两种,批量样本修正法与单样本修正法.它们之间的区别是什么？答单样本修正法：样本集视为不断重复出现的序列,逐个样本检查,修正权向量批量样本修正法：样本成批或全部检查后,修正权向量18 .感知准那么特点是随意确定权向量(初始值),在对样本分类练习过程中(逐步修正)权向量直至最终确定.19 .对于感知准那么函数,满足(aTy0)的权向量称为解向量,解向量不止一个,而是由无穷多个解向量组成的解,称这样的区域为(解区域)

15、.20 .感知准那么函数为Jp(a)(aTy)极小值时的a为最优解ky丫证实使用梯度下降算法的迭代过程公式a(1),任意a(k1)a(k)kVkJ(a)y证实：Jp(a)J(y)ayYka(k1)a(k)kJp(a)a(k)kyyYk21 .以下哪种分类方法最不适用于样本集线性不可分情况：BA.Fisher线性判别的Lagrange乘子法B.感知准那么的梯度下降算法C.最小错分样本数准那么的共轲梯度法D.最小平方误差准那么的梯度下降法22 .多类问题可以利用求两类问题的方法来求解.这样做的缺点是会造成(无法确定类别的区域增大),需要练习的(子分类器及参数增多).23 .利用最小平方误差准那么函

16、数进行分类器设计,主要是求极小化时的权向量.当b(1,.,1T时,最小平方误差准那么函数的解等价于(Bayes)线性判别的解.''24 .表达分类器错误率估计中的留一法的运算过程.答：1.N个样本,取N-1个样本作为练习集,设计分类器.2 .剩下的一个样本作为测试集,输入到分类器中,检验是否错分.3 .然后放回样本,重复上述过程,直到N次,即每个样本都做了一次测试.k4 .统计被错分的次数k,?作为错误率的估计率.25利用两类问题的线,f分类器解决多类问N常用的两种方法的优缺点.答：优点：设计思想简单,容易实现.缺点：(1)需要练习的子分类器或参数多,效率低.(2)无法确定类别

17、的区域多.【造成该问题的根本原因是将多类问题看成了多个两类问题来解决.这样必然造成阴影区域的出现.解决方法用多类问题的分类器】26线性分类器设计中的最小平方准那么函数方法采用的准那么函数公式是什么？当利用伪逆解方法求解时,遇到计算量过大时,可以代替采用何种方法来练习分类器参数？表达你所使用方法的根本原理,并解释为什么你的方法可以降低计算量.N答：由于e=Ya-b,Js(a)|e2|yab|2(aTyibi)常用梯度下降法来降低计算复杂度i1NJs(a)2(aTyi2YT(Yab)i1批量样本修正法：单样本修正法:a(1),任意初始化a(k1)a(k)kYT(Ya(k)b)a(1),任意初始化a

18、(k1)a(k)ga(k)Tyk)yk27利用两类别的线性分类器如何解决多类别的分类问题？3i/3i法：将C类别问题化为C-1个两类第i类与所有非i类问题,按两类问题确定其判别函数与决策面方程coi/coj法：将C类中的每两类别单独设计其线性判别函数,因此总共有CC-1/2个线性判别函数28.表达分类器错误率估计中的m-重交叉验证方法的运算过程,并说明什么情况下该方法将退化为留一法.答：1N个样本被划分成m个不相交的集合,每组有%个样本.(2)(3)(4)(5)在m个样本中取m-1个组的样本作为练习集,设计分类器.剩下的一组样本作为测试集,输入到分类器中检验,统计错分数然后放回,重复上述过程,直到m次.设kii=1,m是第i次测试的错分数,那么k.kiki当m=N时,退化为留一法.第五章近邻