哈工大 模式识别第3章

1、w0是一个常数，称为阈值权 g(X) / |W|R0=w0 / |W|XXpR1: g0R2: g0, 决策：Xw1 g(x)a (k)iiiiyyyykpa(k1)a(k)Jkpy yJ (a)( y)kika(k1)a(k)y0，TTTT2Tkiikia (k1)a (k)y y =a (k)|y | =a (k)iiiiyyyyT2ki=|a (k)| /|y |iyTTTT2kiikiTT22iiTTa (k1)a (k)y y =a (k)|y |=a (k)|a (k)| /|y | |y |=a (k)|a (k)| 0iiiiiiiyyyyyyy例 三个样本，x1=1； x2=

2、0； x3=-2；w1=x1,x2;w2=x3 采用感知准则函数及梯度下降算法求分界面。 =1 解： 1）增广样本向量：x1=1，1T； x2=1，0T； x3=1，-2T 2）规范化： y1=1，1T； y2=1，0T； y3=-1，2T； 3) a(0)= =1，0T 用a(0)对y1,y2,y3分类 aT(0)y1=1,01,1T=10 Ok aT(0)y2=1,01,0T=10 Ok aT(0)y3=1,0-1,2T=-10 okaT(1)y2=0,21,0T=0 ERRORaT(1)y3=0,2-1,2T=40 OKyk=y2(5) a(2)=a(1)+y2 =0,2+1,0=1,2

3、 用用a(2)对对y1,y2,y3分类分类 aT(2)y1=1,21,1T=20 Ok aT(2)y2=121,0T=10 okaT(2)y3=1,2-1,2T=-20 OKyk= a=a(2)=1,2T aTY=1,21,xT=1+2x=0, X= -0.5dTTdTNNNNdyyyyyyyyYyyyy11121122122212bbbb qqqaNiiqiiiqqaJaYabYabJaJay ay ajy ay aJaJa*( )()()min( )sgn(),sgn()()max( )2111212211012102、共梯度法求解、搜索法求解准则准则dTTdTNNNNdyyyyyyyyY

4、yyyy11121122122212bbbbN12a*( )()()min( )NTsnnnssJ aeYaba ybJ aJ a22211、可能会出现一些不定区域。如图中绿色区域2、用线性判别函数对i类及所有非i类进行划分不能保证获得性能良好的划分，硬性使用线性分类器可能会产生很不好的效果。 本章主要讨论：样本分布及子类划分已定或仅已知子类数目的情况下，设计分段线性判别函数的问题最小距离分类器：只有在各类别密集地分布在其均值附近时才有效。对于右图所示情况，若企图用每类一个均值代表点产生最小距离分类器，就会产生很明显的错误率。 不同k值时的错误率 0 0.25 0.50.50.250样本集分级

5、分解 本课程主要讨论两类样本的剪辑。 对ANT中的所有样本重复12，结束时原始样本集 ，存在交叠区 一次迭代的结果，交叠区没剪干净 算法终止时留下的样本边界干净，无交叠区 三次迭代的结果，交叠区中只有少量样本 两类非正态分布样本的重复剪辑左上：左上：初始样本集及Bayes分界面（虚线）右上：第右上：第1次剪辑后次剪辑后的的样本集下：剪辑结束后下：剪辑结束后的的样本集及最近邻法分界面（实线）初始化Store是空集，原样本集存入Grabbag； 从Grabbag中任选一样本放入Store中作为第一个样本。样本集生成在Grabbag中取出第i个样本Xi用Store中的当前样本集按最近邻法分类。 若分类错误（表明Xi 可能在边界附近），则将该样本转入Store中； 若分类正确（表明Xi 可能远离边界），则将该样本放回Grabbag中； 对Grabbag中所有样本重复上述过程。结束过程若Grabbag中所有样本在执行第二步时没有发生转入Store的现象，或Grabba