线性判别函数

05线性判别函数Bayesian分类器设计方法，已知类条件概率密度p(x|ωi)参数表达式先验概率P(ωi)利用样本估计p(x|ω

i)的未知参数用贝叶斯规则将其转换成后验概率P(ωi|x)，并根据后验概率的大小进行分类决策。解决实际问题方法在实际中存在问题样本特征空间的类条件概率密度形式常常很难确定利用Parzen窗等非参数方法恢复分布往往需要大量样本，而且随着特征空间维数的增加所需样本数急剧增加。因此，在解决实际问题时，往往是利用样本集直接设计分类器，而不恢复类条件概率密度。即采用判别函数，首先给定某个判别函数类，然后利用样本集确定出判别函数中的未知参数。线性判别函数

问题描述线性判别函数

如下图:三类的分类问题,它们的边界线就是一个判别函数判别函数包含两类:线性判别函数:线性判别函数广义线性判别函数(所谓广义线性判别函数就是把非线性判别函数映射到另外一个空间变成线性判别函数)分段线性判别函数非线性判别函数线性分类器的三种典型方法以Fisher准则为代表的传统模式识别方法以感知准则函数为代表的机器自学习方法以支持向量机为代表的统计学习理论。分段线性判别函数:近邻法2023/5/2452023/5/2462023/5/247判别函数的形式模式的特征矢量：判别函数：称为权矢量或系数矢量判别函数的形式增广特征矢量：增广权矢量：判别函数：两类问题线性判别准则决策规则:对于两类问题的线性分类器决策规则：方程g(x)=0定义了一个决策面，把归类于ω1

类的点和归类于ω2

的点分割开。假设x1

和x2

都在决策面H

上，则有

wTx1+w0=wTx2+w0

(4-3)或wT(x1

－x2)=0(4-4)表明，w

和超平面H

上任一向量正交，即w

是H的法向量。一般地，一个超平面H

把特征空间分成两个半空间，即对ω1

类的决策域R1

和对ω2

类的决策域R2

。因为当x

在R1

中时，g(x)>0，所以决策面的法向量是指向R1

的。因此，有时称R1

中的任何x

在H

的正侧，相应地，称R2

中的任何x

在H

的负侧。判别函数g(x)是特征空间中某点x

到超平面距离的一种代数量度。若把x

表示成式中xp

：是x

在H

上的投影向量；

r：是x

到H

的垂直距离；：是w方向上的单位向量。若x

为原点，则g(x)=w0(4-7)将(4-7)代入(4-6)，就得到从原点到超平面H

的距离(4-6)判别函数g(x)是特征空间中某点x

到超平面距离的一种代数量度。如果w0>0，则原点在H

的正侧；若w0<0，则原点在H

的负侧。若w0=0，则g(x)具有齐次形式wTx

，说明超平面H

通过原点。判别函数g(x)是特征空间中某点x

到超平面距离的一种代数量度。图5.街2对这不些结臣果作渔了几闯何解拥释。结论利用内线性浪判别递函数店进行辩决策桨，就掌是用服一个妈超平经面把键特征坑空间斯分割井成两劲个决割策区妙域。超平刑面的丈方向创由权轻向量w确定疾，它赏的位缝置由蜻阈值房诚权w0确定醉。判别吼函数g(x)正比掉于x点到广超平级面的丑代数负距离局（带醋正负截号）铜当x在H正侧帆时，g(x)＞0，在别负侧忙时，g(x)＜0。多类瞒问题属（情稍况一拣）每一凡类模较式可泻以用惊一个棚超平社面与阳其它创类别膊分开奖；这种始情况叨可以网把c个类佩别的弊多类没问题旨分解托为c个两塑类问血题解晶决，倒需要c个线附性分冷类界折面；第i类与书其它秧类别戚之间吩的判困别函互数：（1）二挺分法多类部问题黎（情蜜况一跳）判雪别规尊则若存侄在i，使州得gi(x)>壮0，gj(x)<蜡0，j≠沫i，则修判别x属于ωi类；其它软情况举，拒鸭识。多类鼻问题应（情盏况二丢）每两款个类杯别之文间可逢以用象一个马超平押面分通开；c个类贞别的域问题迈需要c(虹c-弊1)距/2个线谅性分膛类界爆面；第i类与盘第j类之肠间的燥判别杆函数顶为：多类题问题扬（情绑况二斗）判筹别准衣则如果率对任羡意j≠i，有gij(x)≥0，则造决策x属于ωi。其它杠情况预，则确拒识芽。结论杆：判杜别区成间增皱大，附不确怠定区梁间减萝小IR（2）ωi/ωj二分麦法多类毫问题萍（情铜况三何）情况错三是旷情况些二的让特例贯，不升存在雪拒识蝇区域裤。多类盒问题允（情培况三冲）判且别函够数c个类养别需正要c个线颂性函得数：判别甘准则杏：（3）最促大判耍别准络则结论事：无母不确狮定区丑间例：袖假设印判别刘函数上为：问吃属怪于哪妻一类模。解：所以三种辛方法祸小结分类方法判别函数个数不确定区难易ωi/ωi二分法ωi/ωj二分法最大判别准则MM(初M-寸1)耳/2M最多较少没有较难较易较易20床23棵/5窄/1贱831Fi疗sh序er准则示的基符本原近理20伏23马/5票/1依832基本骂参量延的定驾义20甩23易/5瓶/1巩833基本止参量旷的定好义20斩23唉/5梯/1起834Fi膀sh的er线性配判别Fi州sh块er线性予判别Fi尼sh渴er线性夺判别Fi浆sh贪er线性谈判别Fi堡sh朝er线性挂判别20亡23嘱/5蒙/1钱840Fi腹sh仪er线性河判别看书沟课堂江练习20乌23狭/5秒/1怎84220酱23昆/5防/1导84320哲23旁/5缎/1邻84420切23炉/5玩/1红84520最23妄/5顺/1饼84620录23位/5闲/1抖847感知渔器概伶念及迈其训汤练方决法20帆23静/5拉/1默84820查23旨/5吼/1晴84920站23砌/5圾/1疮85020搂23遭/5留/1裂851两个续问题渠：（1）构良造准棵则函缸数（2）如怜何最隆快地那搜索沿到使樱准则盘函数蜡取极利小值惰的解线性做判别肝函数弄的学筋习问题溉的提抢出：出假设绕有一借个包雁含n个样剃本的财集合y1,y2,控…,yn,一些权标记巨为ω1,另一恋些标头记为ω2，用涝这些藏样本衰来确捕定一改个判笔别函且数g(x)=atx的权胳矢量a。在线瓶性可罩分的份情况稠下，婆希望授得到誓的判隐别函僻数能堪够将班所有程的训卵练样乌本正林确分即类；线性块不可趟分的细情况芦下，蠢判别椒函数环产生详错误目的概伶率最腔小。训练央样本嘴的规鄙范化非规捷范化笼：规范动化：最优症问题楼的求档解：（1）一补个适砍当的叉代价猛函数境（准船则函努数）（2）一床个优蹲化算虑法梯度借下降同法一次阅准则例函数乔及梯议度下塘降法(G筒ra南di介en雨t阔De胳sc逆en持t扔Al鸡go窝ri笑th切m)感知霉准则鸭函数牙（Ro欢se轿nb谋la辜tt）可微萍函数茄在某柱点的牲梯度速是一塌个向桐量函数猾在该妈点的们变化箭率最夸大的镰方向函数并的梯斧度向哀量定到义为梯度静下降半法的薯迭代役公式买为：任给击定初骆始权擦矢量稠，第k+牙1次迭元代时捞的权军矢量山等于千第k次的蔬权矢和量加觉上被w（k）错才分的敬样本之和乘以某毛个系捆数。批量坛修正准则吵函数瞧的梯兵度：将梯剪度下潜降法托应用巩到一钳次准葬则函少数中感知默器算水法把样腊本集征看成编不断趣出现抄的序羊列逐艰一考漆虑，港称为锤单样幅本修抵正法倚。屑且令物，医称为都固定流增量洁法。若遭使抬得+-+-感知额器算译法(P党er梅ce蓬pt菌ro胆n哥Ap须pr寸oa遮ch刺)算法爹思想任选隶一初宏始增能广权种矢量用训糕练样欢本检翠验用唉分类毕正确纱否对进软行校追正对所遥有训冒练样怕本都枝能正忘确分激类？EN逢DYe影sYe悟sNoNo一、匙感知谁器算跃法算法为步骤嘉：增广闯的训攀练样更本集研每个担类别卵已知云，（1）令相步数k=锣1,增量愈为箩正的斯常数绸，汁的各旅分量劣为较眼小的亏任意麻值（2）输港入训茫练模惕式夜，炼计算今判别皆函数国值（3）调掏整增厌广权懂矢量等，规季则：（a）如孤果（b）如亏果（c）如趣果（4）如哨果k<吩N，令k=季k+耀1，GO尿TO（2）如果k=锈N，则倒检验码对所丙有训废练样名本是爬否都仙正确书分类吩，是各则结育束，财否则挠，令k=巾1，GO灵TO（2）一、坚感知例器算已法收敛擦定理捷：如肯果训槽练模盐式是矩线性办可分纪的，泡感知墙器训春练算炎法在刃有限塔次迭舟代后肉可以圣收敛境到正伪确的氏解矢踪蝶量证明碍：。棉。。宅。。鲜。一、爸感知止器算程法感知技器算筹法在怒多类焦问题疯中的翁运行元步骤议：增广酸的训浩练样厨本集竹每个仿类别熄已知反，（1）令择步数k=今1,增量颠为磨正的我常数峡，C个权聪矢量顾赋任袋意初惜值（2）输昨入符译号未嘴规范锡化的揉增广地训练巧模式亦，计衰算C个判呀别函勒数值（3）调备整增锻广权恼矢量疫，规挡则：（a）如絮果（b）如沟果（4）如矿果k<酬N，令k=躬k+倍1，GO辱TO（2）如果k=谷N，则鞠检验主对所尖有训贷练样议本是巩否都妙正确芝分类遇，是倡则结绢束，丽否则晌，令k=照1，GO挺TO（2）感知稠器算干法(批量迎调整陷版本)be纪gi吼n轮in储it裕ia栋li猛ze,蛛,θ,继k0dokk稼+1un初ti兼lre戚tu福rn鸡aen模d例有两捏类模却式的冻训练归样本缴：ω1：{愤(0柜,0乡丰),杏(面0,滑1)朋}ω2：{闸(1泼,0扯),屋(绩1,埋1)拐}用感屡知器矛算法迷求取薪判别植函数键，将竞两类钻样本陷分开缺。解：(1显)训练块样本逝分量栗增广烦化及喜符号饭规范规化：(2炊)给增铃广权冒矢量兽赋任抹意初予值作，瓣取增侍量=1，68例题:已知捐训练滴样本(0淡,0些)T1，(1笑,1影)T2，(-耗1,咸1)T3,试求蝇解向可量w1、w2和w3。（2）运朴用感针知器陆训练蔑算法类。置k=义1，增换量=1，赋技初值暑：w1=(印0,漆0,男0)T,w2=(矩0,初0,岩0)T,w3=(渔0,钥0,由0)T,进行神迭代告运算筑：解:（1）训更练样邻本分监量增辰广化章。将别训练衣样本岁变成问增广上训练滤模式栋：x1=(崇0,街0,冠1)T,x2=(谁1,闯1,吗1)T,x3=(叫-1幅,1馒,1征)T,这里伞的下贵标恰川是所买属类灾别，登各类皱样本怖不需星符号柄规范毅化。69例题:已知庭训练尝样本(0蹄,0帝)T1，(1昼,1絮)T2，(-锣1,版1)T3,试求检解向迫量w1、w2和w3。k=焦1,xk=x11,因为d1(x1)=货d2(x1)=齿0，d1(x1)=浅d3(x1)=宽0，错分消，所率以:w1(2棉)=w1(1劈燕)+x1=(胜0,渣0,省1)Tw2(2鼻)=w2(1佛)-x1=(锋0,壮0,归-1巨)Tw3(2型)=w3(1嫁)-x1=(颗0,匙0,疫-1弃)Tk=胸2,从xk=x22,因为d2(x2)=醒-1肉<d1(x2)=代1，d2(x2)=因d3(x2)=造-1，错魔分，所以w1(3成)=爽w1(2与)-采x2=(泄-1累,-拍1,旁0柔)Tw2(3法)=吓w2(2标)+急x2=(征1后,犹1,跨0财)Tw3(3疑)=荐w3(2药)-术x2=(咐-1劲,-穴1,藏-2车)T70例题:已知录训练党样本(0集,0垦)T1，(1请,1海)T2，(-蒙1,诵1)T3,试求聋解向动量w1、w2和w3。k=袖3,亲xk=x33,因为d3(x3)=单-2邻<d1(x3)=缠0，d3(x3)=彩d2(x3)=沙0，错欣分，所以w1(4孔)=隙w1(3绪)-惧x3=(睡0群,-厕2,顾-1绞)Tw2(4轮)=美w2(3注)-妨x3=(班2榆,穗0,谨-1四)Tw3(4陈)=们w3(3塞)+域x3=(摘-2婆,月0,且-1究)Tk=估4,片xk=x11,因为d1(x1)=害d2(x1)=拨-1，d1(x1)=野d3(x1)=安-1，错乱分，所以w1(5坚)=披w1(4勤)+依x1=(垃0行,-蜡2,否0爸)Tw2(5继)=被w2(4齿)-叔x1=(泡2再,惹0,驶-2敌)Tw3(5合)=乐w3(4兼)-汁x1=(魄-2弱,饰0,晶-2而)T71例题:已知预训练户样本(0么,0薄)T1，(1千,1鞭)T2，(-蝴1,工1)T3,试求罢解向若量w1、w2和w3。k=牙5,苏xk=x22,因为d2(x2)=件0>拉d1(x2)=提-2，d2(x2)=工0>瓜d3(x2)=幻玉-4，正堪确，所以w1(6斜)=观w1(5氧)=外(宵0,管-2雪,继0)Tw2(6犹)=血w2(5中)=滨(希2,陵0敏,-笨2)Tw3(6夕)=扯w3(5拦)=赢(-竭2,期0诱,-质2)Tk=端6,鬼xk=x33,因为d3(x3)=述0>抹d1(x3)=劳-2，d3(x3)=基0>苍d2(x3)=正-4，正勾确，所以w1(7鸟)=沿w1(6楼)=苍(伯0,战-2悬,竭0)Tw2(7孔)=他w2(6添)=盒(窃2,必0淹,-掘2)Tw3(7晃)=由w3(6宿)=遗(-文2,猴0匀,-琴2)T72例题:已知合训练恨样本(0沿,0竟)T1，(1浙,1春)T2，(-恭1,搬1)T3,试求委解向愁量w1、w2和w3。k=子7,参xk=x11,因为d1(x1)=更0>敲d2(x1)=研-2，d1(x1)=炒0>扮d3(x1)=贱-2，正闻确，三个燃权矢伞量不外再变撒化，搂因此始可以观确定趁所有道训练旱样本荡均已饭被正欲确分莫类，由此恰得到忧三个完解矢舟量：w1*=w1(5宁)，w2*=w2(5利)，w3*=w3(5慌)同时胞可得法三个抱判别尖函数:d1(x)傍=棕-2x2d2(x)拥=是2x1-2d3(x)雀=番-2x1-2MA时TL告AB程序赚示例gz茶hq刊.m20弓23敲/5府/1践873二次淹准则秃函数雅及其奋解法问题教：一次崖准则浙函数着及其笔算法讽（如羞感知敢器算妄法）复只适抽用于仙线性年可分闷的情榆况，昏如果湿是线内性不虾可分戚的，办分类桑过程直将不肠收敛?能否本找到荐一种榴算法占，使冲之能桃够测杠试出六模式洲样本登集是厌否线序性可牧分，弯并且鼓对线狡性不济可分谈的情卧况也蓝能给喷出“次最诉优”的解晒？如果龙训练君模式怠是线盒性不尤可分不等挨式组站是不一例致的，啊不等提式组搂没解鱼。此状时，目标吩最少蠢的训禁练模动式被禁错分遍。（一失）最岭小错唇分模枝式数批目准招则对线坟性不垂可分通样本误集，则求一挣解矢苏量使踩得错倍分的捎模式伍数目泡最少炼。对于胖两类蛛问题驳，设n+扒1维增择广训微练模躺式已符武号规剃范化。如果怠训练仆模式生是线昏性可术分的巷，则宗存在健权矢荒量局使不期等式更组成立般。式中谜是婶矩阵辨。将上傍面的各不等饰式组岭写成蜂矩阵尖方程窝形式辛，并藏引入N维余市量矢扩量蒜，丝式于是败不等废式方市程组落变为（二曲）最蒜小方辜差准慎则及W-盐H算法针对积方程投组,构造遥方差缺准则葡函数对于,此时摊的,而对夜于,此时殊的遇。落如果止方程渣组有团唯一快解,说明训吸练模轿式集斤是线霉性可么分的,如果择方程会组无秘解,极小坡点值扣是最续小二贫乘解岩。一则般情勺况下捉使泥极刘小等您价于留误分写模式轨数目钱最少。⑴伪逆竿法求忧对脉的梯宏度并猪令其惑为零循，有可得(3强-6仆-1酱2)当(X’X)-1存在罪时，X+=(X’X)-1X’称为X的伪沈逆(也称晓广义祝逆或M-诞P逆)，醒称为砌的书伪逆搂解。X’X是(n+1队)×剪(n+1坊)矩阵净，一枝般是裂非奇枣异的唇。当(X’X)-1不存凡在时铁，可民用广颗义逆半法解这里(X’X)+为X’X的广甜义逆狂矩阵皮。求解丹最佳树权矢料量的咸方法烈：⑵梯度皮法由前钱述知分，鱼的移梯度他为梯度镜下降匪算法宅迭代朋公式顷为St踩ep亚1.任取St悦ep仅2.(3粒-6军-1友3)可以证明，当为任意正的常数，

则该算法使权矢量序列收敛于;满足，也称为MSE解。此算虚法的耗两个涂性质:1.当别时,M剃SE解旬等怜价于Fi时sh批er解。2.令,在样量本数辽时,M支SE解以家最小进均方尤误差猪逼近透贝叶交斯判妥决函渐数St粥ep忠1.任取St醋ep悠2.此算历法通迅常称训为W－H(花Wi对dr漆ow－Ho任ff喇)算法仿前喂采用旦单样众本修粱正法堡，则蚕式(3辣