工学模式识别线性判别函数PPT学习教案

1、会计学1 工学模式识别线性判别函数工学模式识别线性判别函数 6 7 3 5 1 4 模式识别与神经网络 2 第1页/共48页 3 . . . . . . x1 x2 xn a(x) 分类器 功能结构 第2页/共48页 4 直接确定判别函数 准则函数 次优分类器 g(x)=wTx w 选择最佳准则 第3页/共48页 5 0 ( ) T wgwxx 1212 ,.,. TT dd x xxw wwxw 第4页/共48页 6 1 2 g0 g0 g0 xx xx x ( ) , 则决策 如果( )0 R2: g0 第6页/共48页 8 1 2 x bxax xbxa 或 则决策 如果 则决策 ( )

2、()()g xxa xb判别函数： 2 012 ( )g xcc xc x 第7页/共48页 9 2 012 ( )g xcc xc x 110 221 2 332 1yac yxac yxac ya， 3 1 ( ) T ii i g xa y a y 第8页/共48页 10 1,., ,1 1 T d xx x y 10 ,., 1 T d ww w w a 第9页/共48页 11 0 ( ) TT gwxw xa y 第10页/共48页 12 *argmax (,)J K w ww 第11页/共48页 13 第12页/共48页 14 x 1 x 2 w 1 H: g=0 w2 第13页/

3、共48页 15 样本均值向量 1 1,2 i i x K i i N mx 类内离散度类内离散度矩阵 ()() , 1,2 i T iii i x Sxmxm 12w SSS 类间离散度类间离散度矩阵 1212 ()()T b Smmmm 离散度矩阵在形式上与协方差矩阵很相似，但协 方差矩阵是一种期望值，而离散矩阵只是表示有 限个样本在空间分布的离散程度 第14页/共48页 16 样本 均值 1 , 1,2 i i y i myi N 类内离散度 2 () , 1,2 i ii y Symi 12w SSS 类间离散度 2 12 () b Smm 以上定义描述d维空间样本点到一向量投影的分投影

4、的分 散情况散情况，因此也就是对某向量w的投影在w上的 分布。样本离散度的定义与随机变量方差相类似 第15页/共48页 17 x 11 , 1,2 ii T i K i T i i myi NN yy w xw m 22 1212 1212 ()() ()() T TT b T b T S Smm w mw m wwmmmmww 第16页/共48页 18 2 2 () () ()() i i i ii y TT i x K TT i i i x K T S Sym w xw m w wxmxw w m 1112 () TT w SSSSSwwww 第17页/共48页 19 12 ( ) T b

5、b F T w SS Jw SSS ww ww *argmax() F J w ww 第18页/共48页 20 *1 12 () w S wmm m1-m2是一向量，对与(m1-m2)平行的向量投影可使两均 值点的距离最远。但是如从使类间分得较开，同时又使类 内密集程度较高这样一个综合指标来看，则需根据两类样 本的分布离散程度对投影方向作相应的调整，这就体现在 对m1-m2 向量按Sw-1作一线性变换，从而使Fisher准则函 数达到极值点 第19页/共48页 21 12 0 2 mm w 1122 0 12 N mN m wm NN 12 12 0 12 ln()/() 22 PPmm w

6、NN 01 02 0 0 T T yw yw w xx w xx 第20页/共48页 22 12 ( ) T bb F T w SS Jw SSS ww ww c0 T w Sww令 Lagrange:( , )() TT bw LSScwwwww定义函数 ( , ) :0 bw L SS w ww w 令 1 wb SS ww 11 1212 1 12 ()() () T wbw w SSS SR wwmmmmw mm *11 1212 ()() ww R SS wmmmm 第21页/共48页 23 n感知准则函数 第22页/共48页 24 n感知器 n线性可分性 1 2 ,0 ,0 T T

7、 ya y ya y 如果 则 如果 则 u规范化样本向量 1 2 yy y yy 如果 = 如果 01,., T i iN a y 第23页/共48页 25 第24页/共48页 26 ( )() k T P Y J y aa y 被错分类的规范 化增广样本集 第25页/共48页 27 ( ) ( )() k p p Y J J y a ay a (1)( )( ) ( ) k kp k Y kkrJ kr y aaa ay 第26页/共48页 28 1. 初值: 任意给定一向量初始值a(1) 2. 迭代: 第k+1次迭代时的权向量a(k+1)等于第k次的权向量a(k)加上被错分类的所有样本之

8、和与rk的乘积 3. 终止: 对所有样本正确分类 任意给定一向量 初始值a(1) a(k+1)= a(k)+ rkSum (被错分类的所有样本) 所有样本 正确分类 得到合理的a 完成 分类器设计 N Y 第27页/共48页 29 查后，修正权向量 y3 y1 第28页/共48页 30 第29页/共48页 31 1112 11 2122 12 12 . . . . . T d T d T NN NNd yyy yyy Y yyy y y y 0Ya Yab 第30页/共48页 32 误差向量 平方误差准则函数 22 2 1 ( )() N T sii i JYb aeaba y *argmin

9、( ) s J a aa MSE方法的思想：对每个样本，设定一个“理想”的判别 函数输出值，以最小平方误差为准则求最优权向量 第31页/共48页 33 1 ( )2()2() N TT siii i JbYY aa yyab * ()0 TT s JY YYaab *1 () TT Y YYY abb 第32页/共48页 34 n与Fisher方法的关系：当 1 1 2 2 / . / / . / N N N N N N N N b N1个 N2个 第33页/共48页 35 u当N，时，则它以最小均方误差逼近Bayes判别函数： 12 ( )(| )(| )gPPxxx 第34页/共48页 3

10、6 1 ( )2()2() N TT siii i JbYY aa yyab (1), (1)( )() T k kkrYY a aaab 任意初始化 (1), (1)( )( ) Tkk kk kkr bk a aaayy 任意初始化 第35页/共48页 37 R1 R3 R2 1 1 22 R1 R3 R2 1 2 1 3 3 2 第36页/共48页 38 0 ( ),1,., T iii gwicxw x argmax( ),1,., i i jgicx 第37页/共48页 39 R1 R3 R2 R 1 R 3 R 2 R5 R4 第38页/共48页 40 多极分 类器 n1 n2 n

11、3 n4n5 t1t2t3t4t5t6 t7 第39页/共48页 41 多极两类分类问题 n1 n2n3 n4 t1t2 t5 x25 x12x34 x221 23 23 t3t4 第40页/共48页 42 别规则，即构成 分段线性分类器 R1 R3 R2 第41页/共48页 43 n最小距离分类器 1,., ( )min i k ii kl g xxm 1,., argmin( ) i ic jg x 1,., if ( )min( ) then jij ic gg xxxor 第42页/共48页 44 m1 m2 x g(x)=0 m1 m2 x 第43页/共48页 45 ( ) 0 ( ),1,2,., ;1,.,