第五章距离判别

1、第五章 判别分析5.1 5.1 距离判别距离判别问题的提出问题的提出 设有n个样本，每个样本测得p项指标（变量）的数据，已知每个样本属于k个类别（或总体） 中的某一类 ，且它们的分布函数分别为kGGG,21., 2 , 1),()(21kixxxFxFpii希望希望利用这些数据，找出一种判别函数判别函数，使得这一函数具有某种最优性质，能把属于不同类别的样本点尽可能地区分开来，并对测得同样p项指标（变量）数据的一个新样本能够判定这个样本属于哪一类。一、一、 马氏距离马氏距离1、 定义定义).()(),(12yxyxyxdT设 与 是从均值向量为 、协方差为 的总体G中抽取的两个样品，则 之间的马

2、氏平方距离为xyyx,之间的马氏平方距离为G与总体x).()()G,(12xxxdT一、一、 马氏距离马氏距离2、 性质性质. , 0)y,() 1 (yxxd成立当且仅).x,()y,()2(ydxd).z ,()y,(),()3(ydxdzxd二、二、 距离判别的方法距离判别的方法设 与 为两个不同的p元已知总体，其均值向量是为 、协方差为1G2Gi.i设 是一个待判样品，距离判别准则为：Tpxxxx),(21)G,()G,(,)G,()G,(,212211xdxdGxxdxdGx若若二、二、 距离判别的方法距离判别的方法1、 两个总体协方差矩阵相等的情况两个总体协方差矩阵相等的情况111

3、111111121,)(TTubabxaxW其中212221222221,)(TTubabxaxW其中)()(,)()(,212211xWxWGxxWxWGx若若线性判别函数二、二、 距离判别的方法距离判别的方法1、 两个总体协方差矩阵相等的情况两个总体协方差矩阵相等的情况)(21),(),()(21211axaxWT其中0)(,0)(,21xWGxxWGx若若二、二、 距离判别的方法距离判别的方法1、 两个总体协方差矩阵相等的情况两个总体协方差矩阵相等的情况,) 1 () 1 (2) 1 (111nxxxG的训练样本：,)2()2(2)2(122nxxxG的训练样本：) 1 (1) 1 (1

4、111xxnnii)2(1)2(2221xxnniiTiniixxxxnS)(11) 1 () 1 () 1 (1) 1 (111TiniixxxxnS)(11)2()2()2(1)2(222二、二、 距离判别的方法距离判别的方法1、 两个总体协方差矩阵相等的情况两个总体协方差矩阵相等的情况的无偏估计是时当,212) 1() 1(212211nnSnSnS二、二、 距离判别的方法距离判别的方法1、 两个总体协方差矩阵相等的情况两个总体协方差矩阵相等的情况) 1 (1) 1 (1) 1 (11111)(21,)(xSxbxSabxaxWTT其中)2(1)2(2)2(12222)(21,)(xSx

5、bxSabxaxWTT其中)(21),(),()()2() 1 ()2() 1 (1xxxxxSaxxaxWT其中二、二、 距离判别的方法距离判别的方法1、 两个总体协方差矩阵相等的情况两个总体协方差矩阵相等的情况)()(,)()(,212211xWxWGxxWxWGx若若0)(,0)(,21xWGxxWGx若若二、二、 距离判别的方法距离判别的方法2、 两个总体协方差矩阵不等的情况两个总体协方差矩阵不等的情况),()()(111121xxxdT).()()(212222xxxdT)()(,)()(,122121xdxdGxxdxdGx若若二、二、 距离判别的方法距离判别的方法2、 两个总体协

6、方差矩阵不等的情况两个总体协方差矩阵不等的情况),()()() 1 (11) 1 (21xxSxxxdT).()()()2(12)2(22xxSxxxdT)()(,)()(,122121xdxdGxxdxdGx若若三、判别准则的评价三、判别准则的评价1、 误判率回代估计法误判率回代估计法1G2G1G22n12n2G21n11n实际归类实际归类回判情况回判情况三、判别准则的评价三、判别准则的评价1、 误差率回代估计法误差率回代估计法误判率的回代估计为：误判率的回代估计为：212112nnnn2、 误判率的交叉确认估计法误判率的交叉确认估计法误判率的交叉确认估计为：误判率的交叉确认估计为：21*21*12*nnnn四、多个总体的距离判别四、多个总体的距离判别1、 多个总体协方差矩阵相等的情况多个总体协方差矩阵相等的情况)()(max10 xWxWjkjj若0jGx判定knSnSnSnSkk) 1() 1() 1(22110jGx判定)()(max10 xWxWjkjj若四、多个总体的距离判别四、多个总体的距离判别2、 总体协方差矩阵不全相等的