费希尔判别法理论

1、费希尔判别费希尔判别（或称典型判别）的基本思想是投影（或降维）：用维向量的少数几个线性组合（称为费希尔判别函数或典型变量）（一般明显小于）来代替原始的个变量，以达到降维的目的，并根据这个判别函数对样品的归属做出判别或将各组分离。成功的降维将使样品的归类或组的分离更为方便和有效，并且可以对前三个判别函数作图，从直观的几何图像上区别各组。在降维的过程中难免会有部分有用信息的损失，但只要使用的方法得当，我们可以最大限度地减少这种损失，从而保留尽可能多的有用信息，即关于能够反应组之间差异的信息。为便于理解，我们以下用一个简单的二维例子来加以说明。图 投影到某个方向再判别如图 所示，两个组的所有样品都测

2、量了两个变量和，将所有（）点画于直角坐标系上，一组的样品点用“×”表示，另一组的样品点用“”表示。假定我们希望将二维空间的点投影到某个一维空间，即一条直线上，然后再对两组进行判别，则投影到不同的直线上，判别的效果一般是不同的。从图 中可见，如果两组的点都投影到直线上则这两组的投影点在该直线上的分布几乎无任何差异，他们完全混合在一起，我们无法将这两组的点区别开来，这样的降维把反应两组间差异的信息都给损失了，显然是不可取的。事实上，最好的投影是投影到直线上，因为它把两组的投影点很清楚地区分了开来，这种降维把有关两组差异的信息很好地保留了下来，几乎没有任何损失，如此就完全可以在一维的直线上

3、作判别分析。我们现考虑在中将组的维数据向量投影到某个具有最佳方向的上，即投影到上的点能最大限度地显现出各组之间的差异。设来自组的维观测值为，将它们共同投影到某一维常数向量上，得到的投影点可分别对应线性组合，。这样，所有的维观测值就简化为一维观测值。下面我们用表示组中的均值，表示所有组组的的总均值，即式中，。对于任一用来投影的，我们需要给出一个能反映组之间分离程度的度量。比较图 中的上、下半图，上半图三组均值之间的差异程度与下半图是相同的，而前者组之间的分离程度却明显高于后者，原因就在于前者的组内变差要远小于后者，后者组之间有较多重叠。因此，可以考虑将组之间的分离程度度量为相对其组内变差的组间变

4、差。在以下的讨论中，我们需假定各组的协方差矩阵相同，即。图 三组之间的分离程度的组间平方和式中为组间平方和及叉积和矩阵。的组内平方和式中为组内平方和及叉积和矩阵。可用来度量的组之间分离程度的一个量是我们应选择这样的，使得达到最大。由于对任意非零常数，用代替上式中的，将保持不变，故考虑对加以约束。我们希望判别函数具有单位方差，即，但因未知，于是用其联合无偏估计替代，所以的约束条件实际应为，即判别函数的联合样本方差为1。设的全部非零特征值依次为，这里，且有 （5.4.2）（通常情况下上式等号成立），相应的特征向量依次记为（标准化为，）。由（1.8.5）式知，当时达到最大值。所以，选择投影到上能使各

5、组的投影点最大限度地分离，称为费希尔第一线性判别函数，简称第一判别函数。在许多情况下（如组数是大的，或者原始的数据向量维数是大的），仅仅使用第一判别函数也许不够，因为仅在这一个投影方向上组之间的差异可能还不够清晰，各组未能很好地分开。这时，我们应考虑建立第二线性组合，为使降维最具效率，应要求（在线性关系的意义上）不重复中的信息，即用代替未知的，于是我们在约束条件下寻找，使得达到最大。按（1.8.6）式，当时达到最大值，称为第二判别函数。如还不够，可再建立第三判别函数，依次类推。一般地，我们要求第个线性组合不重复前个判别函数中的信息，即，用代替，上式变为，我们希望在约束条件（）下寻找，使得达到最

6、大。由（1.8.6）式知，当时达到最大值，称为第判别函数，。附：1.85-1.86设是阶对称矩阵，是阶正定矩阵，是的个特征值，相应的一组特征向量，满足，则（） （） ，综上所述，费希尔判别函数具有这样一些特点：（1）各判别函数都具有单位（联合样本）方差；（2）各判别函数彼此之间不相关（确切地说，是彼此之间的联合样本协方差为零）；（3）判别函数方向并不正交，但作图时仍将它们画成直角坐标系，虽有些变形，但通常并不严重。依（5.4.2）式可知，组数时只有一个判别函数，时最多只有两个判别函数。这从直观上也不难理解，（不重合的）两个组重心（即组均值点）可在（一维）直线上有最大分离，（不在一直线上的）三个

7、组重心也可在（二维）平面上有最大分开。一般地，由全部维空间可最大限度地分离个组重心。表明了第判别函数对分离各组的贡献大小，在所有个判别函数中的贡献率为而前个判别函数的累计贡献率为它表明了能代表进行判别的能力。在实际应用中，通常我们并不使用所有个判别函数，除非很小，因为费希尔判别法的基本思想就是要降维。如果前个判别函数的累计贡献率已达到了一个较高的比例（如75%95%），则就采用这个判别函数进行判别。在确定了需使用的个判别函数之后，可制定相应的判别规则。由于各判别函数都具有单位方差且彼此不相关，故此时的马氏距离等同于欧式距离。我们采用距离判别法，依据（）值，判别新样品归属离它最近的那一组，即判别

8、规则为，若 （5.4.6）其中，为第判别函数在组的样本均值的平方欧式距离，。（5.4.6）式也可表达为，若如果只使用一个判别函数进行判别（即），则（5.4.6）式可简化为，若 （5.4.7）式中和分别是（5.4.6）式中的和。有时我们也使用中心化的费希尔判别函数，即，式中为个组的总均值，仍使用（5.4.6）式进行判别。例5.4.1（有用结论） 组数时的费希尔判别。由于，故组间矩阵假设组内矩阵是可逆的（必须有），则有一中的性质（2）知有唯一的非零特征值这是一个正数（因为）。令为相应的特征向量，它应满足即于是易见，满足上述方程，这里为联合协方差矩阵。为此，费希尔判别函数为按（5.4.7）式，判别规

9、则为其中，。注意到，。因此，上述判别规则等价于也可以表达为此正为（5.2.6）式。上例表明，对于两组的判别，费希尔判别等价于协方差矩阵相等的距离判别，对两个正态组也等价于协方差相等且先验概率和误判代价也均相同的贝叶斯判别。当使用的判别函数个数时，可将各样品的两个判别函数得分画成平面直角坐标系上的散点图，用目测法对新样品的归属进行判别或对来自各组样品的分离情况及结构进行观测评估。当时，可利用SAS的交互式数据分析菜单系统，让样本中来自不同组的样品点呈现不同颜色（或不同形状）以区分各组，然后作（三维）旋转图从多角度来辨别新样品的归属或观测评估各组之间的分离效果，但其目测效果一般明显不如时清楚。能够利用降维后生成的图形用目测法进行判别是费希尔判别的最重要应用，图中常常能清晰地展示出（通过计算未必能得到的）丰富的信息，如发现构成各组的结构、离群样品点和数据中的其他异常情况等。附：