线性判别函数-Fisherppt课件

1、线性判别函数线性判别函数知条件知条件贝叶斯决策贝叶斯决策实践问题实践问题利用样本集直接设计分类器，即给定某个判别函利用样本集直接设计分类器，即给定某个判别函数类，然后利用样本集确定出判别函数中的未知数类，然后利用样本集确定出判别函数中的未知参数。参数。条件未知条件未知一类简单的判别函数：线性判别函数一类简单的判别函数：线性判别函数v线性判别函数线性判别函数(discriminant function)是指是指由由x的各个分量的线性组合而成的函数的各个分量的线性组合而成的函数 ，普，普通表达式为：通表达式为：0( )Tgxwx w权向量权向量weight vector法向量法向量normal v

2、ector阈值阈值threshold偏置偏置bias对于两类问题的决策规那么为：对于两类问题的决策规那么为：假设假设g(x)0，那么断定，那么断定x属于属于C1，假设假设g(x)gj(x),那么把那么把x归为归为i类。类。判别函数和决策面：判别函数和决策面：广义线性判别函数广义线性判别函数在一维空间中，线性函数不能处理下述分类问题在一维空间中，线性函数不能处理下述分类问题黑红各代表一类数据，可见线性判别函数有一黑红各代表一类数据，可见线性判别函数有一定的局限性。定的局限性。v为处理上述分类问题，我们建立一个二次为处理上述分类问题，我们建立一个二次判别函数判别函数v g(x)=(xa)(xb)v

3、 =c0+c1x + c2x*xv决策规那么仍是：假设决策规那么仍是：假设g(x)=0，那么断定，那么断定x属于属于R1，假设，假设g(x)0，那么断定，那么断定x属于属于R2。 如下图：如下图：R1R1R2xg(x)如图：映射如图：映射y把一条直线映射为三维空间中的一条抛物线把一条直线映射为三维空间中的一条抛物线01122123321x,cyayyaacxyac2012Tg(x)=c +c x+c x =a y（广义线性判别函数）令：令：0( )Tgxwx w线性判别函数的齐次简化线性判别函数的齐次简化令令x0=1那么：那么：增广特征向量增广特征向量增广权向量增广权向量一个三维增广特征空间一

4、个三维增广特征空间y和增广权向量和增广权向量a在原点在原点这是广义线性判别函数的一个特例。这是广义线性判别函数的一个特例。y与与x相比，相比，虽然添加了一维，但坚持了样本间的欧式间隔不变。虽然添加了一维，但坚持了样本间的欧式间隔不变。变换得到的变换得到的y向量依然都在向量依然都在d维的子空间中，即原维的子空间中，即原X空间中，方程空间中，方程aTy=0在在Y空间确定了一个经过原点空间确定了一个经过原点的超平面的超平面H，它对，它对d维子空间的划分与原决策面维子空间的划分与原决策面wTx+w0=0对原对原X空间的划分完全一样。空间的划分完全一样。Y空间中恣意一点空间中恣意一点y到到H的间隔为：的

5、间隔为： ayaaxgrT设计线性分类器的主要步骤设计线性分类器的主要步骤1.给定一组有类别标志的样本集给定一组有类别标志的样本集S2.确定准那么函数确定准那么函数J(S,w,w0)3.用优化技术得到极值解用优化技术得到极值解w*,w0*这样就得到线性判别函数这样就得到线性判别函数g(x)=w*Tx+w0*,对未知对未知样本样本xk，计算，计算g(xk),然后根据决策规那么就可判别然后根据决策规那么就可判别xk所属的类别。所属的类别。Fisher线性判别线性判别问题中的维数问题问题中的维数问题把把d维空间中的样本维空间中的样本投影到一条直线上投影到一条直线上 降低维数降低维数 Fisher线性

6、判别线性判别把同一组样本点向两个不同的方向作投影。把同一组样本点向两个不同的方向作投影。右图更易分开右图更易分开始于始于R.A.Fisher(1936年年Fisher法处理的根本问题：法处理的根本问题：如何根据实践情况找到一条最好的、最易于分类的投如何根据实践情况找到一条最好的、最易于分类的投影线。影线。d维到一维的数学变换维到一维的数学变换,.,21NxxxdN维样本个的样本集个属于的样本集个属于222111:NXNXinTnNnxwy,.,2 , 1,其中：其中：对对xn的分量作线性组合：的分量作线性组合：得到得到N个一维样本个一维样本yn组成的集合，分为两个子组成的集合，分为两个子集集Y

7、1和和Y2根本参量根本参量1.在在d维维X空间空间2 , 1,1ixNmiXxii212 , 1,SSSimxmxSwXxTiiiiTbmmmmS2121各类样本均值向量：各类样本均值向量：样本类内离散度矩阵：样本类内离散度矩阵：总类内离散度矩阵：总类内离散度矩阵：样本类间离散度矩阵：样本类间离散度矩阵：2.在一维在一维Y空间空间2 , 1,1iyNmiYyii2 , 1,22imySiYyii22212SSSw各类样本均值：各类样本均值：样本类内离散度：样本类内离散度：总类内离散度：总类内离散度：目的：投影后，在一维目的：投影后，在一维Y空间里各类样本尽能够做到：空间里各类样本尽能够做到：1

8、.分得开分得开2.各类样本内部尽量密集各类样本内部尽量密集越小越好类内离散度2221SS 越大越好两类均值之差21mm 准那么函数准那么函数 2221221JSSmmwFiTYyiTYyTiYyiimwxNwxwNyNmiii111wSwwmmmmwmwmwmmbTTTTT2121221221 化简分子：化简分子：求准那么函数的极大求准那么函数的极大值值化简分母：化简分母：wSwwmxmxwmwxwmySiTXxTiiTXxiTTYyiiiii 222wSwwSSwSSwTT212221代入准那么函代入准那么函数数 wSwwSwSSmmwwTbTF2221221JLagrange乘子法求极值：

9、乘子法求极值：令：令：0 cwSwwT定义函数：定义函数：cwSwwSwwLwTBT,对对w求偏导并置零：求偏导并置零：0,wSwSwwLwb*wSwSwbSw非奇特非奇特*1wwSSbwxAxTbmmmmS2121RmmwmmmmwSTb21*2121*21wmmRT由于：由于：其中：其中：标量标量得：代入*1wwSSbwRmmSwSSwwbw211*1*211*mmSRww211*mmSww忽略比忽略比例因子例因子w*为准那么函数的极大值解，即为为准那么函数的极大值解，即为X空间到空间到Y空间的最正确投影空间的最正确投影方向。方向。inTnNnxwy,.,2 , 1,根据变换公式：根据变换公式：把把d维空间的样本集维空间的样本集X映射成一维空间样本集映射成一维空间样本集Y。决策规那么：决策规那么：2100*xyyxwyT如何确定阈值如何确定阈值y0？几种