最小二乘法线性分类器设计

1、模式识别报告（设计线性分类器）题 目 : 最小二乘法线性分类器设计讲课老师 :学生姓名：所属院系：专 业：模式识别报告(设计线性分类器)最小二乘法线性分类器设计1 描述1.1 最小二乘法原理的概述最小二乘法原理是指测量结果的最可信赖值应在残余误差平方和为最小的条件下求出。 从几何意义上讲，就是寻求与给定点(xi,yi ) (i=0,1, ,m)的距离平方和为最小的曲线y p(x)。函数 p(x) 称为拟合函数或最小二乘解，求拟合函数p( x)的方法称为曲线拟合的最小二乘法。1.2 最小二乘法的基本原理最小二乘法又称曲线拟合，所谓“拟合”即不要求所作的曲线完全通过所有的数据点， 只要求所得的曲线

2、能反映数据的基本趋势。 曲线拟合的几何解释： 求一条曲线， 使数据点均 在离此曲线的上方或下方不远处。从整体上考虑近似函数 p(x) 同所给数据点 (xi,yi) (i=0,1,m)误差 ri p(xi) yi (i 0,1, ,m)的大小，常用的方法有以下三种：一是 误差 ri p(xi) yi (i 0,1, ,m) 绝对值的最大值 max ri ，即 误差向 量 mr (r0 ,r1, ,rm)T 的范数；二是误差绝对值的和ri ，即误差向量 r 的 1范数；三i0m是误差平方和ri 2的算术平方根，即误差向量 r 的 2范数；前两种方法简单、自然，但i0不便于微分运算 ，后一种方法相当

3、于考虑 2 范数的平方，因此在曲线拟合中常采用误差m平方和ri2 来 度量误差 ri (i=0 ， 1， m)的整体大小。i0数据拟合的具体作法是：对给定数据(xi,yi) (i=0,1, ， m)，在取定的函数类中,求 p(x), 使误差 ri p(xi) yi (i=0,1, ,m)的平方和最小，即mm2ri2 p(xi ) yi mini 0i 0从几何意义上讲， 就是寻求与给定点 (xi,yi) (i=0,1, ,m)的距离平方和为最小的曲线 y p(x)(图 1)。函数 p(x)称为拟合函数或最小二乘解， 求拟合函数 p(x) 的方法称为曲模式识别报告（设计线性分类器）线拟合的最小二

4、乘法。可有不同的选取方法。2 方法描述2.1 通用最小二乘法的算法设 z 是一个 N*q 矩阵（可能有复数部分 ），令 Y 是 RN（或 cn ）空间的一个矢量。 线性代 数就是要研究方程 ZV=Y ，详细的写出就是：z11z1qv1y1zN1zNqvqyN如果 Nq ，那么方程 ZV=Y 对于 V C q通常没有唯一解，因为方程的个数（N）比未知数的个数 （v1, ,vq ）多。如果没有唯一解，那么最小二乘法问题就变为寻求次优解，找一个 矢量 V Cq ，从而 ZV 尽可能的逼近于 Y。在为一组数据点 （xi,yi），i=1,N 寻求最佳拟合线的问题中，矩阵Z为：x1 1ZxN 1矢量 Y

5、和 V 是：模式识别报告(设计线性分类器)y1mYyN,Vb此时，矩阵积 ZV 为：1m1bmx1 bmX bUmxN b这里的 X 和 U 是(0.7)中给出的矢量。这样，寻求矢量V=(m ，b)使得 ZV 最逼近于 Y，等效于寻求数据 (xi,yi)，i=1,N 的最佳拟合线的斜率和截距。 最小二乘法的通用算法在下面的定理中给出：定理 0.35 设 Z 是一个 N*q 矩阵(可能有复数部分) ，有最大秩且 N q.令 Y 是 RN 或 cn空间的一个矢量，则有一个唯一的矢量V cq使得 ZV 最逼近于 Y。并且矢量 V 是下列矩阵方程的唯一解： Z*Y=Z*ZV 如果 Z 是一个是矩阵，那

6、么前面的方程变为：ZTY ZT ZV注意，在最佳拟合线问题中的矩阵z与方程 ZTY ZTZV 中的 Z 是一样的。证明 这个定理的证明与构造最佳拟合线时给出的证明相似。令z1, ,zq 是矩阵 Z 的列矢N量，那么 ZV V1Z1VqZq生成的子空间 M CN 内的点。我们希望找到最接近于 Y的点 ZV。如图 0.11 所示， Y-ZV 必定正交于 M ，或者等同于， Y-ZV 必定与生成的 M 的 z1, ,zq 正交。即： Y ZV,Zi 0 1 i q图 2 Y-ZV 必须与 M=spanz1 ,.,z q 正交这个方程可简写为： Z*(Y-ZV)=0因为这个（矢量）方程的第模式识别报告

7、（设计线性分类器）i 个部分是 Y-ZV 和 Zi 的内积。重新整理方程得Z*Y=Z*ZV证毕矩阵 Z*Z 的维数是 q*q ，得出该矩阵式满秩的（用 Z 有最大秩序这个事实）。因此，方 程 Z*Y=Z*ZV ；有唯一解 V C q 。3 最小二乘法 matlab 实现基于分类判别的思想，我们期望 w1 类的输出为 y1 = -1,w2 的输出为 y2 = 1 。但实际的输出和期望并不总是相等的。运用最小二乘法Least Squares Methods ），可以让期望输出和真实的输出之间的均方误差最小化，即：J(w) E| y xT * w|2 w? arg min J(w)w要使得 J（w）

8、 最小，需要满足正交条件（orthogonality condition )：J(w) 2Ex*( y xT *w) w可以得到： w? Rx1* Exyw?就是求得的加权向量。其中：Rx Ex* xTEx1 * x1Ex2* x1Ex1* xlEx2* xlExl* x1Exl* xl称为自相关矩阵；Exy称为期望输出和输入特征向量的互相关。通过最小均方误差算法实现线性分类的程序流程如图3 所示：模式识别报告(设计线性分类器)图 3 最小均方误差算法程序流程图如果数据是非常准确的，那么提高拟合次数，可以拟合的曲线更准确。但是 如果数据本身有很大的误差， 则多项式的次数提高， 曲线将变的不够光

9、滑， 预测 值将出现较大的偏差。 n 的选择随已知数据点的分布规律而定。MATLAB 调用的函数格式如下： 线性最小二乘曲线拟合1 多项式拟合(1) pn=polyfit(x,y,n), y0=polyval(pn,x0), polt(x,y,x0,y0)(2) pn=polytool(x,y,n)2 多元线性拟合(1)利用回归矩阵建立拟合函数， c=Ay(2)c=regress(y,A) 非线性最小二乘曲线拟合 1 c=nlinfit(x,y, cfun ,c0)如：非线性拟合函数 f(x:c) c1 ec2 sin(c3x) , function y=cfun(c,x) y=c(1)+ex

10、p(c(2)*x)+sin(c(3)*x);x=(0:0.1:1.0);y=1.0 2.5 3.0 2.0 1.5 0.9 0.0 -1.0 -2.0 -1.5 -0.8;c0=1 1 1;c=nlinfit(x,y,cfun,c0)2 nlintool(x,y, cfun ,c0)模式识别报告(设计线性分类器)非线性最小二乘问题x,rs,rd=lsqnonlin(, fun ,x0,lx,ux)3.1 实际用的最小二乘法 Matlab 应用 150 个样本进行最小二乘法，该算法的 MA TLAB 程序源代码如下： function MSE1() clear all ; close all ;

11、%样本初始化x1(1,1)=5.1418; x1(1,2)=0.5950;x1(2,1)=5.5519; x1(2,2)=3.5091;x1(3,1)=5.3836; x1(3,2)=2.8033;x1(4,1)=3.2419; x1(4,2)=3.7278;x1(5,1)=4.4427; x1(5,2)=3.8981;x1(6,1)=4.9111; x1(6,2)=2.8710;x1(7,1)=2.9259; x1(7,2)=3.4879;x1(8,1)=4.2018; x1(8,2)=2.4973;x1(9,1)=4.7629; x1(9,2)=2.5163; x1(10,1)=2.711

12、8; x1(10,2)=2.4264; x1(11,1)=3.0470; x1(11,2)=1.5699;x1(12,1)=4.7782; x1(12,2)=3.3504;x1(13,1)=3.9937; x1(13,2)=4.8529;x1(14,1)=4.5245; x1(14,2)=2.1322;x1(15,1)=5.3643; x1(15,2)=2.2477;x1(16,1)=4.4820; x1(16,2)=4.0843;x1(17,1)=3.2129; x1(17,2)=3.0592;x1(18,1)=4.7520; x1(18,2)=5.3119;x1(19,1)=3.8331;

13、 x1(19,2)=0.4484;x1(20,1)=3.1838; x1(20,2)=1.4494;x1(21,1)=6.0941; x1(21,2)=1.8544;x1(22,1)=4.0802; x1(22,2)=6.2646;x1(23,1)=3.0627; x1(23,2)=3.6474;x1(24,1)=4.6357; x1(24,2)=2.3344;x1(25,1)=5.6820; x1(25,2)=3.0450;x1(26,1)=4.5936; x1(26,2)=2.5265;x1(27,1)=4.7902; x1(27,2)=4.4668;x1(28,1)=4.1053; x1

14、(28,2)=3.0274;x1(29,1)=3.8414; x1(29,2)=4.2269;x1(30,1)=4.8709; x1(30,2)=4.0535;x1(31,1)=3.8052; x1(31,2)=2.6531;x1(32,1)=4.0755; x1(32,2)=2.8295;x1(33,1)=3.4734; x1(33,2)=3.1919;x1(34,1)=3.3145; x1(34,2)=1.8009; x1(35,1)=3.7316; x1(35,2)=2.6421; x1(36,1)=2.8117; x1(36,2)=2.8658; x1(37,1)=4.2486; x1

15、(37,2)=1.4651; x1(38,1)=4.1025; x1(38,2)=4.4063; x1(39,1)=3.9590; x1(39,2)=1.3024; x1(40,1)=1.7524; x1(40,2)=1.9339; x1(41,1)=3.4892; x1(41,2)=1.2457; x1(42,1)=4.2492; x1(42,2)=4.5982; x1(43,1)=4.3692; x1(43,2)=1.9794; x1(44,1)=4.1792; x1(44,2)=0.4113; x1(45,1)=3.9627; x1(45,2)=4.2198;x2(1,1)=9.7302

16、; x2(1,2)=5.5080;x2(2,1)=8.8067; x2(2,2)=5.1319;x2(3,1)=8.1664; x2(3,2)=5.2801; x2(4,1)=6.9686; x2(4,2)=4.0172; x2(5,1)=7.0973; x2(5,2)=4.0559; x2(6,1)=9.4755; x2(6,2)=4.9869; x2(7,1)=9.3809; x2(7,2)=5.3543; x2(8,1)=7.2704; x2(8,2)=4.1053; x2(9,1)=8.9674; x2(9,2)=5.8121; x2(10,1)=8.2606; x2(10,2)=5.

17、1095; x2(11,1)=7.5518; x2(11,2)=7.7316; x2(12,1)=7.0016; x2(12,2)=5.4111; x2(13,1)=8.3442; x2(13,2)=3.6931; x2(14,1)=5.8173; x2(14,2)=5.3838; x2(15,1)=6.1123; x2(15,2)=5.4995; x2(16,1)=10.4188; x2(16,2)=4.4892;x2(17,1)=7.9136; x2(17,2)=5.2349; x2(18,1)=11.1547;x2(18,2)=4.4022;x2(19,1)=7.7080; x2(19,

18、2)=5.0208; x2(20,1)=8.2079; x2(20,2)=5.4194;模式识别报告(设计线性分类器)x2(21,1)=9.1078; x2(21,2)=6.1911; x2(22,1)=7.7857; x2(22,2)=5.7712; x2(23,1)=7.3740; x2(23,2)=2.3558; x2(24,1)=9.7184; x2(24,2)=5.2854; x2(25,1)=6.9559; x2(25,2)=5.8261; x2(26,1)=8.9691; x2(26,2)=4.9919; x2(27,1)=7.3872; x2(27,2)=5.8584; x2(

19、28,1)=8.8922; x2(28,2)=5.7748; x2(29,1)=9.0175; x2(29,2)=6.3059; x2(30,1)=7.0041; x2(30,2)=6.2315; x2(31,1)=8.6396; x2(31,2)=5.9586; x2(32,1)=9.2394; x2(32,2)=3.3455; x2(33,1)=6.7376; x2(33,2)=4.0096; x2(34,1)=8.4345; x2(34,2)=5.6852; x2(35,1)=7.9559; x2(35,2)=4.0251; x2(36,1)=6.5268; x2(36,2)=4.393

20、3; x2(37,1)=7.6699; x2(37,2)=5.6868; x2(38,1)=7.8075; x2(38,2)=5.0200; x2(39,1)=6.6997; x2(39,2)=6.0638; x2(40,1)=5.6549; x2(40,2)=3.6590; x2(41,1)=6.9086; x2(41,2)=5.4795; x2(42,1)=7.9933; x2(42,2)=3.3660; x2(43,1)=5.9318; x2(43,2)=3.5573; x2(44,1)=9.5157; x2(44,2)=5.2938; x2(45,1)=7.2795; x2(45,2)

21、=4.8596; x2(46,1)=5.5233; x2(46,2)=3.8697; x2(47,1)=8.1331; x2(47,2)=4.7075; x2(48,1)=9.7851; x2(48,2)=4.4175; x2(49,1)=8.0636; x2(49,2)=4.1037; x2(50,1)=8.1944; x2(50,2)=5.2486; x2(51,1)=7.9677; x2(51,2)=3.5103; x2(52,1)=8.2083; x2(52,2)=5.3135; x2(53,1)=9.0586; x2(53,2)=2.9749; x2(54,1)=8.2188; x2

22、(54,2)=5.5290; x2(55,1)=8.9064; x2(55,2)=5.3435;hold on; %保持当前的轴和图像不被刷新，在该图上接着绘制下图 %初始化函数y1 = -ones(45,1);%w1 类的期望输出为 -1y2 = ones(55,1);%w2类的期望输出为 1x1(:,3) = 1;% 考虑到不经过原点的超平面，对x 进行扩维x2(:,3) = 1;% 使x=x 1 ， x为2维的，故加 1扩为 3维x = x1;x2; % 使x矩阵化 y = y1;y2; % 使y矩阵化 display(x)% 显示 x 矩阵display(y)% 显示 y 矩阵R =

23、x*x;%求出自相关矩阵E = x*y;%求出期望输出和输入特征向量的互相关w = inv(R)*E%求权向量估计值x = linspace(0,10,5000);% 取5000 个x的点作图y = (-w(1)/w(2)*x-w(3)/w(2); %x*w1+y*w2+w0=0,w=w1;w2;w0 plot(x,y, r ); % 用红线画出分界面 title( 最小二乘法 );axis(1,12,0,8); % 设定当前图中， x 轴范围为 1-12 ，为y 轴范围为 0-8 disp(w); % 显示权向量end所得结果如图 4 所示：模式识别报告(设计线性分类器)图 4 最小二乘法分类图3.2 实际用的最小二乘法 Matlab 应用 2 现在我们再举一列说明其最小二乘法拟合的运用： 例如：对某日隔两小时测一次气温。设