最小平方误差准则函数

1、最小平方误差准则函数（MSE, Minimum Squared-Error） 准备知识v模式识别：是指利用计算机自动地或有少量人为干预的方法把待识别模式加以分类，即划分到模式类中去。v统计模式识别方法：又称决策论方法，采用特征向量表示模式。以样本在特征空间中的具体数值为基础。v线性判别函数是在特征提取完成之后，在特征空间对模式进行分类的方法之一。它既是统计模式识别中的一个重要的基本方法，也是研究统计模式识别方法的基础。如何得到线性判别函数？ 对一个判别函数来说，应该被确定的有两个内容：其一为方程的形式，其二为方程所带的系数。对于线性判别函数来说，方程的形式为线性的，方程的维数为特征向量的维数，

2、方程组的数量决定于待判别对象的类数。 i = 1,2,.,C 这里 Y称为增广特征向量（n +1维），A称为广义权向量，如此则有： 0n2211i.giniiiwxwxwxwxTiniiiiTnwwwwAxxxY).,(,., 121021 YAxgTii最小平方误差准则函数背景v 既然方程组的数量、维数和形式已定，则判别函数的设计就是确定函数的各系数，也就是线性方程的各权值。v 感知准则函数、梯度下降法、固定增量算法、最小平方误差准则函数等都是求取线性方程的各权值的方法。v 但是无论感知准则函数和梯度下降法，还是固定增量算法，都只适用于线性可分情况。但实际中往往无法确定样本集是否线性可分。因

3、此希望找到一种方法能够对两种情况都适用。既对线性可分问题可以找到将全部样本正确分类的解权向量，又对线性不可分问题能够找到一个使误差平方和极小的解权向量。满足这样要求的准则函数就是最小平方误差准则函数。平方误差准则函数及其伪逆解v对于一个具有n个学习样本的两类问题，希望找到一个权向量A，使得 ， i = 1,2,.,n得到满足，将上述不等式改成等式的形式 v v其中bi是任意给定的正常数，将上式写为联立方程组的形式即为：0iTYA0iiTbYABYA 其系数矩阵Y及常向量B为其中 是d维规范化增广样本向量，Y为 矩阵，n为样本个数，d为特征数。ndnnddTnTTyyyyyyyyyYYY.212

4、22211121121nbbbB.21TidiiiyyyY,.,21dn 假如Y是非奇异矩阵，则我们可以得到解 但在大多数情况下样本数n总是大于维数d，方程个数多于未知数，这是一个矛盾方程组，通常没有精确解存在。但我们可以定义一个误差向量 并定义平方误差准则函数然后找一个使 极小化的A作为问题的解，这就是矛盾方程组的最小二乘近似解，也称为伪逆解伪逆解或MSE解解， 称为MSE准则函数。准则函数。BYA1BYAe2122niiiTbYABYAeAJ AJ AJ用解析法求伪逆解 准则函数对A求导得:令 取极小，得这里。我们将解 的问题转化为 的问题。这里 是一个 方阵，一般是非奇异的，故可以有唯一

5、解此处 称为Y的伪逆，A为MSE解。BYAYYbYAAJTiniiiT221 0AJBYYAYTTBYA YYTdd BYBYYYATT1BYYAYTTTTYYYY1MSE解具有的优越特性 由MSE的解可知，解A依赖于向量B的值，可以证明，若 ，选取 ，反之 在线性可分情况下，MSE解与Fisher线性判别函数等价。若选取全部 当 ，MSE解与贝叶斯决策解之间的均方误差达到极小，即MSE解得到的判别函数以最小均方误差逼近贝叶斯判别函数。因此MSE解通常具有比较优越的性能（这里的n为总的样本数，n1是属于w1类的样本数，n2是属于w2类的样本数）。1wYi1nnbi2nnbinibi,.,2,1

6、1nv例：设有两类的二维点：试求伪逆解及判决边界。 解：增广规范化样本为,0,2,2, 1:1TTw TTw3 , 2,1 , 3:2TTTTyyyy3, 2, 1,1, 3, 1,0 , 2 , 1,2 , 1 , 14321,321131021211Y1411611188684YYT取 得到解决策边界方程为 即 如果选择其他的B，自然会得到不同的判决边界。2151522352234131911YYT31031061216121127431213451TTYYYYTB1 , 1 , 1 , 1TBYA32,34,311?2121241131,1xxxxAyATTT0yAT112421xxMS

7、E准则函数的梯度下降算法 前面得到的MSE解 需要求伪逆 ，而 带来的问题有两个：其一是要求 非奇异；其二是求 时计算量大，同时还可能引入较大的计算误差。因此实际上往往不用这样的解析法求MSE解。而是采用如梯度下降法梯度下降法等最优化技术来求解。 如果我们采用梯度下降法，由前面的计算可知 的梯度是BYAYTTYYYY1YYTY AJ BYAYAJT2代价函数 是一个以未知权值（参数）向量 为自变量的连续可微函数，作为一种度量，我们希望找到一个最优解 满足条件即选择适当的权值向量 最小化代价函数 ，这是一个无约束的最优化问题。梯度下降法是以迭代下降思想为基础的无约束最优化方法。他以一个初始值 开

8、始，产生一系列权值向量 ， 使得代价函数 在算法的每次迭代中要有下降，即 式中 是权值向量的旧值， 是他的更新值。在梯度下降法中，对权值向量 的连续调整是在梯度下降的方向进行的，也就是与 的方向相反，为了表示方便，定义 因此，梯度下降法一般表示为式中， 是一个正常数，称为步长或学习率参数， 是代价函数在 的梯度向量值。 0 1 2 nn1 n1n wg ngnn1 ng n则梯度下降算法可写成 任意 可以证明，如果选择 为任意正常数则用此迭代公式得到的权向量序列收敛于使的权向量A，也就是MSE解。无论 奇异与否，该算法总能产生一个有用的权向量，而且计算量比解析法要少很多。 BAYYkAkAATTk1,1 ?kk1 02BYAYAJT1YYTWidrow-Hoff算法 为了进一步减小计算量和存储量，我们可以把样本看成一个无限重复出现的序列而逐个加以考虑，这样梯度下降算法可修改为 任意 其中 为使 的样本。由于 是任意给定的正常数，要使 一般不可能，因而修正过程永远不会终止