数值分析(最小二乘法)

最小二乘解的存在唯一性最小二乘解的数值方法《数值分析》16

x

x1

x2··········xmf(x)y1

y2··········ym离散数据的直线拟合求拟合函数:Ac=y超定方程组

x

x1

x2··········xmf(x)y1

y2··········ym离散数据的多项式拟合求拟合函数:超定方程组

x

x1

x2··········xmf(x)y1

y2··········ym离散数据的线性拟合求拟合函数:超定方程组回顾:最小二乘拟合问题研究包括:模型的选取存在唯一性最小二乘解的计算广义矩阵(Ax=b统一的理论解释)相容方程的解定义:一个方程组称为相容方程(consistentequation),若至少存在一个解能够严格满足该方程组。定理:线性方程Ax=b是相容的当且仅当增广矩阵的秩等于矩阵A的秩,即rank([A,b])=rank(A)。定理:相容方程Ax=b对y不等于零有解x=Gb当且仅当AGA=A。(G称为是A的广义逆generalizedinverse)相容方程解的唯一性是否存在某种意义下的唯一性?最小范数解(minimumnormsolution):定理:Gb是相容矩阵的最小范数解当且仅当

AGA=A,(GA)H=GA。参考:张贤达,矩阵分析与应用,

清华大学不相容方程解的存在性不相容方程的最小二乘解总是存在的。证明:即证明正规方程是相容方程。

rank([ATA,b])=rank(ATA)定理

如果矩阵A列满秩,则ATA可逆。定理

矩阵A列满秩时,最小二乘解唯一x=

(ATA)

-1ATb。不相容方程解的唯一性是否存在某种意义下的唯一性?最小范数最小二乘解(minimumnormleastsquaressolution)定理:Gb是不相容矩阵的最小范数最小二乘解当且仅当

AGA=A,(AG)H=AG,GAG=G,(GA)H=GA。注释:最小范数最小二乘广义矩阵即Moore-Penrose矩阵。总结相容方程

矩阵可逆则解唯一,如果矩阵秩亏损的情形,则所有解中有唯一的最小范数解。不相容方程

首先最小二乘解一定存在,如果矩阵列满秩则最小二乘解唯一,如果矩阵秩亏损的情形,所有最小二乘解有唯一的最小范数最小二乘解。对于任意矩阵,Moore-Penrose逆矩阵存在且唯一。Matlab:pinv(Pseudoinverse)比较backslash和pinv的区别。X\y,pinv(X)*y,norm(X\y),norm(pinv(X)*y)参考文献:SparseandRedundantRepresentations:FromTheorytoApplicationsinSignalandImageProcessing最小二乘拟合问题研究包括:模型的选取存在唯一性最小二乘解的计算为什么不直接求解正规方程?初等行变换不改变方程组的解1.交换矩阵第i行与第j行2.非零数k乘以矩阵第i行的每个元素3.矩阵第i行的每个元素的k倍加到第j行的对应元素1.75000.75001.95000.9500A(n–1)=Fn-1Fn-2·······F1A其中Fk

为

Frobenius矩阵。A=F1-1F2-1······Fn-1-1A(n–1)直接方法:高斯消元法LU矩阵LU分解是高斯消元法的矩阵编码。回顾:回顾:正交矩阵乘向量,则向量2范数不变。QTQ=I,y=Qx正交矩阵QTQ=QQT=I半正交矩阵QTQ=I(列正交)或QQT=I(行正交)——Gram-Schmidt正交化————Gram-Schmidt正交化——Gram-Schmidt正交化的矩阵编码u1,u2,un是正交基向量R单位上三角矩阵——Gram-Schmidt正交化————Gram-Schmidt正交化——Gram-Schmidt正交化的矩阵编码q1,q2,qn是标准正交基向量,Q正交矩阵,R上三角矩阵Matlab命令:qr矩阵的正交三角分解:A=QR注释:经典的Gram-Schmidt过程数值稳定性不令人满意,一般将一系列Householder变换(正交变换)作用于最小二乘问题。QR分解有两种版本:完全QR分解和精简QR分解。A=[24;3-5;12];[Q,R]=qr(A);%%完整型y=[1136]';x=R\(Q'*y);norm(A*x-y)解法1(完整QR分解)解法2(精简QR分解)[Q,R]=qr(A,0);%%精简型x=R\(Q'*y);norm(A*x-y)完整和精简QR分解的比较A\b(算法QR分解,具体实现Household变换)ToolsBasicFittingIfAisanM-by-NmatrixwithM>NorN>MthenX=A\Bisthesolutionintheleastsquaressensetotheunder-oroverdeterminedsystemofequationsA*X=B.Matlab超定方程组求解Matlab拟合GUIMatlab的多项式拟合命令polyfit和polyval调用格式P=polyfit(X,Y,N)调用格式Y=polyval(P,X)loadcensus,plot(x,y,'o')P=polyfit(x,y,2);polyval(P,2010)截至2010年4月1日,美国居住人口总数为308,745,538Matlab的非线性拟合命令非线性拟合lsqnonlin和lsqcurvefitx=0:.1:10;y=0.12*exp(-0.213*x)+0.54*exp(-0.17*x).*sin(1.23*x);f=inline('a(1)*exp(-a(2)*x)+a(3)*exp(-a(4)*x).*sin(a(5)*x)','a','x');[a,res]=lsqcurvefit(f,[1,1,1,1,1],x,y)严格满足插值条件vs

追求最小残差平方和适定方程组求解vs

最小二乘问题求解寻找数据的规律(函数)或者说是压缩数据思考:插值与拟合的异同作业题目:数据的挖掘(拟合或插值)数据+挖掘知其然,知其所以然,用其然,利其然测试数据集StatisticalReferenceDataset(/div898/strd/)例1饮料的定价策略一家公司在22个近似相等大小的城市尝试销售一种新型的运动型饮料,售价(美元)以及在城市中每周的销量如下表:

如果每件产品的制造成本是0.23美元,公司如何设置全国统一售价

利润最大化?城市

售价

销量/周

1

2

3

4

5

6

7

8

9

10

11

0.59

0.80

0.95

0.45

0.79

0.99

0.90

0.65

0.79

0.69

0.79

3980

2200

1850

6100

2100

1700

2000

4200

2440

3300

2300

城市

售价

销量/周

12

13

14

15

16

17

18

19

10

21

22

0.49

1.09

0.95

0.79

0.65

0.45

0.60

0.89

0.79

0.99

0.85

600

1190

1960

2760

4330

6960

4160

1990

2860

1920

2160

例2非诚勿扰攻略例3微信3点定位的真与假

2012年11月4日,一条微博称微信可以通过三点定位法确定使用者的位置,即记住自己的位置和与某人之间的距离,变换两次位置重新记录距离,以这三个点为圆心、距离为半径画圆,交点就是要找的人的位置,圆圈越多,位置越精确。

提示:非线性最小二乘问题,最速下降法或Gauss-Newton方法求解例4Google街景技术关键部分(大型复杂的非线性最小二乘问题)http://google-opensource.blogspot.ca/2012/05/introducing-ceres-solver-nonlinear.html最小二乘拟合问题研究包括:模型的选取(解释为什么选这个模型)存在唯一性最小二乘解的计算(线性与非线性)不同变形数学概念1秩亏缺(rankdeficient)矩阵A属于Rm*n如果rank(A)=m(<n),则称矩阵行满秩如果rank(A)=n(<m),则称矩阵列满秩如果rank(A)<min{m,n},则称矩阵秩亏缺数学概念2如果函数f的f′,

f′′,...,

f(k)

存在且连续。理论分析中总是假设观测数据是由给定的函数生成(假设函数的数学性态)

,然后定量的刻画插值函数或者拟合函数的近似程度。Ck

函数类数学概念3极值(the

maximum

andminimum,k