向量到子空间的距离最小二乘法ppt课件

1、向量到子空间的间隔最小二乘法向量到子空间的间隔最小二乘法定义定义13 向量向量到到的间隔定义为的间隔定义为|-|,记为记为d(,).欧氏空间中两条向量间间隔满足欧氏空间中两条向量间间隔满足1)d(,)= d(,);2) d(,)=0,当且仅当当且仅当= 时等式成立时等式成立;3) d(,)d(,)+d(,) 几何学中知道一个点到一个平面或一条直线的间隔以垂线最短；欧氏空间中的一个固定向量和子空间是各个向量间的间隔也是以垂线最短. - W -最小二乘法：方程个数大于未知量个数的方程组最小二乘法：方程个数大于未知量个数的方程组)( 221111212111mnyarararyarararnmnmn

2、nmm即即 Ra=ynmnmnnmyyyaaarrrrrrR112111211,其中其中是不存在解的矛盾方程组。是不存在解的矛盾方程组。 假设有向量假设有向量a使得使得 到达最小，到达最小，那么称那么称a为上述方程组的最小二乘解。为上述方程组的最小二乘解。 212211)(imniimiiyararar mjrRayrrrLRayrararaMyMtsyRaararMyyyaaarrrrrrRjmmmmiinimiiinmnmnnm,),(,),(,|.;,2102122112111112111211为此正交与子空间则是所求的向量设最小要找令 定理：当定理：当RTRRTR可逆时，超定方程组可逆

3、时，超定方程组3 3存在最小二乘解，存在最小二乘解，且即为方程组且即为方程组 RTRa=RTy RTRa=RTy的解：的解：a=(RTR)-1RTya=(RTR)-1RTy最小二乘法要处理的问题，实践上就是求以下超定方程组的最最小二乘法要处理的问题，实践上就是求以下超定方程组的最小二乘解的问题。小二乘解的问题。nmnmnmyyyaaaxrxrxrxrR111111,)()()()(其中其中Ra=y 3yRRaRRayR;)(0Ex1.用线性最小二乘法的根本方法，求用线性最小二乘法的根本方法，求y与与x的关系的关系满足的最正确线性函数满足的最正确线性函数.解解:表中数值画出图时表中数值画出图时,

4、接近于一条直线接近于一条直线,设关系满足设关系满足y=ax+b,得到方程组得到方程组x 1 2 4 7 9 12 13 y 1.5 3.9 6.6 11.7 15.6 18.8 19.6 081812061590711706640932051.babababababa8186157116693511121917141211.,BA135150811697292661411586483295343466141158648363434295011.)(,BAAAbaBAbaAAba所满足的方程是最小二乘解 1351508113515081.,.,.xyba满足关系式近似的除了线性最小二乘法还有其它

5、拟合问题除了线性最小二乘法还有其它拟合问题拟拟 合合 问问 题题 引引 例例 1 1温度温度t(0C) 20.5 32.7 51.0 t(0C) 20.5 32.7 51.0 73.0 95.773.0 95.7电阻电阻R(R() 765 826 873 ) 765 826 873 942 1032942 1032知热敏电阻数据：知热敏电阻数据：求求600C600C时的电阻时的电阻R R。2040608010070080090010001100 设 R=at+ba,b为待定系数拟拟 合合 问问 题题 引引 例例 2 2 t (h) 0.25 0.5 1 1.5 2 3 4 6 8c (g/ml

6、) 19.21 18.15 15.36 14.10 12.89 9.32 7.45 5.24 3.01知一室模型快速静脉注射下的血药浓度数据知一室模型快速静脉注射下的血药浓度数据(t=0注射注射300mg)求血药浓度随时间的变化规律求血药浓度随时间的变化规律c(t).作半对数坐标系作半对数坐标系(semilogy)下的图形下的图形为待定系数kcectckt,)(002468100101102曲曲 线线 拟拟 合合 问问 题题 的的 提提 法法知一组二维数据，即平面上知一组二维数据，即平面上 n n个点个点xi,yi) i=1,n, xi,yi) i=1,n, 寻求一个函数曲线寻求一个函数曲线y

7、=f(x), y=f(x), 使使 f(x) f(x) 在某种准那么下在某种准那么下与一切数据点最为接近，即曲线拟合得最好。与一切数据点最为接近，即曲线拟合得最好。 +xyy=f(x)(xi,yi)i i 为点为点xi,yi) 与曲线与曲线 y=f(x) 的间隔的间隔最临近插值、线性插值、样条插值与曲线拟合结果：最临近插值、线性插值、样条插值与曲线拟合结果：0246810121416180510152025已知数据点spline三次多项式插值0246810121416180510152025已知数据点linest三次多项式插值0246810121416180510152025已知数据点nearest三次多项式插值线性最小二乘拟合线性最小二乘拟合 f(x)=a1r1(x)+ +amrm(x)中函数中函数r1(x), rm(x)的选取的选取 1. 1. 经过机理分析建立数学模型来确定经过机理分析建立数学模型来确定 f(x)f(x)；+f=a1+a2xf=a1+a2x