最优化方法习题一

./习题一考虑二次函数f<x>=写出它的矩阵—向量形式:f<x>=矩阵Q是不是奇异的?证明:f<x>是正定的f<x>是凸的吗?写出f<x>在点=处的支撑超平面<即切平面>方程解:1>f<x>==+其中 x=,Q=,b=2>因为Q=,所以|Q|==8>0即可知Q是非奇异的3>因为|2|>0,=8>0,所以Q是正定的,故f<x>是正定的4>因为=,所以||=8>0,故推出是正定的,即是凸的5>因为=,所以=<5,11>所以f<x>在点处的切线方程为5<>+11<>=0二、求下列函数的梯度问题和Hesse矩阵1>f<x>=2++2>f<x>=ln<+>解:1>=<,>=2>=<,>=设f<x>=,取点.验证=<1,0,-1>是f<x>在点处的一个下降方向,并计算f<+t>证明:=d=<1,0,-1>=-3<0所以是f<x>在处的一个下降方向f<+t>=f<<1+t,1,1-t>>=f<+t>=6t-3=0所以t=0.5>0所以f<+t>=3*0.25-3*0.5+4=3.25设,b,〔j=1,2,….,n考虑问题Minf<x>=s.t.<j=1,2,….,n>写出其KuhnTuker条件证明问题最优值是解：1因为目标函数的分母故所以〔j=1,…,n都为0所以KuhnTuker条件为即+=02将代入h<x>=0只有一点得故有所以最优解是五、使用KuhnTuker条件,求问题minf<x>=s.t.的KuhnTuker点,并验证此点为问题的最优解解：x=<1/2,3/2>故,=0则即而故即其为最优解六、在习题五的条件下证明L<>其中L〔x,=f<x>+证明：L<>=f<>+=f<>=f<>++2>==f<>=>习题二设f<x>为定义在区间[a,b]上的实值函数,是问题min{f<x>|a}的最优解。证明：f<x>是[a,b]上的单谷函数的充要条件是对任意满足f<><max{f<>,f<>},证明：不妨设<,则<"必要性"若则由单谷函数定义知故有"充分性"由,的任意性取=时,f<>>f<>则>>=且f<><f<>若取=时,f<>>f<>=<<且f<><f<>满足单谷函数的定义二、设<,1>证明:满足条件的二次函数是〔严格凸函数2证明：由二次插值所得f<x>的近似极小值点〔即的驻点是或者证明：1设=〔则由得或故1得证2的驻点为或三、设f<x>=试证：共轭梯度法的线性搜索中,有,其中证明：由已知,得令为t的凸二次函数。要使是的极小点即为驻点,故满足而===故有得四、用共轭梯度法求解：minf<x>=,x取初始点解：易知第一次迭代：线性搜索得步长从而=第二次迭代：线性搜索得步长：所以最优解为用拟Newton法求解：min取初始点解：1DFC法取初始对称矩阵第一次迭代：计算得,经一维线性搜索得：=0.25置第二次迭代经一维线性搜索得：=6.25故最优解为：2BFGS法取定初始对称矩阵第一次迭代：计算得,经一维线性搜索得：=0.25同DFP法,初始修正矩阵第二次迭代：经一维线性搜索得：故最优解为：习题三给定问题mins.t.取初始点,用简约梯度法求其最优解解：约束条件为则,==得得故为问题的K-T点用梯度投影法求解问题mins.t.取初始点解：迭代〔1投影矩阵故故投影矩阵令故为其 K-T 点3、用可行方向法求解问题mins.t.取初始点解：迭代一：有效约束确定下降方向min-4s.t.i=1,2解得且其最优值为-6,即处的搜索方向线性搜索而迭代2：有效约束确定下降方向min-s.t.i=1,2得且其最优值为-2线性搜索而迭代3：有效约束确定下降方向min-s.t.i=1,2得,其最优值为-