第章 线性搜索

第二章最优化理论与方法在多变量函数最优化中，迭代格式为：线性搜索问题要求：确定步长的方法有精确线性搜索法（包括直接搜索法、插值法）和不精确线性搜索法等几类。各类方法具有各自不同的特色。线性搜索的主要结构如下：首先确定包含问题是最优解的搜索区间，再采用某种分割技术或者插值方法缩小这个搜索区间，进行搜索求解。第二章最优化理论与方法第2.1节精确线性搜索法概述第2.2节搜索区间的确定第2.3节0.618法（黄金分割法）第2.4节逐次插值逼近法第2.5节不精确线性搜索第2.6节线性搜索的收敛性第2.1节精确线性搜索概述对于给定的搜索方向，如果要求选择步长，使得一般获得沿着的最大下降量，则称这样的线性搜索为最优线性搜索或者精确线性搜索，叫做最优步长。第2.2节搜索区间的确定[定义2.1]设是一元函数，区间[a,b]，若存在，使得在上严格递减，在上严格递增，则称[a,b]是函数的单峰区间，是[a,b]上的单峰函数。[定义2.1’]设是一元函数，，若存在唯一的，使得对于任何，有：若，则；若，则；则称是上的单峰函数。第2.2节搜索区间的确定进退法的基本思想：假定是一个连续函数，逐步确定三点，使得满足，则在区间中必有的一个极小点，我们便取为搜索区间。然后，在区间中任取两点，且，则：若，则得到新的搜索区间；若，则得到新的搜索区间；第2.2节搜索区间的确定[算法2.2]（进退法）（1）选取初始点，初始步长h，加倍系数（一般取）；（2）计算，；（3）比较函数值和。若（搜索成功），则令；若（搜索失败），则令，；（4），计算；若，则（加大搜索步长，）令，重复本步；（5）停止迭代，令，，。第2.3节0.618法（黄金分割法）0.618法（黄金分割法）是一种分割方法，即基本思想是通过取试探点和进行函数值的比较，是包含极小点的搜索区间不断缩短，当区间长度缩短到一定程度时，区间上各点的函数值均接近极小值，从而各点可以看作是极小点的近似。这类方法仅需计算函数值，用途很广，尤其适用于非光滑及导数表达式复杂或写不出来的种种情况。第2.3节0.618法（黄金分割法）0.618的基本思想是：设在搜索区间上为单峰函数，取两个试探点，并且。我们要求这两个试探点满足以下条件：（1）对称原则：。（2）等比收缩原则：第2.3节0.618法（黄金分割法）计算并比较这两点处的函数值的大小来决定删除左半区间（若）还是右半区间（若）。按照这种思想，则有：

第2肝.3雷节死0.请61童8法益（黄览金分信割法概）0.版61县8法距的收森敛速昆度：由于注搜索恋区间拒的收忍缩比舅都为扰，单所以粒搜索滚区间版经过仇k次富缩小训后，腊最终枣区间外的长体度为伏，荷因此乏可知词0.券61笨8法睬的收秆敛速步度为殖线性安的。第2究.3腔节料0.芦61谁8法竭（黄拥金分杰割法乞）[算籍法2旨.3网]（粘0.挖61品8法春）（1些）确选定初茄始搜塑索区铃间片和精化度要霞求。（2蛛）计呜算发，真；（3她）计糕算诱，拒；（4户）比头较僻和喇。第2铜.3则节适0.润61牙8法堵（黄穷金分俩割法莫）[算掀法2附.3暴]（先0.洽61宝8法炮）（5救）若其，擦则令曾；如饮果，转伶（7绘）；展否则计算粪，转靠（4属）；（6忙）否叼则（昏），翻则令榜；如果启，准转（梨7）翼；否绳则计算垮，甘转（黑4）（7流）计榴算并显比较丛和途，思若，则卸令鼓，辞停止稿迭代柳；否怎则，眨令，停月止迭湾代。第2速.4在节逐爷次插繁值逼厘近法（1因）三甜点二滋次插芒值法（2钉）一团点二爪次插侧值法（3井）二到点二惧次插口值法呀（I洁）（4腹）二立点二批次插调值法亿（I方I）第2兰.4摘节逐腐次插趁值逼内近法0.材61侨8法已仅对挎函数哑值的就大小之进行困比较剥，而义函数盗本身栋的一尚些信欺息没劈燕有得雄到充忙分利床用。滤逐次醒插值龙逼近醋法则蔑是在日搜索乓区间剥中利判用一负些互勾不相我同的券点处债的函揪数值轨或一旷些导阔数值四来构昨造插砖值多滴项式天来近减似目铲标函赖数，秆不断烤用低迅次（蜓通常船不超述过三劝次）你多项型式的佛极小法点来库逼近柱目标澡函数判的极喘小点袄，作富为目孙标函衫数极积小点扣的近掀似。赤当函测数具尘有比睁较好圈的解筋析性稻质时樱，插事值方旱法比凤直接诸方法胖效果界更好响。通革常采银用的寻是逐至次二产次插胖值法凑。第2刃.4必节逐屠次插寸值逼独近法（1浴）三菠点二亏次插石值法在包显含脾的极刺小点星的搜果索区罗间中，聪给定拘三点挤，父并且蛮满足经过帆点愿构造曾一条届抛物凶线哲来拟隆合，差即令，使屡得第2肝.4临节逐素次插安值逼茅近法解得饶：极小燥点为株：第2刃.4桥节逐孙次插市值逼羽近法三点洽二次怖插值椒多项验式也姥可以衣直接纹利用爽二次拾La依gr震an殊ge丑插值演多项规式并且愿令愈得蚊到。终止莫准则旗：田或睡者若蛇和轮的直值很颜大，诵可以箩采用第2纯.4瓦节逐个次插繁值逼叹近法下面煎给出果选取锋新的绍三点政的方商法。（1刻）比拘较撑和积的稀大小聪，若巴，则转（晕2）垂，否运则，致转（两3）筐；（2婚）若阻，红则仁，鸣转（遇4）亭；否拐则，疏，判转（流4）毙；（3育）若富，示则口，怠转（暗4）子；否孩则，下，对转（栏4）惨；（4茄）区崇间收剑缩完米毕，党然后喷在新趟的搜恋索区仙间上按类照三摇点二筑次插舱值多猪项式有计算驻极小捎点运。第2移.4糊节逐筒次插浑值逼枝近法收敛狐速度虾：如果侧函数垦四第阶连唤续可变微，显满足且摩，让则三进点二怜次插孕值法被产生正的序施列笋的乒收敛影速度攀约为庭1.谅32槽。第2铺.4鞭节逐德次插子值逼职近法[算京法2稳.4塌]（路三点陪二次馋插值肠法）（1孤）给巴出初极始搜命索区蹲间徒、要眠求精度肌；（2练）令储，括计算；（3篮）计驴算并和炒；（4档）若劝，令叶，孝终止阵计算；吹否则织，比落较英和立的消大小坡，若步，，则挂转（颂5）卧，否单则转狗（6摧）；第2俯.4尤节逐拼次插辛值逼腥近法[算玻法2觉.4红]（叉三点告二次页插值狭法）（5虚）若万，则，转视（3勺）；访否则因，，转映（3娇）；（6坑）若颗，则，转街（3鸣）；狐否则项，，转捡（3亭）；第2劲.4就节吃逐次征插值那逼近航法（2陶）一任点二予次插营值逼搬近法侧（牛悔顿法舒）考虑卸利用财一点乡丰处的勾函数摩值、步一阶意和二赛阶导茅数值留构造冤二次生插值堆函数述。设针二次蜡插值犬多项晋式为奇，渡。插值课条件孝为：，解得私：烂，际，牛顿悠法的暖优点遥是收遵敛速偶度快曾，具蛮有局区部二致阶收施敛速值度。第2讽.4蹦节逢逐次排插值容逼近性法（3伏）二晓点二挂次插哄值逼浇近法歇I给定馒不同派的两败点及宣函数洗值和延其中粪一点饺的导哑数值局，构炉造二闲次插亡值多冈项式变。插值笛条件煮：泄，，启。解得凡：第2谈.4梢节雄逐次呀插值鸡逼近或法（3何）二群点二棒次插尝值逼麦近法斯II给定宵不同糕的两尊点及悟导数套值和挤其中脖一点勾的函援数值跳，构查造二扫次插惊值多怖项式硬。插值苹条件度：负，，主。解得奋：二点奥二次卸插值左法的阿收敛家阶约键1.喘61男8，脊即方辱法具形有超滤线性妥收敛肝速度猴。第2祝.5手节脊不精痕确线绵性搜冷索线性绩搜索攻的缺稿点：（1芽）计瞧算量求较大冻；（2厦）过肠分地集追求希线性榴搜索喊的精稻度反奏而会渡降低砍整个基方法卷的效耽率。不精字确线条性搜富索的逗基本绸思想：对给窄定的因下降递方向仆，要旋求步之长的选咳取应续该使历得目音标函缎数有朵充分咱的下连降，古同时乖避免贡所选记择的眉太小锻。第2晌.5证节千不精筹确线陡性搜礼索不精项确线歉性搜淡索的杏准则：（1遍）戈德例史丹材（G童ol佛ds密te伪in畅）准佣则（涂19派65造）（2贤）沃尔靠夫（幻玉Wo吩lf暴e）妨准则（3你）简滥单（步阿弥恰佳A园rm胡ij堪o）杀准则（1务）戈德胜史丹魔（G医ol舟ds售te养in小）准追则给定岛，通马常取[评培注]璃的繁要求霸是必纠要的香。（1某）戈德很史丹笛（G科ol序ds蓝te握in撇）准兔则[算睁法2丸.5来]（河Go权ld肃st秀ei尚n不习精确旱线性村搜索暑算法反）（1绵）给陵定初缴始搜界索区筹间塔，及计算令覆，任恳取捕。（2伶）计浇算溉。若猫，则僻转（碑3）齐；否则丘，暂，善转（理4）如；（3仿）若叉，舞则挽停止乌；否则洞，住；若致，转目（4局），掏否则华，赤，葡转（2锡）；（4书）演，滤转（星2）纱。（2负）沃油尔夫这（W韵ol诞fe谎）准徐则在戈尤德史择丹准卸则中背，的一掀个缺亡点是赖可能诵将渗的极邮小点插排除炕在可茶接受鲜区间讯之外傅。Wo忘lf恢e不恳精确兄性搜距索准这则：给定驶，糊使得葬：（2扒）沃症尔夫溜（W药ol悬fe饿）准俭则[评迅注]（1圈）要乞求艺是授必要逮的，例它保励证了竖满足抱不精恒确线惠性搜部索的离沃尔任夫准雪则中宴的步粪长因碰子追的酱存在呜性。（2老）是渡精确青搜索要所满飘足的碗正交规条件的近蜓似。唱但其期不足次之处张在于援：当乘时留也不尘能导虾致精我确的封线性班搜索苦。Fl勒et弓ch寺er驱条件江：（2助）沃灰尔夫阶（W应ol窑fe自）准萌则[算城法2买.6轮]（可沃尔论夫不贤精确柔线性突搜索计算法冈）（1孟）给妙定初散始搜刮索区档间屠，令奇，计算令东，取恒。（2与）计眉算瓶；（2甘）沃宅尔夫腹（W聋ol坐fe脊）准狠则[算向法2矩.6倾]（序沃尔动夫不域精确角线性晕搜索便算法赢）（3概）若羊，容则转你（4锯）；否则受由四应冤用二叹点二痛次插值法妙（I统）计欲算出令班，伞转（阵2）犯；（2励）沃耻尔夫呢（W紫ol涨fe暖）准光则[算诵法2蜡.6酬]（抱沃尔唯夫不兆精确懒线性酸搜索亡算法贼）（4凑）计贱算量。若妈，窝则取绞，停慌止；否则竖由归应用辛二点老二次迷插值法（臂II息）计干算出令疲，减转（迈2）隐。（3茂）简粒单（话阿弥大佳A摸rm塌ij纷o）软准则在实宋际中睛有时验仅采必用准比则并且柄要求访不太巷小。箩我们磁这种准准则思叫做记简单腔准则悠（阿陵弥佳挡Ar威mi俭jo猴）准统则。激仅利狸用简时单准吗则的置不精怒确一僵维搜砖索方动法叫月做后钩退方逗法，捡是一斧种试锤探性豪方法蛋。其思焰想为般：设她是目表标函赤数售在翠处放的下贤降方贱向，掏如果维不可期接受烛，则统减少谜（即摄后退达），稠一直抵到窄可以饺接受贴为止算。（3条）简嫁单（爆阿弥童佳A春rm匀ij缘瑞o）途准则[算手法2皂.7脑]（踢后退柜法）（1迹）给理定下灯降方忠向著，呢；（2旗）若则令螺，答停止晴；否则蔽，令晒，版转（流2）永；第2脉.6案节催线性君搜索袄的收错敛性下降芹算法秩对于抄下降脂方向御的要度求：要求谁：存盘在贩，秤使得酱：第2翁.6萄节似线性拒搜索览的收捐敛性（1幕）各案种步厅长准横则下雹的线屡性搜掌索的农全局际收敛美性定仙理；（2稠）采券用精球确线趋性搜车索的迈下降佣算法党的收脚敛速垒度；（3塑）函浪数下胃降量惕的估炕计。第节烛各假种步坊长准词则下闭的线魔性搜触索的闯全局宵收敛中性定橡理[定捆理2博.8歪]如以果渡在水桑平集呼上社存在惯且一狭致连元续，斤下降景算法链的搜笑索方过向胆与之间醒的夹溪角属满足蝴条件伙：存在绘，使串得飘。步长诵由腹以下摔三种巾方法代之一薯确定衬：（i策）精避确线鹿性搜劫索；（i吓i）猎戈德置史丹搭准则哈；（i旺ii淘）沃象尔夫祖准则来。则或茄者对们某个驳k，范有躲，刚或者哀有，或摘者有昂。第节介各宝种步惰长准庙则下假的线忧性搜忆索的键全局雷收敛凯性定铁理[定颗理2奖.9缝]如漏果滥连续热可微裂，且酸满跌足利械普希督茨（今Li攀ps夸ch卸it劳z）距条件勇：其中齿M为辩常数尸。如烧果下珍降算载法利春用沃购尔夫麻（W粮ol议fe苗）准纸则，穷并且威下降愁方向测与之间描的夹壶角继满浅足条负件：存在创，使菌得格。那么鹿算法鉴产生跌的迭司代序左列贺，讨或者杆对某毙个k董，有长，或那者有足，粮或者加有项。第节砖各糟种步限长准壤则下懒的线深性搜宁索的犯全局骨收敛恨性定芦理[定献理2颜.1悼0]蒸如果礼在撑水平烘集足上存驻在且袖一致椒连续炎，下歉降算孩法的堤搜索描方向稍与宇之间尽的夹折角裹满足凯条件搭：存慨在考，雹使得妹。步扰长寻由阿条弥佳内准则绢确定诞，则涉迭代知序列亮的融任何处聚点派都是孩的平胜稳点浆。第节尾各拜种步林长准醋则下数的线身性搜绵索的卷全局聪收敛芳性定框理[定积理2疼.1笨0]唉如优果在扔水平克集上雅存在移且一织致连掉续，悦下降舞算法输的搜孟索方化向与删之间维的夹院角满喇足条悼件：钢存在装，使积得。渗步长么由阿球弥佳洋（A驳rm骡ij装o）祸准则原确