最优化算法理论与应用

最优化算法理论与应用第1页，共15页，2023年，2月20日，星期六优化方法基本分类本门课程有关事宜优化问题基本分类第2页，共15页，2023年，2月20日，星期六优化问题基本分类第3页，共15页，2023年，2月20日，星期六例、和优化联系非常密切的一类问题（回归、辨识、估计、训练、学习、拟合、逼近…）已知某个标量和某个向量之间若干一一对应的样本数据要确定一个函数，使在包含所有样本数据的某个集合里能够用描述和之间的对应关系，即使误差对任意的都尽量小第4页，共15页，2023年，2月20日，星期六基本方法：选择含有待定参数的函数，通过极小化某种样本误差确定待定参数得到所需函数常用范数的样本误差于是，最终要解决的是下述优化问题这是连续变量无约束优化问题第5页，共15页，2023年，2月20日，星期六对于采用范数形成的优化问题为克服目标函数不可导的困难，可以等价转换成下面的连续变量约束优化问题特别是，当是的线性函数时，即上面的优化问题是线性规划问题第6页，共15页，2023年，2月20日，星期六可以选择足够多的基函数使优化问题的样本误差任意小，这样得到的模型在样本集以外通常会产生很大的预报误差，这就是所谓过度拟合或过度训练问题。解决该问题的根本途经是同时极小化基函数的个数，理论上要解决连续和离散变量混合的优化问题其中是设定的正的权值第7页，共15页，2023年，2月20日，星期六前面的例子包含了优化问题最基本的类型线性与非线性无约束与有约束连续变量与离散变量后者相对于前者在难度上均有质的改变具有不确定性和动态特性的问题转换成上述问题第8页，共15页，2023年，2月20日，星期六优化方法基本分类第9页，共15页，2023年，2月20日，星期六例基本方法：从之间的任一点出发，朝着能够改进目标函数的方向搜索前进，直至目标函数不能改进肯定能够收敛到一个局部最优解，不能保证全局最优第10页，共15页，2023年，2月20日，星期六跳出局部陷阱的唯一途经是在搜索过程中允许前进到目标函数值变差的点，如在之间容许目标函数下降才有可能找到全局最优解由此产生新问题，无法保证算法收敛第11页，共15页，2023年，2月20日，星期六为了使算法收敛，只能引入不确定性，让算法在任何一点以一定的概率前进到邻近的某点，移动概率和相应点的目标函数值正相关，所以由此产生的算法是结果不确定的算法第12页，共15页，2023年，2月20日，星期六前面的例子包含了优化方法最基本的类型确定型搜索与不确定型搜索前者是经典的优化教材介绍的主要内容，后者包括模拟退火、禁忌搜索、遗传算法、免疫算法、蚂蚁算法等方法，一般统称为智能算法本课程主要讨论基于确定性搜索的优化方法后期简单介绍基于不确定性搜索的优化方法第13页，共15页，2023年，2月20日，星期六本门课程有关事宜第14页，共15页，2023年，2月20日，星期六教材：运筹学（第二版），刁在筠等编，高教出版社

自第2章到第6章按教材顺序讲课，内容有增减

在第6章后增加一些不确定型搜索方法的内容考核：