人工智能数学基础 课件 第5章　最优化理论与算法

高等工程数学

互动启迪智慧CommunicationenlightenswisdomAdvancedEngineeringMathematics参考教材：廖盛斌,人工智能数学基础.电子工业出版社,2023.

3思路：本次课特别强调基础数学概念的深刻理解，以及它们的几何意义。目标：本次课主要介绍优化理论及算法中常用的凸集、凸函数、凸函数的判断等概念和方法。4提纲：

优化问题引例凸集凸函数凸函数的判定5优化问题引例

6优化问题引例

7凸集---凸集的定义

8凸集---常见的几种凸集

9凸集---常见的几种凸集

10凸集---常见的几种凸集

11凸集---基本性质

12凸集---基本性质

13凸集---基本性质

14凸集---基本性质

15凸集---基本性质

16凸集---基本性质

17凸函数：定义

18凸函数：几何意义本质是函数的上境图是凸集19凸函数：Jensen不等式

注意：该结论是定义的推广这里利用了归纳假设20凸函数：基本性质

凸函数：基本性质

凸函数：基本性质

凸函数的判定除了根据凸函数的定义判定一个函数是否是凸函数以外，下面介绍几个常见的判定一个函数是否是凸函数的方法。凸函数的判定

凸函数的判定

凸函数的判定

凸函数的判定：定理2的几何意义该图也表明，对于一个可微的凸函数，它图形上面任意一点的切平面，位于它的的图形的下方。凸函数的判定

凸函数的判定

凸函数的判定

谢谢！交流碰撞火花Exchangeproducessparks努力向前！高等工程数学

互动启迪智慧CommunicationenlightenswisdomAdvancedEngineeringMathematics参考教材：廖盛斌,人工智能数学基础.电子工业出版社,2023.

34思路：本次课特别强调采用图形化方法理解优化算法的设计思路。目标：本次课主要介绍优化问题的定义、优化算法的一般设计思路、可行方向与下降方向。35提纲：

最优化问题及解的定义优化算法的一般思路可行方向与下降方向36最优化问题及解的定义

37最优化问题及解的定义

38最优化问题及解的定义

39最优化问题及解的定义

40最优化问题及解的定义

41优化算法的一般思路

42优化算法的一般思路：线性搜索

43优化算法的一般思路：线性搜索

44优化算法的一般思路：线性搜索从上面可知，该类算法包括三个基本要素，即初始点、搜索方向和迭代步长。事实上，很多优化算法的设计以及支撑优化算法设计的基本理论都是围绕这三个基本要素展开的。在讨论具体的算法设计和相关理论分析之前，我们通过下面一个简单的优化问题，以图例的形式，对算法1及它的三个基本要素给出几何表示，帮助理解算法的内涵。45优化算法的一般思路：线性搜索

46优化算法的一般思路：线性搜索

47优化算法的一般思路：信赖域法

48优化算法的一般思路：信赖域法

49优化算法的一般思路：信赖域法同样借助于例5.2的优化问题，对算法5.2给出几何解释。50优化算法的一般思路：信赖域法

51优化算法的一般思路：信赖域法52优化算法的一般思路：信赖域法53优化算法的一般思路：信赖域法

54可行方向与下降方向

55可行方向与下降方向

谢谢！交流碰撞火花Exchangeproducessparks努力向前！高等工程数学

互动启迪智慧CommunicationenlightenswisdomAdvancedEngineeringMathematics参考教材：廖盛斌,人工智能数学基础.电子工业出版社,2023.

59目标：本次课主要介绍优化理论及算法中常用的最优性条件、KKT条件。思路：本次课内容是优化理论及算法中最重要的基础内容，要从理论、算法设计思路、工程实践对它们进行深入理解。60提纲：

最优性条件无约束问题的最优性条件约束问题的最优性条件KKT条件61最优性条件

62无约束问题的最优性条件：

一个基础性的结论63无约束问题的最优性条件：

64无约束问题的最优性条件：

65无约束问题的最优性条件：

66无约束问题的最优性条件：

67无约束问题的最优性条件：

68无约束问题的最优性条件：

69约束问题的最优性条件

70约束问题的最优性条件

71约束问题的最优性条件

72约束问题的最优性条件

73约束问题的最优性条件

74约束问题的最优性条件：几何意义约束问题最优性条件的几何解释75约束问题的最优性条件：几何意义

76约束问题的最优性条件：几何意义

77约束问题的最优性条件：几何意义

78约束问题的最优性条件：思考题

谢谢！交流碰撞火花Exchangeproducessparks努力向前！高等工程数学

互动启迪智慧CommunicationenlightenswisdomAdvancedEngineeringMathematics参考教材：廖盛斌,人工智能数学基础.电子工业出版社,2023.

82目标：本次课主要介绍优化理论及算法中常用的最优性条件、KKT条件。思路：本次课内容是优化理论及算法中最重要的基础内容，要从理论、算法设计思路、工程实践对它们进行深入理解。83提纲：

最优性条件无约束问题的最优性条件约束问题的最优性条件KKT条件84KKT条件

85KKT条件：约束问题一般形式

86KKT条件：有效约束

87KKT条件：有效约束集的表示

88KKT条件：优化问题的等价表示举例

89KKT条件：优化问题的有效约束举例

90KKT条件：FritzJohn条件

91KKT条件：FritzJohn条件

92KKT条件：拉格朗日函数和拉格朗日乘子

93KKT条件

94KKT条件

95KKT条件

96KKT条件

谢谢！交流碰撞火花Exchangeproducessparks努力向前！高等工程数学

互动启迪智慧CommunicationenlightenswisdomAdvancedEngineeringMathematics参考教材：廖盛斌,人工智能数学基础.电子工业出版社,2023.

100目标：本次课主要介绍梯度下降算法、随机梯度下降算法。思路：梯度下降算法和随机梯度下降算法是两个最常用的优化算法，这里更强调在机器学习框架下应用随机梯度下降算法。101提纲：

最速下降方向梯度下降算法随机梯度下降算法102最速下降方向

103最速下降方向:负梯度方向

104最速下降方向:负梯度方向

105梯度下降算法：算法

梯度下降法：机器学习线性模型版本初始化每个Δ𝑤_𝑖为0对于训练样例training_examples中的每个<x,t>，做：

遇到终止条件之前，做以下操作：其中，D是训练样例集合107梯度下降算法：缺点

108梯度下降算法：终止条件

109随机梯度下降算法：算法思路在深度学习算法中，广泛使用的是随机梯度算法。一般需要根据原始模型的输出与期望的输出构建损失函数，然后通过优化算法对损失函数进行优化，使得模型在训练样本集上损失函数的值最小，以便寻找到模型最优的参数。在求解深度网络模型参数中，使用最多的是梯度下降算法的一种变种，称为随机梯度下降算法（SGD）。由于深度学习中，训练样本数量可能比较大，我们可能要对训练样本进行随机采样和分块，每次只是随机地抽取一个样本或一批样本（一个Batch），根据该样本或该批样本得到的损失误差值来更新模型参数，这就是随机梯度下降算法的基本思路。110随机梯度下降算法：算法思路

111随机梯度下降算法：问题问题：这样计算的梯度不是真正的最速下降方向，而是对最速下降方向的近似。正是由于随机梯度下降算法每次计算的梯度有一定的偏差，随机梯度下降算法中每次的搜索方向不一定是下降方向，这样会导致迭代过程中损失函数下降曲线会出现一些波动，有时甚至会出现不收敛的可能性，但是在实际使用中效果比较好。112随机梯度下降算法：算法

随机梯度下降法：机器学习线性模型版本

对于训练样例training_examples中的样本，每次取一个<x,t>，做把实例x输入到此单元，计算输出o

随机梯度下降法：文献阅读SebastianRuder.Anoverviewofgradientdescentoptimizationalgorithms大家主要阅读1、2、3和4.1、4.2、4.3和4.6，并实现2中的代码。论文已经发到课程群里面了谢谢！交流碰撞火花Exchangeproducessparks努力向前！高等工程数学

互动启迪智慧CommunicationenlightenswisdomAdvancedEngineeringMathematics参考教材：廖盛斌,人工智能数学基础.电子工业出版社,2023.

118目标：本次课主要介绍牛顿法、拟牛顿法。思路：牛顿法和拟牛顿法也是两个最常用的优化算法，理解它们的设计思路，比较它们与梯度下降的复杂度。119提纲：

牛顿法拟牛顿法120牛顿法

121

牛顿法122

牛顿法123

牛顿法牛顿法

牛顿法上面说明了牛顿法在收敛性上具有较好的性质。但是，当初始点远离局部最优点时，牛顿法也有可能不收敛，主要是牛顿方向不一定是下降方向。牛顿法也存在计算量比较大的缺陷，因为牛顿法需要计算当前点的梯度、黑塞矩阵和黑塞矩阵的逆矩阵。牛顿法也可能面临黑塞矩阵不可逆或近似不可逆的情况。针对牛顿法的缺陷和可能存在的问题，存在许多改进的牛顿法，最经典的就是下面的拟牛顿法。思考：为什么牛顿方向不一定是下降方向？拟牛顿法

拟牛顿法

拟牛顿法：DFP算法

拟牛顿法：DFP算法

拟牛顿法：BFGS算法

拟牛顿法：BFGS算法

论文阅读与代码实现

1论文阅读：DaiYH.AperfectexamplefortheBFGSmethod.Mathematicalprogramming,2013,138(1-2):501-5302代码实现参考：https:///blog/2790196/谢谢！交流碰撞火花Exchangeproducessparks努力向前！高等工程数学

互动启迪智慧CommunicationenlightenswisdomAdvancedEngineeringMathematics参考教材：廖盛斌,人工智能数学基础.电子工业出版社,2023.

136目标：本次课主要介绍优化算法在神经网络中的应用。思路：在机器学习框架下，理解最优化算法的工程应用。137提纲：

人工神经网络简介优化算法求解机器学习问题神经网络中的反向传播算法138人工神经网络简介：

生物学背景：“神经网络”这个词实际是来自于生物学，是由大量的神经元细胞以不同方式连接构成的一个复杂网络系统。它具有非线性、自适应、自学习、并行分布式处理等典型特性。人工神经网络：人工神经网络是由大量处理单元互联组成的非线性、自适应信息处理系统。它是在现代神经科学研究成果的基础上提出的，试图通过模拟大脑神经网络处理、记忆信息的方式进行信息处理。它的信息处理功能是由网络单元（神经元）的输入输出特性（激活特性）、网络的拓扑结构（神经元的连接方式）、连接权大小（突触联系强度）和神经元的阈值（可视为特殊的连接权）等决定。要点：人工神经网络（ArtificialNeuralNetworks——ANNs）提供了一种普遍

实用、健壮的方法，来从样例中学习值为实数、离散或向量的函数。

139神经网络表示：人工神经网络由大量的神经元处理单元构成，是对生物神经系统的模拟。人工神经元模型是生物神经元的抽象和模拟，是神经网络的最基本处理单元，神经元处理单元可表示不同的对象，例如特征、字母、概念，或者一些有意义的抽象模式。常见的处理单元包括：感知器（perceptron）、线性单元（linearunit）和sigmoid单元（sigmoidunit）。3.1处理单元的类型分为三类：输入单元、输出单元和隐单元。输入单元接受外部世界的信号与数据；输出单元实现系统处理结果的输出；隐单元是处在输入和输出单元之间，不能由系统外部观察的单元。神经元间的连接权值反映了单元间的连接强度，信息的表示和处理体现在网络处理单元的连接关系中。人工神经网络其本质是通过网络的变换和动力学行为得到一种并行分布式的信息处理功能，并在不同程度和层次上模仿人脑神经系统的信息处理功能。人工神经网络简介：1403.2ALVINN系统：

ALVINN系统是一个它是ANN学习的一个及人工神经网络简介：30个输出单元4个隐藏单元30X32个输入学习到的权重学习驾驶汽车的ANN，典型实例。ANN学习就是为网络中的每一条边选取权值。优化算法求解机器学习问题的一般模式

优化算法求解机器学习问题的一般模式

反向传播算法1多层网络：单个感知器仅能表示线性决策面。相反，反向传播算法所学习的多层网络能够表示种类繁多的非线性曲面。下图描述了一个典型的多层网络和它的决策曲面,它比前面的单个单元的线性决策面表征能力更强。上面的网络是用来训练识别10种出现在“h_d”（例如“had”，“hid”）间的元音。它的输入由两个参数F1和F2组成，它们是通过对声音的频谱分析得到的。网络的10个输出对应于10个可能的元音。这个网络的预测是其中有最大值的输出。右图画出了学到的网络所代表的高度非线性决策面。图中的点表示测试样例，它们与用来训练这个网络的样例是完全不同的

反向传播算法

反向传播算法

反向传播算法

算法解释

算法权值调整的推导

算法权值调整的推导

算法补充说明

是冲量常数收敛性和局部极小值反向传播算法实现了一种对可能的网络权值空间的梯度下降搜索，它迭代地减