人工神经网络函数导数最值

1、人工神经网络函数导数最值第1页，共99页，2022年，5月20日，20点17分，星期日2第四章 函数、导数、最值1. 导数和方向导数 2. 导数的几何意义3. 函数的最值4. 梯度下降法第2页，共99页，2022年，5月20日，20点17分，星期日3导数的概念函数f (x)在x=x0处的瞬时变化率为：我们称它为函数f (x)在x=x0处的导数记作：第3页，共99页，2022年，5月20日，20点17分，星期日4导数的概念xoyx0 x0+xx0+xyx0y = f (x)比如, y = f (x),如图第4页，共99页，2022年，5月20日，20点17分，星期日5方向导数的概念表示在 x0处

2、沿 x 轴正方向的变化率.表示在 x0处沿 x 轴负方向的变化率.第5页，共99页，2022年，5月20日，20点17分，星期日6方向导数的概念又比如, z = f (x, y), 偏导数分别表示函数在点 (x0, y0)沿 x 轴方向,沿 y 轴方向的变化率.第6页，共99页，2022年，5月20日，20点17分，星期日7方向导数的概念如图xoyzx0(x0, y0)y第7页，共99页，2022年，5月20日，20点17分，星期日8方向导数的概念表示在 (x0, y0)处沿 y 轴正方向的变化率.表示在 (x0, y0)处沿 y 轴负方向的变化率.第8页，共99页，2022年，5月20日，2

3、0点17分，星期日9方向导数的概念yxzoz = f (x, y)X0M0即 f x (x0, y0) 表示 y = y0 与 z = f (x, y)的交线在 M0处的切线对 x 的斜率.T11 : z = f (x, y0)1y0把偏导数概念略加推广即可得到方向导数的概念.第9页，共99页，2022年，5月20日，20点17分，星期日10方向导数的概念yxzoz = f (x, y)M0X022 : z = f (x0 , y)即 f y (x0, y0) 表示 x = x0 与 z = f (x, y)的交线在 M0处的切线对 y 的斜率.x0T2第10页，共99页，2022年，5月20

4、日，20点17分，星期日11方向导数的概念如图xoyzM0lX0=(x0, y0)X = (x0+x, y0+y)MN第11页，共99页，2022年，5月20日，20点17分，星期日12方向导数的概念若 z = f (X) = f (x, y)在 X0 = (x0, y0)处偏导存在.则在 X0 处沿 x 轴正向的方向导数,第12页，共99页，2022年，5月20日，20点17分，星期日13方向导数的概念在 X0 处沿 x 轴负方向的方向导数,同样可得沿 y 轴正向的方向导数为 f y (x0, y0), 而沿 y 轴负方向的方向导数为 f y (x0, y0).第13页，共99页，2022年

5、，5月20日，20点17分，星期日14导数的概念设求例：解：第14页，共99页，2022年，5月20日，20点17分，星期日导数的几何意义y=f(x)PQMxyOxyPy=f(x)QMxyOxy 如图,曲线C是函数y=f(x)的图象,P(x0,y0)是曲线C上的任意一点,Q(x0+x,y0+y)为P邻近一点,PQ为C的割线,PM/x轴,QM/y轴,为PQ的倾斜角.斜率!则第15页，共99页，2022年，5月20日，20点17分，星期日导数的几何意义PQoxyy=f(x)割线切线T请看当点Q沿着曲线逐渐向点P接近时,割线PQ绕着点P逐渐转动的情况.第16页，共99页，2022年，5月20日，20

6、点17分，星期日导数的几何意义 设切线的倾斜角为,那么当x0时,割线PQ的斜率,称为曲线在点P处的切线的斜率.提供了求曲线上某点切线的斜率的一种方法;切线斜率的本质函数在x=x0处的导数.第17页，共99页，2022年，5月20日，20点17分，星期日(3)当 t = t2 时, 曲线 h(t) 在 t2处的切线 l2 的斜率 h(t2) 0 .故在 t = t2 附近曲线下降,即函数 h(t) 在t = t2 附近也单调递减.导数的几何意义例曲线h(t)在t0 , t1 , t2 附近的变化情况.解:可用曲线 h(t) 在 t0 , t1 , t2 处的切线刻画曲线 h(t) 在上述三个时刻

7、附近的变化情况.(1)当 t = t0 时, 曲线 h(t) 在 t0 处的切线 l0 平行于 x 轴.故在 t = t0 附近曲线比较平坦, 几乎没有升降.(2)当 t = t1 时, 曲线 h(t) 在 t1 处的切线 l1 的斜率 h(t1) 0f (x)0设函数y=f(x) 在某个区间内可导，函数单调性与导数关系为增函数为减函数为常数第19页，共99页，2022年，5月20日，20点17分，星期日凹凸曲线的凹凸性第20页，共99页，2022年，5月20日，20点17分，星期日定理:设f (x)在a, b上连续，在(a, b)内具有一阶和二阶导数，那么例1解所以曲线是凸的。曲线的凹凸性第

8、21页，共99页，2022年，5月20日，20点17分，星期日例2解曲线的凹凸性第22页，共99页，2022年，5月20日，20点17分，星期日拐点定义：曲线的凹凸性一般地，设 y = f (x) 在I上连续，x0 是 I 的内点，如果曲线 y = f (x) 在经过点(x0，f (x0) 时，曲线的凹凸性改变了，那么称点(x0，f (x0)为这曲线的拐点。第23页，共99页，2022年，5月20日，20点17分，星期日解凹的凸的凹的拐点拐点曲线的凹凸性第24页，共99页，2022年，5月20日，20点17分，星期日25 下图是导函数 的图象, 试找出函数 的极值点, 并指出哪些是极大值点,

9、哪些是极小值点.abxyx1Ox2x3x4x5x6第25页，共99页，2022年，5月20日，20点17分，星期日函数的极值定义设函数f (x)在点x0附近有定义，如果对x0附近的所有点，都有f (x)f (x0), 则f (x0) 是函数f (x)的一个极小值，记作y 极小值= f (x0)；函数的极大值与极小值统称为极值 使函数取得极值的点x0称为极值点第26页，共99页，2022年，5月20日，20点17分，星期日用导数法求解函数极值的步骤(1)求导函数f (x)；(2)求解方程f (x) = 0；(3)检查f (x)在方程f (x) = 0的根的左右的符号,并根据符号确定极大值与极小值

10、.口诀：左负右正为极小，左正右负为极大。第27页，共99页，2022年，5月20日，20点17分，星期日函数极值的判定定理 如果函数f (x)在x0附近有连续的二阶导数f (x) ，f (x0) 0， f (x)0，那么若f (x0)0，则函数f (x)在点x0处取得极大值若f (x0)0，则函数f (x)在点x0处取得极小值第28页，共99页，2022年，5月20日，20点17分，星期日例：求下列函数的极值f (x)2x33x2解： f (x)6x26x，f (x)12x6令6x26x0，得驻点为x11，x20f (1)60，f (0)60把x11，x20代入原函数计算得f (1)1、f (

11、0)0当x1时，y极小1，x0时，y极大0函数极值的判定第29页，共99页，2022年，5月20日，20点17分，星期日例：求下列函数的极值f (x)sinxcosx，x0,2解： f (x)cosxsinx，令cosxsinx0，得驻点为x1 ，x2 ，又f (x)sinxcosx，把x1 ，x2 代入原函数计算得f ( ) 、f ( ) 。所以当x 时，y极大 ，x 时，y极小注意 如果f (x0)0，f (x0)0或不存在，本定理无效，则需要考察点x0两边f (x0)的符号来判定是否为函数的极值点。函数极值的判定第30页，共99页，2022年，5月20日，20点17分，星期日实例问题的实

12、质：问题：一块长方形的金属板，四个顶点的坐标是(1,1)，(5,1)，(1,3)，(5,3)在坐标原点处有一个火焰，它使金属板受热假定板上任意一点处的温度与该点到原点的距离成反比在(3,2)处有一个蚂蚁，问这只蚂蚁应沿什么方向爬行才能最快到达较凉快的地点？应沿由热变冷变化最骤烈的方向（即梯度方向）爬行第31页，共99页，2022年，5月20日，20点17分，星期日梯度的概念第32页，共99页，2022年，5月20日，20点17分，星期日在几何上 表示一个曲面曲面被平面 所截得所得曲线在xoy面上投影如图等高线梯度为等高线上的法向量梯度的概念第33页，共99页，2022年，5月20日，20点17

13、分，星期日等高线的画法第34页，共99页，2022年，5月20日，20点17分，星期日等高线的画法第35页，共99页，2022年，5月20日，20点17分，星期日等高线的画法第36页，共99页，2022年，5月20日，20点17分，星期日等高线的画法第37页，共99页，2022年，5月20日，20点17分，星期日等高线的画法第38页，共99页，2022年，5月20日，20点17分，星期日等高线的画法第39页，共99页，2022年，5月20日，20点17分，星期日等高线的画法第40页，共99页，2022年，5月20日，20点17分，星期日等高线的画法第41页，共99页，2022年，5月20日，2

14、0点17分，星期日等高线的画法第42页，共99页，2022年，5月20日，20点17分，星期日等高线的画法第43页，共99页，2022年，5月20日，20点17分，星期日例如,等高线的画法第44页，共99页，2022年，5月20日，20点17分，星期日梯度与等高线的关系：第45页，共99页，2022年，5月20日，20点17分，星期日类似于二元函数，此梯度也是一个向量，其方向与取得最大方向导数的方向一致，其模为方向导数的最大值.梯度的概念可以推广到三元函数第46页，共99页，2022年，5月20日，20点17分，星期日梯度的概念可以推广到三元函数第47页，共99页，2022年，5月20日，20

15、点17分，星期日在 处梯度解由梯度计算公式得故梯度的概念可以推广到三元函数第48页，共99页，2022年，5月20日，20点17分，星期日49 梯度下降法又称最速下降法。函数J(a)在某点ak的梯度 是一个向量，其方向是J(a)增长最快的方向。显然，负梯度方向是J(a)减少最快的方向。 在梯度下降法中，求某函数极大值时，沿着梯度方向走，可以最快达到极大点；反之，沿着负梯度方向走，则最快地达到极小点。 梯度下降法第49页，共99页，2022年，5月20日，20点17分，星期日梯度下降法第50页，共99页，2022年，5月20日，20点17分，星期日51 求函数J(a)极小值的问题，可以选择任意初

16、始点a0 ，从a0出发沿着负梯度方向走，可使得J(a)下降最快。 s(0)：点a0的搜索方向。梯度下降法第51页，共99页，2022年，5月20日，20点17分，星期日52 对于任意点ak，可以定义ak点的负梯度搜索方向的单位向量为: 从ak点出发，沿着 方向走一步，步长为 ,得到新点ak+1,表示为：梯度下降法第52页，共99页，2022年，5月20日，20点17分，星期日53梯度下降法第53页，共99页，2022年，5月20日，20点17分，星期日54因此，在新点ak+1，函数J(a)的函数值为：所有的ak组成一个序列，该序列由迭代算法生成 a0, a1, a2, . , ak, ak+1

17、, .该序列在一定条件下收敛于使得J(a)最小的解a*迭代算法公式：梯度下降法第54页，共99页，2022年，5月20日，20点17分，星期日55迭代算法公式：关键问题：如何设计步 长如果选得太小，则算法收敛慢，如果选得太大， 可能会导致发散。 梯度下降法第55页，共99页，2022年，5月20日，20点17分，星期日56梯度法的迭代过程：选取初始点a0，给定允许误差0,0,并令k=0。计算负梯度 及其单位向量 。检查是否满足条件 ，若满足则转8，否则继续。计算最佳步长 。令：计算并检验另一判据： ，满足转8，否则继续。令k=k+1,转2。输出结果，结束。梯度下降法第56页，共99页，2022

18、年，5月20日，20点17分，星期日57目标函数曲面J(W)第57页，共99页，2022年，5月20日，20点17分，星期日58目标函数曲面J(W) -连续、可微第58页，共99页，2022年，5月20日，20点17分，星期日59目标函数曲面J(W) -连续、可微第59页，共99页，2022年，5月20日，20点17分，星期日60全局极小点第60页，共99页，2022年，5月20日，20点17分，星期日61局部极小点1第61页，共99页，2022年，5月20日，20点17分，星期日62局部极小点2第62页，共99页，2022年，5月20日，20点17分，星期日63目标函数曲面J(W)第63页，

19、共99页，2022年，5月20日，20点17分，星期日64目标函数曲面J(W) -连续第64页，共99页，2022年，5月20日，20点17分，星期日65目标函数曲面J(W) -连续、可微第65页，共99页，2022年，5月20日，20点17分，星期日66初始状态1第66页，共99页，2022年，5月20日，20点17分，星期日67搜索寻优梯度下降第67页，共99页，2022年，5月20日，20点17分，星期日68搜索寻优梯度下降第68页，共99页，2022年，5月20日，20点17分，星期日69搜索寻优梯度下降第69页，共99页，2022年，5月20日，20点17分，星期日70搜索寻优梯度下

20、降第70页，共99页，2022年，5月20日，20点17分，星期日71搜索寻优梯度下降第71页，共99页，2022年，5月20日，20点17分，星期日72搜索寻优梯度下降第72页，共99页，2022年，5月20日，20点17分，星期日73搜索寻优梯度下降第73页，共99页，2022年，5月20日，20点17分，星期日74搜索寻优梯度下降第74页，共99页，2022年，5月20日，20点17分，星期日75搜索寻优梯度下降第75页，共99页，2022年，5月20日，20点17分，星期日76搜索寻优梯度下降第76页，共99页，2022年，5月20日，20点17分，星期日77搜索寻优梯度下降第77页，共99页，2022年，5月20日，20点17分，星期日78搜索寻优梯度下降第78页，共99页，2022年，5月20日，20点17分，星期日79搜索寻优梯度下降第79页，共99页，2022年，5月20日，20点17分，星期日80搜索寻优梯度下降第80页，共99页，2022年，5月20日，20点17分，星期日81搜索寻优梯度下降第81页，共99页，2022年，5月20日，20点17分，星期日82目标函数全局极小点第82页，共99页，2022年，5月20日，20点17分，星期日83目标函数全局极小点第83页，共99页，2022年