人工神经网络函数导数最值

人工神经网络函数导数最值第1页，共99页，2023年，2月20日，星期日2第四章

函数、导数、最值1.导数和方向导数

2.导数的几何意义3.函数的最值4.梯度下降法第2页，共99页，2023年，2月20日，星期日3导数的概念函数f(x)在x=x0处的瞬时变化率为：我们称它为函数f(x)在x=x0处的导数．记作：第3页，共99页，2023年，2月20日，星期日4导数的概念xoyx0x0+xx0+xyx<0x>0y=f(x)比如,y=f(x),如图第4页，共99页，2023年，2月20日，星期日5方向导数的概念表示在x0处沿x

轴正方向的变化率.表示在x0处沿x

轴负方向的变化率.第5页，共99页，2023年，2月20日，星期日6方向导数的概念又比如,z=f(x,y),偏导数分别表示函数在点(x0,y0)沿x轴方向,沿y轴方向的变化率.第6页，共99页，2023年，2月20日，星期日7方向导数的概念如图xoyzx0(x0,y0)y第7页，共99页，2023年，2月20日，星期日8方向导数的概念表示在(x0,y0)处沿y

轴正方向的变化率.表示在(x0,y0)处沿y

轴负方向的变化率.第8页，共99页，2023年，2月20日，星期日9方向导数的概念yxzoz=f(x,y)X0M0即f'x

(x0,y0)表示y=y0与z=f(x,y)的交线在M0处的切线对x的斜率.T11

:z=f(x,y0)1y0把偏导数概念略加推广即可得到方向导数的概念.第9页，共99页，2023年，2月20日，星期日10方向导数的概念yxzoz=f(x,y)M0X022

:z=f(x0,y)即f'y

(x0,y0)表示x=x0与z=f(x,y)的交线在M0处的切线对y的斜率.x0T2第10页，共99页，2023年，2月20日，星期日11方向导数的概念如图xoyzM0lX0=(x0,y0)X=(x0+x,

y0+y)MN第11页，共99页，2023年，2月20日，星期日12方向导数的概念若z=f(X)=f(x,y)在X0=(x0,y0)处偏导存在.则在X0处沿x

轴正向的方向导数,第12页，共99页，2023年，2月20日，星期日13方向导数的概念在X0处沿x

轴负方向的方向导数,同样可得沿y

轴正向的方向导数为f'y(x0,y0),而沿y

轴负方向的方向导数为–f'y(x0,y0).第13页，共99页，2023年，2月20日，星期日14导数的概念设求例：解：第14页，共99页，2023年，2月20日，星期日导数的几何意义βy=f(x)PQMΔxΔyOxyβPy=f(x)QMΔxΔyOxy

如图,曲线C是函数y=f(x)的图象,P(x0,y0)是曲线C上的任意一点,Q(x0+Δx,y0+Δy)为P邻近一点,PQ为C的割线,PM//x轴,QM//y轴,β为PQ的倾斜角.斜率!则第15页，共99页，2023年，2月20日，星期日导数的几何意义PQoxyy=f(x)割线切线T请看当点Q沿着曲线逐渐向点P接近时,割线PQ绕着点P逐渐转动的情况.第16页，共99页，2023年，2月20日，星期日导数的几何意义

设切线的倾斜角为α,那么当Δx→0时,割线PQ的斜率,称为曲线在点P处的切线的斜率.①提供了求曲线上某点切线的斜率的一种方法;

②切线斜率的本质——函数在x=x0处的导数.第17页，共99页，2023年，2月20日，星期日(3)当t=t2

时,曲线h(t)

在t2处的切线l2的斜率h’(t2)<0.故在t=t2

附近曲线下降,即函数h(t)

在t=t2

附近也单调递减.导数的几何意义例曲线h(t)在t0,t1,t2附近的变化情况.解:可用曲线h(t)

在

t0,t1,t2

处的切线刻画曲线h(t)

在上述三个时刻附近的变化情况.(1)当t=t0

时,曲线h(t)

在t0

处的切线l0

平行于x轴.故在t=t0

附近曲线比较平坦,几乎没有升降.(2)当t=t1

时,曲线h(t)

在t1

处的切线l1的斜率h’(t1)<0.故在t=t1

附近曲线下降,即函数h(t)

在t=t1

附近单调递减.tohl0t0t1l1t2l2t4t3

从图可以看出，直线

l1

的倾斜程度小于直线l2

的倾斜程度，这说明h(t)曲线在l1

附近比在l2

附近下降得缓慢第18页，共99页，2023年，2月20日，星期日aby=f(x)xoyy=f(x)xoyabf'(x)>0f'(x)<0设函数y=f(x)在某个区间内可导，函数单调性与导数关系为增函数为减函数为常数第19页，共99页，2023年，2月20日，星期日凹凸曲线的凹凸性第20页，共99页，2023年，2月20日，星期日定理:设f(x)在[a,b]上连续，在(a,b)内具有一阶和二阶导数，那么例1解所以曲线是凸的。曲线的凹凸性第21页，共99页，2023年，2月20日，星期日例2解曲线的凹凸性第22页，共99页，2023年，2月20日，星期日拐点定义：曲线的凹凸性一般地，设y=f(x)在I上连续，x0是I的内点，如果曲线y=f(x)在经过点(x0，f(x0))时，曲线的凹凸性改变了，那么称点(x0，f(x0))为这曲线的拐点。第23页，共99页，2023年，2月20日，星期日解凹的凸的凹的拐点拐点曲线的凹凸性第24页，共99页，2023年，2月20日，星期日25

下图是导函数的图象,试找出函数的极值点,并指出哪些是极大值点,哪些是极小值点.abxyx1Ox2x3x4x5x6第25页，共99页，2023年，2月20日，星期日函数的极值定义设函数f(x)在点x0附近有定义，如果对x0附近的所有点，都有f(x)<f(x0),则f(x0)是函数f(x)的一个极大值，记作y极大值=f(x0)；如果对x0附近的所有点，都有f(x)>f(x0),则f(x0)是函数f(x)的一个极小值，记作y极小值=f(x0)；函数的极大值与极小值统称为极值

使函数取得极值的点x0称为极值点第26页，共99页，2023年，2月20日，星期日用导数法求解函数极值的步骤(1)求导函数f'(x)；(2)求解方程f'(x)=0；(3)检查f'(x)在方程f'(x)=0的根的左右的符号,并根据符号确定极大值与极小值.口诀：左负右正为极小，左正右负为极大。第27页，共99页，2023年，2月20日，星期日函数极值的判定定理如果函数f(x)在x0附近有连续的二阶导数f"(x)，f'(x0)＝0，f"(x)≠0，那么⑴若f"(x0)＜0，则函数f(x)在点x0处取得极大值⑵若f"(x0)＞0，则函数f(x)在点x0处取得极小值第28页，共99页，2023年，2月20日，星期日例：求下列函数的极值f(x)＝2x3－3x2解：f'(x)＝6x2－6x，f"(x)＝12x－6令6x2－6x＝0，得驻点为x1＝1，x2＝0∵f"(1)＝6＞0，f"(0)＝－6＜0把x1＝1，x2＝0代入原函数计算得f(1)＝－1、

f(0)＝0∴当x＝1时，y极小＝－1，x＝0时，y极大＝0函数极值的判定第29页，共99页，2023年，2月20日，星期日例：求下列函数的极值f(x)＝sinx＋cosx，x∈[0,2π]解：f'(x)＝cosx－sinx，令cosx－sinx＝0，得驻点为x1＝，x2＝，又f"(x)＝－sinx－cosx，把x1＝，x2＝代入原函数计算得f()＝、f()＝－。所以当x＝时，y极大＝，x＝时，y极小＝－[注意]如果f'(x0)＝0，f"(x0)＝0或不存在，本定理无效，则需要考察点x0两边f'(x0)的符号来判定是否为函数的极值点。函数极值的判定第30页，共99页，2023年，2月20日，星期日实例问题的实质：问题：一块长方形的金属板，四个顶点的坐标是(1,1)，(5,1)，(1,3)，(5,3)．在坐标原点处有一个火焰，它使金属板受热．假定板上任意一点处的温度与该点到原点的距离成反比．在(3,2)处有一个蚂蚁，问这只蚂蚁应沿什么方向爬行才能最快到达较凉快的地点？应沿由热变冷变化最骤烈的方向（即梯度方向）爬行．第31页，共99页，2023年，2月20日，星期日梯度的概念第32页，共99页，2023年，2月20日，星期日在几何上表示一个曲面曲面被平面所截得所得曲线在xoy面上投影如图等高线梯度为等高线上的法向量梯度的概念第33页，共99页，2023年，2月20日，星期日等高线的画法第34页，共99页，2023年，2月20日，星期日等高线的画法第35页，共99页，2023年，2月20日，星期日等高线的画法第36页，共99页，2023年，2月20日，星期日等高线的画法第37页，共99页，2023年，2月20日，星期日等高线的画法第38页，共99页，2023年，2月20日，星期日等高线的画法第39页，共99页，2023年，2月20日，星期日等高线的画法第40页，共99页，2023年，2月20日，星期日等高线的画法第41页，共99页，2023年，2月20日，星期日等高线的画法第42页，共99页，2023年，2月20日，星期日等高线的画法第43页，共99页，2023年，2月20日，星期日例如,等高线的画法第44页，共99页，2023年，2月20日，星期日梯度与等高线的关系：第45页，共99页，2023年，2月20日，星期日类似于二元函数，此梯度也是一个向量，其方向与取得最大方向导数的方向一致，其模为方向导数的最大值.梯度的概念可以推广到三元函数第46页，共99页，2023年，2月20日，星期日梯度的概念可以推广到三元函数第47页，共99页，2023年，2月20日，星期日在处梯度解由梯度计算公式得故梯度的概念可以推广到三元函数第48页，共99页，2023年，2月20日，星期日49梯度下降法又称最速下降法。函数J(a)在某点ak的梯度是一个向量，其方向是J(a)增长最快的方向。显然，负梯度方向是J(a)减少最快的方向。在梯度下降法中，求某函数极大值时，沿着梯度方向走，可以最快达到极大点；反之，沿着负梯度方向走，则最快地达到极小点。梯度下降法第49页，共99页，2023年，2月20日，星期日梯度下降法第50页，共99页，2023年，2月20日，星期日51求函数J(a)极小值的问题，可以选择任意初始点a0，从a0出发沿着负梯度方向走，可使得J(a)下降最快。s(0)：点a0的搜索方向。梯度下降法第51页，共99页，2023年，2月20日，星期日52对于任意点ak，可以定义ak点的负梯度搜索方向的单位向量为:从ak点出发，沿着方向走一步，步长为,得到新点ak+1,表示为：梯度下降法第52页，共99页，2023年，2月20日，星期日53梯度下降法第53页，共99页，2023年，2月20日，星期日54因此，在新点ak+1，函数J(a)的函数值为：所有的ak组成一个序列，该序列由迭代算法生成

a0,a1,a2,….,ak,ak+1,...该序列在一定条件下收敛于使得J(a)最小的解a*迭代算法公式：梯度下降法第54页，共99页，2023年，2月20日，星期日55迭代算法公式：关键问题：如何设计步长如果选得太小，则算法收敛慢，如果选得太大，

可能会导致发散。

梯度下降法第55页，共99页，2023年，2月20日，星期日56梯度法的迭代过程：选取初始点a0，给定允许误差α>0,β>0,并令k=0。计算负梯度及其单位向量。检查是否满足条件，若满足则转8，否则继续。计算最佳步长。令：计算并检验另一判据：，满足转8，否则继续。令k=k+1,转2。输出结果，结束。梯度下降法第56页，共99页，2023年，2月20日，星期日57目标函数曲面J(W)第57页，共99页，2023年，2月20日，星期日58目标函数曲面J(W)--连续、可微第58页，共99页，2023年，2月20日，星期日59目标函数曲面J(W)--连续、可微第59页，共99页，2023年，2月20日，星期日60全局极小点第60页，共99页，2023年，2月20日，星期日61局部极小点1第61页，共99页，2023年，2月20日，星期日62局部极小点2第62页，共99页，2023年，2月20日，星期日63目标函数曲面J(W)第63页，共99页，2023年，2月20日，星期日64目标函数曲面J(W)--连续第64页，共99页，2023年，2月20日，星期日65目标函数曲面J(W)--连续、可微第65页，共99页，2023年，2月20日，星期日66初始状态1第66页，共99页，2023年，2月20日，星期日67搜索寻优－－梯度下降第67页，共99页，2023年，2月20日，星期日68搜索寻优－－梯度下降第68页，共99页，2023年，2月20日，星期日69搜索寻优－－梯度下降第69页，共99页，2023年，2月20日，星期日70搜索寻优－－梯度下降第70页，共99页，2023年，2月20日，星期日71搜索寻优－－梯度下降第71页，共99页，2023年，2月20日，星期日72搜索寻优－－梯度下降第72页，共99页，2023年，2月20日，星期日73搜索寻优－－梯度下降第73页，共99页，2023年，2月20日，星期日74搜索寻优－－梯度下降第74页，共99页，2023年，2月20日，星期日75搜索寻优－－梯度下降第75页，共99页，2023年，2月20日，星期日76搜索寻优－－梯度下降第76页，共99页，2023年，2月20日，星期日77搜索寻优－－梯度下降第77页，共99页，2023年，2月20日