下载本文档
版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
1、.1.从方差代价函数说起代价函数经常用方差代价函数(即采用均方误差MSE),比如对于一个神经元(单输入单输出,sigmoid函数),定义其代价函数为:其中y是我们期望的输出,a为神经元的实际输出【 a=(z), where z=wx+b 】。在训练神经网络过程中,我们通过梯度下降算法来更新w和b,因此需要计算代价函数对w和b的导数:然后更新w、b:w w - * C/w = w - * a *(z)b b - * C/b = b - * a * (z)因为sigmoid函数的性质,导致(z)在z取大部分值时会很小(如下图标出来的两端,几近于平坦),这样会使得w和b更新非常慢(因为 * a *
2、(z)这一项接近于0)。注:这里其实就是sigmoid的饱和性质所致,使得一些靠近最大或最小的地方的梯度近似于0,对于w和b的更新的非常的缓慢。所以才会出深度学习中的一些其他的非线性激活函数,如:ReLU,maxout , etc2.交叉熵代价函数(cross-entropy cost function)为了克服这个缺点,引入了交叉熵代价函数(下面的公式对应一个神经元,多输入单输出):其中y为期望的输出,a为神经元实际输出【a=(z), where z=Wj*Xj+b】与方差代价函数一样,交叉熵代价函数同样有两个性质: 非负性。(所以我们的目标就是最小化代价函数) 当真实输出a与期望输出y接近
3、的时候,代价函数接近于0.(比如y=0,a0;y=1,a1时,代价函数都接近0)。另外,它可以克服方差代价函数更新权重过慢的问题。我们同样看看它的导数:可以看到,导数中没有(z)这一项,权重的更新是受(z)y这一项影响,即受误差的影响。所以当误差大的时候,权重更新就快,当误差小的时候,权重的更新就慢。这是一个很好的性质。3.总结 当我们用sigmoid函数作为神经元的激活函数时,最好使用交叉熵代价函数来替代方差代价函数,以避免训练过程太慢。 不过,你也许会问,为什么是交叉熵函数?导数中不带(z)项的函数有无数种,怎么就想到用交叉熵函数?这自然是有来头的,更深入的讨论就不写了,少年请自行了解。
4、另外,交叉熵函数的形式是ylna+(1y)ln(1a)而不是 alny+(1a)ln(1y),为什么?因为当期望输出的y=0时,lny没有意义;当期望y=1时,ln(1-y)没有意义。而因为a是sigmoid函数的实际输出,永远不会等于0或1,只会无限接近于0或者1,因此不存在这个问题。4.还要说说:log-likelihood cost对数似然函数也常用来作为softmax回归的代价函数,在上面的讨论中,我们最后一层(也就是输出)是通过sigmoid函数,因此采用了交叉熵代价函数。而深度学习中更普遍的做法是将softmax作为最后一层,此时常用的是代价函数是log-likelihood cost。In fact, its useful to think of a softmax output layer with log-likelihood cost as being quite similar to a sigmoid output layer with cross-entropy cost。其实这两者是一致的,logistic回归用的就是sigmoid函数,softmax回归
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 2024至2030年中国铲运车行业深度调研及投资战略分析报告
- 2024至2030年中国美容仪器设备行业深度调研及投资战略分析报告
- 2024至2030年中国数控中型闭式机械式压力机行业发展预测及投资策略报告
- 2024至2030年中国新型建材产业发展预测及投资策略分析报告
- 2024至2030年中国数控大型落地式铣镗床行业发展预测及投资策略报告
- 2024至2030年中国含氧基氨基化合物行业发展预测及投资策略报告
- 2024至2030年中国专用作业车行业深度调研与投资战略咨询报告
- 2024至2030年老挝金刚石砂轮行业投资可行性调研专题报告
- 2024至2030年全球及中国滴滤咖啡机行业深度研究报告
- 2024至2030年中国酱馅行业市场现状调研及发展趋势预测研究报告
- 建筑工地安全生产事故调查报告
- 梗阻性黄疸护理
- 2024年4月自考00898互联网软件应用与开发试题
- 2024年MWD随钻测斜仪项目发展计划
- 中药材栽培技术培训课件
- 再生医学在组织工程中的应用
- 古希腊神话故事-古希腊神话人物-古希腊神话故事全本-希腊神话故事经典故事-古希腊神话人物关系图
- 符合TSG07-2019许可规则压力容器设计质量手册+程序文件+设计技术规定+记录表全套完整版
- 2024年西藏自治区中考地理真题(原卷版)
- 课后课后服务协议书
- (正式版)QBT 8000-2024 无麸质食品通 用要求
评论
0/150
提交评论