版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
在线学习算法分享XX2016.××.××Outline传统方法批量(Batch)算法在线算法稀疏性的考量非光滑凸优化算法:FOBOS、AOGD、RDA、FTRL介绍传统方法最小化的目标函数(无约束优化),softregularizationformulation:另一种等价约束优化描述,convexconstraintformulation:Outline传统方法批量(Batch)算法在线算法稀疏性的考量非光滑凸优化算法:FOBOS、AOGD、RDA、FTRL介绍无约束优化表示全局梯度下降:牛顿法、LBFGS等方法不等式约束凸优化问题投影梯度下降(约束优化表示下),gt是subgradient批量算法批量算法传统不等式约束的凸优化方法:内点法(转化为规则化的无约束优批量算法的优缺点优点精度高局限性受限于被训练数据的规模无法有效处理数据流,做在线训练Outline传统方法批量(Batch)算法在线算法稀疏性的考量非光滑凸优化算法:FOBOS、AOGD、RDA、FTRL介绍在线算法在线梯度下降(OGD)随机梯度下降(SGD),在凸集上做投影混合正则化项:在线算法梯度下降方法精度比较好局限性很难产生真正稀疏的解,即便加入L1正则化项对于不可微点的迭代会存在一些问题(theiteratesofthesubgradientmethodareveryrarelyatthepointsofnon-differentiability)Outline传统方法批量(Batch)算法在线算法稀疏性的考量非光滑凸优化算法:FOBOS、AOGD、RDA、FTRL介绍稀疏性的考量简单加入L1范数a+b两个float数很难绝对等于零,无法产生真正稀疏的特征权重2.那就设定一个阈值,做截断来保证稀疏,可以结合L1范数简单截断方法,每online训练K个数据截断一次稀疏性的考量Truncatedgradient(09年的工作)Black-boxwrapperapproaches:黑盒的方法去除一些特征,然后重新训练的看被消去的特征是否有效。需要在数据集上对算法跑多次,不太实用Outline传统方法批量(Batch)算法在线算法稀疏性的考量非光滑凸优化算法:FOBOS、AOGD、RDA、FTRL介绍非光滑全局优化算法迭代公式非光滑全局优化算法.迭代方程第一项:梯度或累积梯度;第二项:L1正则化项;第三项:限定x不要离已迭代过的解太远(proximal),或者离0太远(central),也是lowregret的需求regret定义
FOBOSForward-BackwardSplittingmethod(google和伯克利09年的工作)可以看作truncatedgradient的一种特殊形式基本思想:跟projectedsubgradient方法类似,不过将每一个数据的迭代过程,分解成一个经验损失梯度下降迭代和一个优化问题AOGD迭代公式再看一下OGDOGD迭代公式的等价优化问题的含义:每次新的结果不要太远离之前的结果每一步还是要向正确的方向前进(梯度or子梯度方向)AOGDRDARegularizeddualaveraging(微软10年的工作)非梯度下降的范畴,属于更加通用的一个primal-dualalgorithmicschema的一个应用克服了SGD类方法所欠缺的exploitingproblemstructure,especiallyforproblemswithexplicitregularization。能够更好地在精度和稀疏性之间做trade-offFTRL(Follow-the-regularized-Leader)基本思想OGD不够稀疏FOBOS能产生更加好的稀疏特征梯度下降类方法,精度比较好RDA可以在精度与稀疏性之间做更好的平衡稀疏性更加出色FTRL综合OGD的精度和RDA的稀疏性最关键的不同点是累积L1惩罚项的处理方式FTRL(Follow-the-regularized-Leader)迭代公式再看一下OGDOGD迭代公式的等价优化问题的含义:每次新的结果不要太远离之前的结果每一步还是要向正确的方向前进(梯度or子梯度方向)这种迭代方式够简单,但不够好,解不稀疏。
FTRL(Follow-the-regularized-Leader)Mirrordecent利用了上面的直观特性,但是用arbitraryBregmandivergence代替二范数项,并更进一步,对历史点的bregman项叠加起来:Composite-objectivemirrordescent(COMID)每一轮将正则化项加入到目标函数中(例如1范数)FTRL(Follow-the-regularized-Leader)FTRL-Proximal算法把OGD的迭代方式变成一个优化问题。
第一项:梯度或累积梯度;第二项:L1正则化项;第三项:限定x不要离已迭代过的解太远(proximal),或者离0太远(central),也是lowregret的需求FTRL(Follow-the-regularized-Leader)FTRL(改进与实际应用H.BrendanMcMahan,google)10年理论性paper,但未显式地支持正则化项迭代;论文证明regretbound以及引入通用的正则化项;揭示OGD、FOBOS、RDA等算法与FTRL关系;FTRL,可以看作RDA
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 2025年度儿童游乐场主题设计策划与施工合同4篇
- 2025版孟玲与张伟离婚协议及子女抚养费支付与变更执行合同4篇
- 上海住宅装修服务合同范本(2024版)版B版
- 2025年度商铺租赁合同商业秘密保护及保密协议4篇
- 2025版绿化用水合同履约验收与评价协议4篇
- 2025版油罐租赁及远程监控管理系统合同范本3篇
- 二零二五版驾驶员薪酬激励与考核合同3篇
- 二零二五版反担保协议书范本汇编9篇
- 全新多媒体展览展示合作合同(2025年度)3篇
- 2025年度医疗器械代理销售与品牌形象塑造协议4篇
- 【探迹科技】2024知识产权行业发展趋势报告-从工业轰鸣到数智浪潮知识产权成为竞争市场的“矛与盾”
- 《中国政法大学》课件
- GB/T 35270-2024婴幼儿背带(袋)
- 2024-2025学年高二上学期期末数学试卷(新题型:19题)(基础篇)(含答案)
- 2022版艺术新课标解读心得(课件)小学美术
- 七上-动点、动角问题12道好题-解析
- 2024年九省联考新高考 数学试卷(含答案解析)
- 红色历史研学旅行课程设计
- 下运动神经元损害综合征疾病演示课件
- 2023中考地理真题(含解析)
- JJF 1101-2019环境试验设备温度、湿度参数校准规范
评论
0/150
提交评论