迁移学习课件

赖传滨迁移学习TransferLearning目录迁移学习介绍迁移学习的应用迁移学习的一些方法相关论文实例1迁移学习介绍PPT模板下载：/moban/行业PPT模板：/hangye/节日PPT模板：/jieri/PPT素材下载：/sucai/PPT背景图片：/beijing/PPT图表下载：/tubiao/优秀PPT下载：/xiazai/PPT教程：/powerpoint/Word教程：/word/Excel教程：/excel/资料下载：/ziliao/PPT课件下载：/kejian/范文下载：/fanwen/试卷下载：/shiti/教案下载：/jiaoan/PPT论坛：

1介绍迁移学习–利用之前学到的知识来帮助完成新环境下的学习任务比如：C++->Java1.1迁移学习的概念Task:学习任务Domain:域–数据的来源1介绍1.2研究迁移学习的原因AndrewNg预测未来机器学习各领域在产业界的占比目前大多数成功的模型都是依赖于大量的有标签数据很多学习任务很难获得大量的有标签数据对于每一个任务都从头开始训练，成本非常高1介绍1.3迁移学习的定义

1介绍1.4迁移学习的应用场景

2迁移学习的应用PPT模板下载：/moban/行业PPT模板：/hangye/节日PPT模板：/jieri/PPT素材下载：/sucai/PPT背景图片：/beijing/PPT图表下载：/tubiao/优秀PPT下载：/xiazai/PPT教程：/powerpoint/Word教程：/word/Excel教程：/excel/资料下载：/ziliao/PPT课件下载：/kejian/范文下载：/fanwen/试卷下载：/shiti/教案下载：/jiaoan/PPT论坛：

2应用2.1从模拟中学习

2应用另一个需从模拟中学习的领域：机器人在实际的机器人上训练模型是非常缓慢和昂贵的从模拟中学习并且将知识迁移到现实世界的机器人上2应用2.2适应新的域标签信息易于获取的数据和我们实际关心的数据经常是不一样的视觉任务中不同的视觉域文本处理中不同的文本类型（报纸、网络社交媒体）、不同的主题语音识别中不同的口音2应用2.3跨语言迁移知识将知识从一种语言迁移到另一种语言可靠的跨语言域的方法会允许我们借用大量的已有的英文标签数据并将其应用在任何一种语言中，尤其是一些缺少资源的语言目前还没有比较好的方法3迁移学习的一些方法PPT模板下载：/moban/行业PPT模板：/hangye/节日PPT模板：/jieri/PPT素材下载：/sucai/PPT背景图片：/beijing/PPT图表下载：/tubiao/优秀PPT下载：/xiazai/PPT教程：/powerpoint/Word教程：/word/Excel教程：/excel/资料下载：/ziliao/PPT课件下载：/kejian/范文下载：/fanwen/试卷下载：/shiti/教案下载：/jiaoan/PPT论坛：

3方法3.1使用预训练的CNN特征较低的卷积层捕获低级图像特征，如：边缘越高的卷积层捕获越来越高级的特征，如：人脸最后的全连接层通常被认为是捕获与解决相应任务相关的信息迁移学习的研究历史可以追述到上世纪90年代[1]深度学习的出现导致了一系列迁移学习的新方法一些通过CNN学到的卷积模板一些经过卷积得到的featuremap3方法利用已经训练好的模型帮助解决新的任务训练好的模型包含一些通用特征，如图像里的边缘、形状组合等在已有的模型的基础上，训练新的模型：

保持已有模型的参数不变使用较小的学习率一个CNN（Lenet）的结构3方法3.2学习domain-invariant（域不变）特征域不变特征：和域无关的一些一般性特征通常只需要每个域中的无标签数据这种一般性的特征通常用栈式的自编码器（StackedAutoencoders）学习得到3方法3.2.1稀疏自编码器

3方法对输入层到隐藏层的权重进行可视化，得到如下图所示结果：3方法3.2.2栈式自编码器由多层稀疏自编码器组成的神经网络，其前一层自编码器的输出作为其后一层自编码器的输入例子（包含两个隐藏层）：3方法将这三层结合起来构建一个包含两个隐藏层和一个最终softmax分类器层的栈式自编码网络4相关论文实例PPT模板下载：/moban/行业PPT模板：/hangye/节日PPT模板：/jieri/PPT素材下载：/sucai/PPT背景图片：/beijing/PPT图表下载：/tubiao/优秀PPT下载：/xiazai/PPT教程：/powerpoint/Word教程：/word/Excel教程：/excel/资料下载：/ziliao/PPT课件下载：/kejian/范文下载：/fanwen/试卷下载：/shiti/教案下载：/jiaoan/PPT论坛：

4相关论文4.1.1研究背景对于一个新任务，只有较少的标记样本（目标域有少量标记样本）有大量的其他相关任务的标记样本（源域有大量标记样本）如何通过这两种样本训练出在新任务上表现良好的模型BoostingfortransferlearningWenyuanDai,QiangYang,Gui-RongXue,YongYu.Proceedingsofthe24thinternationalconferenceonMachinelearning.ACM,20074.1第一篇论文4相关论文4.1.2方法理论源域的大量样本中中存在一部分样本比较适合用来在目标任务上训练有效的模型使用boosting来过滤掉源域样本中与目标域样本最不像的样本boosting的作用是建立一种自动调整权重的机制，源域中重要的样本的权重将会增加，不重要的样本的权重将会减小调整权重之后，这些源域中带权重的样本将会作为额外的训练数据，与目标域中的样本一起训练4相关论文4.1.3boosting调整权重的例子用一些线段把红色的球与深蓝色的球分开仅用一条线是分不开的24弱弱强4相关论文4.1.4具体算法

4相关论文相关论文44.2第二篇论文4.2.1研究背景Self-taughtlearning:transferlearningfromunlabeleddataRainaR,BattleA,LeeH,BPacker,AYNg

Proceedingsofthe24thinternationalconferenceonMachinelearning.ACM,2007对机器学习所需的标签数据获取难度高，

成本大如何利用大量无标记数据辅助进行迁移学习不要求无标记的数据和目标域的数据同属一类或取自同一分布1相关论文44.2.2方法步骤•首先根据未标数据训练

出一组基（比如稀疏编

码）•再对目标域的数据用这

组基表示出来•然后用分类算法如SVM

对目标域的数据进行训

练1相关论文44.2.3算法流程求解基向量组b（和前面的稀疏自编码类似）1参考文献参考文献[1]Pan,SinnoJialin,andQ.Yang."ASurveyonTransferLearning."

IEEETransactionson

Knowledge&DataEngineering

22.10(2010):1345-1359.[2]Dai,Wenyuan,etal."Boostingfortransferlearning."

InternationalConferenceon

MachineLearning

ACM,2007:193-200.[3]Raina,Rajat,etal."Self-taughtlearning:transferlearningfromunlabeleddata.

"

Proceedingsofthe24thinternationalconferenceonMachinelearning.ACM,200