关于机器学习的一点思考

关于机器学习的一点思考/zhouzh/Email:zhouzh@周志华南京大学机器学习深度学习人工智能今天的“人工智能热潮”很大程度上是由于机器学习、尤其是深度学习取得了巨大成功深度学习vs.机器学习vs.人工智能互联网搜索军事决策助手火星机器人生物特征识别美国总统选举汽车自动驾驶机器学习已经“无处不在”有效的深度模型存在强监督信息任务环境较稳定……机器学习“成功的背后”？一、关于深度模型“DeepLearning”是什么?目前：=深度神经网络（Deepneuralnetworks，简称DNNs)深度学习在诸多应用中获得巨大成功Image&VideoSpeech&AudioText&Language以往神经网络采用单或双隐层结构deep深度神经网络：很多层训练：Backpropagation(BP)

或其变体例如，ImageNet胜者:2012:8层2015:152层2016:1207层f:continuous,differentiablee.g.,M-Pmodel(1943)在图像、视频、语音之外的很多任务上，深度神经网络并非最佳选择，不少时候甚至表现不佳例如，在很多Kagglecompetition任务上，

随机森林或者XGBoost表现更好从应用角度NoFreeLunch!没有任何一个模型能“包打天下”使用不可微的树模型；不通过BP训练超参数数目远少于DNN

易于训练模型复杂度可以根据数据自适应确定

小数据也适用在很多任务上性能接近或超过DNN新探索：深度森林(DeepForest)这是第一个“非神经网络”、不使用BP算法训练的深度学习模型“深度森林”之后国际上一些相关的信息新型深度学习模型（例如基于非可微构件的、非神经网络深度模型）的探索，可望成为新兴研究方向FrancoisChollet

著名深度学习开源

工具Keras创始人“可微层…是当前模型的根本弱点”GeoffHinton深度学习奠基人“放弃BP从头开始”However,nottoexpecttoomuchimmediatelyNewtechusuallyhasalongwaytogo二、关于监督信息决策树，神经网络，支持向量机，Boosting，贝叶斯网，……模型训练数据类别标记（label）训练?=是新数据样本(浅白,蜷缩,浊响,?)类别标记未知使用学习算法（learningalgorithm）监督信息(supervisioninformation)典型的机器学习过程例如：深度学习需要大量样本2012年在ImageNet竞赛夺冠的CNN共8层，使用了超过22000类别的1500多万样本2016年夺冠使用的网络共1207层，……目前高度依赖：强监督信息！大数据时代，数据样本不成问题？No!样本需要标记(label)！大量人力物力花在标注数据上

机器学习某招聘网站上AI

已经提供了新职业AI数据标注业“无论爱它还是恨它，它就在那里”无论它本身“好”还是“坏”它充分体现出目前机器学习技术对强监督信息

的高度依赖AlphaGo“阿尔法元”（及其背后的强化学习技术）真的无需监督信息吗？No!

关于游戏本身的“胜负规则”（上帝判断）是极强的监督信息在一般机器学习任务中，如何得到“上帝判断”?更多的现实机器学习任务中：既缺乏大量“有标记数据”也难以通过“无成本探索”获得大量训练样本弱监督学习(weaklysupervisedlearning)以医学乳腺影像为例：一百万幅影像，仅有1万幅有标记，99万幅无标记监督信息不完全(incomplete)“弱监督”的典型情况以医学乳腺影像为例：医生仅标注了图像“有病灶”，未标注具体位置监督信息不具体(inexact)“弱监督”的典型情况以医学乳腺影像为例：由于疲劳、疏忽等因素，标注中有少量错误监督信息不精确(inaccurate)“弱监督”的典型情况重要目标检测：仅有“整体标记”，未给出具体标记信息软件缺陷检测：仅有少量程序被程序员标注出缺陷，大量程序未被标注监督信息不完全(incomplete)众包数据分析：受标注者专业能力等因素影响，获取的标记信息存在噪声监督信息不具体(inexact)监督信息不精确(inaccurate)“弱监督”普遍存在监督信息不完全(incomplete)半监督学习，主动学习，……监督信息不具体(inexact)多示例学习，MIML，……监督信息不精确(inaccurate)带噪学习，众包学习，……参见：Z.-H.Zhou.Abriefintroductiontoweaklysupervisedlearning.NationalScienceReview,2018,5(1):44-53.相关探索大量内容有待探索三、关于任务环境主要针对封闭静态环境（重要因素大多是“定”的）传统机器学习任务数据分布恒定主要针对封闭静态环境（重要因素大多是“定”的）传统机器学习任务数据分布恒定样本类别恒定主要针对封闭静态环境（重要因素大多是“定”的）传统机器学习任务数据分布恒定样本类别恒定样本属性恒定主要针对封闭静态环境（重要因素大多是“定”的）传统机器学习任务数据分布恒定样本类别恒定样本属性恒定评价目标恒定主要针对封闭静态环境（重要因素大多是“定”的）传统机器学习任务数据分布恒定样本类别恒定样本属性恒定评价目标恒定现实机器学习任务常面临

“开放动态环境”一切都可能“变”！未知险情时有出现极地风暴冰川断裂类别增长海冰分布持续变化海洋变化分布偏移信息获取干扰严重电磁暴属性退化航路优化任务兼顾海冰收集破冰效率航线安全目标多样现实任务面临的难题极地海冰数据分析与航行指导无论何种变化出现“好的时候”要好，“坏的时候”不能太坏“鲁棒性”是关键！状态在环境中变化，但环境本身（游戏规则、下棋规则）不变从环境交互数据中学习最佳策略交互数据：（观察状态，作出决策，收到奖励，观察状态，...）未知环境状态奖赏决策Atari游戏：状态决策：右状态决策：左奖赏：+1分奖赏：+1分状态

学得策略只能用于相同环境，无法泛化到不同环境强化学习？国际上对AI发展的探讨国际人工智能大会(AAAI)“主席报告”(“PresidentialAddress”)TomDietterichACM/AAAI/AAASFellow国际机器学习学会创始主席；AAAI主席美国白宫《国家人工智能研究与发展策略规划》起草人之一随着人工智能技术取得巨大发展，越来越多地面临“高风险应用”，因此必须有“鲁棒的AI”开放环境下鲁棒机器学习研究，是通向“鲁棒人工智能”途径上的关键环节之一我们的一个工作AI系统需能应对未知情况（“UnknownUnknowns”）开放环境2018.9.8“旨在开发能够进行学习并适应不断变化环境的机器”开放动态环境下的机器学习技术及其军事应用样本类别变化样本属性变化[Da,Yu,&Zhou,AAAI’14][Zhu,Ting,&Zhou,ICDM’16][Mu,Ting,&Zhou,TKDE17][Mu,Zhu,Du,Lim,&Zhou,AAAI’17][Zhu,Ting,&Zhou,ICDM’17][Mu,Zhu,Liu,Lim,&Zhou,PAKDD’18][Zhu,Ting,&Zhou,TKDEinpress][Xu,Niu,Han,Tsang,Zhou,&Sugiyama,arXiv.1805.09156]数据分布变化[Zhang&Zhou,AAAI’14][Zhang&Zhou,IJCAI’17][Zhao&Zhou,arXiv1706.02471][Hou&Zhou,PAMIinpress][Hou,Zhang,&Zhou,NIPS’17][Xu,Niu,Han,Tsang,Zhou,&Sugiyama,arXiv.1805.09156]相关探索…………操作一款经典电脑游戏

(刺猬索尼克)输入：屏幕图像评分：游戏得分关卡图像、地形有很大差异58个训练关卡11个测试关卡适应环境变化能力！OpenAI强化学习竞赛(2018.4.5-6.5)

仅使用环境激励引入多样性激励单关模型集成：二次学习[Zhou&Jiang,TKDE2004]+模仿学习关卡1关卡2关卡58…策略1策略2策略58…数据1数据2数据58…集成集成模型在接近一半的训练关卡上已超过人类玩家水平引入多样性激