




版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
1、系统(S)F(x,y)学习机器(LM)f(x,),输入x输出y预测输出y已知输出变量y和输入变量x间存在一未知关系F(x,y)。机器学习问题:机器学习问题:就是根据n个独立同分布的观察: (x1,y1), (x2,y2),(xn,yn) 从给定的函数集 f(x,), 中选择出能最好逼近系统响应的函数 f(x,0)。f(x,) :预测函数集(学习函数,学习模型,学习机器): 函数的参数何谓最好?2、 机器学习问题的表示系统,F(x,y)f(x,)xyy0( ,)( ,( ,)1( ,)yf xL y f xyf x()( ,( ,)( ,)RL y f xdF x y11()( ,( ,)Nem
2、piRL y f xN211()( ,)NempiRyf xN11()log( ,)NempiRp xNRRRemp*经验风险和期望风险例2:过学习,过拟合图中,“*”点为10个已知样本点,采用二次模型 y=x2+n 产生,n是随机噪声100次实验中,有71次的结果是一次模型拟合结果好于二次模型的,更逼近实际的二次曲线。二次曲线一次曲线实际曲线例3(左图):过学习,过拟合复杂分界面,训练无误差;新样本(图中红色圆点),分类错误!例4(右图):线性可分问题各分解面的经验风险都是0,那条直线(分界面)使期望风险最小?limsup()()0,0empnPRR 对于有界的损失函数,经验风险最小化学习一
3、致性的充分必要条件是经验风险在如下意义上收敛于期望风险。或:limsup |()() |0,0empnPRR( )ln 2G nn( )(ln1),nG nhnhh( )(ln1),nG nhnhh n4、函数集学习一致收敛的充要条件:、函数集学习一致收敛的充要条件:对任意样本分布,有此时,学习过程收敛速度一定是快的。 这里,n 表示样本数,G(n) 称为函数集的生长函数。n5、经验风险最小化过程一致收敛的充要条件:、经验风险最小化过程一致收敛的充要条件:VC维有限维有限此时,学习过程收敛速度一定是快的。( )lim0nG nn欠学习 过学习 真实风险的界 置信范围 经验风险 S 1 S2 S
4、3风险 h 函数集子集: S1 S2 S3 ;VC维:h1h20的点的数目尽量少 设:I(i) = 1 , i0 I(i) = 0 , i=0目标函数目标函数可写为: J(W, i) = |W|2/2+ CI(i ) 上式中,I是不连续的量,计算困难。采用最相关的量i 取代此时, J(W, i) = |W|2/2+ C i 约束条件: 0()(1)00Tiiiiy WXw201( , , )| () 12Tiiiiii iiiiLW aWca y W Xwu 0(, , )00(1)(, , )0(2)(, , )0(3)iiiiiiiiiiiiiiL W aWa y XWa y XWL W
5、aa ywL W acau00()10(4)()10(5)0(6)0(7)0(8)TiiiTiiiiiiiy W Xway W Xwau 上面(4)(5)式可见:(1)只有满足 条件的点, (支持向量,少量)(支持向量,少量)其拉格朗日乘子ai才可能不为零; 显然只有部分(经常是少量)的样本数据的 ai 不为零(2)满足 的样本,其拉格朗日乘子ai必为零。由(1)可得最佳权向量W:*iiiiWa y X0()(1)0Tiiiy WXw0()(1)0Tiiiy WXw最佳的ai的求解为了求出最佳的ai,将 代回 L(W, a,) 得到:上式极大值的解即是最佳解。约束条件: c ai 0 ,i=1
6、,2,N 1111111( )21,2,NNNTiijijijiijNNNiijijijiijTijijL aaa a y y XXaa a y yXXXXXX 1NiiiiWa y X10Niiia y*1112NNiiiDiijijijiiiWa y XLaa a y yXX*()TjiiijiiijiiW Xa yXXa yX X*01()()0Niiijia yf Xf Xw 111()()2NNDiijijijiiLaa a y yf Xf X*()iiiiWa y f X111(,)2NNDiijijijiiLaa a y y K XX*01(,)0Niiijia y K XXw(,)1qijijK XXXX 22|(,)exp()ijijXXK XX(,)tanhijijK XXvXXc X1X2XdK(X1,X)K(X2,X)K(X
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 高中体育教学中体育精神与人格教学的研究
- 后牙根管治疗讲座讲课件
- 介绍中医文化讲课件
- 带孩子开启一场自然与历史的深度对话
- 安徽省2025年中考第三次模拟考试生物试卷(含答案)
- 2025年农业新型经营主体人才队伍建设与培育策略报告
- 2025年农业物联网在农业生产智能化中的应用效果与挑战
- 《Python程序设计》课件6-模块与包
- 2025年农业生物技术在种业创新中的生物技术提高抗逆性技术应用报告
- Integration 复习课件 译林版(2025)英语八年级上册
- 医院与商会合作协议
- 建设施工隐患判定和标准化检查清单
- (完整)仰斜式挡土墙计算图(斜基础)
- 热轧带钢板形控制
- 中国全部城市名及拼音
- 历史九年级上册第五单元《走向近代》作业设计 单元作业设计
- 外教社新编英语语法教程(第6版)PPT课件Unit-26
- 未成年人纹身治理-主题班会
- 平方差公式公开课一等奖课件市公开课一等奖课件省赛课获奖课件
- 广州市天河区2022-2023学年六年级下学期小升初真题精选数学试卷含答案
- 年产5000万个泡沫包装箱、2000万个水印纸箱建设项目环评报告表
评论
0/150
提交评论