




版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
1、系统(S)F(x,y)学习机器(LM)f(x,),输入x输出y预测输出y已知输出变量y和输入变量x间存在一未知关系F(x,y)。机器学习问题:机器学习问题:就是根据n个独立同分布的观察: (x1,y1), (x2,y2),(xn,yn) 从给定的函数集 f(x,), 中选择出能最好逼近系统响应的函数 f(x,0)。f(x,) :预测函数集(学习函数,学习模型,学习机器): 函数的参数何谓最好?2、 机器学习问题的表示系统,F(x,y)f(x,)xyy0( ,)( ,( ,)1( ,)yf xL y f xyf x()( ,( ,)( ,)RL y f xdF x y11()( ,( ,)Nem
2、piRL y f xN211()( ,)NempiRyf xN11()log( ,)NempiRp xNRRRemp*经验风险和期望风险例2:过学习,过拟合图中,“*”点为10个已知样本点,采用二次模型 y=x2+n 产生,n是随机噪声100次实验中,有71次的结果是一次模型拟合结果好于二次模型的,更逼近实际的二次曲线。二次曲线一次曲线实际曲线例3(左图):过学习,过拟合复杂分界面,训练无误差;新样本(图中红色圆点),分类错误!例4(右图):线性可分问题各分解面的经验风险都是0,那条直线(分界面)使期望风险最小?limsup()()0,0empnPRR 对于有界的损失函数,经验风险最小化学习一
3、致性的充分必要条件是经验风险在如下意义上收敛于期望风险。或:limsup |()() |0,0empnPRR( )ln 2G nn( )(ln1),nG nhnhh( )(ln1),nG nhnhh n4、函数集学习一致收敛的充要条件:、函数集学习一致收敛的充要条件:对任意样本分布,有此时,学习过程收敛速度一定是快的。 这里,n 表示样本数,G(n) 称为函数集的生长函数。n5、经验风险最小化过程一致收敛的充要条件:、经验风险最小化过程一致收敛的充要条件:VC维有限维有限此时,学习过程收敛速度一定是快的。( )lim0nG nn欠学习 过学习 真实风险的界 置信范围 经验风险 S 1 S2 S
4、3风险 h 函数集子集: S1 S2 S3 ;VC维:h1h20的点的数目尽量少 设:I(i) = 1 , i0 I(i) = 0 , i=0目标函数目标函数可写为: J(W, i) = |W|2/2+ CI(i ) 上式中,I是不连续的量,计算困难。采用最相关的量i 取代此时, J(W, i) = |W|2/2+ C i 约束条件: 0()(1)00Tiiiiy WXw201( , , )| () 12Tiiiiii iiiiLW aWca y W Xwu 0(, , )00(1)(, , )0(2)(, , )0(3)iiiiiiiiiiiiiiL W aWa y XWa y XWL W
5、aa ywL W acau00()10(4)()10(5)0(6)0(7)0(8)TiiiTiiiiiiiy W Xway W Xwau 上面(4)(5)式可见:(1)只有满足 条件的点, (支持向量,少量)(支持向量,少量)其拉格朗日乘子ai才可能不为零; 显然只有部分(经常是少量)的样本数据的 ai 不为零(2)满足 的样本,其拉格朗日乘子ai必为零。由(1)可得最佳权向量W:*iiiiWa y X0()(1)0Tiiiy WXw0()(1)0Tiiiy WXw最佳的ai的求解为了求出最佳的ai,将 代回 L(W, a,) 得到:上式极大值的解即是最佳解。约束条件: c ai 0 ,i=1
6、,2,N 1111111( )21,2,NNNTiijijijiijNNNiijijijiijTijijL aaa a y y XXaa a y yXXXXXX 1NiiiiWa y X10Niiia y*1112NNiiiDiijijijiiiWa y XLaa a y yXX*()TjiiijiiijiiW Xa yXXa yX X*01()()0Niiijia yf Xf Xw 111()()2NNDiijijijiiLaa a y yf Xf X*()iiiiWa y f X111(,)2NNDiijijijiiLaa a y y K XX*01(,)0Niiijia y K XXw(,)1qijijK XXXX 22|(,)exp()ijijXXK XX(,)tanhijijK XXvXXc X1X2XdK(X1,X)K(X2,X)K(X
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 粘土砖瓦市场营销策略考核试卷
- 稀有稀土金属压延加工质量控制技术考核试卷
- 民宿的设计与开发
- 空气呼吸器的使用方法
- 耳缘静脉麻醉技术规范
- 外科消毒隔离管理规范
- 慢性疾病防治与管理要点
- 眼睑肿物切除皮瓣设计
- trans-Clopenthixol-E-Clopenthixol-生命科学试剂-MCE
- BMS-309403-Standard-生命科学试剂-MCE
- 2025年教师招聘教师资格面试逐字稿初中体育教师招聘面试《排球正面双手垫球》试讲稿(逐字稿)
- 公共危机管理(本)-第五次形成性考核-国开(BJ)-参考资料
- 基于SLM工艺的点阵结构优化设计的工艺要素研究
- 太阳能路灯施工方案
- 《商务数据分析》课件-缺失数据处理
- 2024北京海淀初一(上)期中数学试卷及答案解析
- 《思想政治教育方法论》考研(第3版)郑永廷配套考试题库及答案【含名校真题、典型题】
- 2025版国家开放大学法学本科《国际私法》历年期末纸质考试案例题题库
- 【MOOC】机械原理-西北工业大学 中国大学慕课MOOC答案
- 彩票参数及公式
- 中华传统文化进中小学课程教材指南
评论
0/150
提交评论