线性回归与分类_第1页
线性回归与分类_第2页
线性回归与分类_第3页
线性回归与分类_第4页
线性回归与分类_第5页
已阅读5页，还剩1页未读， 继续免费阅读

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

1、线性回归与线性分类1. 线性回归在温洲的一个房产网（）我弄到了下面的一些数据：现在我们以横轴表示房子面积，纵轴表示房子价格，画到坐标轴上：现在问题来了，我想要一套200平方米的房子价格大概是多少呢？这时在数据表中我又找不到到对应的数据。那么这时就要做线性回归分析了。如下图找到下面这样的一条直线，使图中的所有点到直线的距离最小（即使误差最小）。下面我们用数学语言来表达“使图中的所有点到直线的距离最小”这句话。图中的（面积，价格）可以用坐标点(Xi,Yi)表示。数学中的直线方程解析式为：y=kx+b,现在我们用机器学习里的表达方式如下:y=b+wx （在机器学习中b叫偏至，w叫超越平面参数）这样的

2、表达还不够统一，不方便计算，写成下式：y=wx,(w=1,w x=1,x).现在我们继续把上面改写成向量形式，以便于推广到N维形式，改写成正式：“使图中的所有点到直线的距离最小”用数学的语言描述如下：上式叫误差平方和式，写成向量形式如下：我们的目标是使J(W)最小，上式对W求导得：W就是我们要求的结果了。把200平方米的代入式（1）就得到我们的估计房价了这里的解有一个陷阱，不知道大家知道了没有。在分类问题中，我会提出一种要求更低的解决算法，即著名的感知机算法。2. 线性分类什么是分类呢？下面我列出一些实际的分类任务如下：1. 识别图像中的人脸，非人脸。2. 识别正常邮件，垃圾邮件。3. 识别信

3、贷中的正常行为，欺诈行为。4. 入侵检测中的系统的的正常访问跟非法访问。5. 一些符号说明如下：以下图的两类分类问题为例，样本点的类别是已知的，并且两类样本点是线性可分的，定义映谢：求分类平面使得：为了便于计算，对(2)式进行扩展，定义：所以式(2)式又可以简化为：分类平面应该尽可能的把两类点集分开，即，使下式的平方误差最小：依照回归的例子，我们有同样的结论：上面的解要求是正定的，也就是可逆的。现中的数据往往会不满足这一条件。还好有个万金有的方法，梯度下降算法，梯度下降算法能得到局部最优解。我们先看一下，一元二次函数：通过对上式求一阶导数，得到一下最优解：X=-b/(2a)处是方程的一个最优解现在我们随机给定一个初始的x，要经过怎么样的过程，或没什么方向才能靠近-b/(2a)这个解？答案就是没着，曲线y的梯度下降方向。函数：那么梯度定义如下：算法的迭代式如下：回到我们的问题也就是：n是学习速率，n一般取0.010.2,一般我们会设定一个最大的迭次系数。n过大会过快收敛，不利于达到局部的最优解，太小又会收敛太慢。下面看一元二次函数应用的例子：move1.gif二值分类例子：move2.gif代码

人人文库> 全部分类> 教育资料 > 课件下载

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论