线性回归与分类

1、线性回归与线性分类线性回归在温洲的一个房产网（）我弄到了下面的一些数据:物业名称面积偷貉备拄回六中学区好房出下吕浦73m=244.55六中学区环境忧美国32000急售市中心59.9m1191.能万市中心咖里买的到的好园西城掰金山蛆团西向5Bm=69.9 万西城路，音装修价格国新桥头集新组团西向6SmE119万格装修4耳，房朱包粗园康锦公寓西向120m=21访电梯房，毛坯的套型国康城二组团西向165m!363万价格是廉城最便宜的回康园西向312万产权满5年，价格很便国黄曲二区登峻组西向87m!174万套型很好,精装修,产国银厦公寓西向143就343,2全新希装，公证国银厦公寓西向142m=326

2、.OT毛坏房，公证国黄龙六区清泉组西向120.OT楼层垫高相当于2层回出售黄茬九区玉西向57m=93,1 口万清爽装修，产权满5年园园闻宅公寓市中心77.79m2311.16城南总枝学区房国飞虹公寓市中心47m=108.你好？如果说你买房国湖演新村市中心60m31径万房孑的壹型光废非园麻行小区江滨路90m=333万有两个阳台的价格忧国谢池商厦市中心71mE209.45路段好公园旁边现在我们以横轴表示房子面积，纵轴表示房子价格，画到坐标轴上:m31BCO1 1 1 +1GCOMOO12DD- + -1000-+十-0CO-V + +-E00400-+ +丰+ +2CO-+广L+-+汁0iH.现在

3、问题来了，我想要一套200平方米的房子价格大概是多少呢这时在数据 表中我又找不到到对应的数据。那么这时就要做线性回归分析了。如下图找 到下面这样的一条直线，使图中的所有点到直线的距离最小（即使误差最小）。14012X1下面我们用数学语言来表达“使图中的所有点到直线的距离最小”这句话。图中的（面积，价格）可以用坐标点凶万）表示。数学中的直线方程解析式为:y=kx+b，现在我们用机器学习里的表达方式如下：y=b+wx （在机器学习中b叫偏至，w叫超越平面参数）这样的表达还不够统一，不方便计算，写成下式：y=wx,（w=1,w x=1,x）.现在我们继续把上面改写成向量形式，以便于推广到N维形式，改

4、写成正式:Y =（切，说Wr =血官伊=侦匚皿，.为如=1, 2,.“使图中的所有点到直线的距离最小”用数学的语言描述如下:上式叫误差平方和式，写成向量形式如下:J(W)= ：(Y - XF(Y - Xrw)我们的目标是使J(W)最小，上式对W求导得：w = (X?X) 1XW就是我们要求的结果了。把200平方米的代入式(1)就得到我们的估计房价了 这里的解有一个陷阱，不知道大家知道了没有。在分类问题中，我会提出一 种要求更低的解决算法，即著名的感知机算法。线性分类什么是分类呢下面我列出一些实际的分类任务如下：识别图像中的人脸，非人脸。识别正常邮件，垃圾邮件。识别信贷中的正常行为，欺诈行为。入

5、侵检测中的系统的的正常访问跟非法访问。一些符号说明如下：X TlTT2n . . . . TjT? 1,幻/特征向量，其中赢表示特征属性1-以下图的两类分类问题为例，样本点的类别是已知的，并且两类样本点是线性可分的，定义映谢:f -(明，电 T 一 L L(皿叼)是图中点的坐标，一1是点所属的类别，即图中的红点，蓝点求分类平面 TOC o 1-5 h z wrx wq = 0使得：若wTx + wo 0：则 x E 1 类(32)为了便于计算，对(2)式进行扩展，定义：X = xT?lT. w = wT? wdT(4)所以式式又可以简化为:分类平面应该尽可能的把两类点集分开，即，使下式的平方误

6、差最小:依照回归的例子，我们有同样的结论:w = (xF-Wv上面的解要求是正定的，也就是可逆的。现中的数据往往会不满足这一条件。还好有个万金有的方法，梯度下降算法，梯度下降算法能得到局部最优解。我们先看一下，一元二次函数：y = f肮+ 血 + e通过对上式求一阶导数，得到一下最优解：匙=+6 = 0X=-b/(2a)处是方程的一个最优解现在我们随机给定一个初始的x，要经过怎么样的过程，或没什么方向才能靠近-b/(2a)这个解答案就是没着，曲线y的梯度下降方向。函数：那么梯度定义如下:r df df df算法的迭代式如下：Xn+i=x-点回到我们的问题也就是：w+1 = Wn-瑚黑)=Wn- TfXT (Y - XWn)n是学习速率，n