机器学习常用模型及优化

1、百度文座让每个人平等地捉升自我 第一章模型建立 回归模型: 条件： 1. 数据 2. 假设的模型 结果： 用模型对数据学习，预测新数据 一元线性回归模型（最小二乘法） 它通过最小化误差的平方和寻找数据的最佳函数匹配 我们以最简单的一元线性模型来解释最小二乘法。什么是一元线性模型呢？ 监督学习中，如果预测的变量是离散的，我们称其为分类（如决策树，支持向量 机等），如果预测的变量是连续的，我们称其为回归 ，(X11, Yn) 假设从总体中获取了 11组观察值（XI, Yl）, （X2, Y2）, 平方损失函数 旷A 2=1 J=1 3 =2空（一几-人云）（-1） =0 dO 爾 =2 士 0-几

2、-zU)(-引=0 2-1 则通过Q最小确定这条直线.即确定 个求极伯的问题，可以通过求导数得到。求q对两个待估参数的偏导数: 为变杲.把它们石作是q的函数，就变成r一 根捋敖学知识我们血道.曲数的极值点为偵导为0的点。 解得: 吃心口）2 工疋-（工兀） 逻辑回归模型 将线性回归中的一次模型变成逻辑回归函数，即sigmoid函数。 加）=冷二 或者： 防）=1 4- cxp（-r） 其他的思路和想法与线性回归一样，所以说逻辑回归的模型是一个非线性模 型，但是它本质上乂是一个线性回归模型 损失函数（误差函数）为： m J(0) 工 log加(龙)4-(1 - ?/(1)log(l 一 加()

3、i=l softmax 回归 它是逻辑回归的扩展 从分类的角度来说，逻辑回归只能将东西分成两类（0,1）, softmax可以分 成多类 逻辑回归中，模型函数（系统函数）为： h” （2） * exp（ -0Tx） Softmax回归中，模型函数（系统函数）为： 百度文座让每个人平等地捉升自我 p（y =1|刁）:0） 加泸）=2|卅）;0） 1 卩(泸)=kx0) 厨山 屁 9)= 神经网络模型 神经元 6 首先来一个三输入单输出的神经元，输入输出都是二进制（0,1）。举例来说: XI表示天气是否好 X2表示交通是否好 X3表示是否有女朋友陪你 Y表示你是否去电影院看电影 要让这个神经元工作

4、起来，需要引入权重，vl,w2,w3。这样就有了： 0 if 乂 WjXj threshold W1表示”天气是否好”对你做决定的重要程度 W2表示”交通是否好”对你做决定的重要程度 W3表示”是否有女朋友陪你”对你做决定的重要程度 Tliieshold越低表示你越想去看电影，风雨无阻你都想去。Thieshold越高表 示你越不想去看电影，天气再好也白搭。Thieshold适中表示你去不去电影院要 看情况，看心情。 神经网络 现在扩展一下： 这样就岀现神经网络了，可以看岀这是很多神经元组合成的。 把上面的(1)式中的threshold用偏移量-b表示，并且移到不等式左边，出 现下面(2)式：

5、output = 0 ifu; x 4- 6 0 例子就不举了，原文是实现与非门的一个例子，说明这个东西可以进行逻辑 推理，它就很有潜力了，电脑就是靠逻辑加运算来实现各种功能。 现在要用这个东西学习识别手写字体，我们的想法是这样的: small change in any weight (or bias) 举例来说，电脑错把9当成了 8,那么我们希望通过自动调整w或b来对 output进行调整，以达到正确的结果。这时网络会自己“学习” 了。 具体是这样的： if b(w+b) 0.5 output = 0 if b(w+b)v0.5 其中b()是sigmoid函数： 恥）三 z = w re

6、+ 6 下面是sigmoid函数的图形 它是阶梯函数的一个平滑: 1.0 step function 输出通过w和b进行微调的式子是这样的: a0 output 八3 output 八. output Aw； HA6 丁 dwjdb 这个式子比较抽象，它只是战略性的一个式子，下面引入cost函数来进行 战术实践。Cost函数是评价模型准确与否的一个函数，它可能越大越好，也可能 越小越好，看你怎么构造了。这里用均方误差来构造： C仙b）三舟刀|火）-。 X 这个函数越小越好，所以通过使这个函数变得最小来得到最好的W和b,也 就是达到最好的学习效果。 最大似然估计 百度文W-让每个人平竽地捉升自我

7、 X的一个样本XI, X2,，Xn独立同分布，其观测值为xl, x2xn。 p(X=x) = p(x；0),其中参数&未知 根据XI, X2, Xn的观测值xl, x2,，xn来估计模型参数&。 假如这组数据服从B(l,p), p未知 P(X=x) = px(l-p)l-x (x=O,l) L(p) = Pg =召，,Xtl =xn) =护 5( _ pg 求_ in L(p) = 0得到L(p)取极大值时的p,即为所求 dp 第二章模型优化 遗传算法 有个博客讲的很好，用袋鼠跳问题形象的比喻这个问题，类似的算法还有模 拟退火法。 梯度下降法 一句话来说就是求损失函数或似然函数的极值，我们自己

8、算的话就是求个导 就完事了，但是有些函数的导数特别难求，这时候就需要梯度下降法，交给电脑 迭代儿次就算出来了 举例来说，求损失函数的最小值： 丿(0)= !乞厲()-严)2 / /cl min 心)=/(x) = % +內 +O2x2 hd x p丿仇（X）-刃7仇（X）-刃卍 迢 dO2 ._1 丄 J = q- a（九（x） - y）x 牛顿法 对于非线性优化，假设任务是优化一个LI标函数，求解其极大极小值，转化 为求问题，是不是回到了上面的问题？ 二阶泰勒级数： /（X +心）=/（A） +广心+ |厂 二阶泰勒级数成立的充要条件是心无限趋于0,两边约去/（兀+山）和/（X）, 并对心求导，得到： 广（x） +八X）心=0 解得： /匕） 所以得到迭代式： ./V,） 红色是牛顿法，绿色是梯度下降法，牛顿法更容易收敛。高维情况的牛顿迭 代公式： 心=俎-/fUjr1 v/（x” ），n 0 其