LogisticRegression(逻辑回归)原理及公式推导_第1页
LogisticRegression(逻辑回归)原理及公式推导_第2页
免费预览已结束，剩余2页可下载查看

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

1、Logistic Regression （逻辑回归）原理及公式推导版权声明：本文为原创文章：http:/ Regression （逻辑回归）是机器学习中一个非常非常 常见的模型，在实际生产环境中也常常被使用，是一种经典 的分类模型（不是回归模型） 。本文主要介绍了 Logistic Regression （逻辑回归）模型的原理以及参数估计、公式推导方法。模型构建在介绍 Logistic Regression 之前我们先简单说一下线性回 归，线性回归的主要思想就是通过历史数据拟合出一条直 线，用这条直线对新的数据进行预测，线性回归可以参考我 之前的一篇文章。我们知道，线性回归的公式如下：z=eo

2、+e1x1+e2x2+e3x3.+enxn=eTx而对于 Logistic Regression 来说，其思想也是基于线性回归（Logistic Regression 属于广义线性回归模型） 。其公式如下：he(x)=11+e?z=11+e?eTx其中，y=11+e?x 被称作 sigmoid 函数，我们可以看到，LogisticRegression 算法是将线性函数的结果映射到了sigmoid 函数中。sigmoid 的函数图形如下： 我们可以看到， sigmoid 的函数输 出是介于( 0， 1)之间的，中间值是 0.5，于是之前的公式 he(x)的含义就很好理解了，因为 he(x)输出是

3、介于(0,1) 之间，也就表明了数据属于某一类别的概率，例如 ：he(x)0.5 则说明当前数据属于 B 类。所以我们可以将 sigmoid 函数看成样本数据的概率密度函 数。有了上面的公式，我们接下来需要做的就是怎样去估计参数e了。首先我们来看，e函数的值有特殊的含义，它表示 he(x) 结果取 1的概率，因此对于输入 x 分类结果为类别 1 和类别 0 的概率分别为：P(y=1|x;e)=he(x)P(y=0|x;e)=1?he(x)极大似然估计 根据上式，接下来我们可以使用概率论中极大似然估计的方 法去求解损失函数，首先得到概率函数为：P(y|x;e)=(he(x)y?(1?he(x)1

4、?y因为样本数据 (m 个 )独立，所以它们的联合分布可以表示为 各边际分布的乘积 ,取似然函数为：L(e)=ni=1mP(y(i)|x(i);e)L(e弓ni=1m(he(x(i)y(i)?(1?he(x(i)1?y(i)取对数似然函数：l(e)=log(L(e)=刀 i=1mlog(he(x(i)y(i)+log(1?he(x(i)1?y(i)l(e)=log(L(e)=刀 i=1my(i)log(he(x(i)+(1?y(i)log(1?he(x(i)最大似然估计就是要求得使 l(e) 取最大值时的e，这里 可以使用梯度上升法求解。我们稍微变换一下：J（e）=?imi（ e）因为乘了一个负的系数

人人文库> 全部分类> 行业资料 > 信息产业

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论