机器学习-逻辑回归

1、第八节：逻辑回归目录 回顾 必要的数学基础 逻辑回归模型（随机）梯度下降法It is self-contained1.1 机器学习流程 数据 特征特征工程 模型建模 结果预测 优化算法文本、图像、语音、视频等通常花费最长时间常用的有梯度下降法，牛顿法等对模型的假设：例如逻辑回归模型，SVM模型，神经网络模型等1.2 CTR预测目标： 预测用户点击广告的概率最常见方法： 逻辑回归用户信息广告信息上下文信息 模型YESNO训练算法特征1.3 有监督学习 y = f(x)逻辑回归模型1.4 逻辑回归 不仅仅局限于CTR预测，工业界大部分应用都可以用逻辑回归来解决 很好的可解释性 实现简单，训练速度快

2、1.5 通过本课程需要掌握什么通过逻辑回归的学习，需要对整个机器学习领域有个清晰的认识。1.6 学习方法 教学自学其他材料书籍工程论文有目的性，带着问题去看No pain no gain目录 回顾 必要的数学基础 逻辑回归模型（随机）梯度下降法2.1 导数计算 2.2.1 找最优化解 简单例子我们成为 x=0 是局部最优解（其实也是全局最优解）2.2.2 找最优化解 简单例子我们成为 x=0 是局部最优解（但不是全局最优解）怎么才能知道我们取得的某一个最优解是不是全局最优解？2.3.1 凸函数优化函数 f(x) 为凸函数, 假如对于 2.3.2 为什么我们关注凸函数？假设 f(x) 是凸函数，

3、 那么它的局部最优解也是它的全局最优解This is advantageous especially if stationary points cannot be found analytically in closed-form2.3.3 怎么去判断是否是凸函数f(x) 是凸函数 if 例子f(x) 是凹函数 if - f(x) 是凸函数 2.3.4 对于多维函数f(x) 是凸函数 if 它的海森矩阵(Hessian matrix）H 是（半）正定的 海森矩阵 H:2.3.5 判断凸函数 例子2.4.1 最大似然估计（MLE）2.4.2 最大似然估计（MLE）2.4.3 资源Matrix C

4、ookbook （线性代数相关）http:/www2.imm.dtu.dk/pubdb/views/edoc_download.php/3274/pdf/imm3274.pdfLatex/CTex （公式编辑编译器）也可以用在线编辑器： O 目录 回顾 必要的数学基础 逻辑回归模型（随机）梯度下降法CTR 问题特征向量逻辑回归二分类模型： Sigmoid 函数逻辑回归 输出值介于0和1 （可以用来解释成概率） 计算方便 严格递增 （用来做分类规则） 比如： 大于 0.5 positive (被分类成 1) 小于 0.5 negative (被分类成 0） 0.5 不能确定特点：导数为 Sigm

5、oid 函数自己计算看看Sigmoid函数是线性的 Sigmoid 函数是非线性，但判别界限为：线性 OR 非线性似然函数也可以写成更简洁的形式：因此，log似然为：交叉熵误差（cross entropy error）转换成交叉熵误差：最小化最大化思考： 交叉熵误差是否是凸函数？ 给个证明 （作业）然而， 函数较复杂，而且我们不能得到解析解（analytic solution）。因此我们需要用类似迭代的方法，这里讨论梯度下降法最小化交叉熵误差两个较为普遍的方法： 梯度下降法 （first order method） 牛顿法 (second order method)梯度下降法直到收敛设置步长交

6、叉熵误差最小化计算的梯度为：最终得到的每次更新直到收敛或者参数值变化很小有哪些问题呢？一个迭代更新需要把所有的训练数据扫一遍。 N很大的时候，训练效率很低。直到收敛或者参数值变化很小do随机梯度下降法每次只利用一个样本：直到收敛或者参数值变化很小随机梯度下降法理解其实，真正的目标函数式这样的：梯度为：真正准确的梯度下降更新函数为：随机梯度下降法真实的梯度为：简单地做近似处理用一个样本做参数的更新意味着什么？ 无偏的梯度计算 有很大噪声 叫做随机梯度下降 在工业界非常有用随着N的增大，近似越准确关于 KDD cup 作业机器学习过程数据特征建模评估上线非常简单的框架 # 1. 数据的读取data

7、 = csv.reader(file(.) # 从文件读取数据（特征）N,D = np.shape(data) # 假设 N是样本数量，D是维度X = data:,0:D-1 # 每一行是一个样本/特征向量y = data:,D-1 # labels# 2. 特征的简单处理X = preprocessing.scale(X) # 转换成正态分布（0,1）# 3. 训练集和测试集的划分X_train, X_test, y_train, y_test = cross_validation.train_test_split(X, y, test_size=0.2, random_state=(see

8、d) 非常简单的框架 (续） # 4. 模型的训练以及用交叉验证选择参数Cs = 0.01, 0.1, 0.2, 1best_c = 0.01best_score = 0for c in Cs: # 对于每一个hyperameter lr = LogisticRegression(fit_intercept=True, C=c, penalty=l2, tol=0.0001lr.fit(X_train, y_train) # score = by cross validation (具体细节省略） if best_score score: best_c = c非常简单的框架 （续） # 5. 用选择的参数对模型做训练# 定义模型lr = LogisticRegression(fit_intercept=True, C=best_c, penalty=l2, tol=0.0001)# 在训练集上做模型训练lr.fit(X_train, y_train) # 6. 在测试集上计算准确率predicted_labels = lr.predict(X_test)# 7. 计算评价指标，或者画一些结果图# AUC, ROC曲线，准确率