附 Logistic回归.

1、附 Logistic回归Sigmoid函数Logistic回归分类器最优化理论梯度下降算法数据中的缺失项最优化算法 生活中有大量的最优化问题 用计算机算法解决问题 假设有一些数据点，用一条直线进行拟合（找规律） 拟合过程称为回归 Logistic回归的主要思想是：根据现有数据对分类边界建立回归公式，以此进行分类 回归：找到最佳的拟合参数集 训练分类器就是寻找最佳拟合参数，就是最优化算法Logistic回归的一般过程 收集数据 准备数据：需要进行距离计算 分析数据：转换到计算方便的形式 训练算法：寻找最优的分类回归系数 测试算法 使用算法基于Logistic回归和Sigmoid函数的分类 Sig

2、moid函数： 要求从0阶跃到1 要求连续 Logistic回归也被看成一种概率估计 优点：计算代价不高，易于理解和实现 缺点：容易欠拟合，分类精度可能不高基于Logistic回归和Sigmoid函数的分类 怎么做： 每个特征乘以回归系数 然后将积相加 将和代入Sigmoid函数 根据函数值近1或近0进行二选一分类梯度上升法 思想：要找到某函数的最大值，最好的方法是沿着该函数的梯度方向探寻。 梯度上升算法到达每个点后重新估计移动的方向： 从p0开始，计算梯度，确定移动方向 每步长移动 到达p1，重新计算梯度，确定移动方向 每步长移动梯度下降算法 思路与梯度上升算法同 对应公式变为： 梯度上升用

3、来求函数的最大值 梯度下降用来求函数的最小值训练算法：使用梯度上升找到最佳参数 右图中有： 1000个样本点 2个分类 找分类规律 即拟合出回归模型的最佳参数 使用梯度上升算法作为训练算法步骤：梯度上升算法 每个回归系数初始化为1 重复R次：直到终止循环的条件满足 计算整个数据集的梯度 使用alpha X gradient更新回归系数的向量 返回回归系数梯度上升算法：python代码画出决策边界计算结果程序说明 dataMatIn为100 X 3矩阵 多出的一维为容纳常数项w0 为进行矩阵运算：数组转换为矩阵 梯度上升算法的表达 使用matplotlib绘图改进训练算法：随机梯度上升 每次算梯

4、度都要计算所有样本点1次 计算复杂度太高 改进：每次更新只用一个样本点 随机梯度上升/下降算法 本质是一个在线学习算法 对应的一次处理所有数据：批处理步骤：随机梯度上升算法 每个回归系数初始化为1 对数据集中每个样本： 计算该样本的梯度 使用alpha X gradient更新回归系数的向量 返回回归系数随机梯度上升算法：代码实现仅调用一次：即只循环100次调用5次：即循环500次，每个数据使用5次调用5次：即循环500次，每个数据使用5次随机梯度上升算法的问题 梯度上升与随机梯度上升的比较随机上升：学习过程的波动减少波动：变alpha值 变化的alpha值：调整学习速率变alpha：循环50

5、0次，每个数据使用5次参数的波动减少5.3 实例：从疝气病症预测病马的死亡率 368个样本 28个特征 缺少了30%的数据 处理数据缺失： 使用特征的均值来填补缺失值 使用特殊值来填补，如-1 忽略有缺失的样本 使用相似样本的均值来填补缺失 使用其他机器学习算法来预测缺失值处理步骤 收集数据 准备数据：解析文本、填充或丢弃缺失数据 分析数据：可视化并观察数据 训练算法：使用优化算法，找到最佳数据 测试算法：为了量化回归的效果，观察错误率。根据错误率决定是否回退到训练阶段，通过改变迭代的次数和步长等参数来得到更好的回归系数 使用算法：简单运行程序梯度上升算法+Sigmoid函数条件下： 此时选用0来替换所有缺失值 理由： 0对在迭代中更新wi不产生影响 Sigmoid（0）= 0.5，对结果预测不产生任何倾向性 也不会对误差项造成任何影响 如果某条数据的类别标签已缺失，则丢