信息分析与决策Chapert45 回归分析ppt课件.ppt

第四章样本数据的统计分析 回归分析3 3 非线性回归分析法 信息分析研究中 很多情况下 研究对象与影响因素之间并不存在线性关系 而呈现出其他的曲线趋势 例如 人口增长与当前人口数的关系 婴儿的体重与年龄的关系等 非线性回归分析法 对于非线性关系无法直接建立线性回归模型解决 但对某些非线性关系可以通过适当的变换将非线性的回归问题转换为线性回归问题 从而可以利用线性回归方法来分析研究问题 非线性回归分析法 例如 y b0 b1x b2x2令x1 x2 则上式转换为y b0 b1x b2x1即可采用线性回归来分析 在回归分析中仍利用最小二乘法来计算线性化后的线性回归方程 同时得到回归方程的系数和相应的显著性分析结果 非线性回归分析法 非线性回归分析法 非线性回归分析法 非线性回归分析法 SPSS的曲线参数估计基本方法SPSS的曲线参数估计过程中提供了11种可选择的回归方程模型 所以在分析之前 可以利用散点图等图形工具对数据点的趋势进行观察 然后决定利用何种形式的回归函数进行更拟合 非线性回归分析法 Command Analyze Regression CurveEstimation Variable 普通变量作为因变量 系统默认Time 时间序列变量 曲线估计模型 非线性回归分析法 Models Linear线性模型方程y b0 b1tt为自变量或时间变量 系统默认项2 Inverse倒数曲线模型y b0 b1 t3 Quadratic二次曲线模型y b0 b1t b2t2 非线性回归分析法 4 Cubic三次曲线模型y b0 b1t b2t2 b3t35 Power幂函数模型y b0tb16 Compound复合曲线模型y b0 b1 t7 Growth增长曲线模型y eb0 b1t8 Exponential指数曲线模型y b0eb1t9 非线性回归分析法 显示方差分析表 方程包含常数项 绘制曲线拟合图 非线性回归分析法 非线性回归分析案例Ex1 金属强度测试的回归分析问题 在不同温度下 对金属的强度进行了8次测试 数据如下 利用曲线参数估计法分析X和Y的关系 非线性回归分析法 Data curve estimation savStep 1 制作数据的散点图Graphs Scatter Dot选择 SimpleScatterplot 非线性回归分析法 显示了温度X与强度Y之间的散点图 观察X和Y之间大致呈现出指数函数的图形 若对变量之间的关系不是很明确 我们可以尝试种函数模型 我们选择 Linear Cubic Exponential 非线性回归分析法 Step 2 Analyze Regression CurveEstimation Models选择 Linear Exponential Cubic 非线性回归分析法 Step 3 结果分析1 ModelDescription模型描述 给出模型的一些基本信息 非线性回归分析法 2 线性 Linear 模型的主要结果 判定系数0 674 F统计值12 391 对应p 0 013 0 05表明在5 的显著性水平上 整体模型的拟合效果可接受 非线性回归分析法 2 线性 Linear 模型的主要结果 系数的t检验值分别为 3 520 温度 和4 982 常数项 对应p 0 013 0 002 0 05 表明在5 的显著性水平上 对应系数与0有显著性差异 线性模型为Y 0 719 0 002X 非线性回归分析法 2 三次曲线模型 Cubic 模型的主要结果 判定系数0 993 F统计值186 302 对应p 0 00 0 05表明在5 的显著性水平上 整体模型的拟合效果很理想 非线性回归分析法 2 三次曲线模型 Cubic 模型的主要结果 系数的t检验值对应p 0 000 0 002 0 000 0 05 表明在5 的显著性水平上 对应系数与0有显著性差异 三次曲线模型为Y 1 485 0 012X 3 41 10 5X2 3 1 10 8X3 非线性回归分析法 2 指数曲线模型 Exponential 模型 判定系数0 991 F统计值760 861 对应p 0 00 0 05表明在5 的显著性水平上 整体模型的拟合效果很理想 非线性回归分析法 2 指数曲线模型 Exponential 模型 系数的t检验值对应p 0 000 0 000 0 05 表明在5 的显著性水平上 对应系数与0有显著性差异 指数曲线模型为Y 1 324 e 0 009X 非线性回归分析法 3 三类模型的指标比较 表中比较可以看出 Cubic和Exponenial模型有较好的表现 指数模型的解释量 F值 高达760 861 线性模型的拟合的表现不佳 非线性回归分析法 3 拟合曲线图 虽然三次曲线方程和指数曲线方程都有较好的拟合效果 但最终选择依然要依据实际规律 本例中 从专业常识中知道 强度随温度的增加而递减 三次曲线模型有悖于这一规律 因此指数模型是最佳的选择 二项Logistic回归 概述一般形式的多元回归要求因变量为连续的定距型变量 但实际应用中 有很多情况下无法满足上述要求 例如 对小汽车消费群体特点的分析和预测研究中 回归模型的被解释变量为购买与否的决策 即 是否购买 1 购买 0 不购买 这是一个存粹的二值品质型变量 二项Logistic回归 当被解释变量为0 1二值型变量时 建立一般的多元线性回归模型会出现以下问题 残差不满足E 0且Var 常数的假设条件残差不再服从正态分布被解释变量的取值区间受限 0 1取值 一般回归方程的取值区间为 二项Logistic回归 当解释变量为0 1品质变量时 无法直接采用一般的多元线性回归模型建模 通常应采用Logistic回归模型 Logistic回归示多元线性回归方法不断发展的成果 二项Logistic回归 二项Logistic回归模型Step 1 利用一般线性多元回归模型 对被解释变量取值为1的概率p进行建模 p的取值为 0 1 即py 1 b0 bixi 二项Logistic回归 二项Logistic回归模型Step 2 将p转化为 p 1 p 称为发生比或相对风险 是事件发生的概率与不发生的概率之比 发生比 与p增长一致 且取值范围在 0 之间 二项Logistic回归 二项Logistic回归 二项Logstic回归方程的检验回归方程的显著性检验目的 检验解释变量全体与LogitP的线性关系是否显著 是否可用线性模型拟合 检验 H0 各回归系数系数同时为0 解释变量全体与LogitP的线性关系不显著 统计量 似然比卡方值 二项Logistic回归 回归系数 回归系数的标准误差 二项Logistic回归 回归系数的显著性检验观察解释变量的Waldi观测值及对应的概率值p若p 则认解释变量的回归系数与0有显著差异 该解释变量与LogitP之间的线性关系显著 否则 该解释变量与LogitP之间的线性关系不显著 不应保留在方程中 二项Logistic回归 回归方程的拟合优度检验Logistic回归分析中 拟合优度从两方面考察 1 回归方程能够解释被解释变量的程度 同一般意义下的回归方程的拟合优度检验 2 由回归方程计算出的预测值与实际值之间吻合的程度 即方程的总体错判率是低还是高 错判率低 拟合度高 反之拟合度低 二项Logistic回归 拟合优度常用的统计量指标Cox SnellR2统计量 类似于R2 是方程对被解释变量变差解释程度的反映 NagelkerkeR2统计量 0 1之间 越接近于1 说明方程的拟合优度越高 2Loglikelihood 2倍的对数似然函数值 该值越小 模型的拟合优度越高 二项Logistic回归 拟合优度常用的统计量指标错判矩阵 通过矩阵表格的形式展现预测值与实际观测值的吻合程度 正确率越高意味着模型越好 二项Logistic回归 拟合优度常用的统计量指标Hosmer Lemeshow统计量当解释变量较多且多为定距变量时 常使用的统计量 该统计量的思想是 通过Logistic回归模型计算出解释变量取一定值时被解释变量为1的概率 实际为1的样本有较高的预测概率值 实际为0的概率有较低的预测概率值 二项Logistic回归 SPSS根据预测概率值的大小将样本分组 通常为10组或近似10组 对应分组列出被解释变量的实际观测频数 并计算该列联表的卡方统计量 即Hosmer Lemeshow统计量 服从n 2个自由度的卡方分布 当统计量的概率值小于显著性水平时 拒绝H0假设 实际观测频数的分布与期望频数的分布各自独立 各组的划分与被解释变量的实际取值相关 意味着模型的拟合优度高 反之 拟合优度低 二项Logistic回归 二项Logistic回归中的虚拟变量品质型变量的取值是非定距的 通常不能象定距变量那样直接作为解释变量进入回归模型 一般需要将其转换为虚拟变量 DummyVariable 后再参与回归分析 Ex 性别 男 女 可设定变量x 1 男 0 女 即对于一个具有两分类的品质变量 设置一个虚拟变量就可完全识别样本的取值 二项Logistic回归 Ex 为研究和预测商品消费特点和趋势 收集了一组消费数据 采用Logistic回归方法分析消费购买决策的主要因素 Data 相关回归分析 消费行为logistic回归 Command Analyze Regression BinaryLogistic 二项Logistic回归 被解释变量 是否购买purchase解释变量 AgeIncomeGender回归策略 Enter 二项Logistic回归 对品质型变量生成虚拟变量Command CategoricalCovariates Indicator表示以某个特定的类为参照类 二项Logistic回归 设定输出的统计项 二项Logistic回归 Income生成了两个虚拟变量Income 1 和Income 2 分别表示是否中收入 01 和是否高收入 00 低收入 10 对性别生成了一个虚拟变量Gender 1 取值为1时 表示男 二项Logistic回归 显示了Logistic分析初始阶段方程中只有常数项时的错判矩阵 269人实际没购买且模型预测正确 正确率100 162人购买了但模型预测错误 正确率0 模型总预测正确率62 4 二项Logistic回归 显示了方程中只有常数项时回归系数方面的指标 分别是回归系数 回归系数标准差 Wald检验统计量 自由度 统计量对应的概率值及发生比 该模型中不含任何解释变量 因此无意义 二项Logistic回归 显示了待进入方程的各个变量的情况 检验统计量的观察值为Score 若其对应的概率值大于显著水平a 则该变量不能进入方程 Age和Income 1 Income 2 都不能进入模型 但因为是Enter策略 因此这些变量强行进入 二项Logistic回归 Logistic分析第一步时 回归方程显著性检验的总体情况 分别对应似然比卡方的观测值 自由度及对应概率值 本步所有的变量都进入了方程 Enter策略 与前一步 只有常数项 相比 似然比卡方的检验的观测值为18 441 概率为0 001 0 05 表明解释变量的全体与LogitP之间的线性关系显著 模型合理 二项Logistic回归 拟合优度的检验 几个指标都反映出拟合优度并不理想 拟合度较低 对数似然函数越小 拟合优度越高 该模型中该统计值为552 208 所以模型拟合优度不理想 二项Logistic回归 Enter引入全部解释变量后的错判矩阵 在实际没有购买的269人中 模型正确识别了87 7 在实际购买的162人中 正确识别了31人 正确率为19 但总的预测正确率为61 9 总体精度下降 预测结果并不十分理想 二项Logistic回归 该图标显示了当前所得模型中各个回归系数方面的指标 Age的Wald统计量的概率值大于显著度水平5 因此与LogitP的线性关系不显著 不应该保留在方程中 因为方程中包含了不显著地解释变量 因此该模型不可用 二项Logistic回归 Block1 Method ForwardStepwise 变量逐步筛选过程中对数似然比卡方的结果 用于回归方程的显著性检验 Step1 Income变量进入方程 本步骤Chi square为10 543 对应概率值0 005 因此模型中的解释变量Income与LogitP的线性关系显著 模型合理 被剔除的变量为age和gender 若引入则线性关系不显著 二项Logistic回归 Step 2Gender变量进入方程 与Step 1相比本步骤Chi square为5 917 对应概率值0 015 因此模型中的解释变量与LogitP的线性关系显著 模型合理 被剔除的变量只有Age 最终模型中的解释变量为Gender 和Incomes 二项Logistic回归 拟合优度检验 变量逐步筛选过程中模型拟合优度方面的测试指标 发现拟合优度并不理想 二项Logistic回归 Hosmer Lemeshow检验结果 最终模型中 统计量的值为8 943 概率为0 063 0 05 不能拒绝H0 即认为组的划分与被解释变量的取值不相关 模型的拟合优度低 与前面的指标的结论一致 二项Logistic回归 逐步分析过程中各模型的错判矩阵 Step1模型的总体正确率62 4 对不购买人群的预测的准确率为100 但对购买人群的预测准确率极低 Step2模型 对不购买人群的预测准确率降低了83 6 但购买人群的准确率提高到22 2 总体准确率为60 6 从应用的角度看Step2模型应用性略强 但整体预测效果并不理想 二项Logistic回归 解释变量的筛选过程和各解释变量的回归系数检验结果 最终模型中包含了性别Gender和收入变量Income Wald统计量及对应概率值均小于0 05 所有变量通过检验 即它们与LogitP的线性关系显著 应保留在模型中 二项Logistic回归 虽然模型可行 模型的预测效果并不十分理想 也就是说仅通过Gender和Income来预测是否购买该商品是不全面的 应该还需考虑到其他因素 尽管如此 该模型仍可以用来分析是否购买的决策与性别和收入之间的关系 二项Logistic回归 列出以下Logistic回归方程 LogitP 0