数据挖掘基础知识-回归分析

回归分析第1页，共28页。本章内容回归分析的基本原理一元线性回归分析多元线性回归分析非线性回归分析第2页，共28页。回归分析的基本原理

所谓回归分析法，利用数理统计方法建立因变量与自变量之间的回归关系函数表达式。对于下表中的数据：利用回归分析方法，得到如下的函数关系式：

第3页，共28页。一元线性回归分析一元线性回归模型模型参数估计和平均误差估计一元线性回归模型的检验第4页，共28页。一元线性回归模型满足一元线性回归的基本条件：所有的的分布的均值都正好在一条直线上，称之为总体的（真实的）回归直线；所有的分布都有同样的形状；随机变量是相互独立的；给定X时分布的形状是正态的，即服从正态分布。满足这些条件的回归模型称为一元线性回归模型。根据样本观测值，采用最小二乘法，得到了一条估计的样本回归直线。第5页，共28页。模型参数估计和平均误差估计参数估计：经过最小二乘法计算可得：求出参数a,b以后，就可以得到回归模型:第6页，共28页。(1)(2)(3)SSE实际值与预测估计值之间的离差平方和。第7页，共28页。标准误差：估计值与应变量值之间的平均平方误差。（4-8）第8页，共28页。模型参数估计和平均误差估计平均误差估计：第9页，共28页。一元线性回归模型的检验线性方程的显著性检验关于回归系数b的统计推断第10页，共28页。一元线性回归模型的检验线性方程的显著性检验的方法有：方差分解法相关分析法F检验t检验D-W检验

第11页，共28页。一元线性回归模型的检验-方差分解法第12页，共28页。一元线性回归模型的检验-相关分析法第13页，共28页。一元线性回归模型的检验-F检验第14页，共28页。一元线性回归模型的检验-t检验第15页，共28页。一元线性回归模型的检验-D-W检验第16页，共28页。多元线性回归分析多元线性回归模型参数估计多元回归方差分析和显著性检验多元回归模型的残差分析第17页，共28页。多元线性回归模型第18页，共28页。参数估计第19页，共28页。多元回归方差分析和显著性检验总离差平方和的分解和多元相关系数回归离差平方和与偏相关系数第20页，共28页。总离差平方和的分解和多元相关系数第21页，共28页。回归离差平方和与偏相关系数第22页，共28页。多元回归模型的残差分析在这里我们主要考虑以下几种情形：线性与非线性共方差与异方差独立与非独立正态与非正态多重共线性第23页，共28页。非线性回归分析非线性模型非线性模型的线性化第24页，共28页。非线性模型主要的非线性模型有：抛物线模型双曲线模型幂函数模型指数函数模型对数函数模型逻辑曲线模型多项式模型第25页，共28页。非线性模型抛物线模型

双曲线模型

幂函数模型

指数函数模型

对数函数模型

逻辑曲线模型

多项式模型第26页，共28页。非线性模型的线性化倒数变换

倒数变换是用新的变量来替换原模型中变量的倒数，从而使原模型变成线性模型的一种方法。

半对数变换

这种方法主要应用于对数函数模型的线性变换。

双对数变换这种方法通过用新变量替换原模型中变量的对数，从而使原模型变换为线性模型。

多项式变换这种方法适用于多项式方程的变换。

第27页，共28页。内容梗概回归分析。所谓回归分析法，利用数理统计方法建立因变量与自变量之间的回归关系函数表达式。所有的分布都有同样的形状。给定X时分布的形状是正态的，即服从正态分布。满足这些条件的回归模型称为一元线性回归模型。根据样本观测值，采用最小二乘法，得到了一条估。线性方程的显著性检验的方法有：。一元线性回归模型的检验-t检验。一元线性回归模型的检验-D-W检验。共方差与异方差。独立与非独立。正态与非正