数据挖掘技术与应用-回归分析预测模型课件

1、 技术培训-数据挖掘技术与应用回归分析预测模型 技术培训-1 回归分析预测模型1.1 一元线性回归预测模型 1.2 多元线性回归预测模型 1.3 非线性回归预测模型 1 回归分析预测模型1.1 一元线性回归预测模型 1.2 1.1 一元线性回归预测模型一元回归公式以影响预测的各因素作为自变量或解释变量x和因变量或被解释变量y有如下关系： 称为一元线性回归模型(One Variable Linear Regression Model)，其中：u是一个随机变量称为随机项；a, b是两个常数，称为回归系数（参数）；i表示变量的第i个观察值，共有n组样本观察值。1.1 一元线性回归预测模型一元回归公式

2、1.1 一元线性回归预测模型参数的最小二乘估计相应于yi的估计值，与yi之差称为估计误差或残差，以表示，。显然，误差的大小是衡量估计量好坏的重要标志。我们以误差平方和最小作为衡量总误差最小的准则，并依据这一准则对参数a, b作出估计。令： 1.1 一元线性回归预测模型参数的最小二乘估计1.1 一元线性回归预测模型参数的最小二乘估计使Q达到最小以估计出的方法称为最小二乘法(Method of Least-Squares)。由多元微分学可知，使Q达到最小的参数的的最小二乘估计量（Least-Squares Estimator of Regression Coefficient）必须满足：（i=1,

3、 2, , n） 1.1 一元线性回归预测模型参数的最小二乘估计（i=1, 1.1 一元线性回归预测模型参数的最小二乘估计解上述方程组得1.1 一元线性回归预测模型参数的最小二乘估计1.1 一元线性回归预测模型参数的最小二乘估计解上述方程组得其中 1.1 一元线性回归预测模型参数的最小二乘估计其中 1.1 一元线性回归预测模型参数的最小二乘估计若令则上式可以写成 1.1 一元线性回归预测模型参数的最小二乘估计则上式可以写1.1 一元线性回归预测模型相关性检验 一般情况下，在一元线性回归时，用相关性检验较好，相关系数R (Sample Correlation Coefficient)是描述变量x

4、与y之间线性关系密切程度的一个数量指标。 （1 R 1） 1.1 一元线性回归预测模型相关性检验（1 R 11.1 一元线性回归预测模型相关性检验查相关系数临界值表,若R R(n2)，则线性相关关系显著，通过检验，可以进行预测；反之，没有通过检验，该一元回归方程不可以作为预测模型。1.1 一元线性回归预测模型相关性检验1.1 一元线性回归预测模型应用回归方程进行预测1. 预测值的点估计当方程通过检验后，由已经求出的回归方程和给定的某一个解释变量x0，可以求出此条件下的点预测值，输入x0的值，则预测值为。1.1 一元线性回归预测模型应用回归方程进行预测1.1 一元线性回归预测模型2. 区间估计为

5、估计预测风险和给出置信水平（Confidence Level），应继续做区间估计（Interval Estimation），也就是在一定的显著性水平下，求出置信区间（Confidence Region），即求出一个正实数，使得实测值y0以的概率落在区间 内，满足 P = 。1.1 一元线性回归预测模型2. 区间估计。1.1 一元线性回归预测模型2. 区间估计由于预测值和实际值都服从正态分布，从而预测误差 也服从正态分布，从正态分布， 求出 后将得出结论：在的概率下，预测范围为。1.1 一元线性回归预测模型2. 区间估计求出 后将得出1.1 一元线性回归预测模型一元线性回归模型实例下表给出的是1

6、991-2002年某城市的水路货运量，下面将根据此表数据建立一元线性回归模型并对2002年以后的水路货运量进行预测。1.1 一元线性回归预测模型一元线性回归模型实例1.1 一元线性回归预测模型序号xi年份水路货运量yi1199116592199219893199321954199422555199523296199623757199723648199823549199924181020002534112001256812200228351.1 一元线性回归预测模型序号xi年份水路货运量yi111.1 一元线性回归预测模型计算 1.1 一元线性回归预测模型计算 1.1 一元线性回归预测模型分别计

7、算lxx，lyy，lxy1.1 一元线性回归预测模型分别计算lxx，lyy，lxy1.1 一元线性回归预测模型分别计算lxx，lyy，lxy1.1 一元线性回归预测模型分别计算lxx，lyy，lxy1.1 一元线性回归预测模型计算系数所以此预测模型为 =1836.657+74.822x 1.1 一元线性回归预测模型计算系数所以此预测模型为 1.1 一元线性回归预测模型1991-2002年某市水路货运量一元回归计算过程 序号xi年份水路货运量yi119916.5-5.530.2516592323-664440896219926.5-4.520.2519892323-334111556319936

8、.5-3.512.2521952323-12816384419946.5-2.56.2522552323-684624519956.5-1.52.2523292323636619966.5-0.50.2523752323522704719976.50.50.2523642323411681819986.51.52.252354232331961919996.52.56.25241823239590251020006.53.512.2525342323211445211120016.54.520.2525682323245600251220026.55.530.25283523235122621

9、441.1 一元线性回归预测模型1991-2002年某市水路货1.1 一元线性回归预测模型一元线性回归方程的相关性检验 相关系数 因为相关系数R=0.9158，接近+1，属于正相关，所以可以认为x和y之间存在显著的线性关系。1.1 一元线性回归预测模型一元线性回归方程的相关性检验相1.1 一元线性回归预测模型预测分析 根据上面所求的一元线性预测模型 y =1836.657+74.822x，如果要预测2004年货运量的点估计值和区间估计值，将x=14带入公式，得： Y2004 =1836.657+74.822x14=1836.657+74.82214=2884（四舍五入结果）Y2004 的95%

10、的估计区间：1.1 一元线性回归预测模型预测分析根据上面所求的一元线性1.2 多元线性回归预测模型对多元线性回归模型（Multivariate Linear Regression Model）的基本假设是在对一元线性回归模型的基本假设基础之上，还要求所有自变量彼此线性无关，这样随机抽取n组样本观察值就可以进行参数估计。多元回归公式 1.2 多元线性回归预测模型对多元线性回归模型（Multiv1.2 多元线性回归预测模型参数的最小二乘估计 对应的样本回归模型为：利用最小二乘法求参数估计量设残差平方和为Q则要达到最小。 （i=1,2,n）由偏微分知识可知：1.2 多元线性回归预测模型参数的最小二乘

11、估计 对应的样本回1.2 多元线性回归预测模型由偏微分知识可知： 1.2 多元线性回归预测模型由偏微分知识可知： 1.2 多元线性回归预测模型 经整理，写成矩阵形式，得到其中， xT 为x 的转置矩阵。1.2 多元线性回归预测模型 经整理，写成矩阵形式，得到其中1.2 多元线性回归预测模型多元线性回归模型的检验 TSS： 表示观察值yi与其平均值的总离差平方和。ESS： 表示由回归方程中x的变化而引起的称为回归平方和。RSS：为TSS-ESS = 表示不能用回归方程解释的部分，是由其他未能控制的随机干扰因素引起的残差平方和。1.2 多元线性回归预测模型多元线性回归模型的检验 TSS：1.2 多

12、元线性回归预测模型拟合优度检验拟合优度R2 (Goodness of Fit) ：R2 = ESS/TSS（0R21）。 拟合优度是衡量回归平方和在总离差平方和中所占的比重大小。比重越大线性回归效果越好，也就是R2越接近1，回归直线与样本观察值拟合的越好。拟合优度也称为决定系数或相关系数。拟合优度的修正值 m为自变量个数，nm1为RSS的自由度， n1为TSS的自由度。，其中n为样本总数1.2 多元线性回归预测模型拟合优度检验拟合优度R2 (Go1.2 多元线性回归预测模型F检验在多元线性回归模型中，所得回归方程的显著性检验（F检验）是指回归系数总体的回归显著性。F检验的步骤为：1）假设H0：

13、b1=b2=bk=0 ，备择假设：H1：bj不全为零（j=1, 2, , k）；2）计算构造统计量 （n为样本总数，k为自变量个数）；3）给定显著性水平，确定临界值F (k, nk1)；4）把F与F(k, nk1)相比较，若FF(k, nk1) 则认为回归方程有显著意义，否则，判定回归方程预测不显著。1.2 多元线性回归预测模型F检验在多元线性回归模型中，所得1.2 多元线性回归预测模型 t检验对引入回归方程的自变量逐个的进行显著性检验的过程，称为回归系数的显著性检验(t-test or Student-Test)，t检验的步骤为：1）假设H0：bi=0，备择假设H1：bi0 （i=1, 2,

14、 , n）；2）计算统计量|Ti|3）给定显著性水平，确定临界值 ；4）|Ti|与比较也就是统计量与临界值比较。若|Ti| ， 则认为回归系数 与零有显著差异，必须保留xi 在原回归方程中；否则应去掉xi 重新建立回归方程。1.2 多元线性回归预测模型 t检验对引入回归方程的自变量逐1.2 多元线性回归预测模型1.预测值的点估计2. 区间估计 当方程通过检验后，由已经求出的回归方程和给定的解释变量X0=（x01, x02, , x0k），可以求出此条件下的点预测值，输入X0 的值，则预测值 。为估计预测风险和给出置信水平，应继续做区间估计，也就是在一定的显著性水平下，求出置信区间，即求出一个正

15、实数，使得实测值y0以的概率落在区间 内，满足P = ，其中 ，1.2 多元线性回归预测模型1.预测值的点估计 当方程通过检1.3 非线性回归预测模型在许多实际问题中，不少经济变量之间的关系为非线性的，可以通过变量代换把本来应该用非线性回归处理的问题近似转化为线性回归问题，再进行分析预测。下表列举的是五种常见的非线性形式及线性变换的方式，这些非线性模型都可转化为一元或多元线性模型，利用前面介绍过的一元和多元线性回归模型的最小二乘法求出参数估计、模型的拟合优度和显著性检验及评价预测模型的预测精度等。1.3 非线性回归预测模型1.3 非线性回归预测模型五种常见的非线性模型及线性变换的方式 幂函数形式y= a xby=log(y)x=