数模竞赛辅导专题之多元统计模型

1、 多元统计模型数模竞赛辅导专题科技大学数学与统计学院 武新乾（2010-07-23）一、前言24年前（1986年），美国出现了大学生数学建模竞赛。随着改革开放的进程，数模竞赛逐渐传入我国。1992年，开始国第一届大学生数学建模比赛。数模竞赛一经传入，便受到了全国高校的普遍关注，引起了大学生的广泛兴趣。特别是近年来，虽然试题难度不断增大，但是，参赛的学生规模空前膨胀，获奖的组队也日益增加，论文质量不断提高。综观18年的竞赛试题，问题广泛，解决方案多种多样，其中基于统计分析的问题屡见不鲜。比如：1992年A题（简单记为1992A，下同）“施肥方案对作物、蔬菜的影响”，采用多元二次回归、全回归、逐步

2、回归和二次响应面回归；1993A“非线性交调的频率设计”，采用最小二乘方法（简单记为LS）；1998A“资产投资收益与风险模型”和2000A“DNA序列的分类”，都采用多元分析方法；2001A“血管管道的三维重建”和“血管切片的三维重建”，分别采用LS方法和非线性拟合；2001B“公交车调度的规划数学模型”，采用聚类分析、平滑方法和随机过程的有关知识；2003A“SARS传播的数学原理与预测与控制”和“SARS传播的研究”，均考虑了时间序列的应用；2003A“SARS传播预测的数学模型”，采用非线性拟合，建立了指数模型；2004A“MS网点的合理布局”采用了聚类分析，“基于利润最大化的实运商业

3、网点分布微观经济模型”采用多元统计分析方法，另外，“临时超市网点的规划模型研究”考虑了经验分布的应用；2004B“电力市场的输电阻塞优化管理（指导教师：肖华勇）”和“电力市场输电阻塞管理模型”，均使用了多元线性回归；2005A“长江水质的评价和预测”、“长江水质的评价预测模型”（二元线性回归预测）、“基于回归分析的长江水质预测与控制”，均考虑了回归分析，此外，“长江水质评价和预测的研究”、“水质的评价和预测模型”，均考虑了时间序列分析方法和多元线性回归模型；2005B“DVD在线租赁系统的优化设计”应用了抽样统计和随机服务模型，“DVD在线租赁问题”和“DVD租赁优化方案（指导教师：浩）”考虑

4、了二项分布和随机模拟；2005B“DVD在线租赁问题研究”和2005C“雨量预报方法的评价模型”考虑了均值的应用；2006B“艾滋病疗法评价与疗效预测模型”使用了二次曲线和多元方差分析，“艾滋病疗法评价与疗效的预测模型”使用了逐步回归方法，“艾滋病疗法的评价与疗效的预测模型”应用了假设检验和方差分析，“艾滋病疗法的评价与疗效的预测”使用了线性拟合、二次和三次曲线拟合与非线性回归，“基于数据统计分析的艾滋病疗效评价方法”采用了F-检验和二次多项式回归；2007A“中国人口区域结构向量模型”采用了倒数曲线模型拟合，“基于Leslie模型的中国人口预测与蒙特卡罗仿真（指导教师：梅长林）”应用了概率方

5、法；2008A“数码相机定位”应用了多元线性回归分析；2008B“高等教育学费标准探讨（华南农业大学，编号1910）”应用了因子分析、主成分分析和聚类分析，“高等教育学费标准的探讨（华南农业大学，编号1920）”采用了多元回归分析、数据挖掘和模拟退火算法，“关于高等教育学费标准的评价与建议（编号cumcm0849）”和“高校学费合理性研究（编号cumcm0860）”分别考虑了回归分析和曲线拟合。由是可知，多元统计分析是常见的解决数模竞赛的主要工具之一，务必给以充分的重视和加强训练指导。二、回归分析1. 一元线性回归经典的一元线性回归模型为， （1）其中为观察值，为独立同分布（i.i.d.）随机

6、误差序列，并且。易知，参数和的最小二乘估计（LSE）为 ， （2）其中，。于是，所得线性回归方程为。 （3）在应用回归方程（3）进行拟合、预测和控制之前，必须进行检验问题。 （4）常用统计量为， （5）其中为回归平方和，为残差平方和。当原假设成立时，。 （6）对于给定的显著性水平，由，查表确定临界值。当时，拒绝原假设，说明与之间存在线性关系，回归方程有意义。否则，回归方程无意义，这时有几种可能性： 确实对无任何影响； 对有影响，但不是线性关系； 除以外，还有另外的因素对有影响，这时需要进一步研究。变量与之间的线性关系的判断，除了上述方差分析法以外，还可以利用相关系数检验法。样本相关系数， （7

7、）它是总体相关系数的估计量。具有一个特性，它只依赖于样本容量和总体相关系数。当原假设成立时，统计量。 （8）这说明也可以利用检验法对原假设进行检验。诚然，在使用统计软件进行假设检验时，往往会输出值，也可以直接利用进行检验判断，这里，为统计量的样本值。当时，拒绝原假设，认为对的线性影响是显著的，否则，认为对的线性影响是不显著的。只有当拒绝原假设，即认为对的线性影响是显著时，才能利用线性回归方程（3）进行预测和控制。此时，个体与集体平均的点预测为。 （9）个体的区间预测（置信水平为）为， （10）或者为 ， （11）其中为预报半径，。集体平均的区间预测（置信水平为）为， （12）或者为 ， （13

8、）其中。在实际应用中，为了方便起见，当取值在附近并且样本容量比较大时，通常使用， （14）或者 （15）来进行预测和控制。比如，要控制在中，只需通过 （16）或者 （17）分别求出和，从而确定变量值的控制围。2. 多元线性回归经典的多元线性回归模型为， （18）其中为观察数据，为独立同分布（i.i.d.）随机误差序列，并且。易知，参数的最小二乘估计（LSE）为， （19）其中。于是，所得线性回归方程为。 （20）方程的显著性检验不全为。 （21）常用统计量为， （22）其中为回归平方和，为残差平方和。当原假设成立时，。 （23）对于给定的显著性水平，由，查表确定临界值。当时，拒绝原假设，即在显

9、著性水平下，变量对的线性影响显著，回归方程有意义。否则，回归方程无意义，此时有如下几种可能性： 确实对无影响； 对有影响，但是非线性关系； 除以外，还有另外的因素对有影响，这时需要进一步研究。只有通过方程的显著性检验，才能进一步对（偏）回归系数进行显著性检验。检验问题。 （24）检验统计量为， （25）或者， （26）其中，为的第个对角元素，而,是中心化的数据矩阵，即。在原假设成立的条件下，。 （27）当或者时，拒绝原假设，表明变量对的作用是显著的（在回归方程中是显著的）；否则，接受原假设，说明对的作用是不显著的，可以将其从回归方程中剔除。只有当回归方程的显著性检验和回归系数的显著性检验均通过

10、以后，才可以利用回归方程（20）进行预测和控制。给定一组变量值，对应的和的点预报为。 （28）的预报区间（区间估计）为 ， （29）其中为预报半径，。当取值在附近并且样本容量充分大时，通常使用近似预报区间，即当时，预报区间为； （30）当时，预报区间为。 （31）的预报区间（区间估计）为 ， （32）其中。在实际问题中，常希望通过控制个变量中的某一个（或者少数几个）来满足对输出 的要求，这就是常说的控制问题。比如，如何控制自变量的取值，使得因变量满足。当时，解不等式 （33）解此不等式（在有解的情况下），即得自变量的控制围。3. 非线性回归常见的非线性回归模型分为两种类型。第一类：形式上是非线

11、性的，但是，经过变换以后可以转化为线性模型，称为第一类非线性回归。第二类：本质上是非线性的，称为第二类非线性回归。第一类非线性回归，又称为可化为线性模型的回归或者为化曲线为直的回归。常见的有：双曲线型 ；指数函数型 或者 ；幂函数型 ；对数函数型 ；S型 ；。第二类非线性回归模型的一般形式为， （34）其中为可控制变量，为未知待估参数，为一随机变量，为元非线性函数。此处，仅介绍一种常用的估计方法非线性最小二乘法。设进行了次随机试验，得到观察值为，即。 （35）通常假定为独立同分布（i.i.d.）随机误差序列，并且为白噪声过程，即。令， （36）使得达到最小值的称为参数的最小二乘估计。称方程 （

12、37）为非线性回归方程；作为的估计值，称为预测值（拟合值）。下面介绍求解的一种迭代方法高斯-牛顿法。具体步骤如下： 给定初始值； 计算矩阵； 计算迭代值， ， （38）其中。 以代替作为下一次迭代的初始值，重复上述步骤，直到与或者与之差的绝对值小于预先给定的精度为止。将最后所得的作为参数的最终估计值。 在求出之后，可得非线性回归方程（37），然后，可类似于线性回归方程进行预测和控制。三、判别分析、聚类分析、主成分分析与因子分析 由于这部分容庞杂繁多，况且教学时间有限，所以，该节讲义暂时略去这部分容的知识梳理与讲解。虽然如此，但是，在下面的应用分析中还是选择了一个实例（例3）加以分析说明，这是因

13、为该部分容在历年的数学建模竞赛中时有出现和应用，不能掉以轻心。四、应用分析例1 （1992年A题 施肥效果分析）具体问题参见题目“1992年A题 施肥效果分析.pdf”。分析：该题是中国大学生首届数学模型竞赛试题，也是美国1992年数学模型竞赛A题。在上述问题中，N, P, K的施用量是三个回归变量，土豆和生菜的产量是因变量，利用所给数据建立产量与N, P, K的施用量之间的函数关系，然后通过这个函数关系去分析合理的施肥效果等，这就是回归方法建模。先看钾肥K的施用量与生菜产量W之间的关系。由所给数据描出经验曲线，并结合农学原理知，钾肥的施用量对生菜产量的增加表现为直线形式，故可用一元线性回归。

14、所建立的钾肥对生菜的效应方程（回归方程）为 。 （39）由于，所以，效应方程（回归方程）（39）有意义。另外，由所给数据描出的经验曲线，并结合英国科学家博伊德的理论可知，磷肥P的施用量W的增加表现为分段直线形式，运用一元线性回归，可得磷肥对土豆的效应方程为 。 （40）磷肥对生菜的效应方程为 。 （41） 考查氮肥N的施用量与土豆和生菜产量W之间的关系。由所给数据描出的经验曲线，结合Nicklas和Miller的理论可知，氮肥的施用量对土豆和生菜产量的增加可用下述描述： 。 （42）令，则上述模型（42）转化为二元线性回归模型。 （43）经过计算，氮肥对土豆的效应方程为 。 （44）由于，所以

15、，效应方程（回归方程）（44）有意义。类似地，可求得氮肥对生菜的效应方程为 。 （45）同时，可以检验上述回归方程（45）有意义。注意：（44）和（45）式中的表示氮肥N的施用量。再考察钾肥K的施用量与土豆产量W之间的关系。由所给的数据绘出经验曲线，结合米采利希学说，并考虑到土壤本身的天然肥力，钾肥的施用量对土豆产量的增加可用下述模型来描述 ， （46）其中为未知参数，为零均值的随机变量。不妨采用高斯-牛顿法确定参数，这里样本容量，。采用高斯-牛顿法，求得，从而，得到钾肥对土豆的效应方程为 。 （47）注：其它解题方案可以参考“施肥方案对作物_蔬菜的影响.pdf”。例2 （2004年B题）具体问题和分析参见“电力市场的输电阻塞优化管理.pdf”和“电力市场输电阻塞管理模型2004年甲组高教杯获得者论文.pdf”。注：选择本题主要介绍多元线性回归在解决实际问题中的应用。例3 （2008题B题）具体问题参见“高等教育学费标准探讨B2008.doc”，具体分析参见“高等教育学费标准探讨1910.pdf”。注：选择本题主要是想介绍多元统计分析中因子分析、主成分分析、聚类分析等基本方法在实际问题中的应用。五、参考习题