数据分析建模方法课件

第七章数据分析建模方法(下)*在建立数学模型的过程中,经常需要建立变量之间的关系.*由于对研究对象的内部机理不甚了解,不能通过合理的假设,或根据物理定律、原理,经过机理分析法而得到.问题解决思路第七章数据分析建模方法(下)*在建立数学模型的过程1*选择适当的数学式对变量间的关系进行拟合.*通过对数据充分观察和分析,获得数据所含信息;*揭示变量间的内在联系;xoy*借助于由实验或测量得到的一批离散数据.*选择适当的数学式对变量间的关系进行拟合.*通过对数据充分观2两类变量关系

确定性关系确定的函数关系相关关系存在相依关系,但未达到相互确定的程度.两类数据已知规律(函数)的测试数据(在特定时间点或距离上的数据)呈现随机性的数据,可看成具有某种概率分布的随机样本值.两类变量关系确定性关系确定的函数关系相关关系存在相依3针对两种不同类型的数据,有不同的建立模型方法:1.

数据拟合法(适用于第一类数据)基本思想

已知函数y=f(x)的一组测试数据(xi,

yi)，(i=1，2，…，n)，寻求一个函数ψ(x)，使ψ(x)对上述测试数据的误差较小，即ψ(xi)≈yi，于是可以用ψ(x)来近似替代f(x).常用的数据拟合方法：一般插值法、最小二乘法、样条函数光顺法等.针对两种不同类型的数据,有不同的建立模型方法:1.4插值法的基本思想

寻找

f(x)的近似替代函数φ(x),在插值节点xi上满足

φ(xi)=yi，(i=1,2,…，n)，其余点用φ(x)近似替代f(x),称φ(x)为f(x)的插值函数.插值法的基本思想寻找f(x)的近似替代函数其余5最小二乘法基本思想寻找f(x)的近似替代函数φ(x),使2.随机分析方法对于随机数据进行拟合,可用统计学中的回归分析方法或时间序列分析方法.二．经验模型的建立

以上两种建模方法都是建立在对数据进行充分分析的基础上.最小二乘法基本思想寻找f(x)的近似替代2.6

寻找或选择适当的函数拟合变量之间的关系(函数关系或回归关系)是重要的环节.一般步骤1）绘制数据散布图；

2）分析数据散布图；

3）选择函数关系形式.

1)

通过分析数据散布图可以获得对变量间关系的感性认识,形成初步的看法,以便于对问题做进一步的分析.见p156寻找或选择适当的函数拟合变量之间的关系一般步骤1）绘7氮施肥量N

－土豆产量数据散布图氮施肥量N－土豆产量数据散布图8磷施肥量

－土豆产量数据散布图磷施肥量－土豆产量数据散布图92）分析数据散布图；

对数据散布图进行分析,可以分析出变量的关系是：1）线性的还是非线性的？2）有无周期性？3）呈现何种变化趋势？变化率如何？…，等等有用的初步结论.2）分析数据散布图；对数据散布图进行分析,可以分析出10例1建立一个简洁的函数关系式来描述某个地区人的身高和体重的对应关系,数据见表7.4(p156).曲线特征是体重W随身高H的增长而单调增长，但可以观察到是非线性增长.身高－体重数据散布图例1建立一个简洁的函数关系式来描述曲线特征11练习试分析以下问题1.氮施肥量N、磷施肥量P关于土豆产量的数据散布图(P153例7.1.1).2.海浪潮高度x

随时间t

的数据散布图.练习试分析以下问题1.氮施肥量N、磷施肥量P关于123）选择函数关系形式

1.形式尽可能简洁,尽可能线性化；原则2.依据实际问题的精度要求,合乎实际规律.

续例7.2.1

选择幂函数W=,描述身高体重关系.优点

此函数可以线性化.两边取对数,有3）选择函数关系形式1.形式尽可能简洁,尽可能线性化；13

变换为线性函数

例7.2.2

可选二次函数

注：其中b0=y(0)=15.18.

描述氮肥施肥量与土豆产量间的变量关系.关于磷肥施肥量和土豆产量的变量关系可选择威布尔模型：变换为线性函数例7.2.2可选二次函数注：其中14合理性?3.

y是单调升函数.

也可以选择S

函数：

合理性?3.y是单调升函数.也可以选择S函数：15S函数也满足：

3.y是单调升函数；

哪个模型更好？分析S模型所含参数更少,另外若令可得线性模型S函数也满足：3.y是单调升函数；哪个模型更好？16

重要定理(维尔斯脱拉斯)若函数f(x)在有限闭区间上连续,则存在一个多项式序列{Pn(x)}在有限闭区间[a,b]上一致收敛于f(x).称f(x)在[a,b]上可由多项式函数逼近.

例6.2.3估计供水塔的水流量试用以下数据估计任意时刻(包括水泵正在输水的时间内)从水塔流出的流量f(t),并估计一天的总用水量.重要定理(维尔斯脱拉斯)若函数f(x)在有限闭17时间(秒)水位(0.01英尺)时间(秒)水位(英尺)03175466363350331631104995332606635305453936316710619299457254308713937294760574301217921289264554292721240285068535284225223279571854276728543275275021269732284269779254水泵开动35932水泵开动82649水泵开动39332水泵开动859683475394353550899533397433183445923703340时间(秒)水位(0.01英尺)时间(秒)18某小镇某天水塔水位散布图

某小镇某天水塔水位散布图19思考为什么考虑用多项式函数？有什么优点？假设水位高度（或水塔的水容量）是连续变化的.可以选择n次多项式Pn(x)来近似描述水位随时间的变化规律.问题归结为选择足够大的n及估计各个系数值.思考为什么考虑用多项式函数？有什么优点？假设水位20参见电子科技大学《概率统计》p228“非线性交调的频率设计”问题.参见电子科技大学《概率统计》p228“非线性交调的频率设计21第七章数据分析建模方法(下)*在建立数学模型的过程中,经常需要建立变量之间的关系.*由于对研究对象的内部机理不甚了解,不能通过合理的假设,或根据物理定律、原理,经过机理分析法而得到.问题解决思路第七章数据分析建模方法(下)*在建立数学模型的过程22*选择适当的数学式对变量间的关系进行拟合.*通过对数据充分观察和分析,获得数据所含信息;*揭示变量间的内在联系;xoy*借助于由实验或测量得到的一批离散数据.*选择适当的数学式对变量间的关系进行拟合.*通过对数据充分观23两类变量关系

确定性关系确定的函数关系相关关系存在相依关系,但未达到相互确定的程度.两类数据已知规律(函数)的测试数据(在特定时间点或距离上的数据)呈现随机性的数据,可看成具有某种概率分布的随机样本值.两类变量关系确定性关系确定的函数关系相关关系存在相依24针对两种不同类型的数据,有不同的建立模型方法:1.

数据拟合法(适用于第一类数据)基本思想

已知函数y=f(x)的一组测试数据(xi,

yi)，(i=1，2，…，n)，寻求一个函数ψ(x)，使ψ(x)对上述测试数据的误差较小，即ψ(xi)≈yi，于是可以用ψ(x)来近似替代f(x).常用的数据拟合方法：一般插值法、最小二乘法、样条函数光顺法等.针对两种不同类型的数据,有不同的建立模型方法:1.25插值法的基本思想

寻找

f(x)的近似替代函数φ(x),在插值节点xi上满足

φ(xi)=yi，(i=1,2,…，n)，其余点用φ(x)近似替代f(x),称φ(x)为f(x)的插值函数.插值法的基本思想寻找f(x)的近似替代函数其余26最小二乘法基本思想寻找f(x)的近似替代函数φ(x),使2.随机分析方法对于随机数据进行拟合,可用统计学中的回归分析方法或时间序列分析方法.二．经验模型的建立

以上两种建模方法都是建立在对数据进行充分分析的基础上.最小二乘法基本思想寻找f(x)的近似替代2.27

寻找或选择适当的函数拟合变量之间的关系(函数关系或回归关系)是重要的环节.一般步骤1）绘制数据散布图；

2）分析数据散布图；

3）选择函数关系形式.

1)

通过分析数据散布图可以获得对变量间关系的感性认识,形成初步的看法,以便于对问题做进一步的分析.见p156寻找或选择适当的函数拟合变量之间的关系一般步骤1）绘28氮施肥量N

－土豆产量数据散布图氮施肥量N－土豆产量数据散布图29磷施肥量

－土豆产量数据散布图磷施肥量－土豆产量数据散布图302）分析数据散布图；

对数据散布图进行分析,可以分析出变量的关系是：1）线性的还是非线性的？2）有无周期性？3）呈现何种变化趋势？变化率如何？…，等等有用的初步结论.2）分析数据散布图；对数据散布图进行分析,可以分析出31例1建立一个简洁的函数关系式来描述某个地区人的身高和体重的对应关系,数据见表7.4(p156).曲线特征是体重W随身高H的增长而单调增长，但可以观察到是非线性增长.身高－体重数据散布图例1建立一个简洁的函数关系式来描述曲线特征32练习试分析以下问题1.氮施肥量N、磷施肥量P关于土豆产量的数据散布图(P153例7.1.1).2.海浪潮高度x

随时间t

的数据散布图.练习试分析以下问题1.氮施肥量N、磷施肥量P关于333）选择函数关系形式

1.形式尽可能简洁,尽可能线性化；原则2.依据实际问题的精度要求,合乎实际规律.

续例7.2.1

选择幂函数W=,描述身高体重关系.优点

此函数可以线性化.两边取对数,有3）选择函数关系形式1.形式尽可能简洁,尽可能线性化；34

变换为线性函数

例7.2.2

可选二次函数

注：其中b0=y(0)=15.18.

描述氮肥施肥量与土豆产量间的变量关系.关于磷肥施肥量和土豆产量的变量关系可选择威布尔模型：变换为线性函数例7.2.2可选二次函数注：其中35合理性?3.

y是单调升函数.

也可以选择S

函数：

合理性?3.y是单调升函数.也可以选择S函数：36S函数也满足：

3.y是单调升函数；

哪个模型更好？分析S模型所含参数更少,另外若令可得线性模型S函数也满足：3.y是单调升函数；哪个模型更好？37

重要定理(维尔斯脱拉斯)若函数f(x)在有限闭区间上连续,则存在一个多项式序列{Pn(x)}在有限闭区间[a,b]上一致收敛于f(x).称f(x)在[a,b]上可由多项式函数逼近.

例6.2.3估计供水塔的水流量试用以下数据估计任意时刻(包括水泵正在输水的时间内)从水塔流出的流量f(t),并估计一天的总用水量.重要定理(维尔斯脱拉斯)若函数f(x)在有限闭38时间(秒)水位(0.01英尺)时间(秒)水位(英尺)031754663633503316311049953326066353054539363167106192994572543087139372947605743012179212892645542927212402850