数据分析与处理

1、数据分析与处理一个地区旱涝灾害受降水量的影响，同时对旱涝灾害的估计也是预备救援物资的依据。表1是某地区45年来的降水量的数据（单位：毫米），请依次完成以下问题：（1） 根据表1中的降雨量数据，给出第46年的降水量预测值，并说明结果的置信度。（2） 根据表1中的降雨量数据，建立数学模型将旱涝灾害分级，并说明第46年的灾害分级结果；（3） 建立数学模型说明在较长时间内，该地区准备抗洪和抗旱物资的策略。表1 某地区45年来降水量数据（单位：毫米）年份1月2月3月4月5月6月7月8月9月10月11月12月年总计1108255922301273411041274446261284220771699316

2、210648130140632111030324471144616020190165857746351090410394252243514705684322933892031514531591031114895516028012011936431418510724519672785224497575242601481532422951121530142311322863489826918117115306113155133214109311608724317551946058681026015491023662166711019911923104246601017111926160105792

3、473230154561002610341216541313614820338541610832713916211302477223126916632732107526109514358891196230379603271145611134415188640183441688173496157388981618284410011111087019865051704175265139127155761016814568160211581843012084138822005780233210496319674410616265205530480271382172720106786144206251

4、153131932624351208214153788412613343482910132877622285910110713675724173204132261054232890102143264141173322172311121524635050136194101138205456443794325105165220137250101186831242259130826191197298100269261819101201087127261812925319311711212174454446117828355486772041622714663481378929281981123119

5、386923347064297630423818556146275286421438320616013151341131123421980168611699101132322873127681434132012581381413031596333715301681913853211141514083518187334341952100744511229145546681118935847978025377138329511743181005361010741496216522223128101454110303758521041481951631732191227840142438159250

6、3630222581310160260513023967104881481803551341631191381112216294047180831971452171291173836783913064154114125171211193716111364245178242182722310214333189436291433109443988812712325513519011920158129281551442390631038092316371182546271020457943412032572231691530104021274【问题1】：n 插值与拟合（要求降雨量与年份有确定的联系，

7、满足吗？）n 回归分析方法（降雨量与年份有因果联系吗？）n 时间序列方法（可行吗？）n 灰色预测（对数据进行累加后，可能出现降雨量总合与时间的联系？）使用灰色步骤：【Step 1】：数据检验与预处理：级比检验和轻易变换【Step 2】：建立GM(1,1)模型并求解【Step 3】：模型检验，确定可行性【Step 4】：预测预报【问题2】：【Step 1】：建立旱涝灾害分类模型（聚类模型）；【Step 2】：求解模型，从而将它们分类；【Step 3】：建立判别分析模型，将预测结果归类。两种选择：第一选择：只对年降雨量分类：特干(1)、较干、正常、较涝、特涝（可以采用欧氏做聚类分析，分成五类）Y=

8、pdist(A(:,13);Z=linkage(Y,'ward');H,T=dendrogram(Z);c=cophenet(Z,Y);T=cluster(Z,'maxclust',5); 第二选择：对所有数据做聚类分析，分成合适的类（较复杂）。分类结果：年份一月二月三月四月五月六月七月八月九月十月十一月十二月年总量分类结果1108255922301273411041274446261284222077169931621064813014063211103053244711446160201901658577463510901410394252243514705

9、684322933892031451453159103111489551602801201193164314185107245196727852244975575242601481532422951121530142311322286348982691811711530611315513321410293116087243175519460586810260154931023662166711019911923104246601017511192616010579247323015456100261034512165413136148203385416108327139162131302477

10、223126916632732107526109511435889119623037960327114561113442151886401834416881734961573889851618284410011111087019865051704517526513912715576101681456816021158118430120841388220057802332104963519674410616265205530480271382172742010678614420625115313193262435120812141537884126133434829101328776522285

11、910110713675724173204132261054523289010214326414117332217231112151246350501361941011382054564437943525105165220137250101186831242259130822619119729810026926181910120108715272618129253193117112121744544461178128355486772041622714663481378952928198112311938692334706429765304238185561462752864214383206

12、160133151341131123421980168611699101132132287312768143413201258138141303159633337153016819138532111415140835181873434341952100744511229145546681118913584797802537713832951174318100553610107414962165222231281014541103053758521041481951631732191227840142423815925036302225813101602605130223967104881481

13、8035513416311913811122162934047180831971452171291173836783913062415411412517121119371611136424517824421827223102143331894362914331094143988812712325513519011920158129281551344239063103809231637118254627102054579434120325722316915301040212742【问题 3】：【Step 1】：建立平稳马尔可夫链模型根据状态转移频率建立转移矩阵，建立马尔可夫过程：【Step 2】

14、：求解该模型：计算特征向量。【Step 3】：解读数据并确定整体的物资准备策略：【Step 4】：利用问题1的模型连续计算几年的结果，并判别特殊状态。第一步：探索性数据分析（统计方法）1做出相关图形：散点图、直方图、频数表% 1. 绘制：散点图、直方图、盒子图、经验累加分布函数图plot(A(:,1),'*') %绘制散点图hist(A(:,1) %绘制直方图boxplot(A(:,1:12),1,'+',0)%盒子图cdfplot(A(:,1) %经验累加分布函数图经过观察无明显规律。2计算相关的统计参数：频数表、均值、方差、标准差、偏度、峰度、协方差矩阵等t

15、abulate(A(:,1) % 频数表M=mean(A); % 均值V=var(A); % 方差S=std(A); % 标准差y=skewness(A) % 偏度【解读】：偏度用于衡量样本均值的对称性，若偏度为负，则数据均值左侧的离散型比右侧的强；若偏度为正，则右侧的离散性比左侧的强。严格对称分布的偏度为0。【结果】：0.999341.02840.706010.567340.403540.67791.90551.39920.558982.32320.822741.13270.62368。全部右偏。k=kurtosis(A) % 峰度【解读】：峰度是分布形状的另一种度量，若比3（正态分布的峰度

16、）大得多，表示分布有沉重的尾巴，说明样本中有较多远离均值的数据。【结果】：3.67844.32383.12952.58773.00652.73286.59224.24582.443110.2692.81314.31742.8452；10月分布最分散。R,P=corrcoef(A(:,1:12) % 相关系数【解读】：R返回相关系数矩阵；P用于检验假设：没有相关性(0.05)，如果P(i,j)较小，小于0.05，则相关性R(i,j)显著。【结果】：相关系数表格10.14954-0.0702860.275930.359910.0876250.363590.10318-0.199650.11190.

17、175580.0507810.149541-0.13830.183860.239310.19440.085131-0.108860.089692-0.133870.1292-0.062304-0.070286-0.13831-0.31307-0.12404-0.024753-0.21859-0.00647740.093672-0.23614-0.00043908-0.321150.275930.18386-0.3130710.138120.053880.187490.06594-0.156890.14996-0.0268470.293840.359910.23931-0.124040.1381

18、210.0343330.20326-0.0601450.142320.014662-0.23735-0.0186650.0876250.1944-0.0247530.053880.03433310.045256-0.058771-0.14980.0018883-0.0619870.184250.363590.085131-0.218590.187490.203260.04525610.32935-0.063454-0.1313-0.0779310.21040.10318-0.10886-0.00647740.06594-0.060145-0.0587710.329351-0.037819-0.

19、0293-0.011184-0.24315-0.199650.0896920.093672-0.156890.14232-0.1498-0.063454-0.03781910.0599680.15171-0.145610.1119-0.13387-0.236140.149960.0146620.0018883-0.1313-0.02930.05996810.1106-0.183250.175580.1292-0.00043908-0.026847-0.23735-0.061987-0.077931-0.0111840.151710.11061-0.0261650.050781-0.062304

20、-0.321150.29384-0.0186650.184250.2104-0.24315-0.14561-0.18325-0.0261651相关性检验表10.326870.646380.0665490.0151660.567070.0140840.500010.188550.464280.248620.740430.3268710.364930.226660.113360.200680.57820.476560.557930.380630.397640.684320.646380.3649310.0362620.41690.871780.149130.966320.540510.118370

21、.997720.0314730.0665490.226660.03626210.365570.72520.217460.666930.303380.325490.861030.0500910.0151660.113360.41690.3655710.822840.180520.694720.351020.923840.116430.903140.567070.200680.871780.72520.8228410.767840.701360.326030.990180.685840.225670.0140840.57820.149130.217460.180520.7678410.027161

22、0.67880.389930.610870.165370.500010.476560.966320.666930.694720.701360.02716110.805180.848480.941870.107520.188550.557930.540510.303380.351020.326030.67880.8051810.695570.319820.339890.464280.380630.118370.325490.923840.990180.389930.848480.6955710.469520.228220.248620.397640.997720.861030.116430.68

23、5840.610870.941870.319820.4695210.864530.740430.684320.0314730.0500910.903140.225670.165370.107520.339890.228220.864531【解释】：cov(A(:,1:12) % 协方差阵tab,chi2,p=crosstab(A(:,11),A(:,12);% 列联表检验独立性【解读】：chi2为统计量，用于检验表中行和列的独立性。标量p为检验的显著性水平。当p接近于0时，可以拒绝零假设，认为行和列之间是不独立的。【结果】：p=0.4634。11月和12月降雨量是各自独立的。3统计推断：判定数

24、据服从怎样的分布，并作分布检验【变量分布形态的估计】：n 频数分布表和频率直方图n 频数表：tabulate(A(:,1) n 直方图：hist(A(:,1)n 带正态密度曲线的直方图：histfit(A(:,1)n 经验分布函数n cdfplot(A(:,1)n 五数概括与Box图n Boxplot(A(:,1)【变量分布参数的估计】：n 矩估计：原点矩、方差n 极大似然估计n 区间估计【变量分布形态的检验】：n 假设检验的步骤n 提出原假设H0和备择假设H1；n 选取一个适当的统计量T，并写出相应的检验准则；n 给定显著性水平，并求出H0的拒绝域W；n 由样本算出检验统计量T的实测值，判断

25、其是否落入拒绝域。n K.Pearson-Fisher检验n 拟合优度检验：关于变量X分布形态的某种先验知识或猜测是否为真的统计推断方法。u 用极大似然法估计分布参数：；u 对假设进行检验。【例】：对一月份的降雨量数据（数据表中第一列）做正态性检验。分析：这是一个正态拟合检验问题。检验的原假设为，其中参数未知。第一步：进行未知参数的极大似然估计mu,sigma=normfit(A(:,1);%输出：mu=35.7333;sigma=23.4370。于是原假设修正为：。第二步：样本数据分组f,med=hist(A(:,1);f_med=f',med'运行结果：6986544102

26、5.1515.4525.7536.0546.3556.6566.9577.2587.5597.85利用hist指令自动分为10组，并统计各组频数。由计算结果知道，前后三组数据的频数偏小，故将后三组数据进行合并，这样可得8组数据。这8组数据所属的数据组的区间边界值如下：a=;for k=1:7aa=(med(k)+med(k+1)/2;a=a,aa;enda=-inf,a,inf输出如下：-Inf 10.3000 20.6000 30.9000 41.2000 51.5000 61.8000 72.1000 Inf第三步：统计经验频数经验频数在第二步中已经给出，只需将最后三组合并即可。f=f(1:7),f(8)+f(9)+f(10);输出结果为：6 9 8 6 5 4 4 3第四步：计算理论频数pest=;for i=1:8 pp=normcdf(a(i+1),mu,sigma)-normcdf(a(i),mu,sigma); pest=pest,pp;endthef=45*pest输出结果：6.2514 5.4142 7.1582 7.8259 7.0750 5.2891 3.2695 2.7166。第五步：计算检验统计量的观测值chi2est=sum(f-thef).2./thef)输出结果： 4.0256。第六步：检验决策k=8;%分组数量r=2