多元数据的正态性检验

#多元数据的正态性检验摘要：本文对多元正态性检验的两种主要方法一一X2统计量的Q-Q图检验法和主成分检验法进行了讨论，介绍其基本原理、具体实施步骤，通过实例分析进行应用研究，并比较它们的优劣，发现主成分检验法的实用性和应用价值更强.关键词：多元正态性X2统计量Q-Q图检验法主成分检验法TheNormalityTestforMultivariateDataAbstract:Inthispaper,wediscusstwomainmethodsofmultiplenormaltests,Q-Qcharttestandprincipalcomponenttest,introducethebasicprincipleandthespecificimplementationsteps,researchthroughstudyingthecase,andcomparetheiradvantagesanddisadvantages.WefoundthattheprincipalcomponenttestisbetterthanQ-Qcharttestinpracticalityandappliedvalue.Keywords:Multivariatenormality;Chi-squarestatistic;Q-Qchartest;Principalcomponenttest引言正态分布在学习中是一种很重要的分布，在自然界中占据着很重要的位置，它能描述许多随机现象，从而充当一个真实的总体模型.尽管在学习中我们总是碰到很多问题的总体服从正态分布，然而,在一个实际问题中，总体一定是正态分布吗？一般的讲,所作统计推断的结论是否正确，取决于实际总体与正态总体接近的程度如何.因此，建立一些方法来检验多元观测数据与多元正态数据的差异是否显著是十分必要的.如今，一元数据的正态检验的理论已相当成熟，但对于多元数据的正态性检验问题还处在摸索前进的阶段，没有形成行之有效、有足够说服力的检验方法.本文将在第一节中介绍文中用到的一元正态性检验的两种基本方法：图方法和矩法；第二节中介绍X2统计量的Q-Q图检验法基本原理和检验步骤；第三节中介绍主成分正态检验法的基本原理和检验步骤；第四节中通过两个实例做应用分析；第五节中对这两种方法在应用中的优劣做比较分析.1一元正态性检验的方法鉴于一元数据正态性检验的多样性，本文不一一介绍，只介绍本文中用到的X2检验法和偏峰检验法.1.1图方法设x,xx是来自总体的X随机样本，检验H:X〜N（卩,62）•如果没有关12n0于样本的附加信息可以利用，首选推荐的是利用正态概率纸画图•它让人们立即看到观测的分布是否接近正态分布.

对于一张正态概率纸，它的横轴的刻度是均匀的，纵轴按标准正态分布的P分位数均匀刻度，标上相应的P值.正态概率纸上的坐标轴系统使正态分布的分布函数呈一条直线.利用正态概率纸检验一组观测值是否服从正态分布，可以按如下步骤进行：把n个观测值按非降次序排列成x<x^-<x.12n然后把数对(X,亠8)(k=1,2,…,n)点在正态概率纸上.如果所画的n个点kn+1/4明显地不成一条直线，则拒绝原假设.如果这些点散布在一条直线附近，则可以粗略地说，样本来自正态分布.这时，可以凭直觉配一条直线，使它离各点的偏差尽可能地小，其中在纵轴刻度为50%附近各点离直线的偏差要优先照顾，使其尽可能地小，并且使直线两边的点数大致相等.如果发现得到的点系统地偏离一条直线，在拒绝原假设后，可以考虑备择假设的类型•特别，如果几个较大的值明显地倾向于由其它值确定的直线的下方，作y=logX或y八&等变换可能使图形更符合一条直线.这种方法也就是人们常说的P-P图法或Q-Q图法.1.2矩法矩法，也称动差法、偏峰检验法，它是利用中心距的概念引入的两个量，正态分布的这两个量有着很好的特征，因此，常用这两个量进行正态性检验.总体X的偏度是刻画X分布的对称程度的量，记为(1.2.1)cE(X-EX)3(1.2.1)G_—3[E(X-EX2)]2G=0,X的分布对称；G>0，称为正偏；G<0，称为负偏.111总体X的峰度是衡量X的概率分布密度陡峭程度的量，记为(1.2.2)厂E(X-EX)4(1.2.2)G二[E(X-EX2)]2正态分布的偏度为0,峰度为3.一个分布如果G远离0或G远离3,则可认为它12与正态分布相差很大，为了检验样本x,xx是否来自正态总体，先计算偏度-x)4(工(-x)4(工(x-x)3)2ii=1(x—x)3和峰度的估计量g=「丄1V-3(厶(x-x)3)2ii=1当总体服从正态分布且样本容量n很大时，统计量g和g近似正态分布，且12有E(g)沁0，Var(g)〜24，如果以下不等式-2,：6<g<2〕6，―厶卑<g-3<^：'24，12nn1'nn2n只要有一个不成立，就认为总体不服从正态分布[41%2统计量的Q-Q图检验法2.1%2统计量的Q-Q图检验法的原理为了充分解释咒2统计量的Q-Q图检验法的基本原理，先引入分位数和经验分布函数的概念以及一个重要结论.定义2.1对0<p<1，称满足不等式P(X<x)>p，P(X>x)>1-p的x值为随机变量X的P阶分位数.如果X是连续型的，那么P阶分位数就是满足方程F(x)=p的x的值.如果X是离散型的，那么，P阶分位数存在唯一性的问题.因此采用以下定义更准确:设X的分布函数为F(x)，对0<p<1，定义x的P阶分位数为x=inf{x:F(x)>pp所以x=F-1(p)就是分布函数的反函数，且只存在唯一的P阶分位数，即pFG)的左侧分位数.分位数是随机变量的重要数字特征，在描述数据的分布时非常有用.定义2.2设G,x,…x)是总体X的一组样本观察值，将它们按大小顺序排12n列为x<x<…<x，x为任意实数，称函数(1)(2)(n)0,x<xF(x)=/,(1)x<x<x，(n)n(k)(k+1)1,x>x(n)为经验分布函数.经验分布函数的图像是一条阶梯曲线，若观察值不重复则阶梯的每一个跃度都是丄，若重复，则按1的倍数跳跃上升•对任意的实数x，F(x)的值等于样本nnn的观察值x,x,…,x中不超过x的频率，由频率与概率的关系，F(x)可以作为总12nn体X的分布函数F(x)的一个近似值，随n的增大，近似程度越好.结论2.1设X〜N(r,E),Z>0，则X为-1X〜X2(p,5)，其中§'工.p证明：因为0，由正定矩阵的分解可得X=CC'(C为非退化方阵)，令Y=C-1X，即X=CY，则Y〜N(C-1r,I)，Pp因X=CC'，所以Y〜N(C-屮,I)，且有ppXS-1X=YC空-1CY=YY〜X2(p,5),其中5/(C—1卩丿二卩'屮.下面介绍咒2统计量的Q-Q图检验法的原理，设X=(X,...;X)(a=1,…,n)为(a)alap来自p元总体X的随机样本，检验H:X〜N(卩,Z),H:X不服从N⑴工).0P1p由上面的结论1可知在h0成立时，(X-卩)rZ-1(X-卩)~X2(p)，所以将x到总体中心r的马氏距离D2(X,卩)=(X-Q工-i(X-Q记为D2，则有D2〜X2(p).以下构造的检验方法是检验量D2是否有D2~X2(P)成立.先由样品X计(a)TOC\o"1-5"\h\z算D2(a=1,…,n)，并对D2排序：D2<D2<...D2；取统计量D2的经验分布函数为aa(1)(2)(n)F(D2)=t-0.5=p，记H(D2|p)表示X2(p)的分布函数在D2的值，则在H下有n(t)nt(t)(t)0p〜H(D2|p)；由经验分布得到样本的p分位数D2=F-1(p)，同时设x2分布的pt(t)t(t)ntt分位数为X2，若假设H成立，应有：D2UX2.t0(t)t然后绘制点(D2,X2)的散点图，这些点应散布在一条过原点且斜率为1的直(t)t线上，如果存在明显的偏离，则可以拒绝原假设.这种检验法其实就是X2分布的Q-Q图检验法•如果不利用分位数，直接用概率散点(p,H(D2|p))绘图，就是X2分t(t)布的P-P图检验法.2.2X2统计量的Q-Q图检验法一般步骤为了方便应用，将上述思路的具体实施步骤归纳如下：(a)由n个p维样品X(a=1,…,n)计算样本均值X和样本协方差阵(a)(a)(2.2.1)s二丄X(X—XXx—X);(2.2.1)n-1(a)(a)a=1计算样品点X(t=1,2,…,n)到X的马氏距离：(t)D2=(X—X)S-1(X—X)(t=1,…,n)；t(t)(t)⑶对马氏距离D戚从小到大的次序排序:tD(1)<D(2)<._<D(n)计算p=05(t=1,2,…,n)以及X2，其中X2满足:tnttHC2|p)=p(或计算H\D2Ip)的值)；tt(/)以马氏距离为横坐标，咒2分位数为纵坐标作平面坐标系，用n个点(D2,咒2)绘(t)t制散布图，即得到X2分布的Q-Q图；或者用另n个点(p,H(d2|pJ*)绘制散布图，t(t)即得X2分布的P-P图；考察这n个点是否散布在一条通过原点，斜率为1的直线上，若是，接受数据来自p元正态总体的假设；否则拒绝正态性假设.主成分检验法3.1主成分检验法的基本原理目前，关于主成分的研究很多，但大多数集中在进行综合评价及回归分析，用来做检验的则几乎没有.主成分检验法是建立在主成分变量基础上的统计方法，基本思想是降维：将多元数据集转化为多个一元互相独立的数据集，通过检验一元数据集的正态性来判断原多元数据集的正态性.为充分解释这一思想，先引入主成分的定义.定义3.1.1设X=(X,X，…,X)'是p维随机向量，均值E(X)二卩，协方差阵12pD(X)=S，称Z=a'X为X的第i主成分(i=1,2.…・p)，如果：iia'a=1(i=1,2.…,p)；当i>1时，a工a=0(j=1,2.…,i—1)；ijVar(Z)=maxVar(a'X)•i•••a'a=1,a2a.=0(j=1,2.,i—1)若已知E的特征值为X>X>-->X>0，a,a，…,a为相应的单位正交特征向12p12p量，则X的第i主成分Z=a，X(i=1,2.….p)具体的证明过程参见文献[1].如果可以证明：z:…；Z是相互独立的，这时p元数据的正态性检验可1p化为P个相互独立的主成分的一元数据的正态性检验，这种检验方法称为主成分检验法.下面说明主成分的不相关性•设D(X)=Z，如果工是对角矩阵，即p维向量的分量互不相关，这时可以直接把p元正态性检验问题转化为p个一元正态性检验问题•但一般工不是对角矩阵，即分量间是相关的，利用主成分分析法，求得X的p个主成分Z，…，Z•下证Z，…，Z是不相关的.TOC\o"1-5"\h\z1p1p令Z=(Z,Z，…,Z)，由于Z，…，Z依次为X的第i主成分的充要条件是12p1pD(Z)=diag(X,X,X)•即有12pCov(z,z)=r1主j，又X三X三……三X>0，ij[XI=j12pi即说明任意两个不相同的主成分之间是不相关的，故Z,Z，…,Z不相关.12p文献［2］中给出了主成分数据处理的基本方法，并分析了方法的不足，提出了改进的方法•直接将标准化的数据代入Z=AX*T,则得到主成分得分.其中，pxnpxn系数矩阵A为对应特征向量组成的矩阵，X*t为标准化的数据集•从中我们看pxnpxn到，计算主成分得分实际上是将标准化后的原始数据投影到旋转后的坐标中.结论3.1.1若X〜N(卩，工)，则Z〜N(Ay,A工A)；反之，若Z服从多元正态分布，则X也服从多元正态分布.证明：由主成分的定义知，Z=A，X，其中，A=(a,a，…,a)且为正交矩阵•由12p于X〜N(y,工)，则E(Z)=E(AX)=AE(X)=Ay,D(Z)=D(A'X)=AD(X)A=A'工A,从而，由多元正态分布的线性性质，Z〜N(Ay,A'工A),反过来，由Z服从正态分布，同理可知X服从正态分布.结论3.1.2若Z,z，…,Z独立同正态分布，则Z服从多元正态分布.12p证明：此命题的结论可以直接从多元正态分布的定义得出.由主成分的理论特征知，主成分变量是新的互不相关的变量，因此，只要说明主成分变量Z,Z，…,Z分别服从一元正态分布，就可以说明Z服从多元正态分12p布，从而由结论3.1.1知X也服从多元正态分布.3.2主成分正态检验的一般步骤具体检验步骤如下：由n个p维样品X(a=1,…,n)计算样本均值X和样本协方差阵S，计算公式(a)同(2.2.1)式；利用坐标变换计算每个样本点的主成分得分，得到新的主成分得分集Z,Z，…，Z；12p⑶对每个乙(i=1,2,…,p)，求出其对应的偏度和峰度值；考察偏度是否趋近0,峰度是否趋近3•若是，则接受X来自于正态总体；若两个条件有一个不满足，则拒绝正态性假设.应用研究为了说明这两种方法具有很好的实用价值，并进行比较，本文给出两个实例研究.4.1实例1对20名健康成年女性的出汗(X1),钠的含量(X2)和钾的含量(X3)的数据

进行正态性检验•本例数据与文献［4］中第45页例1的数据一样，文献［4］中是对样本数据进行均值向量的假设检验，检验方法是基于样本数据来自于3元正态分布的假设，但文献［4］并没有对样本数据进行正态性检验，现本文分别用X2统计量的Q-Q图检验法和主成分检验法进行多元正态性检验.（1）X2统计量的Q-Q图检验法根据2.2节给出的一般步骤，结合数据集，首先利用SAS中主成分程序（程序同见附录3）计算出协方差阵s:X1X2X3X11000004173—5597X20417310000—2095--•5597—209510000表4T协方差阵然后利用Matlab编程计算马氏距离（程序见附录1），并按升序排列；同时利用SAS软件计算出对应的x2分位数（程序见附录2），结果见下表：序号马氏距离p分位数序号马氏距离p分位数10.0030.2158110.10962.501620.00610.472120.1232.790930.00640.6924130.14463.109840.01790.9018140.22383.467550.02961.1086150.22413.877560.03551.3174160.35714.361370.0611.5316170.4554.956680.08851.754180.49025.739490.08871.9875190.84396.9046100.09152.2354201.14479.3484表4-2马氏距离和p分位数最后以马氏距离为横坐标，以卡方分位数为纵坐标作散点图，见图4-1:图4-1X2统计量的Q-Q图从图中可以看出，这些点基本在一条直线的上下波动，偏离不是很大•因此,从直观上判断可以接受原多元数据集来自于多元正态分布的假设.（2）主成分检验法首先通过编程（程序见附录3）计算出主成分得分集，见表4-3：obsZ1Z2Z3obsZ1Z2Z31—2.35056—1.60948—0.6380911—0.628270.32780.1673421.28027—1.571510.6829312—1.409790.374680.6970830.29161—1.15274—0.4416913—0.545580.43448—0.12583

4-0.99597-0.99533-0.16326141.685290.48243-0.5693550.24255-0.76054-0.4243215-0.16380.59492-0.9863360.34761-0.480320.3077160.687090.595250.9434972.73671-0.456720.58714170.186840.856080.5504181.30752-0.447590.41891181.386780.98895-1.183319-0.052720.03561-0.6876319-0.904021.14607-0.1885110-2.800040.157190.6998620-0.301541.480770.35344表4-3主成分得分集然后对主成分得分集进行分析，用SAS中的UNIVARIATE命令和SAS中的分析家中的Q-Q图分别对Zl、Z2、Z3做正态性检验•我们先看偏峰检验的结果表4—4:变量偏度峰度均值标准差方差Z1-0.15099760.776310920.1237131.2590211.58513Z2-0.3508053-0.62672680.0847090.833050.69397Z3-0.421413-0.89060520.0335830.623830.38916表4-4偏峰度检验结果从表4-4中可以看出偏度是在0附近波动，但是峰度的波动很大，绝对值在0.7附近，结合2.2节中的结论可知，可以拒绝原数据集是来自3元正态分布的假设.我们再看图方法检验的结果，见图4-2:卜――■卜――■孑,<'：片图4-2QQ图（依次为Z1、Z2、Z3）从图中左上角给出的拟合方差以及均值可以看出，直线的拟合度非常好，由此可以判断Z1、Z2、Z3都服从一元正态分布，从而可以接受原数据集来自于3元正态分布的假设.从上面的分析我们看到一元正态检验的2检验法和Q-Q检验法得到了两种截然相反的结果，那哪个结果更可信呢？出现这样的情况也是正常的，最重要的原因是中心矩的结果很容易受到频数分布的影响•不同的分布可能计算出同样的中心矩，这样就造成检验误差增大.4.2实例2本例选取我国2006年各地区城市设施水平数据作正态性检验，包含6个指标，X1:城市用水普及率；X2:城市燃气普及率；X3:每万人拥有公共交通车辆；X4:人均城市道路面积；X5:人均公园绿地面积；X6:每万人拥有公共厕所•用1~31依次表示北京、天津、河北、山西、内蒙古、辽宁、吉林，黑龙江，上海，江苏，浙江，安徽，福建，江西，山东，河南，湖北，湖南，广东，广西，海南,重庆，四川，贵州，云南,西藏,陕西,甘肃，青海，宁夏，新疆全国31个省、直辖市、自治区的名称.

(1)咒2统计量的Q-Q图检验法参照3.1.1中的步骤说明，可以得出相关的结果如下:X1X2X3X4X5X6XI10.82120.3768-0.14790.1356-0.1812X20.821210.53320.0750.2839-0.0797X30.37680.533210.09230.23220.2216X4-0.14790.0750.092310.56650.0193X50.13560.28390.23220.566510.0371X6-0.1812-0.07970.22160.01930.03711表4-5相关阵obs卡方分位数马氏距离obs卡方分位数马氏距离11.0437330.0421175.6147290.191621.6135270.0569185.8910930.238132.0032440.0579196.1812120.255742.3289340.0659206.486020.275252.620030.0713216.8107940.357162.8893580.0725227.1578030.387673.1460930.0767237.5348350.522283.3933550.0774247.9485090.651793.6359720.0783258.4081440.762103.8756490.0849268.9326740.7744114.1136470.0889279.5443230.786124.3531610.09192810.291531.5253134.594260.09392911.262311.7016144.839940.09433012.680481.825155.090180.11273115.595162.0393165.3481210.1665表4-6马氏距离和X2分位数最终得到X2统计量的Q-Q图如下：DA-BDA-B口口弓I1522.5图4-3X2统计量的Q-Q图从图4-3中可以看出，大部分数据呈抛物线分布，因此，拒绝原数据集来自

于6元正态分布的假设.(2)主成分检验法同样地，参照4.1.2中的步骤得出的结果如下：citiesZ1Z2Z3Z4Z5Z624-2.05186-2.10895-0.178150.07102-0.387460.2819825-1.81218-0.9331-0.06106-1.00455-0.754370.1386426-1.625683.741322.27013-1.62679-0.26124-0.034528-1.33918-0.30283-0.98131-0.02720.23251.0418811-1.107290.44231-0.05868-0.797140.37661-0.430738-0.982110.087962.616461.210530.07019-0.139919-0.890950.22395-1.469170.20427-1.04632-0.5074416-0.88536-0.10507-0.193020.44094-0.301730.6120727-0.82205-1.28346-0.33327-0.624660.26040.124157-0.81962-0.374690.984260.72292-0.077-0.389024-0.79483-0.852330.463781.039920.493790.1013320-0.7629-0.14111-0.86564-0.22601-0.04011-0.2669122-0.72434-1.12470.10215-0.36347-0.07823-0.3905323-0.70682-0.31605-0.37032-0.09493-0.38889-0.191545-0.666071.034671.185321.70276-0.39431-0.1117213-0.53337-0.43944-0.63015-0.52333-0.30519-0.5578330-0.372591.62408-0.184650.331890.66170.6305718-0.14585-0.80235-0.38255-0.130570.183710.1840212-0.13232-0.18019-0.802740.008010.613350.2428414-0.01007-0.73393-0.768020.15566-0.178780.10139210.114321.80327-1.713390.00923-0.797220.03847100.456331.77173-0.520470.276850.37677-0.1906730.589850.102920.021830.721270.77028-0.1537260.60268-0.780830.5020.75057-0.14062-0.38502310.81752-0.069931.13096-0.398030.789660.14311170.835080.07841-0.4441-0.10520.145590.01334291.40432-0.414171.68992-1.10294-0.52070.2899622.07803-0.426210.33992-0.631651.58452-0.0194792.1885-0.99621-0.76545-0.489410.81465-0.58464152.830352.73515-1.818150.57662-0.214270.0657415.26848-1.260251.23356-0.0766-1.487270.34416表4-7主成分得分集变量偏度峰度方差标准差Z10.039881144.77090789143.4042211.97515Z20.7109616118731713.815686Z31.834257793.6994776213.9635083.7367778Z40.661437030.215325288.42852932.9031929Z51.296210182.147064572.40113661.5495601Z61.115613740.932670812.62474221.6201056表4-8偏峰检验结果从表4-7中可以看出，Z1比较符合正态分布的特征，但从后面的方差以及标准差（根据Q-Q图拟合直线与点之间的关系得到的，方差和标准差越小说明Q-Q图越接近于一条直线，也就说明该变量越服从正态分布）来看X3〜X6拟合度比较好•无论怎样，从偏峰度和Q-Q图都可得出，原多元数据集不服从正态性检验.这个结果说明我国各省、直辖市、自治区在上面描述的六个指标中不存在都强或都弱的情况，都是此强彼弱，这很好的映证了目前我国各省、直辖市、自治区实际情况.两种方法的比较从上面的原理介绍和应用分析可以看出，多元数据正态性检验的X2统计量的Q-Q图检验法和主成分检验法存在各自的优缺点.相对来说，主成分正态性检验法涉及到主成分的计算，较为麻烦，但容易在软件上实现，具有较强的实用性和应用价值.这也可以从主成分也能对一元变量进行检验可以看出来，但是需要注意的是一元检验的是新的主成分变量，并不是原始数据集的某一指标的一元检验.X2统计量的Q-Q图检验法具有结论简单明了的直观效果，但是它没有现成的命令可以套用，对于专业知识不够的人是难以得出结果的.从理论上讲，主成分检验法是优于X2统计量的Q-Q图检验法，这是因为相对来说一元数据的正态性检验理论已经相当成熟，在得出主成分变量后，就可以直接用相应的软件命令来实现，简单，但分析起来就相对麻烦些.结束语本文只是比较了多元数据正态性检验的两种常用方法的异同，对于其他分布的检验问题，由主成分的较好的特征，是否可以将主成分检验法推广到其他类型分布的检验上呢？本文受能力和时间限制没有研究.另外，主成分提出至今，通过大量的实践验证，发展形成了比较系统的体系.目前比较常见的有核主成分见文献［5］、灰（也称模糊）主成分见文献［6］、伪主成分见文献［7］、非线性主成分见文献［8］等分析方法，这些方法的提出弥补了主成分一般方法的不足.对于这些改进方法见文献［9］，是否也可将之应用到本文中的主成分检验法中，使主成分检验法的结论更为准确，也没有研究.本文的创新之处在于通过了两个实例来衡量两种检验方法的优劣，这样做的好处是避免了以偏概全，而且很好的利用软件将x2统计量的Q-Q图检验法的结果得出来了，并总结了两种检验方法的长处和短处•美中不足的是对于x2统计量的Q-Q图检验法没有编写出一个完整的程序直接得出Q-Q图•限于作者的学术水平，文中难免有错误和不足，欢迎批评指正.致谢本论文选题及写作都是在徐伟老师的亲切关怀和细心指导下完成的.他的严肃的科学态度,严谨的治学精神,精益求精的工作作风,深深地感染和激励着我,使我不仅接受了全新的思想观念,树立了宏伟的学术目标,领会了基本的思考方式,掌握了通用的研究方法,而且还明白了许多为人处事的道理,在此,我对徐老师表示深深的感谢.与此同时,我还要感谢教过我的所有的老师,没有他们谆谆的教导就不会有我今天论文的完成,谢谢了老师,您们辛苦了.参考文献高惠璇.应用多元统计分析[M].北京：北京大学出版社,2005A.H.Al-Ibrahim,NoriahM.Al-Kandari.Stabilityofprincipalcomponents[J]，ComputationalStatistics23(8),2008.9贾明辉，华志强•