第六判别分析演示文稿

第六判别分析演示文稿目前一页\总数一百一十五页\编于九点（优选）第六判别分析目前二页\总数一百一十五页\编于九点判断该样品应属于这g个总体中的哪一个。

目前三页\总数一百一十五页\编于九点§6.1距离判别

如何定义样本空间中两点之间的距离?如果距离定义不合适，可能会出现不该发生的误判错误。距离判别是通过定义样品指标X的观测值x(p维）到各总体的距离，以其大小判定样品属于哪个总体。目前四页\总数一百一十五页\编于九点今有一样品，值在交点A处，问A距哪个总体近？

目前五页\总数一百一十五页\编于九点另一缺陷，距离与单位有关。

目前六页\总数一百一十五页\编于九点想法：

用协方差阵把“距离”标准化以后化为无纲的量作为两点间距离。X，Y两点之间的距离为d（X，Y）

X与总体G的距离为d(X,G)目前七页\总数一百一十五页\编于九点(1)两总体的距离判别

目前八页\总数一百一十五页\编于九点目前九页\总数一百一十五页\编于九点目前十页\总数一百一十五页\编于九点判别函数W（x）是X的二次函数.

目前十一页\总数一百一十五页\编于九点（2）多总体的距离判别

目前十二页\总数一百一十五页\编于九点目前十三页\总数一百一十五页\编于九点目前十四页\总数一百一十五页\编于九点目前十五页\总数一百一十五页\编于九点（3）判别准则的评价

判别准则的优劣，可以用它的误判概率来衡量。

只有当总体的分布完全已知时，才有可能计算误判概率。目前十六页\总数一百一十五页\编于九点在实际应用中，我们可利用的资料只是来自各总体的训练样本，而总体的分布是未知的，下面以两个总体为例，介绍两种以训练样本为基础的评价准则：（i）貌似误判率方法

——利用回判的误判率来衡量判别准则的效果：目前十七页\总数一百一十五页\编于九点目前十八页\总数一百一十五页\编于九点(ii)刀切法或称交叉确认法（Cross-Validation）基本思想：

目前十九页\总数一百一十五页\编于九点注意：1.误判率依赖于所考虑的各总体之间的分离程度。各总体之间离得越远，就越能建立有效的判别准则。

2.协方差阵是否相等需要经过检验。可以证明它是实际误判概率的渐近无偏估计。

目前二十页\总数一百一十五页\编于九点§6.2.Bayes判别

目前二十一页\总数一百一十五页\编于九点

首先，在全年的365天中有感地震是较少的,破坏性地震更是罕见。如果考虑到这个因素，在没有特大的异常时，就应该预报“无震”，这样比较稳妥，这是由于历史上的先验知识告诉我们：“有震”与“无震”这两个总体本身各自出现的概率相差悬殊，在难以判断时，应优先判为出现的概率较大的那个总体。其次，错判有两种：“有震”报为“无震”是“漏报”，“无震”报为“有震”是“虚报”。二者皆可以造成损失，但损失却会很不相同。“漏报”会使人民群众在毫无准备的情况下，面临巨大灾难，会造成大量伤亡，而“虚报”会造成生产停顿，人心不安，有时的损失也不亚于“漏报”造成的损失。目前二十二页\总数一百一十五页\编于九点例2．将一个正品电子元件判为次品，所损失的只是生产厂家（若这种元件的成本不是很昂贵的话），但若将次品判为正品而使用到更大的系统中，则有可能造成整个系统的损坏（这种损失往往是很大的）。例3．将实际生病的人判为无病，有可能导致病情加重甚至死亡而造成损失，反之将无病者诊断为有病，可给他们造成不必要的医疗费用支出和精神负担。

目前二十三页\总数一百一十五页\编于九点

Bayes判别的基本思想

目前二十四页\总数一百一十五页\编于九点判定为实际为目前二十五页\总数一百一十五页\编于九点目前二十六页\总数一百一十五页\编于九点在判别准则D之下总期望损失为

目前二十七页\总数一百一十五页\编于九点(1)两总体的Bayes判别

总期望损失为

目前二十八页\总数一百一十五页\编于九点Bayes判别准则：

对给定的样品x，计算两总体的概率密度函数在x处的值。

目前二十九页\总数一百一十五页\编于九点目前三十页\总数一百一十五页\编于九点目前三十一页\总数一百一十五页\编于九点目前三十二页\总数一百一十五页\编于九点目前三十三页\总数一百一十五页\编于九点目前三十四页\总数一百一十五页\编于九点当时SAS程序为：datak62;inputcategory$x1x2@@;cards;h24.8-2h24.1-2.4h26.6-3h23.5-1.9h25.5-2.1h27.4-3.1w22.1-0.7w21.6-1.4w22-0.8w22.8-1.6w22.7-1.5w21.5-1w22.1-1.2w21.4-1.3;proc

discrim

data=k62pool=yeswcovpcovcrosslisterr;priorsproportional;

classcategory;varx1x2;

run;

目前三十五页\总数一百一十五页\编于九点

TheDISCRIMProcedure

Observations14DFTotal13Variables2DFWithinClasses12Classes2DFBetweenClasses1

ClassLevelInformation

VariablePriorcategoryNameFrequencyWeightProportionProbabilityhh66.00000.4285710.428571ww88.00000.5714290.571429输出结果为：目前三十六页\总数一百一十五页\编于九点

TheDISCRIMProcedureWithin-ClassCovarianceMatrices

category=h,DF=5

VariableLabelx1x2x1x12.213666667-0.657666667x2x2-0.6576666670.269666667

category=w,DF=7

VariableLabelx1x2x1x10.2735714286-.0632142857x2x2-.06321428570.1069642857目前三十七页\总数一百一十五页\编于九点

TheDISCRIMProcedure

PooledWithin-ClassCovarianceMatrix,DF=12

VariableLabelx1x2x1x11.081944444-0.310902778x2x2-0.3109027780.174756944

PooledCovarianceMatrixInformation

NaturalLogoftheCovarianceDeterminantoftheMatrixRankCovarianceMatrix2-2.38145目前三十八页\总数一百一十五页\编于九点

TheDISCRIMProcedure

PairwiseGeneralizedSquaredDistancesBetweenGroups

2__-1__D(i|j)=(X-X)'COV(X-X)-2lnPRIORijijj

GeneralizedSquaredDistancetocategory

Fromcategoryhwh1.6946012.07320

w12.648571.11923目前三十九页\总数一百一十五页\编于九点

TheDISCRIMProcedure

LinearDiscriminantFunction

_-1_-1_Constant=-.5X'COVX+lnPRIORCoefficientVector=COVXjjjj

LinearDiscriminantFunctionforcategory

VariableLabelhwConstant-435.20128-379.48048

x1x139.7429537.65361x2x256.8762960.19281目前四十页\总数一百一十五页\编于九点

TheDISCRIMProcedureClassificationSummaryforCalibrationData:WY2.K322ResubstitutionSummaryusingLinearDiscriminantFunction

GeneralizedSquaredDistanceFunction

2_-1_D(X)=(X-X)'COV(X-X)-2lnPRIORjjjjPosteriorProbabilityofMembershipinEachcategory

22Pr(j|X)=exp(-.5D(X))/SUMexp(-.5D(X))jkkNumberofObservationsandPercentClassifiedintocategoryFromcategoryhwTotalh51683.3316.67100.00w0880.00100.00100.00Total591435.7164.29100.00目前四十一页\总数一百一十五页\编于九点

TheDISCRIMProcedureClassificationSummaryforCalibrationData:WY2.K322ResubstitutionSummaryusingLinearDiscriminantFunction

NumberofObservationsandPercentClassifiedintocategory

FromcategoryhwTotalPriors0.42860.5714

ErrorCountEstimatesforcategory

hwTotalRate0.16670.00000.0714Priors0.42860.5714目前四十二页\总数一百一十五页\编于九点

TheDISCRIMProcedureClassificationResultsforCalibrationData:WY2.K322Cross-validationResultsusingLinearDiscriminantFunction

GeneralizedSquaredDistanceFunction

2_-1_D(X)=(X-X)'COV(X-X)j(X)j(X)(X)j

PosteriorProbabilityofMembershipinEachcategory

22Pr(j|X)=exp(-.5D(X))/SUMexp(-.5D(X))jkk目前四十三页\总数一百一十五页\编于九点

TheDISCRIMProcedureClassificationResultsforCalibrationData:WY2.K322Cross-validationResultsusingLinearDiscriminantFunction

PosteriorProbabilityofMembershipincategory

ClassifiedFromintoObscategorycategoryhw4hw*0.19500.8050

*Misclassifiedobservation目前四十四页\总数一百一十五页\编于九点

TheDISCRIMProcedureClassificationSummaryforCalibrationData:WY2.K322Cross-validationSummaryusingLinearDiscriminantFunctionGeneralizedSquaredDistanceFunction

2_-1_D(X)=(X-X)'COV(X-X)-2lnPRIORj(X)j(X)(X)jjPosteriorProbabilityofMembershipinEachcategory

22Pr(j|X)=exp(-.5D(X))/SUMexp(-.5D(X))jkkNumberofObservationsandPercentClassifiedintocategoryFromcategoryhwTotalh51683.3316.67100.00w0880.00100.00100.00Total591435.7164.29100.00

目前四十五页\总数一百一十五页\编于九点

TheDISCRIMProcedureClassificationSummaryforCalibrationData:WY2.K322Cross-validationSummaryusingLinearDiscriminantFunction

NumberofObservationsandPercentClassifiedintocategory

FromcategoryhwTotalPriors0.42860.5714

ErrorCountEstimatesforcategory

hwTotalRate0.16670.00000.0714Priors0.42860.5714目前四十六页\总数一百一十五页\编于九点(2)多总体的Bayes判别

1)一般总体

目前四十七页\总数一百一十五页\编于九点目前四十八页\总数一百一十五页\编于九点目前四十九页\总数一百一十五页\编于九点目前五十页\总数一百一十五页\编于九点在给定的误判损失下，有目前五十一页\总数一百一十五页\编于九点2)正态总体

在误判损失不等的情况下，只能按一般准则判别。在等误判损失下，Bayes判别准则等价于目前五十二页\总数一百一十五页\编于九点目前五十三页\总数一百一十五页\编于九点目前五十四页\总数一百一十五页\编于九点目前五十五页\总数一百一十五页\编于九点将以上数据建立SAS数据文件k61,根据该数据建立判别砂基是否液化的准则，并对其优良性作评价，其sas程序如下（假设）：Datak61;Inputcategory$x1x2x3x4x5x6x7;Cards;I6.6039.001.006.006.00.1220.00I6.6039.001.006.0012.00.1220.00I6.1047.001.006.006.00.0812.00I6.1047.001.006.0012.00.0812.00I8.4032.002.007.5019.00.3575.00I7.206.001.007.0028.00.3030.00I8.40113.003.506.0018.00.1575.00I7.5052.001.006.0012.00.1640.00I7.5052.003.507.506.00.1640.00I8.30113.00.007.5035.00.12180.00I7.80172.001.003.5014.00.2145.00I7.80172.001.503.0015.00.2145.00II8.4032.001.005.004.00.3575.00II8.4032.002.009.0010.00.3575.00II8.4032.002.504.0010.00.3575.00II6.3011.004.507.503.00.2015.00目前五十六页\总数一百一十五页\编于九点II7.008.004.504.509.00.2530.00II7.008.006.007.504.00.2530.00II7.008.001.506.001.00.2530.00II8.30161.001.504.004.00.0870.00II8.30161.00.502.501.00.0870.00II7.206.003.504.0012.00.3030.00II7.206.001.003.003.00.3030.00II7.206.001.006.005.00.3030.00II5.506.002.503.007.00.1818.00II8.40113.003.504.506.00.1575.00II8.40113.003.504.508.00.1575.00II7.5052.001.006.006.00.1640.00II7.5052.001.007.508.00.1640.00II8.3097.00.006.005.00.15180.00II8.3097.002.506.005.00.15180.00II8.3089.00.006.0010.00.16180.00II8.3056.001.506.0013.00.25180.00II7.80172.001.003.506.00.2145.00II7.80233.001.004.506.00.1845.00;procdiscrimdata=k61pool=yeswcovpcovlisterrcrosslisterr;classcategory;varx1-x7;run;目前五十七页\总数一百一十五页\编于九点输出结果如下：

TheDISCRIMProcedure

Observations35DFTotal34Variables7DFWithinClasses33Classes2DFBetweenClasses1

ClassLevelInformation

VariablePriorcategoryNameFrequencyWeightProportionProbabilitII1212.00000.3428570.500000IIII2323.00000.6571430.500000目前五十八页\总数一百一十五页\编于九点DiscriminantAnalysisWithin-ClassCovarianceMatrices

CATEGORY=IDF=11

VariableX1X2X3X4X5X6X7

X10.7122.340.300.054.190.0428.32X222.343046.611.12-58.5968.73-0.23905.91X30.301.121.110.20-2.940.02-6.11X40.05-58.590.202.093.450.0120.45X54.1968.73-2.943.4578.570.28314.32X60.04-0.230.020.010.280.010.41X728.32905.91-6.1120.45314.320.412135.00目前五十九页\总数一百一十五页\编于九点DiscriminantAnalysisWithin-ClassCovarianceMatrices

CATEGORY=IIDF=22

VariableX1X2X3X4X5X6X7

X10.6227.62-0.460.030.47-0.0128.36X227.624339.71-38.70-35.34-28.98-3.391023.57X3-0.46-38.702.450.430.510.02-31.88X40.03-35.340.432.770.710.0314.53X50.47-28.980.510.7110.510.0852.74X6-0.01-3.390.020.030.080.01-1.03X728.361023.57-31.8814.5352.74-1.033040.96目前六十页\总数一百一十五页\编于九点DiscriminantAnalysis

PooledWithin-ClassCovarianceMatrixDF=33

VariableX1X2X3X4X5X6X7

X10.6525.86-0.210.041.710.0128.35X225.863908.68-25.43-43.093.59-2.33984.35X3-0.21-25.432.010.36-0.640.02-23.29X40.04-43.090.362.541.620.0216.50X51.713.59-0.641.6233.200.15139.93X60.01-2.330.020.020.150.01-0.55X728.35984.35-23.2916.50139.93-0.552738.98目前六十一页\总数一百一十五页\编于九点

TheDISCRIMProcedurePooledCovarianceMatrixInformation

NaturalLogoftheCovarianceDeterminantoftheMatrixRankCovarianceMatrix713.2611314

PairwiseGeneralizedSquaredDistancesBetweenGroups2__-1__D(i|j)=(X-X)'COV(X-X)ijijGeneralizedSquaredDistancetocategoryFromcategoryIIII07.35277II7.352770目前六十二页\总数一百一十五页\编于九点

TheDISCRIMProcedureLinearDiscriminantFunction

_-1_-1_Constant=-.5X'COVXCoefficientVector=COVXjjj

LinearDiscriminantFunctionforcategory

VariableIIIConstant

-98.84752-95.00006X130.3506029.87680X2-0.15214-0.15210X3-0.78868-0.22662X41.951761.39528X50.589640.06490X6-108.10195-85.33735X7-0.31156-0.25957

目前六十三页\总数一百一十五页\编于九点

TheDISCRIMProcedureClassificationResultsforCalibrationData:WY2.K321ResubstitutionResultsusingLinearDiscriminantFunction

GeneralizedSquaredDistanceFunction

2_-1_D(X)=(X-X)'COV(X-X)jjj

PosteriorProbabilityofMembershipinEachcategory

22Pr(j|X)=exp(-.5D(X))/SUMexp(-.5D(X))jkk目前六十四页\总数一百一十五页\编于九点

TheDISCRIMProcedureClassificationResultsforCalibrationData:WY2.K321ResubstitutionResultsusingLinearDiscriminantFunction

PosteriorProbabilityofMembershipincategory

ClassifiedFromintoObscategorycategoryIII

9III*0.34010.659929III*0.85710.1429*Misclassifiedobservation

目前六十五页\总数一百一十五页\编于九点

TheDISCRIMProcedureClassificationSummaryforCalibrationData:WY2.K321ResubstitutionSummaryusingLinearDiscriminantFunction

GeneralizedSquaredDistanceFunction2_-1_D(X)=(X-X)'COV(X-X)jjj

PosteriorProbabilityofMembershipinEachcategory

22Pr(j|X)=exp(-.5D(X))/SUMexp(-.5D(X))jkkNumberofObservationsandPercentClassifiedintocategoryFromcategoryIIITotal

I1111291.678.33100.00II122234.3595.65100.00Total122335Percent34.2965.71100.00目前六十六页\总数一百一十五页\编于九点

TheDISCRIMProcedureClassificationSummaryforCalibrationData:WY2.K321ResubstitutionSummaryusingLinearDiscriminantFunction

NumberofObservationsandPercentClassifiedintocategory

FromcategoryIIITotalPriors0.50.5

ErrorCountEstimatesforcategory

IIITotalRate0.08330.04350.0634Priors0.50000.5000目前六十七页\总数一百一十五页\编于九点

TheDISCRIMProcedure

ClassificationResultsforCalibrationData:WY2.K321

Cross-validationResultsusingLinearDiscriminantFunction

GeneralizedSquaredDistanceFunction

2_-1_

D(X)=(X-X)'COV(X-X)

j(X)j(X)(X)j

PosteriorProbabilityofMembershipinEachcategory

22

Pr(j|X)=exp(-.5D(X))/SUMexp(-.5D(X))

jkk

目前六十八页\总数一百一十五页\编于九点

TheDISCRIMProcedureClassificationResultsforCalibrationData:WY2.K321Cross-validationResultsusingLinearDiscriminantFunction

PosteriorProbabilityofMembershipincategory

ClassifiedFromintoObscategorycategoryIII

9III*0.09730.902728III*0.61300.387029III*0.96430.035735III*0.84700.1530

*Misclassifiedobservation目前六十九页\总数一百一十五页\编于九点

TheDISCRIMProcedureClassificationSummaryforCalibrationData:WY2.K321Cross-validationSummaryusingLinearDiscriminantFunction

GeneralizedSquaredDistanceFunction2_-1_D(X)=(X-X)'COV(X-X)j(X)j(X)(X)jPosteriorProbabilityofMembershipinEachcategory

22Pr(j|X)=exp(-.5D(X))/SUMexp(-.5D(X))jkkNumberofObservationsandPercentClassifiedintocategoryFromcategoryIIITotal

I1111291.678.33100.00II3202313.0486.96100.00Total142135Percent40.0060.00100.00目前七十页\总数一百一十五页\编于九点

TheDISCRIMProcedureClassificationSummaryforCalibrationData:WY2.K321