第六判别分析演示文稿

第六判别分析演示文稿本文档共115页；当前第1页；编辑于星期六\11点59分（优选）第六判别分析本文档共115页；当前第2页；编辑于星期六\11点59分判断该样品应属于这g个总体中的哪一个。

本文档共115页；当前第3页；编辑于星期六\11点59分§6.1距离判别

如何定义样本空间中两点之间的距离?如果距离定义不合适，可能会出现不该发生的误判错误。距离判别是通过定义样品指标X的观测值x(p维）到各总体的距离，以其大小判定样品属于哪个总体。本文档共115页；当前第4页；编辑于星期六\11点59分今有一样品，值在交点A处，问A距哪个总体近？

本文档共115页；当前第5页；编辑于星期六\11点59分另一缺陷，距离与单位有关。

本文档共115页；当前第6页；编辑于星期六\11点59分想法：

用协方差阵把“距离”标准化以后化为无纲的量作为两点间距离。X，Y两点之间的距离为d（X，Y）

X与总体G的距离为d(X,G)本文档共115页；当前第7页；编辑于星期六\11点59分(1)两总体的距离判别

本文档共115页；当前第8页；编辑于星期六\11点59分本文档共115页；当前第9页；编辑于星期六\11点59分本文档共115页；当前第10页；编辑于星期六\11点59分判别函数W（x）是X的二次函数.

本文档共115页；当前第11页；编辑于星期六\11点59分（2）多总体的距离判别

本文档共115页；当前第12页；编辑于星期六\11点59分本文档共115页；当前第13页；编辑于星期六\11点59分本文档共115页；当前第14页；编辑于星期六\11点59分本文档共115页；当前第15页；编辑于星期六\11点59分（3）判别准则的评价

判别准则的优劣，可以用它的误判概率来衡量。

只有当总体的分布完全已知时，才有可能计算误判概率。本文档共115页；当前第16页；编辑于星期六\11点59分在实际应用中，我们可利用的资料只是来自各总体的训练样本，而总体的分布是未知的，下面以两个总体为例，介绍两种以训练样本为基础的评价准则：（i）貌似误判率方法

——利用回判的误判率来衡量判别准则的效果：本文档共115页；当前第17页；编辑于星期六\11点59分本文档共115页；当前第18页；编辑于星期六\11点59分(ii)刀切法或称交叉确认法（Cross-Validation）基本思想：

本文档共115页；当前第19页；编辑于星期六\11点59分注意：1.误判率依赖于所考虑的各总体之间的分离程度。各总体之间离得越远，就越能建立有效的判别准则。

2.协方差阵是否相等需要经过检验。可以证明它是实际误判概率的渐近无偏估计。

本文档共115页；当前第20页；编辑于星期六\11点59分§6.2.Bayes判别

本文档共115页；当前第21页；编辑于星期六\11点59分

首先，在全年的365天中有感地震是较少的,破坏性地震更是罕见。如果考虑到这个因素，在没有特大的异常时，就应该预报“无震”，这样比较稳妥，这是由于历史上的先验知识告诉我们：“有震”与“无震”这两个总体本身各自出现的概率相差悬殊，在难以判断时，应优先判为出现的概率较大的那个总体。其次，错判有两种：“有震”报为“无震”是“漏报”，“无震”报为“有震”是“虚报”。二者皆可以造成损失，但损失却会很不相同。“漏报”会使人民群众在毫无准备的情况下，面临巨大灾难，会造成大量伤亡，而“虚报”会造成生产停顿，人心不安，有时的损失也不亚于“漏报”造成的损失。本文档共115页；当前第22页；编辑于星期六\11点59分例2．将一个正品电子元件判为次品，所损失的只是生产厂家（若这种元件的成本不是很昂贵的话），但若将次品判为正品而使用到更大的系统中，则有可能造成整个系统的损坏（这种损失往往是很大的）。例3．将实际生病的人判为无病，有可能导致病情加重甚至死亡而造成损失，反之将无病者诊断为有病，可给他们造成不必要的医疗费用支出和精神负担。

本文档共115页；当前第23页；编辑于星期六\11点59分

Bayes判别的基本思想

本文档共115页；当前第24页；编辑于星期六\11点59分判定为实际为本文档共115页；当前第25页；编辑于星期六\11点59分本文档共115页；当前第26页；编辑于星期六\11点59分在判别准则D之下总期望损失为

本文档共115页；当前第27页；编辑于星期六\11点59分(1)两总体的Bayes判别

总期望损失为

本文档共115页；当前第28页；编辑于星期六\11点59分Bayes判别准则：

对给定的样品x，计算两总体的概率密度函数在x处的值。

本文档共115页；当前第29页；编辑于星期六\11点59分本文档共115页；当前第30页；编辑于星期六\11点59分本文档共115页；当前第31页；编辑于星期六\11点59分本文档共115页；当前第32页；编辑于星期六\11点59分本文档共115页；当前第33页；编辑于星期六\11点59分本文档共115页；当前第34页；编辑于星期六\11点59分当时SAS程序为：datak62;inputcategory$x1x2@@;cards;h24.8-2h24.1-2.4h26.6-3h23.5-1.9h25.5-2.1h27.4-3.1w22.1-0.7w21.6-1.4w22-0.8w22.8-1.6w22.7-1.5w21.5-1w22.1-1.2w21.4-1.3;proc

discrim

data=k62pool=yeswcovpcovcrosslisterr;priorsproportional;

classcategory;varx1x2;

run;

本文档共115页；当前第35页；编辑于星期六\11点59分

TheDISCRIMProcedure

Observations14DFTotal13Variables2DFWithinClasses12Classes2DFBetweenClasses1

ClassLevelInformation

VariablePriorcategoryNameFrequencyWeightProportionProbabilityhh66.00000.4285710.428571ww88.00000.5714290.571429输出结果为：本文档共115页；当前第36页；编辑于星期六\11点59分

TheDISCRIMProcedureWithin-ClassCovarianceMatrices

category=h,DF=5

VariableLabelx1x2x1x12.213666667-0.657666667x2x2-0.6576666670.269666667

category=w,DF=7

VariableLabelx1x2x1x10.2735714286-.0632142857x2x2-.06321428570.1069642857本文档共115页；当前第37页；编辑于星期六\11点59分

TheDISCRIMProcedure

PooledWithin-ClassCovarianceMatrix,DF=12

VariableLabelx1x2x1x11.081944444-0.310902778x2x2-0.3109027780.174756944

PooledCovarianceMatrixInformation

NaturalLogoftheCovarianceDeterminantoftheMatrixRankCovarianceMatrix2-2.38145本文档共115页；当前第38页；编辑于星期六\11点59分

TheDISCRIMProcedure

PairwiseGeneralizedSquaredDistancesBetweenGroups

2__-1__D(i|j)=(X-X)'COV(X-X)-2lnPRIORijijj

GeneralizedSquaredDistancetocategory

Fromcategoryhwh1.6946012.07320

w12.648571.11923本文档共115页；当前第39页；编辑于星期六\11点59分

TheDISCRIMProcedure

LinearDiscriminantFunction

_-1_-1_Constant=-.5X'COVX+lnPRIORCoefficientVector=COVXjjjj

LinearDiscriminantFunctionforcategory

VariableLabelhwConstant-435.20128-379.48048

x1x139.7429537.65361x2x256.8762960.19281本文档共115页；当前第40页；编辑于星期六\11点59分

TheDISCRIMProcedureClassificationSummaryforCalibrationData:WY2.K322ResubstitutionSummaryusingLinearDiscriminantFunction

GeneralizedSquaredDistanceFunction

2_-1_D(X)=(X-X)'COV(X-X)-2lnPRIORjjjjPosteriorProbabilityofMembershipinEachcategory

22Pr(j|X)=exp(-.5D(X))/SUMexp(-.5D(X))jkkNumberofObservationsandPercentClassifiedintocategoryFromcategoryhwTotalh51683.3316.67100.00w0880.00100.00100.00Total591435.7164.29100.00本文档共115页；当前第41页；编辑于星期六\11点59分

TheDISCRIMProcedureClassificationSummaryforCalibrationData:WY2.K322ResubstitutionSummaryusingLinearDiscriminantFunction

NumberofObservationsandPercentClassifiedintocategory

FromcategoryhwTotalPriors0.42860.5714

ErrorCountEstimatesforcategory

hwTotalRate0.16670.00000.0714Priors0.42860.5714本文档共115页；当前第42页；编辑于星期六\11点59分

TheDISCRIMProcedureClassificationResultsforCalibrationData:WY2.K322Cross-validationResultsusingLinearDiscriminantFunction

GeneralizedSquaredDistanceFunction

2_-1_D(X)=(X-X)'COV(X-X)j(X)j(X)(X)j

PosteriorProbabilityofMembershipinEachcategory

22Pr(j|X)=exp(-.5D(X))/SUMexp(-.5D(X))jkk本文档共115页；当前第43页；编辑于星期六\11点59分

TheDISCRIMProcedureClassificationResultsforCalibrationData:WY2.K322Cross-validationResultsusingLinearDiscriminantFunction

PosteriorProbabilityofMembershipincategory

ClassifiedFromintoObscategorycategoryhw4hw*0.19500.8050

*Misclassifiedobservation本文档共115页；当前第44页；编辑于星期六\11点59分

TheDISCRIMProcedureClassificationSummaryforCalibrationData:WY2.K322Cross-validationSummaryusingLinearDiscriminantFunctionGeneralizedSquaredDistanceFunction

2_-1_D(X)=(X-X)'COV(X-X)-2lnPRIORj(X)j(X)(X)jjPosteriorProbabilityofMembershipinEachcategory

22Pr(j|X)=exp(-.5D(X))/SUMexp(-.5D(X))jkkNumberofObservationsandPercentClassifiedintocategoryFromcategoryhwTotalh51683.3316.67100.00w0880.00100.00100.00Total591435.7164.29100.00

本文档共115页；当前第45页；编辑于星期六\11点59分

TheDISCRIMProcedureClassificationSummaryforCalibrationData:WY2.K322Cross-validationSummaryusingLinearDiscriminantFunction

NumberofObservationsandPercentClassifiedintocategory

FromcategoryhwTotalPriors0.42860.5714

ErrorCountEstimatesforcategory

hwTotalRate0.16670.00000.0714Priors0.42860.5714本文档共115页；当前第46页；编辑于星期六\11点59分(2)多总体的Bayes判别

1)一般总体

本文档共115页；当前第47页；编辑于星期六\11点59分本文档共115页；当前第48页；编辑于星期六\11点59分本文档共115页；当前第49页；编辑于星期六\11点59分本文档共115页；当前第50页；编辑于星期六\11点59分在给定的误判损失下，有本文档共115页；当前第51页；编辑于星期六\11点59分2)正态总体

在误判损失不等的情况下，只能按一般准则判别。在等误判损失下，Bayes判别准则等价于本文档共115页；当前第52页；编辑于星期六\11点59分本文档共115页；当前第53页；编辑于星期六\11点59分本文档共115页；当前第54页；编辑于星期六\11点59分本文档共115页；当前第55页；编辑于星期六\11点59分将以上数据建立SAS数据文件k61,根据该数据建立判别砂基是否液化的准则，并对其优良性作评价，其sas程序如下（假设）：Datak61;Inputcategory$x1x2x3x4x5x6x7;Cards;I6.6039.001.006.006.00.1220.00I6.6039.001.006.0012.00.1220.00I6.1047.001.006.006.00.0812.00I6.1047.001.006.0012.00.0812.00I8.4032.002.007.5019.00.3575.00I7.206.001.007.0028.00.3030.00I8.40113.003.506.0018.00.1575.00I7.5052.001.006.0012.00.1640.00I7.5052.003.507.506.00.1640.00I8.30113.00.007.5035.00.12180.00I7.80172.001.003.5014.00.2145.00I7.80172.001.503.0015.00.2145.00II8.4032.001.005.004.00.3575.00II8.4032.002.009.0010.00.3575.00II8.4032.002.504.0010.00.3575.00II6.3011.004.507.503.00.2015.00本文档共115页；当前第56页；编辑于星期六\11点59分II7.008.004.504.509.00.2530.00II7.008.006.007.504.00.2530.00II7.008.001.506.001.00.2530.00II8.30161.001.504.004.00.0870.00II8.30161.00.502.501.00.0870.00II7.206.003.504.0012.00.3030.00II7.206.001.003.003.00.3030.00II7.206.001.006.005.00.3030.00II5.506.002.503.007.00.1818.00II8.40113.003.504.506.00.1575.00II8.40113.003.504.508.00.1575.00II7.5052.001.006.006.00.1640.00II7.5052.001.007.508.00.1640.00II8.3097.00.006.005.00.15180.00II8.3097.002.506.005.00.15180.00II8.3089.00.006.0010.00.16180.00II8.3056.001.506.0013.00.25180.00II7.80172.001.003.506.00.2145.00II7.80233.001.004.506.00.1845.00;procdiscrimdata=k61pool=yeswcovpcovlisterrcrosslisterr;classcategory;varx1-x7;run;本文档共115页；当前第57页；编辑于星期六\11点59分输出结果如下：

TheDISCRIMProcedure

Observations35DFTotal34Variables7DFWithinClasses33Classes2DFBetweenClasses1

ClassLevelInformation

VariablePriorcategoryNameFrequencyWeightProportionProbabilitII1212.00000.3428570.500000IIII2323.00000.6571430.500000本文档共115页；当前第58页；编辑于星期六\11点59分DiscriminantAnalysisWithin-ClassCovarianceMatrices

CATEGORY=IDF=11

VariableX1X2X3X4X5X6X7

X10.7122.340.300.054.190.0428.32X222.343046.611.12-58.5968.73-0.23905.91X30.301.121.110.20-2.940.02-6.11X40.05-58.590.202.093.450.0120.45X54.1968.73-2.943.4578.570.28314.32X60.04-0.230.020.010.280.010.41X728.32905.91-6.1120.45314.320.412135.00本文档共115页；当前第59页；编辑于星期六\11点59分DiscriminantAnalysisWithin-ClassCovarianceMatrices

CATEGORY=IIDF=22

VariableX1X2X3X4X5X6X7

X10.6227.62-0.460.030.47-0.0128.36X227.624339.71-38.70-35.34-28.98-3.391023.57X3-0.46-38.702.450.430.510.02-31.88X40.03-35.340.432.770.710.0314.53X50.47-28.980.510.7110.510.0852.74X6-0.01-3.390.020.030.080.01-1.03X728.361023.57-31.8814.5352.74-1.033040.96本文档共115页；当前第60页；编辑于星期六\11点59分DiscriminantAnalysis

PooledWithin-ClassCovarianceMatrixDF=33

VariableX1X2X3X4X5X6X7

X10.6525.86-0.210.041.710.0128.35X225.863908.68-25.43-43.093.59-2.33984.35X3-0.21-25.432.010.36-0.640.02-23.29X40.04-43.090.362.541.620.0216.50X51.713.59-0.641.6233.200.15139.93X60.01-2.330.020.020.150.01-0.55X728.35984.35-23.2916.50139.93-0.552738.98本文档共115页；当前第61页；编辑于星期六\11点59分

TheDISCRIMProcedurePooledCovarianceMatrixInformation

NaturalLogoftheCovarianceDeterminantoftheMatrixRankCovarianceMatrix713.2611314

PairwiseGeneralizedSquaredDistancesBetweenGroups2__-1__D(i|j)=(X-X)'COV(X-X)ijijGeneralizedSquaredDistancetocategoryFromcategoryIIII07.35277II7.352770本文档共115页；当前第62页；编辑于星期六\11点59分

TheDISCRIMProcedureLinearDiscriminantFunction

_-1_-1_Constant=-.5X'COVXCoefficientVector=COVXjjj

LinearDiscriminantFunctionforcategory

VariableIIIConstant

-98.84752-95.00006X130.3506029.87680X2-0.15214-0.15210X3-0.78868-0.22662X41.951761.39528X50.589640.06490X6-108.10195-85.33735X7-0.31156-0.25957

本文档共115页；当前第63页；编辑于星期六\11点59分

TheDISCRIMProcedureClassificationResultsforCalibrationData:WY2.K321ResubstitutionResultsusingLinearDiscriminantFunction

GeneralizedSquaredDistanceFunction

2_-1_D(X)=(X-X)'COV(X-X)jjj

PosteriorProbabilityofMembershipinEachcategory

22Pr(j|X)=exp(-.5D(X))/SUMexp(-.5D(X))jkk本文档共115页；当前第64页；编辑于星期六\11点59分

TheDISCRIMProcedureClassificationResultsforCalibrationData:WY2.K321ResubstitutionResultsusingLinearDiscriminantFunction

PosteriorProbabilityofMembershipincategory

ClassifiedFromintoObscategorycategoryIII

9III*0.34010.659929III*0.85710.1429*Misclassifiedobservation

本文档共115页；当前第65页；编辑于星期六\11点59分

TheDISCRIMProcedureClassificationSummaryforCalibrationData:WY2.K321ResubstitutionSummaryusingLinearDiscriminantFunction

GeneralizedSquaredDistanceFunction2_-1_D(X)=(X-X)'COV(X-X)jjj

PosteriorProbabilityofMembershipinEachcategory

22Pr(j|X)=exp(-.5D(X))/SUMexp(-.5D(X))jkkNumberofObservationsandPercentClassifiedintocategoryFromcategoryIIITotal

I1111291.678.33100.00II122234.3595.65100.00Total122335Percent34.2965.71100.00本文档共115页；当前第66页；编辑于星期六\11点59分

TheDISCRIMProcedureClassificationSummaryforCalibrationData:WY2.K321ResubstitutionSummaryusingLinearDiscriminantFunction

NumberofObservationsandPercentClassifiedintocategory

FromcategoryIIITotalPriors0.50.5

ErrorCountEstimatesforcategory

IIITotalRate0.08330.04350.0634Priors0.50000.5000本文档共115页；当前第67页；编辑于星期六\11点59分

TheDISCRIMProcedure

ClassificationResultsforCalibrationData:WY2.K321

Cross-validationResultsusingLinearDiscriminantFunction

GeneralizedSquaredDistanceFunction

2_-1_

D(X)=(X-X)'COV(X-X)

j(X)j(X)(X)j

PosteriorProbabilityofMembershipinEachcategory

22

Pr(j|X)=exp(-.5D(X))/SUMexp(-.5D(X))

jkk

本文档共115页；当前第68页；编辑于星期六\11点59分

TheDISCRIMProcedureClassificationResultsforCalibrationData:WY2.K321Cross-validationResultsusingLinearDiscriminantFunction

PosteriorProbabilityofMembershipincategory

ClassifiedFromintoObscategorycategoryIII

9III*0.09730.902728III*0.61300.387029III*0.96430.035735III*0.84700.1530

*Misclassifiedobservation本文档共115页；当前第69页；编辑于星期六\11点59分

TheDISCRIMProcedureClassificationSummaryforCalibrationData:WY2.K321Cross-validationSummaryusingLinearDiscriminantFunction

GeneralizedSquaredDistanceFunction2_-1_D(X)=(X-X)'COV(X-X)j(X)j(X)(X)jPosteriorProbabilityofMembershipinEachcategory

22Pr(j|X)=exp(-.5D(X))/SUMexp(-.5D(X))jkkNumberofObservationsandPercentClassifiedintocategoryFrom