判别分析课件

1、1第五章第五章 判别分析判别分析目目 录录 5.1 5.1 距离判别距离判别5.2 5.2 BayesBayes( (贝叶斯贝叶斯) )判别法及判别法及 广义平方距离判别法广义平方距离判别法5.3 5.3 Fisher(Fisher(费歇费歇) )判别判别5.4 5.4 判别效果的检验及判别效果的检验及 各变量判别能力的检验各变量判别能力的检验5.5 5.5 逐步判别逐步判别2第五章第五章 判别分析判别分析什么是判别分析什么是判别分析 判别分析是用于判断样品所属类型的一种统计分判别分析是用于判断样品所属类型的一种统计分析方法析方法. 在生产、科研和日常生活中经常遇到如何根据观在生产、科研和日常

2、生活中经常遇到如何根据观测到的数据资料对所研究的对象进行判别归类的问题测到的数据资料对所研究的对象进行判别归类的问题. 例如例如:在医学诊断中在医学诊断中,一个病人肺部有阴影一个病人肺部有阴影,医生要判医生要判断他是肺结核、肺部良性肿瘤还是肺癌断他是肺结核、肺部良性肿瘤还是肺癌.这里肺结核病这里肺结核病人、良性瘤病人、肺癌病人组成三个总体人、良性瘤病人、肺癌病人组成三个总体,病人来源于病人来源于这三个总体之一这三个总体之一,判别分析的目的是通过测得病人的指判别分析的目的是通过测得病人的指标标(阴影的大小阴影的大小,边缘是否光滑边缘是否光滑,体温多少体温多少)来判断他来判断他应该属哪个总体应该属

3、哪个总体(即判断他生什么病即判断他生什么病).3第五章第五章 判别分析判别分析什么是判别分析什么是判别分析 在气象学中在气象学中,由由气象资料气象资料判断明天是阴天还是晴天判断明天是阴天还是晴天, 是有雨还是无雨是有雨还是无雨. 在市场预测中在市场预测中,由由调查资料调查资料判断下季度判断下季度(或下个月或下个月)产品是畅销、平常或滞销产品是畅销、平常或滞销. 股票持有者股票持有者根据某种股票近期的变化情况判断此根据某种股票近期的变化情况判断此种股票价格下一周是上升还是下跌种股票价格下一周是上升还是下跌. 在环境科学中在环境科学中,由由气象条件气象条件, ,污染浓度等污染浓度等判断该地判断该地

4、区是属严重污染区是属严重污染,一般污染还是无污染一般污染还是无污染. 在地质勘探中在地质勘探中,由由岩石标本的多种特征岩石标本的多种特征判断地层的判断地层的地质年代地质年代,是有矿还是无矿是有矿还是无矿,是富矿还是贫矿是富矿还是贫矿. 在体育运动中在体育运动中,由由运动员的多项运动指标来运动员的多项运动指标来判定游判定游泳运动员的泳运动员的苗子苗子是适合练蛙泳是适合练蛙泳,仰泳还是自由泳等仰泳还是自由泳等4第五章第五章 判别分析判别分析什么是判别分析什么是判别分析 判别分析是应用性很强的一种多元统计方法判别分析是应用性很强的一种多元统计方法,已渗透到各个领域已渗透到各个领域.但不管是哪个领域但

5、不管是哪个领域,判别分析问题判别分析问题都可以这样描述都可以这样描述: 设有设有k个个m维总体维总体G1,G2,Gk,其分布特征已知其分布特征已知(如已如已知分布函数分别为知分布函数分别为F1(x),F2(x),Fk(x)，或知道来自各或知道来自各个总体的训练样本个总体的训练样本).对给定的一个新样品对给定的一个新样品X,我们要判我们要判断它来自哪个总体断它来自哪个总体. 在进行判别归类时在进行判别归类时,由假设的前提由假设的前提,判别的依据及处判别的依据及处理的手法不同理的手法不同,可得出不同判别方法可得出不同判别方法.如距离判别如距离判别,Bayes判别判别,Fisher判别或典型判别判别

6、或典型判别,逐步判别逐步判别,序贯判别等序贯判别等. 本章介绍几个常用的判别方法本章介绍几个常用的判别方法.第一节第一节 信用证的基本知识信用证的基本知识 4一、信用证的基本概念一、信用证的基本概念（一）信用证的含义（一）信用证的含义 信用证是一种银行开立的有条件的承诺付款的书面文件。即开证行根据进口商（开证申请人）的请求和指示向出口商（受益人）开立的一定金额的，并在一定的期限内凭规定的单据承诺付款的书面文件。 1由银行开出；2应客户的申请开出（或开证行因自身的需要而开出）；3在符合信用证的条款和条件前提下，凭规定的单据向受益人付款； （二）信用证的性质与特点（二）信用证的性质与特点 41单据

7、买卖 42独立文件 43银行信用 二、信用证的类型及主要内容二、信用证的类型及主要内容信用证的类型：信用证的类型：*按照开立形式划分：按照开立形式划分： 1/ 信开信用证；信开信用证； 2/ 电开信用证电开信用证 （1）普通电传开证）普通电传开证 （2 2）SWIFTSWIFT信用证信用证1/ 1/ 可撤销和不可撤销信用证可撤销和不可撤销信用证 2/2/ 即期和远期信用证或假远期信用证即期和远期信用证或假远期信用证 3/ 3/ 跟单和光票信用证跟单和光票信用证 4/ / 保兑和不保兑信用证保兑和不保兑信用证5/ 5/ 可转让和不可转让信用证可转让和不可转让信用证 6/ 6/ 议付和不可议付信用

8、证议付和不可议付信用证 *按照其他标准划分按照其他标准划分7/ 7/ 循环信用证循环信用证 8/8/ 即期和远期信用证或假远期信用证即期和远期信用证或假远期信用证 9/ 9/ 软条款信用证软条款信用证 10/ / 背对背信用证背对背信用证 11/ 11/ 对开信用证对开信用证 12/ 12/ 预支信用证等预支信用证等 信用证的主要内容信用证的主要内容 一一.信用证开证行（信用证开证行（Issuing Bank）二二.信用证开证日期（信用证开证日期（Issuing Date）三三.信用证有效期限（信用证有效期限（Expiry Date）和）和 有效地点（有效地点（Expiry Place）四四.

9、信用证申请人（信用证申请人（Applicant）五五.信用证受益人（信用证受益人（Beneficiary)六六.信用证号码（信用证号码（Documentary Credit Number） 七七.信用证币别和金额（信用证币别和金额（Currency Code Amount）八八.信用证货物描述（信用证货物描述（Description of goods and/or services）九九.信用证单据条款（信用证单据条款（Documents Requied Clause）十十.信用证价格条款信用证价格条款(Price Terms)十一十一.信用证装运期限（信用证装运期限（Shipment Dat

10、e）十二十二.信用证交单期限（信用证交单期限（Period for Presentation of Documents） 十三十三.信用证偿付行信用证偿付行(Reimbursing Bank)十四十四.信用证偿付条款（信用证偿付条款（Reimbursement Clause）十五十五.信用证银行费用条款（信用证银行费用条款（Banking Charges Clause）十六十六.信用证生效性条款（信用证生效性条款（Valid Conditions Clause）十七十七.信用证特别条款（信用证特别条款（Special Conditions） 三、信用证项下单证的流转程序三、信用证项下单证的流转

11、程序 4 买卖双方签订贸易合同，在合同中规定使用信用证方式支付货款。4 买方向当地银行提出申请，根据所签的贸易合同填写开证申请书，落实开证保证金，或提供其它保证，请银行（开证行）开证。4开证行根据开证申请书的内容，向卖方（受益人）开出信用证，并发往（寄交）卖方所在地银行或代理行（统称通知行）。 4 通知行核对密押或印鉴无误后，将信用证通知（交与）受益人。 4 受益人审核信用证与合同相符后，按信用证规定装运货物，并备齐各种货运单据，开出汇票。4 在信用证有效期和交单期内，交给银行（通常为当地银行，即议付行）议付。议付行按信用证条款审核单据无误后，按照汇票金额扣除利息，把货款垫付给受益人。4寄单索

12、汇。议付行将汇票和货运单据按照信用证的要求寄给开证行（或其指定的付款行）索偿。 4开证行（或其指定的付款行）核对单据无误后，付款给议付行。 4开证行向买方（开证申请人）提示单据，买方付款赎单。4开证申请人取得单据后向承运人提货。 4议付行收到货款后，为企业结汇入账，并收回垫款。 第二节第二节 信用证的审核与修改信用证的审核与修改 一、信用证的审核要求一、信用证的审核要求 （一）审核信用证的真实性、安全可靠性（一）审核信用证的真实性、安全可靠性（二）（二）审核信用证与合同条款是否一致，信用审核信用证与合同条款是否一致，信用证条款是否合理，有无前后矛盾现象证条款是否合理，有无前后矛盾现象 （三）（

13、三）审核信用证是否包括软条款审核信用证是否包括软条款 二、信用证的修改要求二、信用证的修改要求 （一）接受修改信用证和接受信用证修改（一）接受修改信用证和接受信用证修改的权利的权利 （二）修改信用证应注意以下问题（二）修改信用证应注意以下问题: : （三）对信用证修改内容的接受或拒绝有（三）对信用证修改内容的接受或拒绝有两种表示形式两种表示形式: :（四）收到信用证修改后（四）收到信用证修改后, ,应及时检查修改应及时检查修改内容是否符合要求内容是否符合要求, ,并分别情况表示接受并分别情况表示接受或重新提出修改或重新提出修改 （五）对于修改内容要么全部接受（五）对于修改内容要么全部接受, ,

14、要么全要么全部拒绝；部分接受修改中的内容是无效的；部拒绝；部分接受修改中的内容是无效的；（六）有关信用证修改必须通过原信用证通（六）有关信用证修改必须通过原信用证通知行通知才算真实、有效；通过客户直接知行通知才算真实、有效；通过客户直接寄送的信用证修改申请书或修改书复印件寄送的信用证修改申请书或修改书复印件不是有效的修改不是有效的修改（七）明确修改费用由谁承担，一般按照责（七）明确修改费用由谁承担，一般按照责任归属来确定修改费用由谁承担任归属来确定修改费用由谁承担 第三节第三节 其它支付方式其它支付方式一、汇付一、汇付 （一）汇付的含义（一）汇付的含义 汇付（Remittance）,又称汇款，

15、指卖方按照合同约定的条件和时间将货物发给买方后，自己将有关货运单据寄给买方；而买方则通过银行主动将货款付给收款人。这是一种最简单的国际贸易结算方式。 （二）汇付的当事人（二）汇付的当事人 1汇款人(remitter) 2收款人（payee; beneficiary ） 3汇出行（remitting bank ） 4汇入行（receiving bank ）又称 解付行（paying bank ）（三）汇付的种类和业务流程（三）汇付的种类和业务流程 1信汇（Mail Transfer, 简称M/T） 2电汇（Telegraphic Transfer,简称T/T） 3票汇（Remittance by

16、 Bankers Demand Draft, 简称D/D） （四）汇付的特点及其使用（四）汇付的特点及其使用 1顺汇 2商业信用 3风险大 4手续简单，费用少 电电/ /信汇业务流程图信汇业务流程图 票汇业务流程图票汇业务流程图 4二、托收 （一）托收的含义 （二）托收方式的基本当事人 （三）跟单托收的种类及业务流程 1付款交单 2. 承兑交单 即期付款交单业务流程图即期付款交单业务流程图 远期付款交单业务流程图远期付款交单业务流程图 承兑交单业务流程图承兑交单业务流程图（四）信用证与汇付、托收的比较（四）信用证与汇付、托收的比较 三、国际保理三、国际保理 （一）国际保理的含义 （二）保理机构

17、 （三）国际保理业务的特点 （四）保理业务的主要内容 （五）国际保理业务的当事人及业务程序 （六）国际保理业务的作用及优缺点 （七）国际保理的发展现状及前景 国际保理业务流程图国际保理业务流程图 本章小结本章小结 本章介绍了国际贸易中常见的几种支付方式，如信用证、托收、汇付及国际保付代理业务，其中重点介绍了信用证业务。通过本章的学习，同学们可以了解各种支付方式的涵义、操作程序、特点及区别；还应掌握信用证业务的性质、主要内容、信用证审核、修改的基本要求，为下一步的单证缮制工作做好准备。 34第五章第五章 5.1 距离判别法距离判别法 距离判别的基本思想是距离判别的基本思想是: 样品和哪个总体距离

18、最近样品和哪个总体距离最近,就判它就判它属哪个总体属哪个总体. 距离判别也称为直观判别法距离判别也称为直观判别法. 我们在具体讨论距离判别法之前我们在具体讨论距离判别法之前,应给应给出合理的距离的定义出合理的距离的定义.35第五章第五章 5.1 距离判别法距离判别法 马氏距离马氏距离 已知有两个类已知有两个类G1和和G2，比如比如G1是设备是设备A生产的产生产的产品品，G2是设备是设备B生产的同类产品生产的同类产品.设备设备A的产品质量高的产品质量高(如考察指标为耐磨度如考察指标为耐磨度X)，其平均耐磨度其平均耐磨度1=80,反映反映设备精度的方差设备精度的方差2(1)=0.25;设备设备B的

19、产品质量稍差，的产品质量稍差，其平均耐磨度其平均耐磨度2=75,反映设备精度的方差反映设备精度的方差2(2)=4.今今有一产品有一产品X0，测得耐磨度测得耐磨度x0=78，试判断该产品是哪试判断该产品是哪一台设备生产的一台设备生产的? 直观地看，直观地看， x0 与与1(设备设备A)的绝对距离近些，按距的绝对距离近些，按距离最近的原则是否应把该产品离最近的原则是否应把该产品X0 判断为设备判断为设备A生产生产的的?36第五章第五章 5.1 距离判别法距离判别法 马氏距离马氏距离 考虑一种相对于分散性的距离考虑一种相对于分散性的距离.记记X0与与G1,G2的相对平方距离为的相对平方距离为d21(

20、x0)或或d22(x0)，则：则： d21(x0)= = = 16=42 d22(x0)= = =2.25=1.52 因为因为d2(x0)=1.54= d1(x0) ,按这种距离准则应判按这种距离准则应判X0为设备为设备B生产的生产的.(x0 -1)22(1)(78 - 80)20.25(x0 -2)22(2)(78 - 75)2437第五章第五章 5.1 距离判别法距离判别法 马氏距离马氏距离 设备设备B生产的产品质量较分散，出现生产的产品质量较分散，出现x0为为78的可能性仍较大；的可能性仍较大； 而设备而设备A生产的产品质量较集中，出生产的产品质量较集中，出现现x0为为78的可能性较小的

21、可能性较小. 判判X0为设备为设备B的产品更合理的产品更合理. 这种相对于分散性的距离就是本节介这种相对于分散性的距离就是本节介绍的马氏距离绍的马氏距离.38第五章第五章 5.1 距离判别法距离判别法马氏距离马氏距离2)2(1)1(222)2(212)1()()(xxxx.)()(*def21)2(1)1(2)1(2)2(1xxx 一般地一般地,我们假设我们假设G1的分布为的分布为N(1),21),G2的分布为的分布为 N(2),22),则利用相对距离的定义则利用相对距离的定义,可以找出分界点可以找出分界点*(不妨设不妨设 (2)(1),当当(2)x(1)时时,令令而按这种距离最近的判别准则为

22、：而按这种距离最近的判别准则为：.,*2*1xGxxGx当判当判39第五章第五章 5.1 距离判别法距离判别法利用马氏距离对两个一维正态总体判别归类示意图利用马氏距离对两个一维正态总体判别归类示意图 利用马氏距离对两个一维正态总体判别归类利用马氏距离对两个一维正态总体判别归类令令: :(* =79为到两总体相为到两总体相对距离相等的分界点对距离相等的分界点)x0=78*=79 判判x0G2.40第五章第五章 5.1 距离判别法距离判别法 马氏距离马氏距离 定义定义5.1.1(5.1.1(马氏距离马氏距离) ) 设总体设总体G为为m维总体维总体( (考察考察m个指标个指标) )，均值向量为，均值

23、向量为=(=(1 1, ,2 2 , , , ,m)，协方差阵为协方差阵为=(=(ij) )，则样品则样品X=(=(x1,x2,xm)与总体与总体G的马氏距离定义为的马氏距离定义为222212)()()(),(,1)()(),(xxxGxdmXXGXd时当41第五章第五章 5.1 距离判别法距离判别法 多总体样本特征量多总体样本特征量 设有设有k个总体个总体Gi(i=1,k),已知来自已知来自Gi (i=1,.,k) 的训练样本为的训练样本为:其中其中ni是取自是取自Gi的样品个数的样品个数, ,则均值向量则均值向量i的估的估计量为计量为),.,2 , 1;, 1(,)()(2)(1)()(i

24、itmitititntkixxxX42第五章第五章 5.1 距离判别法距离判别法 多总体样本特征量多总体样本特征量,11)(mmiljiiisAnS), 2 , 1,()(111)()()()()(mjlxxxxnsintijitjilitliilj 总体总体Gi的协方差阵的协方差阵i的估计的估计Si为为并称并称St为组内协差阵为组内协差阵.intiitiitiXXXXA1)()()()()()()(其中称为组内离差阵称为组内离差阵,43第五章第五章 5.1 距离判别法距离判别法多总体样本特征量多总体样本特征量 ,11mmljkiisAknS 当假定当假定1 1= = =k=时时, ,反映分散

25、性的协方反映分散性的协方差阵差阵的估计的估计S为为并称并称S为合并样本协差阵为合并样本协差阵; 问题是对任给定的问题是对任给定的m维样品维样品X=(x1,x2 ,xm ),要判断它来自哪个总体要判断它来自哪个总体.),2, 1,()(111)()()()(mjlxxxxknskintijitjilitllji 其中其中44第五章第五章 5.1 距离判别法距离判别法 两总体判别两总体判别:1=2 时的判别方法时的判别方法 最直观的想法是分别计算样品最直观的想法是分别计算样品X到两个总体的到两个总体的距离距离d21(X)和和d22(X) (或记为或记为d2(X,G1)和和d2(X,G2) )，并按

26、距离最近准则判别归类并按距离最近准则判别归类,即判别准则为：即判别准则为： 判判X G1 , 当当d2(X,G1) d2(X,G2)时时, 待判待判, 当当d2(X,G1) = d2(X,G2)时时. 这里的距离指马氏距离这里的距离指马氏距离.利用马氏距离的利用马氏距离的定义及两总体协差阵相等的假设，可以简化定义及两总体协差阵相等的假设，可以简化马氏距离的计算公式马氏距离的计算公式.45第五章第五章 5.1 距离判别法距离判别法 两总体判别两总体判别: 1=2 时的判别方法时的判别方法 对给定样品对给定样品X，为比较为比较X X到各总体的马氏距离，到各总体的马氏距离，只须计算只须计算Yi(X

27、) : :46第五章第五章 5.1 距离判别法距离判别法两总体判别两总体判别: 1=2 时的判别方法时的判别方法 Ci 因为函数因为函数Yi(X)是是X的线性函数的线性函数( (i=1,2),=1,2),故故47第五章第五章 5.1 距离判别法距离判别法两总体判别两总体判别: 1=2 时的判别方法时的判别方法若考察这两个马氏距离之差若考察这两个马氏距离之差, ,经计算可得经计算可得: : )(2)()( 2)(2)(2)()(2111212122XWXYXYXYXSXXYXSXXdXd)(21)(21)()(21)(21)()(21)(21)()()2()1(1)2()2()1(1)1(1)2

28、()1()1(1)2()2(1)2()2(1)2(1)1()1(1)1()1(1XXSXXXSXXSXXXSXXSXXXSXSXXSXXXSXW48第五章第五章 5.1 距离判别法距离判别法两总体判别两总体判别: 1=2 时的判别方法时的判别方法即即 )(21)(21)2()1(1)2()1()2()1(1)2()1()2()1(1XXSXXXXXSXXXXSX49第五章第五章 5.1 距离判别法距离判别法两总体判别两总体判别: 1=2 时的判别方法时的判别方法 则判别准则还可以写为：则判别准则还可以写为： 判判XG1, 当当W(X)0时时, 判判XG2, 当当W(X) 2 2 , ,则则a为

29、正数为正数，W(x)的符号取决于的符号取决于x或或x.53第五章第五章 5.1 距离判别法距离判别法 两总体判别两总体判别: 1=2 时的判别方法时的判别方法(m=1时的时的错判率错判率) ) 用这种判别法会发生错判用这种判别法会发生错判, ,如如X X来自来自G1 1, ,但却落入但却落入D2 2, ,被判为属被判为属G2 2 . .错判的概率为下图中阴影左半部分错判的概率为下图中阴影左半部分的面积的面积, ,并记为并记为P(2P(2|1).1).类似有类似有P(1P(1|2).2).分界点分界点=77.554第五章第五章 5.1 距离判别法距离判别法 两总体判别两总体判别: 1=2 时的判

30、别方法时的判别方法(m=1时的时的错判率错判率) ) 上例中上例中,当当1=80,2 =75,=2时时分界点分界点 =(80+75)/2=77.5,故错判概率为故错判概率为 P(2|1)= PX77.5|55第五章第五章 5.1 距离判别法距离判别法 两总体判别两总体判别: 1=2 时的判别方法时的判别方法(m=1时的时的错判率错判率) )一般地一般地, ,经计算可得经计算可得: : 由错判概率的公式及上图可见由错判概率的公式及上图可见, , 当两总体均当两总体均值靠得很近值靠得很近( (即即| 1 1 - - 2 2 |很小很小) )时时, ,则错判概则错判概率很大率很大, ,这时作判别分析

31、是没有意义的这时作判别分析是没有意义的. .因此只因此只有当两总体的均值有显著性差异时有当两总体的均值有显著性差异时, ,作判别分作判别分析才有意义析才有意义. .56第五章第五章 5.1 距离判别法距离判别法 两总体判别两总体判别:简例简例1 1 简例简例1 1 :记二维正态总体记二维正态总体N2( (i), )为为Gi(i=1,2)(两总体两总体协差阵相同协差阵相同),已知来自已知来自Gi(i=1,2)的样本数据阵为的样本数据阵为 (1) 试求两总体的样本组内离差阵试求两总体的样本组内离差阵A1, A2和合和合并样本协差阵并样本协差阵S. (2) 今有样品今有样品x0 =(2,8),试问按

32、马氏距离准则样试问按马氏距离准则样品品x0应判归哪一类应判归哪一类. 3, 42, 2.549375,1038310412221)2(23)1(24nnmkXX57第五章第五章 5.1 距离判别法距离判别法 两总体判别两总体判别:简例简例1 1 (1) (1)解解: : 8222)(,2021018222)(,00200121)2()2(2)2(23)1()1(1)1(24XXAXXAXX.74,103)2()1(XX58第五章第五章 5.1 距离判别法距离判别法 两总体判别两总体判别:简例简例1 1,411154164445121,16444822282222121AnnSAAAA故为样本合

33、并组内离差阵11141251114544825,25483251641115412SS而且而且59第五章第五章 5.1 距离判别法距离判别法 两总体判别两总体判别:简例简例1 14167. 512135171, 21251211141251, 2)()()()2(01)2(0022XxSXxxd(2)(2)解一解一: :计算马氏距离计算马氏距离5362, 11252111141252, 1)()()() 1 (01) 1 (0021XxSXxxd.),()(10022021Gxxdxd故判因60第五章第五章 5.1 距离判别法距离判别法 两总体判别两总体判别:简例简例1 1,112312574

34、1114125,13221251031114125)2(12)1(11XSaXSa(2)(2)解二解二: :计算线性判别函数计算线性判别函数Yi( (X)()(i=1,2)=1,2). )2 , 1(21)()(1)()(1iXSXXXSXYiiii.2083.3524169511237, 41252121,8333.406245132210, 312521212)2(21)1(1aXCaXC61第五章第五章 5.1 距离判别法距离判别法 两总体判别两总体判别:简例简例1 1.2083.35)1123(125)(,8333.40)1322(125)(212211XXXYXXXY线性判别函数为.

35、),()(.6250.20)(,8333.20)(,8210020102010GxxYxYxYxYx故判因时当62第五章第五章 5.1 距离判别法距离判别法 两总体判别两总体判别:简例简例1 1因而其中,21125311114125)(5 . 85 . 37410321)(21)2()1(1)2()1(*XXSaXXX).5 .132(12521)5 . 8, 5 . 3(125)(2121XXXXXW(2)(2)解三解三: :计算线性判别函数计算线性判别函数W( (X) )aXXXYXYXdXdXW)()()()()(21)(*212122., 0245)5 .13822(125)(100G

36、xxW故判由于63第五章第五章 5.1 距离判别法距离判别法 两总体判别两总体判别: 12 时的判别方法时的判别方法 当两总体协差阵不等时，按距离判别准则先分别计当两总体协差阵不等时，按距离判别准则先分别计算算X到两个总体的距离到两个总体的距离d2(X,G1)和和d2(X,G2)，然后按距然后按距离最近准则判别归类离最近准则判别归类.或者类似地计算判别函数或者类似地计算判别函数W(X)，并用于判别归类并用于判别归类.令令 W(X)=d2(X,G2) - d2(X,G1)=Z(X)-Z0,其中其中Z(X)为为X的二次函数的二次函数(因因12 )，Z0是一常数是一常数(具体表达式省略了具体表达式省

37、略了).判别准则仍可以写为：判别准则仍可以写为： 判判XG1, 当当W(X)0时时, 或者或者 判判XG2, 当当W(X)0时时, 待判待判, 当当W(X)=0时时. 判判XG2, 当当W(X)0时时.64第五章第五章 5.1 距离判别法距离判别法 两总体判别两总体判别: 12 时的判别方法时的判别方法 当当m=1,两总体为正态总体时，记两总体为正态总体时，记Gi的均值为的均值为i，方差方差为为2i (i=1,2),这时马氏距离的平方根为这时马氏距离的平方根为 65第五章第五章 5.1 距离判别法距离判别法 两总体判别两总体判别: 12 时的判别方法时的判别方法分界点分界点* *把区间把区间(

38、2,1)分为两部分分为两部分: D1=1 x *和和 D2=2 x*时时, 判判XG2, 当当1 x*时时, 66第五章第五章 5.1 距离判别法距离判别法 应用例子应用例子 例例.1( (盐泉含钾性判别盐泉含钾性判别) 某地区经某地区经勘探证明勘探证明A A盆地是一个钾盐矿区盆地是一个钾盐矿区, ,B B盆地是盆地是一个钠盐矿区一个钠盐矿区, ,其他盐盆地是否含钾盐有其他盐盆地是否含钾盐有待作出判断待作出判断. .今从今从A,BA,B两盆地各抽取两盆地各抽取5 5个盐个盐泉样品泉样品; ;从其他盆地抽得从其他盆地抽得8 8个盐泉样品个盐泉样品, 18, 18个盐泉的特征数值见

39、表个盐泉的特征数值见表.试对后试对后8 8个待个待判盐泉进行含钾性判别判盐泉进行含钾性判别. .67第五章第五章 5.1 距离判别法距离判别法 应用例子应用例子 68第五章第五章 5.1 距离判别法距离判别法 应用例子应用例子 解一解一 A A盆地和盆地和B B盆地看作两个不同的总盆地看作两个不同的总体，并假定两总体协差阵相等体，并假定两总体协差阵相等. .本例中变本例中变量个数量个数m=4, =4, 两类总体各有两类总体各有5 5个训练样品个训练样品( (n1 1= = n2 2=5),=5),另有另有8 8个待判样品个待判样品. . 用用SAS/STATSAS/STAT软件中

40、的软件中的DISCRIMDISCRIM过程进行过程进行判别归类判别归类. . (1) (1)首先首先用用DATA步生成步生成SAS数据集数据集D511. SASSAS程序如下：程序如下：69第五章第五章 5.1 距离判别法距离判别法 应用例子的应用例子的sassas程序程序 data d511; input x1-x4 group $;x1-x4 group $; cards; 13.85 2.79 7.80 49.60 A 13.85 2.79 7.80 49.60 A 2.18 1.06 1.22 20.60 B 2.18 1.06 1.22 20.60 B 8.85 3.38 5.17

41、26.10 . 8.85 3.38 5.17 26.10 . 15.00 2.70 5.02 64.00 . 15.00 2.70 5.02 64.00 . ; proc print ; run;70第五章第五章 5.1 距离判别法距离判别法 应用例子的应用例子的sassas程序程序 (2) (2) 调用调用DISCRIMDISCRIM过程对含钾和不含钾的过程对含钾和不含钾的A A、B B两类盆地的两类盆地的1010个样品特征测量值用距离判别的方个样品特征测量值用距离判别的方法，建立线性判别函数，并对已知类别的样品和法，建立线性判别函数，并对已知类别的样品和待判样品进行判别归类待判样品进行判别

42、归类. . proc discrim data=d511 simlpe pcov wsscp psscp distance list; class group; var x1-x4; run;71第五章第五章 5.1 距离判别法距离判别法 应用例子中应用例子中sassas程序的选项程序的选项 选项选项SIMPLESIMPLE要求输出各类的简单描述统计量要求输出各类的简单描述统计量 ( (如两类各变量的均值、标准差等如两类各变量的均值、标准差等) )； 选项选项WSSCPWSSCP要求输出各类的组内离差阵；要求输出各类的组内离差阵； 选项选项WCOVWCOV要求输出各类样本协差阵；要求输出各类样

43、本协差阵； 选项选项PCOVPCOV要求输出合并样本协差阵；要求输出合并样本协差阵； 选项选项PSSCPPSSCP要求输出合并的样本组内离差阵；要求输出合并的样本组内离差阵； 选项选项DISTANCEDISTANCE要求输出各组间的距离等统计量要求输出各组间的距离等统计量 ( (平方距离平方距离, ,F统计量值统计量值, , p值等值等) ) ； 选项选项LISTLIST要求输出按距离准则的判别结果要求输出按距离准则的判别结果. .72第五章第五章 5.1 距离判别法距离判别法 应用例子的结果分析应用例子的结果分析 选项选项WSSCP产生的结果产生的结果两总体的样本离差阵两总体的样本离差阵A1

44、和和A273第五章第五章 5.1 距离判别法距离判别法应用例子的结果分析应用例子的结果分析 选项选项PSSCP产生的结果产生的结果选项选项PCOV产生的结果产生的结果合并的样本组内离差阵合并的样本组内离差阵 A=A1+A2合并样本协差阵合并样本协差阵S=A/(n1+n2-2)74第五章第五章 5.1 距离判别法距离判别法应用例子的结果分析应用例子的结果分析 组间组间马氏距离马氏距离d d2 2(1,2)=37.03(1,2)=37.03检验检验H0: (1) = (2)的的F统计量统计量F=14.46p=0.005975第五章第五章 5.1 距离判别法距离判别法应用例子的结果分析应用例子的结果

45、分析 线性判别函数线性判别函数Y1(X)Y2(X)线性判别函数线性判别函数 W(X)=Y1(X)-Y2(X）W(X)=-37.08458+ 4.74305 X1+ 4.19183 X2- 8.58924 X3+ 0.72548 X476第五章第五章 5.1 距离判别法距离判别法应用例子的结果分析应用例子的结果分析 第第2,3,6,7,82,3,6,7,8五个盐泉为五个盐泉为含钾盐泉含钾盐泉, ,第第1,4,51,4,5为为不含钾盐泉不含钾盐泉, ,77第五章第五章 5.1 距离判别法距离判别法 多总体的距离判别多总体的距离判别 设有设有k个个m维总体维总体: :G1 1, ,G2 2, , ,

46、Gk( (k2).2).它们的均值它们的均值, ,协差阵分别为协差阵分别为i, ,i( (i=1,2, =1,2, , ,k).).对任给定的对任给定的m维样品维样品X=(=(x1 , x2 , xm),),要判断它来自哪个总体要判断它来自哪个总体. 多个总体的情况多个总体的情况, ,按距离最近的准则对按距离最近的准则对X X进行判别归类时进行判别归类时, ,首先计算样品首先计算样品X到到k个总个总体的马氏距离体的马氏距离d 2 2i( (X)()(i=1,2,=1,2, ,k),),然后进然后进行比较，把行比较，把X判归距离最小的那个总体判归距离最小的那个总体. .78第五章第五章 5.1

47、距离判别法距离判别法 多总体的距离判别多总体的距离判别 i79第五章第五章 5.2 BayesBayes( (贝叶斯贝叶斯) )判别法判别法及广义平方距离判别法及广义平方距离判别法 距离判别只要求知道总体的特征量距离判别只要求知道总体的特征量( (即参数即参数) )-均值和协差阵均值和协差阵, ,不涉及总体的分布类型不涉及总体的分布类型. . 当参数未知当参数未知时时, ,就用样本均值和样本协差阵来估计就用样本均值和样本协差阵来估计. . 距离判别方法简单距离判别方法简单, ,结论明确结论明确, ,是很实用的方法是很实用的方法. .但该方法也有缺点但该方法也有缺点: : 1. 1. 该判别法与

48、各总体出现的机会大小该判别法与各总体出现的机会大小( (先验概先验概率率) )完全无关完全无关; ; 2. 2. 判别方法没有考虑错判造成的损失判别方法没有考虑错判造成的损失, ,这是不这是不合理的合理的. BayesBayes判别法正是为解决这两方面问题而判别法正是为解决这两方面问题而提出的判别方法提出的判别方法. .80第五章第五章 5.2 BayesBayes( (贝叶斯贝叶斯) )判别法判别法及广义平方距离判别法及广义平方距离判别法 BayesBayes的统计思想的统计思想总是假定对所研究的总是假定对所研究的对象已有一定的认识对象已有一定的认识, ,常用先验概率分布来描常用先验概率分布

49、来描述这种认识述这种认识 . .然后我们抽取一个样本然后我们抽取一个样本, ,用样本用样本来修正已有的认识来修正已有的认识( (先验概率分布先验概率分布) )，得到后，得到后验概率分布验概率分布. . 各种统计推断都通过后验概率分布来进各种统计推断都通过后验概率分布来进行行. .将贝叶斯思想用于判别分析就得到贝叶斯将贝叶斯思想用于判别分析就得到贝叶斯判别法判别法.81 在正态总体的假设下，按在正态总体的假设下，按BayesBayes判别的思判别的思想，在错判造成的损失认为相等情况下得到想，在错判造成的损失认为相等情况下得到的判别函数其实就是马氏距离判别在考虑先的判别函数其实就是马氏距离判别在考

50、虑先验概率及协差阵不等情况下的推广，故验概率及协差阵不等情况下的推广，故SAS/STATSAS/STAT软件的软件的DISCRIMDISCRIM过程中称为过程中称为广义平方广义平方距离判别法距离判别法. . 所谓判别方法所谓判别方法, ,就是给出空间就是给出空间Rm的一种划的一种划分分: :D=D1 1, ,D2 2, , ,Dk.一种划分对应一种判一种划分对应一种判别方法别方法, ,不同的划分就是不同的判别方法不同的划分就是不同的判别方法. .BayesBayes判别法也是给出空间判别法也是给出空间Rm的一种划分的一种划分. .第五章第五章 5.2 BayesBayes( (贝叶斯贝叶斯)

51、)判别法判别法及广义平方距离判别法及广义平方距离判别法82第五章第五章 5.2 BayesBayes( (贝叶斯贝叶斯) )判别法判别法及广义平方距离判别法及广义平方距离判别法-先验概率先验概率 设有设有k个总体个总体G1 1, ,G2 2, , ,Gk. .假设事先对所研究的问假设事先对所研究的问题有一定的认识，这种认识常用先验概率来描述题有一定的认识，这种认识常用先验概率来描述. .即已即已知这知这k个总体各自出现的概率个总体各自出现的概率( (验前概率验前概率) )为为q1,q2,qk ( (显然显然qi 0,0,q1 1+ +q2 2+ + +qk=1).=1). 比如研究人群中得癌比

52、如研究人群中得癌( (G1 1) )和没有得癌和没有得癌( (G2 2) )两类群体两类群体的问题，由长期经验知的问题，由长期经验知: :q1 1=0.001,=0.001,q2 2=0.999.=0.999.这组验前这组验前概率概率q1 1, , ,qk 称为先验概率称为先验概率. .先验概率是一种权重先验概率是一种权重( (比比例例).).所谓所谓“先验先验”是指先于我们抽取样品作判别分析是指先于我们抽取样品作判别分析之前之前. . BayesBayes判别准则要求给出判别准则要求给出qi( (i=1,2,=1,2, ,k k) )的值的值. . 83第五章第五章 5.2 BayesBay

53、es( (贝叶斯贝叶斯) )判别法及判别法及广义平方距离判别法广义平方距离判别法- - -先验概率先验概率 qi的赋值方法有以下几种的赋值方法有以下几种: : ( (a) a) 利用历史资料及经验进行估计利用历史资料及经验进行估计. .例如某地区例如某地区成年人中得癌症的概率为成年人中得癌症的概率为P(P(癌癌)=0.001)=0.001= q1, ,而而P(P(无无癌癌)=0.999 )=0.999 = q2 2 . . (b) (b) 利用训练样本中各类样品占的比例利用训练样本中各类样品占的比例ni/n做为做为qi的值的值, ,即即qi= =ni/n( (i=1,=1, ,k),),其中其

54、中ni是第是第i类总体的样品类总体的样品个数，而个数，而n= =n1 1+ + n2 2 + + + + nk . .这时要求训练样本是通这时要求训练样本是通过随机抽样得到的过随机抽样得到的, ,各类的样品被抽到的机会大小就各类的样品被抽到的机会大小就是验前概率是验前概率. . ( (c) c) 假定假定q1 1= =q2 2= = =qk=1=1/k. .84第五章第五章 5.2 BayesBayes( (贝叶斯贝叶斯) )判别法判别法及广义平方距离判别法及广义平方距离判别法-广义平方距离广义平方距离 在马氏距离判别的基础上，进一步考虑先验概率在马氏距离判别的基础上，进一步考虑先验概率及各组

55、内协差阵的不同及各组内协差阵的不同, ,可定义样品可定义样品X X到总体到总体Gt的广义的广义平方距离平方距离其中其中()85第五章第五章 5.2 BayesBayes( (贝叶斯贝叶斯) )判别法判别法及及广义广义平方平方距离判别法距离判别法-广义平方距离广义平方距离 )(2XDt由由 的公式可见的公式可见, ,当当 不变，而某不变，而某个个qt大大( (即总体即总体Gt出现的机会大出现的机会大) )时，则时，则g2 2( (t) )变小，故广义平方距离也变小变小，故广义平方距离也变小, ,进而进而判判X X为为Gt的可能性大的可能性大-符合直观想法符合直观想法. . 当当i不全相等时不全相

56、等时, ,g1 1( (t)=Log|)=Log|St|,|,且马氏距且马氏距离离 的公式中也考虑了的公式中也考虑了i的不等的不等, ,这时这时广义平方距离中的广义平方距离中的g1 1( (t) )可看成是一种修正可看成是一种修正. .)(2Xdt)(2Xdt86第五章第五章 5.2 BayesBayes( (贝叶斯贝叶斯) )判别法判别法及及广义广义平方平方距离判别法距离判别法-广义平方距离广义平方距离 利用广义平方距离的判别法为：利用广义平方距离的判别法为：( (后验概率及后验概率判别法将在下面介绍后验概率及后验概率判别法将在下面介绍) )引入引入g1( (t) )后后, ,使使广义平方距

57、离广义平方距离判别法的概率意义判别法的概率意义更明显更明显: : 广义平方距离广义平方距离判别法判别法后验概率判别法后验概率判别法87第五章第五章 5.2 BayesBayes( (贝叶斯贝叶斯) )判别法判别法及广义平方距离判别法及广义平方距离判别法-后验概率后验概率( (条件概率条件概率) ) 标准的标准的BayesBayes方法应该计算后验概率分布方法应该计算后验概率分布. .即计算当样品即计算当样品X已知时已知时, ,它属于它属于Gt的概率的概率, ,记为记为P(P(Gt|X)()(或或P(P(t|X)，这个概率作为判别归类这个概率作为判别归类的准则的准则, ,其概率意义更为直观其概率

58、意义更为直观. . 假定总体假定总体Gt的概率密度函数的概率密度函数ft( (x)()(t=1,=1, ,k) )给定，由条件概率的定义可以导出给定，由条件概率的定义可以导出：88第五章第五章 5.2 BayesBayes( (贝叶斯贝叶斯) )判别法判别法及广义平方距离判别法及广义平方距离判别法-后验概率后验概率( (条件概率条件概率) ) 89第五章第五章 5.2 BayesBayes( (贝叶斯贝叶斯) )判别法判别法及广义平方距离判别法及广义平方距离判别法-后验概率后验概率( (条件概率条件概率) ) 若假设若假设Gi( (i=1,=1, ,k) )为为m维正态总体维正态总体, ,其密

59、度其密度函数函数fi(x)为为90第五章第五章 5.2 BayesBayes( (贝叶斯贝叶斯) )判别法判别法及广义平方距离判别法及广义平方距离判别法-后验概率后验概率( (条件概率条件概率) ) 则则X属于第属于第t组的后验概率为：组的后验概率为：其中其中 是是X X到第到第i组的广义平方距离组的广义平方距离. .91第五章第五章 5.2 BayesBayes( (贝叶斯贝叶斯) )判别法判别法及及广义广义平方平方距离判别法距离判别法-后验概率后验概率( (条件概率条件概率) ) 在正态假设下按后验概率最大进行归类的准在正态假设下按后验概率最大进行归类的准则，等价于按广义平方距离最小准则进

60、行归类则，等价于按广义平方距离最小准则进行归类. .而按后验概率最大准则归类的判别法就是而按后验概率最大准则归类的判别法就是BayesBayes判别的一种情况判别的一种情况. . 一般一般BayesBayes判别即考虑先验概率的不同，还判别即考虑先验概率的不同，还考虑了错判损失的大小，在这里我们假定错判考虑了错判损失的大小，在这里我们假定错判损失相等损失相等. .92第五章第五章 5.2 BayesBayes( (贝叶斯贝叶斯) )判别法判别法及广义平方距离判别法及广义平方距离判别法-BayesBayes判别准则判别准则 所谓所谓BayesBayes判别准则判别准则, ,就是给出空间就是给出空