模式识别第五章统计决策中的训练学习与错误率测试估计_第1页
模式识别第五章统计决策中的训练学习与错误率测试估计_第2页
模式识别第五章统计决策中的训练学习与错误率测试估计_第3页
模式识别第五章统计决策中的训练学习与错误率测试估计_第4页
模式识别第五章统计决策中的训练学习与错误率测试估计_第5页
已阅读5页,还剩86页未读 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

模式识别第五章统计决策中的训练学习与错误率测试估计第一页,共九十一页,编辑于2023年,星期日5·1统计推断概述第五章统计决策中的训练、学习

与错误率测试、估计第二页,共九十一页,编辑于2023年,星期日本章目的:已知类别的样本(训练样本)→学习或训练→获得类概密在上一章的学习中,我们一直假设类的条件概率密度函数是已知的,然后去设计贝叶斯分类器。但在实际中,这些知识往往是不知道的,这就需要用已知的样本进行学习或训练。也就是说利用统计推断理论中的估计方法,从样本集数据中估计这些参数。5.1统计推断概述第三页,共九十一页,编辑于2023年,星期日如果已知iw类的概密)(ixpwr的函数类型,即知道iw

类的概型,但不知道其中的参数或参数集,可采用参数估计的方法,当解得这些参数后)(ixpwr也就确定了。{}),,,(21¢qqq=qD

qmiLr确定未知参数参数估计参数估计有两类方法:将参数作为非随机量处理,如矩法估计、最大似然估计;将参数作为随机变量,贝叶斯估计就属此类。5.1统计推断概述第四页,共九十一页,编辑于2023年,星期日非参数估计5.1统计推断概述当不知道类的概型时,就要采用非参数估计的方法,这种方法也称为总体推断,这类方法有:1.p-窗法2.有限项正交函数级数逼近法3.随机逼近法第五页,共九十一页,编辑于2023年,星期日基本概念母体(总体):一个模式类称为一个总体或母体5.1统计推断概述母体的子样:一个模式类中某些模式(即母体中的一些元素)的集合称为这个母体的子样。母体的子样含有母体的某些信息,可以通过构造样本的函数来获得。统计量:一般来说,每一个样本都包含着母体的某些信息,为了估计未知参数就要把有用的信息从样本中抽取出来。为此,要构造训练样本的某种函数,这种函数在统计学中称为统计量。第六页,共九十一页,编辑于2023年,星期日基本概念经验分布:由样本推断的分布称为经验分布。5.1统计推断概述数学期望、方差等理论量(或理论分布):参数空间:在统计学中,把未知参数q的可能值的集合称为参数空间,记为Q。点估计、估计量:针对某未知参数q构造一个统计量作为q的估计,这种估计称为点估计。称为q的估计量。第七页,共九十一页,编辑于2023年,星期日基本概念5.1统计推断概述为了准确地对某一类的分布进行参数估计或总体推断,应只使用该类的样本。就是说在进行参数估计时,应对各类进行独立的参数估计或总体推断。因此在以后的论述中,如无必要,不特别言明类别。区间估计:在一定置信度条件下估计某一未知参数q的取值范围,称之为置信区间,这类估计成为区间估计。第八页,共九十一页,编辑于2023年,星期日第九页,共九十一页,编辑于2023年,星期日基本概念5.1统计推断概述渐近无偏估计:即。当不能对所有

的都有

时,希望估计量是渐近无偏估计。第十页,共九十一页,编辑于2023年,星期日基本概念5.1统计推断概述均方收敛:均方逼近:均方收敛:又称相合估计一致估计:

当样本无限增多时,估计量依概率收敛于,第十一页,共九十一页,编辑于2023年,星期日

5·2参数估计第五章统计决策中的训练、学习

与错误率测试、估计第十二页,共九十一页,编辑于2023年,星期日5.2参数估计5.2.1均值矢量和协方差阵的矩法估计5.2.2最大似然估计(MLE)5.2.3贝叶斯估计(BE)第十三页,共九十一页,编辑于2023年,星期日5.2参数估计均值矢量和协方差阵的矩法估计矩法估计是用样本(的统计)矩作为总体(理论)矩的估值。若类的概型为正态分布,我们用矩法估计出类的均值矢量和协方差阵后,类的概密也就完全确定了。均值矢量:均值无偏估计:第十四页,共九十一页,编辑于2023年,星期日5.2参数估计均值矢量和协方差阵的矩法估计协方差阵:第十五页,共九十一页,编辑于2023年,星期日5.2参数估计均值矢量和协方差阵的矩法估计协方差阵

:协方差阵无偏估计

:或第十六页,共九十一页,编辑于2023年,星期日5.2参数估计设和是由个样本算得的均矢和协方差阵,则可采用递推公式进行估算若再加入一个新的样本初始值:))((11)(1NmxNNmNrrr-++=+均值矢量和协方差阵的矩法估计第十七页,共九十一页,编辑于2023年,星期日5.2参数估计协方差矩阵的递推估计式:均值矢量和协方差阵的矩法估计å+=+++-=11)'1()1(1'1NjjjNmNmNNxxNrrrr'11')(12)'()(1'11111+++=+++-+-=åNNNjNjjxxNxNmNNmNmNNxxNrrrrrrrr))'())(((11)(111NmxNmxNNCNNNNrrrr--++-=++F=-=-='')'1()1(')1(111111xxxxmmxxCrrrrrrrr初始值:第十八页,共九十一页,编辑于2023年,星期日5.2参数估计均值矢量和协方差阵的矩法估计第十九页,共九十一页,编辑于2023年,星期日5.2参数估计最大似然估计(MLE)(MaximumLikelihoodEstimate)

如同矩法估计一样,最大似然估计要求已知总体的概型,即概密的具体函数形式,它也将被估计量作为确定性的变量对待。但最大似然估计适用范围比矩法估计更宽一些,可以用于不是正态分布的情况。最大似然估计是参数估计中最重要的方法。第二十页,共九十一页,编辑于2023年,星期日5.2参数估计最大似然估计(MLE)(MaximumLikelihoodEstimate)

似然函数:当个随机样本取定值时,称为相对于的的似然函数。联合概密设一个总体的概密为,其中是一个未知参数集,第二十一页,共九十一页,编辑于2023年,星期日5.2参数估计最大似然估计(MLE)(MaximumLikelihoodEstimate)

由于是概密的一个确定性的参数集,因此实际上就是条件概密上式中不同的,将不同。如果各个是独立抽取的,则进一步有:第二十二页,共九十一页,编辑于2023年,星期日5.2参数估计最大似然估计(MLE)(MaximumLikelihoodEstimate)最大似然估计:第二十三页,共九十一页,编辑于2023年,星期日5.2参数估计最大似然估计(MLE)(MaximumLikelihoodEstimate)在实际中多是独立取样和经常处理正态变量,而且对数函数是单值单调函数,对数似然函数与似然函数在相同的处取得最大值。第二十四页,共九十一页,编辑于2023年,星期日5.2参数估计最大似然估计(MLE)(MaximumLikelihoodEstimate)

在似然函数可微的条件下,求下面微分方程组的解:或等价地求作为极值的必要条件。对数似然方程组第二十五页,共九十一页,编辑于2023年,星期日5.2参数估计最大似然估计(MLE)(MaximumLikelihoodEstimate)

需要指出的是:对于具体问题,有时用上述方法不一定可行,原因之一是似然函数在最大值点处没有零斜率。求出上面方程组中的一切解及边界值,计算使最大的作为的最大似然估计。因此,最大似然的关键是必须知道概型。第二十六页,共九十一页,编辑于2023年,星期日5.2参数估计最大似然估计(MLE)(MaximumLikelihoodEstimate)

下面我们以多维正态分布为例进行说明。(1)假设Σ是已知的,未知的只是均值μ,则:第二十七页,共九十一页,编辑于2023年,星期日5.2参数估计最大似然估计(MLE)(MaximumLikelihoodEstimate)

这说明,样本总体的未知均值的最大似然估计就是训练样本的平均值。它的几何解释就是:若把N个样本看成是一群质点,则样本均值便是它们的质心。第二十八页,共九十一页,编辑于2023年,星期日第二十九页,共九十一页,编辑于2023年,星期日可见,正态分布中的协方差阵Σ的最大似然估计量等于N个矩阵的算术平均值。第三十页,共九十一页,编辑于2023年,星期日(3)对于一般的多维正态密度的情况,计算方法完全是类似的。最后的结果是:可以证明上式的均值是无偏估计,但协方差阵并不是无偏估计,无偏估计是:第三十一页,共九十一页,编辑于2023年,星期日5.2参数估计贝叶斯估计(BE)考虑到的各种取值,我们应求在空间中的期望,即平均损失:

第三十二页,共九十一页,编辑于2023年,星期日5.2参数估计贝叶斯估计(BE)第三十三页,共九十一页,编辑于2023年,星期日5.2参数估计贝叶斯估计(BE)不同的具体定义,可得到不同的最佳贝叶斯估计。比如,可以用平方误差作为代价,此时:上式中,对于于是:第三十四页,共九十一页,编辑于2023年,星期日5.2参数估计贝叶斯估计(BE)由于是非负的,只出现在内层积分中,关于使最小等价于:为求极小,令第三十五页,共九十一页,编辑于2023年,星期日5.2参数估计贝叶斯估计(BE)从而可得:第三十六页,共九十一页,编辑于2023年,星期日5.2参数估计贝叶斯估计(BE)下面介绍估计所涉及的其它公式或近似算式:由于各样本是独立抽取的,故它们条件独立,即有由贝叶斯定理知:第三十七页,共九十一页,编辑于2023年,星期日5.2参数估计贝叶斯估计(BE)第三十八页,共九十一页,编辑于2023年,星期日5.2参数估计贝叶斯估计(BE)第三十九页,共九十一页,编辑于2023年,星期日作业:P1705.1,5.2,5.3第四十页,共九十一页,编辑于2023年,星期日5·4概密的窗函数估计法

第五章统计决策中的训练、学习

与错误率测试、估计第四十一页,共九十一页,编辑于2023年,星期日设个样本是从上述概密为的总体中独立抽取的,个样本中有个样本落入区域中的概率服从离散随机变量的二项分布第四十二页,共九十一页,编辑于2023年,星期日令为众数,如果不是整数,则:

即等于的整数部分;如果是整数,则:

和第四十三页,共九十一页,编辑于2023年,星期日由于:所以:这里是的估计,当较大较小时上式的近似程度是足够的。第四十四页,共九十一页,编辑于2023年,星期日5.4概密的窗函数估计法概率密度的基本估计式当固定时,对的最大似然估计,由概率论知,的数学期望。第四十五页,共九十一页,编辑于2023年,星期日5.4概密的窗函数估计法概率密度的基本估计式设区域R的体积为V,我们取R足够小,使ò»=RVxpxdxpP)()(rrr设)(ˆxpr是)(xpr的估计,由上面二式有VxpxdxpPNkR)(ˆ)(ˆˆrrr===ò于是可得第四十六页,共九十一页,编辑于2023年,星期日5.4概密的窗函数估计法概率密度的基本估计式显然是的基本估计式,它与有关,显然和有一定的误差。

理论上,要使

R0

V0,同时k,N。

而实际估计时体积不是任意的小,且样本总数总是存在误差。

也是有限的,所以第四十七页,共九十一页,编辑于2023年,星期日5.4概密的窗函数估计法概率密度的基本估计式为了提高处的概密)(xpr的估计精度,我们根据理论,可以采用如下步骤以尽量满足理论要求:极限⑴

构造一包含的区域序列各区域的体积满足⑵相对区域作估计实验,对取N个样本进行估计,设有个样本落入样本数目应满足中,第四十八页,共九十一页,编辑于2023年,星期日第四十九页,共九十一页,编辑于2023年,星期日第五十页,共九十一页,编辑于2023年,星期日第五十一页,共九十一页,编辑于2023年,星期日5.4概密的窗函数估计法Parzen窗法为能用函数描述区域NR和对落入NR的样本计数,定义窗函数),,,(21¢=nuuuuLrîíì=£=j其它当,0,,2,1,21,1)(niuuiLr

这样,)(urj以函数值1界定了一个以原点为中心、棱长为1的n维超立方体。第五十二页,共九十一页,编辑于2023年,星期日5.4概密的窗函数估计法Parzen窗法

如果一个样本jxr落入以xr为中心以Nh为棱长的超立方体NR内时则计数为1,否则计数为0,我们可以利用窗函数)(xrj实现这个约定,即落入该立方体NR的样本数第五十三页,共九十一页,编辑于2023年,星期日第五十四页,共九十一页,编辑于2023年,星期日5.4概密的窗函数估计法Parzen窗法上面所讲的是从构造上导出了估计式,所取的窗函数即迭加基函数为维方窗(柱)函数。事实上只要窗函数满足下面的两个条件:由式构造的估计式就是概密函数。第五十五页,共九十一页,编辑于2023年,星期日5.4概密的窗函数估计法Parzen窗法

按照上面的条件,除了选择方窗外,还可以选择其它的满足上述两个条件的函数作窗函数。下面列出几个一维窗函数的例子,n维的窗函数可用乘积的方法由一维函数构造。⑶

指数窗函数

[]uu-=jexp)(⑴

方窗函数

îíì£=j其它,021,1)(uu⑵

正态窗函数

úûùêëé-p=j221exp21)(uu⑷

三角窗函数

îíì>£-=j1,01,1)(uuuu第五十六页,共九十一页,编辑于2023年,星期日下面进一步讨论窗宽对估计的影响:5.4概密的窗函数估计法Parzen窗法定义:于是估计式表示成:影响的幅度和宽度。注意到:可看出第五十七页,共九十一页,编辑于2023年,星期日5.4概密的窗函数估计法Parzen窗法若Nh较大,则)(jNxxrr-d幅度将较小,而宽度增大)(ˆxpNr是N个低幅缓变宽的函数迭加,)(ˆxpNr较平滑,不能跟上的变化,分辨率较低。)(xpr第五十八页,共九十一页,编辑于2023年,星期日第五十九页,共九十一页,编辑于2023年,星期日5.4概密的窗函数估计法Parzen窗法估计量是一随机变量,它依赖于随机的训练样本,所以估计量的性能只能用统计性质表示。在满足下列条件下是渐近无偏估计、均方收敛、均方逼近、且是渐近正态分布。⑴

概密)(xpr在xr处连续⑵

窗函数满足下列条件①0)(³jur②

ò=j1)(udurr③

¥<j)(supuurr④

0)(lim1=jÕ=¥®niiuuurr第六十页,共九十一页,编辑于2023年,星期日5.4概密的窗函数估计法Parzen窗法估计量是一随机变量,它依赖于随机的训练样本,所以估计量的性能只能用统计性质表示。在满足下列条件下是渐近无偏估计、均方收敛、均方逼近、且是渐近正态分布。⑶窗宽限制⑤

⑥⑷对样本的要求⑦⑧第六十一页,共九十一页,编辑于2023年,星期日(1)是的渐近无偏估计证明:第六十二页,共九十一页,编辑于2023年,星期日第六十三页,共九十一页,编辑于2023年,星期日P—窗法的特点

适用范围广,无论概密是规则的或不规则的、单峰的或多峰的。但它要求样本分布较好且数量要大,显然这也是一个良好估计所必须的,但它的取样过程的操作增加了取样工作的复杂性。窗函数选取得当有利于提高估计的精度和减少样本的数量。第六十四页,共九十一页,编辑于2023年,星期日(a)图中,p(x)是均值为零、方差为1的一维正态分布,窗函数选择为正态窗函数:h1为可调节参量。于是:第六十五页,共九十一页,编辑于2023年,星期日(a)由结果曲线可以看出,样本量越大,估计越精确;同时,也可以看出窗口选择是否适当对估计结果有一定影响。第六十六页,共九十一页,编辑于2023年,星期日和

同上由图中曲线可以看出,当N较小时,窗函数对估计结果影响较大,其估计结果与真实分布相差较远;当N增大时,估计结果与真实分布较为接近。第六十七页,共九十一页,编辑于2023年,星期日5.4概密的窗函数估计法kN-近邻估计法在P—窗法中,把体积作为的函数导致对估计结果影响很大。例如当选得太小将导致大部分区域是空的,会使不稳定;选得太大,则较平坦,将丢失的一些重要空间变化。当—近邻元估计法是克服这个问题的一个可能的方法。第六十八页,共九十一页,编辑于2023年,星期日5.4概密的窗函数估计法kN-近邻估计法基本思想:把含点的序列区域的体积作为落入中样本数的函数,而不是直接作为的函数。我们可以预先确定是的某个函数,然后在点附近选择一“紧凑”区域,个邻近样本。实验样本数让它只含点附近概密较大,则包含个样本的区域如果体积自然就相对的小;点附近概密较小,则区域体积就较大。个邻近样本而扩展到高密度如果显然,当区域为含有区时,扩展过程必然会停止。第六十九页,共九十一页,编辑于2023年,星期日5.4概密的窗函数估计法kN-近邻估计法如果满足条件

②③①第七十页,共九十一页,编辑于2023年,星期日5.4概密的窗函数估计法kN-近邻估计法第七十一页,共九十一页,编辑于2023年,星期日5.4概密的窗函数估计法kN-近邻估计法-20210.01.00.10.010.001N=1,KN=1-20210.01.00.10.010.001-20210.01.00.10.010.001-20210.01.00.10.010.001-20210.01.00.10.010.001-20210.01.00.10.010.001-20210.01.00.10.010.001-20210.01.00.10.010.001N=16,KN=4N=256,KN=16N=,KN=第七十二页,共九十一页,编辑于2023年,星期日作业P1705.75.8第七十三页,共九十一页,编辑于2023年,星期日第七十四页,共九十一页,编辑于2023年,星期日5·5有限项正交函数级数逼近法第五章统计决策中的训练、学习

与错误率测试、估计第七十五页,共九十一页,编辑于2023年,星期日5·5有限项正交函数级数逼近法—设有个抽自同一母体

的样本用于估计总体概密,我们将概密的估计表示成有限项正交级数式中,是某一正交函数集的基函数,为待定系数。应根据的特点适当选择以期在固定的项数下减小误差,项数R取得越大近似得就越好。最小积分平方逼近方法第七十六页,共九十一页,编辑于2023年,星期日5·5有限项正交函数级数逼近法—

估计与真值之间的误差可用下式测度式中,是特征空间,是权函数,显然越小,我们得到的估计从总体上讲就越精确。将的具体表示代入上式得:最小积分平方逼近方法第七十七页,共九十一页,编辑于2023年,星期日上式的是的二次函数,因此使达到最小值的必要且只要满足:由此可得:从而有:第七十八页,共九十一页,编辑于2023年,星期日

令是带权函数的正交函数集,即

第七十九页,共九十一页,编辑于2023年,星期日则有:若是在下的规范化的正交函数集,即则有:将所求得的最佳系数

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论