第3章概率密度函数的估计

第3章概率密度函数的估计参数估计的基本概念正态分布的监督参数估计（最大似然估计）总体分布的非参数估计（Parzen窗法，K近邻法）分类器错误率的估计3.1引言

未知，需要利用样本集来估计。

较好估计，重点估计

两步法设计分类器（1）估计（2）利用第2章方法设计分类器

本章研究问题（1）如何利用样本估计（2）估计量的性质（3）利用样本集估计错误率的方法3.1引言—由样本集估计参数估计

监督、非监督（最大似然估计、贝叶斯估计）非参数估计

Parzen窗法、K近邻法3.2参数估计—基本概念统计量

利用包含总体信息的样本构造的某种函数参数空间

未知参数的全体容许值构成的集合称为参数空间。点估计、估计量、估计值

点估计即利用统计量作为对参数的估计量，利用样本得到估计量的具体数值，称为估计值。区间估计用区间作为取值的范围的一种估计，该区间称为置信区间，这类估计称为区间估计。3.2参数估计—估计量的评价无偏性

如果参数的估计量的数学期望等于，则称估计是无偏的。如果当样本趋于无穷时估计才具有无偏性，则称为渐进无偏。

有效性

如果一种估计的方差比另一种估计的方差小，则称方差小的估计更有效。

一致性

如果对于任意给定的正数，总有，则称是的一致估计。简评：无偏性与有效性针对多次估计，不能保证一次估计性能；而在样本无穷多时，一致性可保证每一次的估计量在概率意义上接近真实值。3.2参数估计—最大似然估计（监督）前提条件：（1）是确定而未知的；（2）样本所属类别已知，且是从各类总体中独立抽取的；（3）形式已知（如正态），但参数未知（如）（4）i类样本不影响j类信息。（类间独立，可分别研究C类问题）3.2参数估计—最大似然估计（监督）基本思想：似然函数思想：如果在一次观察中一个事件出现了，那么可以认为这个事件出现的可能性很大事件出现——样本集H出现可能性大——取极大值（极大似然估计）3.2参数估计—最大似然估计（监督）计算过程：S个求偏导的方程构成方程组，求解得参数！为似然函数3.2参数估计—最大似然估计（监督）注意问题：（1）有时没有唯一解。3.2参数估计—最大似然估计（监督）（2）求极大值无解（例：均匀分布情况）至少有一个为无穷大，无意义！此时可令样本中最小与最大值为估计值。3.3正态分布参数的最大似然估计（监督）一维情况3.3正态分布参数的最大似然估计（监督）针对所有样本样本均值方差算术平均3.3正态分布参数的最大似然估计（监督）多维推广：为向量是无偏估计，不是无偏估计，其无偏估计是3.3正态分布参数的最大似然估计（监督）算例：有10个学生，其中5个男生，5个女生。取身高体重两个指标作为特征，有数据表男生女生x1x2x3x4x5x6x7x8x9x10X1身高(m)1.701.751.651.801.781.601.551.601.651.70X2体重(kg)657060657060454550553.3正态分布参数的最大似然估计（监督）男生女生3.3正态分布参数的最大似然估计（监督）10个样本的均值：男生样本的均值：女生样本的均值：总体身高的方差：男生身高的方差：女生身高的方差：3.3正态分布参数的最大似然估计（监督）全体样本协方差男生样本协方差女生样本协方差与最大似然估计的差别：（1）（2）最大似然估计中，为确定而未知的参数；贝叶斯估计中，为随机变量。贝叶斯估计简介非监督参数估计简介非监督最大似然估计

需定义混合密度正态分布下的非监督参数估计

混合高斯分布，利用EM（期望最大化）算法求解各密度分量参数。3.4总体分布的非参数估计问题的提出

参数估计：总体分布已知，参数为未知（监督、非监督）非参数估计：总体分布未知，直接由样本估计总体分布技术分类(依据体积的不同选取方法）3.4总体分布的非参数估计基本方法：向量x落入R中的概率现若抽取N个样本，k个落入R，则设R小到令无变化，则3.4总体分布的非参数估计—Parzen窗法假定R为以x为中心的d维超立方体，棱长为h，则体积为定义窗函数，以找出落入V的样本个数k以原点为中心的超立方体当样本落入其中时

Parzen窗估计公式保证为概率密度3.4总体分布的非参数估计—Parzen窗法窗函数应满足的要求：保证非负保证积分为1窗函数的选择：除方窗外，还可选择正态窗、指数窗等3.4总体分布的非参数估计—Parzen窗法表明距离越远，贡献越小3.4总体分布的非参数估计—Parzen窗法图形解释：某一点x的密度为其余各点的贡献和每一样本对该点所在位置贡献最大3.4总体分布的非参数估计—Parzen窗法应用案例：对一维高斯分布和两个均匀分布的估计3.4总体分布的非参数估计—k近邻法问题的提出

Parzen窗法中窗宽（或体积）的选择较为困难。

该式对初值敏感，初值太小，大部分体积是空的，密度估计不稳定，初值太大，估计的密度较平坦，无法反映真实分布，为解决此问题，产生了k近邻法。3.4总体分布的非参数估计—k近邻法思想：x周围设一空胞，扩大至包含k个样本空胞具有自适应性，密度高则体积小，密度低则体积大3.4总体分布的非参数估计—k近邻法k的选取N越大，效果越好。经验数据：一维时，数百个样本二维时，数千个3.4总体分布的非参数估计—kN近邻法应用案例：对一维高斯分布和两个均匀分布的估计3.4非参数估计举例—数字的Bayes分类数字特征的提取3.4非参数估计举例—数字的Bayes分类计算先验概率计算，再计算类条件概率密度数字i的第j个分量为1的概率数字i的第j个分量为0的概率3.4非参数估计举例—数字的Bayes分类样本X的类条件概率利用Bayes公式求后验概率最大后验概率对应的类别（0-9）即为得到的数字类别3.4非参数估计举例—数字的Bayes分类3.5分类器错误率的估计3.5分类器错误率的估计已设计好分类器（样本均为考试样本）1、未知——随机抽样从总体随机抽取N个样本检验分类器，假定错分数为，则错误率估值为是否是最好的估计？3.5分类器错误率的估计证明：每一样本有正确分类、错误分类两种情况，属于贝努利试验，N个样本为N重贝努利试验。设真实错分概率为已给定，则的分布服从二项分布。最大似然估计前次错分，后次正确的概率3.5分类器错误率的估计2、已知——选择性抽取

3.5分类器错误率的估计未设计好分类器的情况（样本即用于设计又用于检验）（再代入法）错误率偏小，甚至小于贝叶斯错误率U-法将样本分为两部分，一部分用于设计分类器，一部分用于检验分类器，问题的关键在于如何划分样本？3.5分类器错误率的估计样本划分法

若检验集>设计集，则错误率估计方差较小，但分类器性能不佳，N越大，效果越好！留一法（样本少时采用）

N个样本，N-