参数估计与非参数估计课件

第五章参数估计与非参数估计参数估计与监督学习

参数估计理论非参数估计理论

第五章参数估计与非参数估计参数估计与监督学习1§5-1参数估计与监督学习贝叶斯分类器中只要知道先验概率，条件概率或后验概概率P(ωi),P(x/ωi),P(ωi/x)就可以设计分类器了。现在来研究如何用已知训练样本的信息去估计P(ωi),P(x/ωi),P(ωi/x)一．参数估计与非参数估计参数估计：先假定研究的问题具有某种数学模型，如正态分布，二项分布，再用已知类别的学习样本估计里面的参数。非参数估计：不假定数学模型，直接用已知类别的学习样本的先验知识直接估计数学模型。§5-1参数估计与监督学习2二．监督学习与无监督学习监督学习：在已知类别样本指导下的学习和训练，参数估计和非参数估计都属于监督学习。无监督学习：不知道样本类别，只知道样本的某些信息去估计，如：聚类分析。二．监督学习与无监督学习3§5-2参数估计理论

一．最大似然估计假定：①待估参数θ是确定的未知量②按类别把样本分成M类X1，X2，X3，…XM其中第i类的样本共N个Xi=(X1,X2,…XN)T并且是独立从总体中抽取的③Xi中的样本不包含(i≠j)的信息，所以可以对每一类样本独立进行处理。④第i类的待估参数根据以上四条假定，我们下边就可以只利用第i类学习样本来估计第i类的概率密度，其它类的概率密度由其它类的学习样本来估计。§5-2参数估计理论41.一般原则：第i类样本的类条件概率密度：P(Xi/ωi)=P(Xi/ωi﹒θi)=P(Xi/θi)原属于i类的学习样本为Xi=(X1,X2,…XN,)T

i=1,2,…M求θi的最大似然估计就是把P(Xi/θi)看成θi的函数，求出使它最大时的θi值。∵学习样本独立从总体样本集中抽取的∴

N个学习样本出现概率的乘积取对数：1.一般原则：5对θi求导,并令它为0：有时上式是多解的,上图有5个解,只有一个解最大即.P(Xi/θi)对θi求导,并令它为0：P(Xi/θi)62.多维正态分布情况①∑已知,μ未知,估计μ

服从正态分布所以在正态分布时代入上式得2.多维正态分布情况代入上式得7所以这说明未知均值的最大似然估计正好是训练样本的算术平均。参数估计与非参数估计课件8②∑，μ均未知A.一维情况：n=1对于每个学习样本只有一个特征的简单情况：

(n=1)由上式得

即学习样本的算术平均

样本方差②∑，μ均未知9讨论：1.正态总体均值的最大似然估计即为学习样本的算术平均2.正态总体方差的最大似然估计与样本的方差不同，当N较大的时候，二者的差别不大。B．多维情况：n个特征（学生可以自行推出下式）估计值：结论：①μ的估计即为学习样本的算术平均

②估计的协方差矩阵是矩阵的算术平均（nⅹn阵列，nⅹn个值）讨论：10二.贝叶斯估计最大似然估计是把待估的参数看作固定的未知量，而贝叶斯估计则是把待估的参数作为具有某种先验分布的随机变量，通过对第i类学习样本Xi的观察，使概率密度分布P(Xi/θ)转化为后验概率P(θ/Xi)，再求贝叶斯估计。估计步骤:①

确定θ的先验分布P(θ),待估参数为随机变量。②用第i类样本xi=(x1,x2,….xN)T求出样本的联合概率密度分布P(xi|θ)，它是θ的函数。③

利用贝叶斯公式,求θ的后验概率

④二.贝叶斯估计11下面以正态分布的均值估计为例说明贝叶斯估计的过程一维正态分布:已知σ2,估计μ

假设概率密度服从正态分布P(X|μ)=N(μ,σ2),P(μ)=N(μ0,σ02)第i类学习样本xi=(x1,x2,….xN)T,i=1,2,…M第i类概率密度P(x|μi,xi)=P(x|xi)

所以后验概率(贝叶斯公式)下面以正态分布的均值估计为例说明贝叶斯估计的过程12因为N个样本是独立抽取的，所以上式可以写成

其中

为比例因子,只与x有关,与μ无关∵P(Xk|μ)=N(μ,σ2),P(u)=N(μ0,σ02)

其中a’,a’’包含了所有与μ无关的因子因为N个样本是独立抽取的，所以上式可以写成13∴P(μ|xi)是u的二次函数的指数函数∴P(μ|xi)仍然是一个正态函数,P(μ|Xi)=N(μN,σN2)另外后验概率可以直接写成正态形式：比较以上两个式子,对应的系数应该相等∴

∴P(μ|xi)是u的二次函数的指数函数14解以上两式得将μN,σN2代入P(μ|Xi)可以得到后验概率，再用公式

解以上两式得15

∴对μ的估计为若令P(μ)=N(μ0,σ02)=N(0,1)

与最大似然估计相似，只是分母不同∵

∵16三．贝叶斯学习1.贝叶斯学习的概念：求出μ的后验概率之后，直接去推导总体分布即当观察一个样本时，N=1就会有一个μ的估计值的修正值当观察N=4时，对μ进行修正，向真正的μ靠近当观察N=9时，对μ进行修正，向真正的μ靠的更近当N↑,μN就反映了观察到N个样本后对μ的最好推测，而σN2反映了这种推测的不确定性,N↑,σN2↓,σN2随观察样本增加而单调减小，且当N→∞,σN2→0

当N↑，P(μ|xi)越来越尖峰突起N→∞,P(μ|xi)→σ函数，这个过程成为贝叶斯学习。三．贝叶斯学习17参数估计与非参数估计课件182．类概率密度的估计

在求出u的后验概率P(μ|xi)后，可以直接利用式推断类条件概率密度。即P(x|xi)＝P(x|ωi，xi)⑴一维正态：已知σ2，μ未知∵μ的后验概率为2．类概率密度的估计19参数估计与非参数估计课件20结论：①把第i类的先验概率P(ωi)与第i类概率密度P(x|xi)相乘可以得到第i类的后验概率P(ωi/x)，根据后验概率可以分类。②对于正态分布P(x|xi)，用样本估计出来的μN代替原来的μ用代替原来的方差即可。③把估计值μN作为μ的实际值，那么使方差由原来的变为,使方差增大结论：21⑵多维正态（已知Σ，估计μ

）设P(x|μ)=N(μ,∑)P(μ)=N(μ0,∑0).根据Bayes公式，仿上面步骤可以得到：ΣN,μN

有以下关系其中a与μ无关⑵多维正态（已知Σ，估计μ）其中a与μ无关22这就是在多维情况下，对μ的估计参数估计与非参数估计课件23§5-3非参数估计参数估计要求密度函数的形式已知，但这种假定有时并不成立，常见的一些函数形式很难拟合实际的概率密度，经典的密度函数都是单峰的，而在许多实际情况中却是多峰的，因此用非参数估计。非参数估计:直接用已知类别样本去估计总体密度分布，方法有：①

用样本直接去估计类概率密度p(x/ωi)以此来设计分类器,如窗口估计②

用学习样本直接估计后验概率p(ωi/x)作为分类准则来设计分类器如k近邻法.1.

密度估计:一个随机变量X落在区域R的概率为P

P(X’)为P(X)在R内的变化值,P(X)就是要求的总体概率密度

RP(x)§5-3非参数估计RP(x)24假设有N个样本X=(X1,X2,…XN)T都是按照P(X)从总体中独立抽取的若N个样本中有k个落入在R内的概率符合二项分布

其中P是样本X落入R内的概率Pk是k个样本落入R内的概率数学期望:E(k)=k=NP

∴对概率P的估计:。是P的一个比较好的估计

设P(x’)在R内连续变化,当R逐渐减小的时候,小到使P(x)在其上几乎没有变化时，则

其中是R包围的体积

假设有N个样本X=(X1,X2,…XN)T都是按25∴

∴条件密度的估计：(V足够小)讨论:①当V固定的时候N增加,k也增加,当时

只反映了P(x)的空间平均估计而反映不出空间的变化②N固定,体积变小当时,k=0时

时

所以起伏比较大,噪声比较大,需要对V进行改进.∴26对体积V进行改进：为了估计X点的密度,我们构造一串包括X的区域序列R1,R2,..RN.对R1采用一个样本进行估计，对R2采用二个样本进行估计..。设VN是RN的体积，KN是N个样本落入VN的样本数则密度的第N次估计：VN是RN的体积

KN是N个样本落入VN的样本数∴PN(x)是P(x)的第N次估计对体积V进行改进：27若PN(x)收敛于P(x)应满足三个条件：①，当N↑时，VN↓，N→∞，VN→0

这时虽然样本数多，但由于VN↓，落入VN内的样本KN

也减小，所以空间变化才反映出来

②，N↑，kN↑，N与KN同相变化

③，KN的变化远小于N的变化。因此尽管在R内落入了很多的样本，但同总数N比较,仍然是很小的一部分。若PN(x)收敛于P(x)应满足三个条件：28如何选择VN满足以上条件：①使体积VN以N的某个函数减小，如

(h为常数)②使KN作为N的某个函数，例VN的选择使RN正好包含KN个近邻

V1→K1，V2→K2，..VR→KR→Kn近邻法窗口法如何选择VN满足以上条件：窗口法292.Parzen窗口估计假设RN为一个d维的超立方体，hN为超立方体的长度∴超立方体体积为：，d=1，窗口为一线段d=2，窗口为一平面d=3，窗口为一立方体d>3，窗口为一超立方体窗口的选择：方窗函数指数窗函数正态窗函数Φ(u)Φ(u)Φ(u)hN

正态窗函数2.Parzen窗口估计方窗函数指数窗函数正态窗函数Φ(u30∵

ф(u)是以原点x为中心的超立方体。∴在xi落入方窗时，则有在VN内为1

不在VN内为0落入VN的样本数为所有为1者之和∴密度估计∵ф(u)是以原点x为中心的超立方体。31讨论：①每个样本对估计所起的作用依赖于它到x的距离，即|x-xi|≤hN/2时，xi在VN内为1，否则为0。

②称为的窗函数，取0，1两种值，但有

时可以取0,0.1,0.2……多种数值，例如随xi离x接近的程度，取值由0,0.1,0.2……到1。讨论：32③要求估计的PN(x)应满足：为满足这两个条件，要求窗函数满足：④窗长度hN对PN(x)的影响若hN太大,PN(x)是P(x)的一个平坦,分辨率低的估计,有平均误差若hN太小,PN(x)是P(x)的一个不稳定的起伏大的估计,有噪声误差为了使这些误差不严重，hN应很好选择③要求估计的PN(x)应满足：33例1：对于一个二类（ω1，ω2）识别问题，随机抽取ω1类的6个样本X=(x1，x2，….x6)ω1=(x1，x2，….x6)=(x1=3.2，x2=3.6，x3=3，x4=6，x5=2.5，x6=1.1)估计P(x|ω1)即PN(x)解：选正态窗函数0123456x6x5x3x1x2x4x例1：对于一个二类（ω1，ω2）识别问题，随机抽取ω134∵x是一维的上式用图形表示是6个分别以3.2，3.6，3，6，2.5，1.1为中心的丘形曲线(正态曲线)，而PN(x)则是这些曲线之和。∵x是一维的35由图看出，每个样本对估计的贡献与样本间的距离有关，样本越多，PN(x)越准确。由图看出，每个样本对估计的贡献与样本间36例2：设待估计的P(x)是个均值为0，方差为1的正态密度函数。若随机地抽取X样本中的1个、16个、256个作为学习样本xi,试用窗口法估计PN(x)。解：设窗口函数为正态的，σ＝1，μ＝0hN:窗长度，N为样本数，h1为选定可调节的参数。例2：设待估计的P(x)是个均值为0，方差为1的正态密度37用窗法估计单一正态分布的实验N=∞N=256N=16N=1用窗法估计单一正态分布的实验N=∞N=256N=138讨论：由图看出,PN(x)随N,h1的变化情况①当N＝1时，PN(x)是一个以第一个样本为中心的正态形状的小丘，与窗函数差不多。②当N＝16及N=256时h1＝0.25曲线起伏很大，噪声大h1＝1起伏减小h1＝4曲线平坦，平均误差

③当N→∞时，PN(x)收敛于一平滑的正态曲线，估计曲线较好。讨论：由图看出,PN(x)随N,h1的变化情况39例3。待估的密度函数为二项分布解：此为多峰情况的估计设窗函数为正态解：此为多峰情况的估计设窗函数为正态x-2.5-210.2502P(x)-0.25<x<-20<x<2x为其它例3。待估的密度函数为二项分布x-2.5-210.2502P40N=∞N=256N=16N=1用窗法估计两个均匀分布的实验N=∞N=256N=16N=1用窗法估计两个均匀分41当N=1、16、256、∞时的PN(x)估计如图所示①当N＝1时，PN(x)实际是窗函数。②当N＝16及N=256时h1＝0.25曲线起伏大h1＝1曲线起伏减小h1＝4曲线平坦

③当N→∞时，曲线较好。当N=1、16、256、∞时的PN(x)估计如图所示42结论：

①由上例知窗口法的优点是应用的普遍性。对规则分布，非规则分布，单锋或多峰分布都可用此法进行密度估计。②要求样本足够多，才能有较好的估计。因此使计算量，存储量增大。结论：433.KN近邻估计：在窗口法中存在一个问题是对hN的选择问题。若hN选太小，则大部分体积将是空的（即不包含样本），从而使PN(x)估计不稳定。若hN选太大，则PN(x)估计较平坦，反映不出总体分布的变化，而KN近邻法的思想是以x为中心建立空胞，使v↑，直到捕捉到KN个样本为止。∴称KN-近邻估计

v的改进，样本密度大，VN↓;样本密度小，VN↑;

∴P(x)的估计为：3.KN近邻估计：在窗口法中存在一个问题是对hN的选择问题。44使PN(x)收敛于P(x)的充分必要条件：①，N与KN同相变化②，KN的变化远小于N的变化

③

V1为N=1时的VN值使PN(x)收敛于P(x)的充分必要条件：V1为N=1时的V45∴KN近邻估计对KN和VN都作了限制KN近邻法作后验概率的估计由KN近邻估计知N个已知类别样本落入VN内为KN个样本的概率密度估计为：

N个样本落入VN内有KN个，KN个样本内有Ki个样本属于ωi类则联合概率密度：

参数估计与非参数估计课件46根据Bayes公式可求出后验概率：类别为ωi的后验概率就是落在VN内属于ωi的样本ki与VN内总样本数KN的比值∴

∵根据Bayes公式可求出后验概率：∴∵47K近邻分类准则：对于待分样本x，找出它的k个近邻，检查它的类别，把x归于样本最多的那个类别。K近邻分类的错误率随K↑，Pk↓,最低的错误率为Bayes分类。P*PK

P*PK484、最近邻分类准则：待分样本x，找一个离它最近的样本，把x归于最近的样本一类。错误率：M为类别数P(e)为Bayes估计的错误率最近邻分类法则的错误率P比K近邻错误率还大，但最大不会超过贝叶斯分类器错误率的二倍。

PP(e)BayesK近邻最近邻4、最近邻分类准则：待分样本x，找一个离它最近的样本，PP(49第五章参数估计与非参数估计参数估计与监督学习

参数估计理论非参数估计理论

第五章参数估计与非参数估计参数估计与监督学习50§5-1参数估计与监督学习贝叶斯分类器中只要知道先验概率，条件概率或后验概概率P(ωi),P(x/ωi),P(ωi/x)就可以设计分类器了。现在来研究如何用已知训练样本的信息去估计P(ωi),P(x/ωi),P(ωi/x)一．参数估计与非参数估计参数估计：先假定研究的问题具有某种数学模型，如正态分布，二项分布，再用已知类别的学习样本估计里面的参数。非参数估计：不假定数学模型，直接用已知类别的学习样本的先验知识直接估计数学模型。§5-1参数估计与监督学习51二．监督学习与无监督学习监督学习：在已知类别样本指导下的学习和训练，参数估计和非参数估计都属于监督学习。无监督学习：不知道样本类别，只知道样本的某些信息去估计，如：聚类分析。二．监督学习与无监督学习52§5-2参数估计理论

一．最大似然估计假定：①待估参数θ是确定的未知量②按类别把样本分成M类X1，X2，X3，…XM其中第i类的样本共N个Xi=(X1,X2,…XN)T并且是独立从总体中抽取的③Xi中的样本不包含(i≠j)的信息，所以可以对每一类样本独立进行处理。④第i类的待估参数根据以上四条假定，我们下边就可以只利用第i类学习样本来估计第i类的概率密度，其它类的概率密度由其它类的学习样本来估计。§5-2参数估计理论531.一般原则：第i类样本的类条件概率密度：P(Xi/ωi)=P(Xi/ωi﹒θi)=P(Xi/θi)原属于i类的学习样本为Xi=(X1,X2,…XN,)T

i=1,2,…M求θi的最大似然估计就是把P(Xi/θi)看成θi的函数，求出使它最大时的θi值。∵学习样本独立从总体样本集中抽取的∴

N个学习样本出现概率的乘积取对数：1.一般原则：54对θi求导,并令它为0：有时上式是多解的,上图有5个解,只有一个解最大即.P(Xi/θi)对θi求导,并令它为0：P(Xi/θi)552.多维正态分布情况①∑已知,μ未知,估计μ

服从正态分布所以在正态分布时代入上式得2.多维正态分布情况代入上式得56所以这说明未知均值的最大似然估计正好是训练样本的算术平均。参数估计与非参数估计课件57②∑，μ均未知A.一维情况：n=1对于每个学习样本只有一个特征的简单情况：

(n=1)由上式得

即学习样本的算术平均

样本方差②∑，μ均未知58讨论：1.正态总体均值的最大似然估计即为学习样本的算术平均2.正态总体方差的最大似然估计与样本的方差不同，当N较大的时候，二者的差别不大。B．多维情况：n个特征（学生可以自行推出下式）估计值：结论：①μ的估计即为学习样本的算术平均

②估计的协方差矩阵是矩阵的算术平均（nⅹn阵列，nⅹn个值）讨论：59二.贝叶斯估计最大似然估计是把待估的参数看作固定的未知量，而贝叶斯估计则是把待估的参数作为具有某种先验分布的随机变量，通过对第i类学习样本Xi的观察，使概率密度分布P(Xi/θ)转化为后验概率P(θ/Xi)，再求贝叶斯估计。估计步骤:①

确定θ的先验分布P(θ),待估参数为随机变量。②用第i类样本xi=(x1,x2,….xN)T求出样本的联合概率密度分布P(xi|θ)，它是θ的函数。③

利用贝叶斯公式,求θ的后验概率

④二.贝叶斯估计60下面以正态分布的均值估计为例说明贝叶斯估计的过程一维正态分布:已知σ2,估计μ

假设概率密度服从正态分布P(X|μ)=N(μ,σ2),P(μ)=N(μ0,σ02)第i类学习样本xi=(x1,x2,….xN)T,i=1,2,…M第i类概率密度P(x|μi,xi)=P(x|xi)

所以后验概率(贝叶斯公式)下面以正态分布的均值估计为例说明贝叶斯估计的过程61因为N个样本是独立抽取的，所以上式可以写成

其中

为比例因子,只与x有关,与μ无关∵P(Xk|μ)=N(μ,σ2),P(u)=N(μ0,σ02)

其中a’,a’’包含了所有与μ无关的因子因为N个样本是独立抽取的，所以上式可以写成62∴P(μ|xi)是u的二次函数的指数函数∴P(μ|xi)仍然是一个正态函数,P(μ|Xi)=N(μN,σN2)另外后验概率可以直接写成正态形式：比较以上两个式子,对应的系数应该相等∴

∴P(μ|xi)是u的二次函数的指数函数63解以上两式得将μN,σN2代入P(μ|Xi)可以得到后验概率，再用公式

解以上两式得64

∴对μ的估计为若令P(μ)=N(μ0,σ02)=N(0,1)

与最大似然估计相似，只是分母不同∵

∵65三．贝叶斯学习1.贝叶斯学习的概念：求出μ的后验概率之后，直接去推导总体分布即当观察一个样本时，N=1就会有一个μ的估计值的修正值当观察N=4时，对μ进行修正，向真正的μ靠近当观察N=9时，对μ进行修正，向真正的μ靠的更近当N↑,μN就反映了观察到N个样本后对μ的最好推测，而σN2反映了这种推测的不确定性,N↑,σN2↓,σN2随观察样本增加而单调减小，且当N→∞,σN2→0

当N↑，P(μ|xi)越来越尖峰突起N→∞,P(μ|xi)→σ函数，这个过程成为贝叶斯学习。三．贝叶斯学习66参数估计与非参数估计课件672．类概率密度的估计

在求出u的后验概率P(μ|xi)后，可以直接利用式推断类条件概率密度。即P(x|xi)＝P(x|ωi，xi)⑴一维正态：已知σ2，μ未知∵μ的后验概率为2．类概率密度的估计68参数估计与非参数估计课件69结论：①把第i类的先验概率P(ωi)与第i类概率密度P(x|xi)相乘可以得到第i类的后验概率P(ωi/x)，根据后验概率可以分类。②对于正态分布P(x|xi)，用样本估计出来的μN代替原来的μ用代替原来的方差即可。③把估计值μN作为μ的实际值，那么使方差由原来的变为,使方差增大结论：70⑵多维正态（已知Σ，估计μ

）设P(x|μ)=N(μ,∑)P(μ)=N(μ0,∑0).根据Bayes公式，仿上面步骤可以得到：ΣN,μN

有以下关系其中a与μ无关⑵多维正态（已知Σ，估计μ）其中a与μ无关71这就是在多维情况下，对μ的估计参数估计与非参数估计课件72§5-3非参数估计参数估计要求密度函数的形式已知，但这种假定有时并不成立，常见的一些函数形式很难拟合实际的概率密度，经典的密度函数都是单峰的，而在许多实际情况中却是多峰的，因此用非参数估计。非参数估计:直接用已知类别样本去估计总体密度分布，方法有：①

用样本直接去估计类概率密度p(x/ωi)以此来设计分类器,如窗口估计②

用学习样本直接估计后验概率p(ωi/x)作为分类准则来设计分类器如k近邻法.1.

密度估计:一个随机变量X落在区域R的概率为P

P(X’)为P(X)在R内的变化值,P(X)就是要求的总体概率密度

RP(x)§5-3非参数估计RP(x)73假设有N个样本X=(X1,X2,…XN)T都是按照P(X)从总体中独立抽取的若N个样本中有k个落入在R内的概率符合二项分布

其中P是样本X落入R内的概率Pk是k个样本落入R内的概率数学期望:E(k)=k=NP

∴对概率P的估计:。是P的一个比较好的估计

设P(x’)在R内连续变化,当R逐渐减小的时候,小到使P(x)在其上几乎没有变化时，则

其中是R包围的体积

假设有N个样本X=(X1,X2,…XN)T都是按74∴

∴条件密度的估计：(V足够小)讨论:①当V固定的时候N增加,k也增加,当时

只反映了P(x)的空间平均估计而反映不出空间的变化②N固定,体积变小当时,k=0时

时

所以起伏比较大,噪声比较大,需要对V进行改进.∴75对体积V进行改进：为了估计X点的密度,我们构造一串包括X的区域序列R1,R2,..RN.对R1采用一个样本进行估计，对R2采用二个样本进行估计..。设VN是RN的体积，KN是N个样本落入VN的样本数则密度的第N次估计：VN是RN的体积

KN是N个样本落入VN的样本数∴PN(x)是P(x)的第N次估计对体积V进行改进：76若PN(x)收敛于P(x)应满足三个条件：①，当N↑时，VN↓，N→∞，VN→0

这时虽然样本数多，但由于VN↓，落入VN内的样本KN

也减小，所以空间变化才反映出来

②，N↑，kN↑，N与KN同相变化

③，KN的变化远小于N的变化。因此尽管在R内落入了很多的样本，但同总数N比较,仍然是很小的一部分。若PN(x)收敛于P(x)应满足三个条件：77如何选择VN满足以上条件：①使体积VN以N的某个函数减小，如

(h为常数)②使KN作为N的某个函数，例VN的选择使RN正好包含KN个近邻

V1→K1，V2→K2，..VR→KR→Kn近邻法窗口法如何选择VN满足以上条件：窗口法782.Parzen窗口估计假设RN为一个d维的超立方体，hN为超立方体的长度∴超立方体体积为：，d=1，窗口为一线段d=2，窗口为一平面d=3，窗口为一立方体d>3，窗口为一超立方体窗口的选择：方窗函数指数窗函数正态窗函数Φ(u)Φ(u)Φ(u)hN

正态窗函数2.Parzen窗口估计方窗函数指数窗函数正态窗函数Φ(u79∵

ф(u)是以原点x为中心的超立方体。∴在xi落入方窗时，则有在VN内为1

不在VN内为0落入VN的样本数为所有为1者之和∴密度估计∵ф(u)是以原点x为中心的超立方体。80讨论：①每个样本对估计所起的作用依赖于它到x的距离，即|x-xi|≤hN/2时，xi在VN内为1，否则为0。

②称为的窗函数，取0，1两种值，但有

时可以取0,0.1,0.2……多种数值，例如随xi离x接近的程度，取值由0,0.1,0.2……到1。讨论：81③要求估计的PN(x)应满足：为满足这两个条件，要求窗函数满足：④窗长度hN对PN(x)的影响若hN太大,PN(x)是P(x)的一个平坦,分辨率低的估计,有平均误差若hN太小,PN(x)是P(x)的一个不稳定的起伏大的估计,有噪声误差为了使这些误差不严重，hN应很好选择③要求估计的PN(x)应满足：82例1：对于一个二类（ω1，ω2）识别问题，随机抽取ω1类的6个样本X=(x1，x2，….x6)ω1=(x1，x2，….x6)=(x1=3.2，x2=3.6，x3=3，x4=6，x5=2.5，x6=1.1)估计P(x|ω1)即PN(x)解：选正态窗函数0123456x6x5x3x1x2x4x例1：对于一个二类（ω1，ω2）识别问题，随机抽取ω183∵x是一维的上式用图形表示是6个分别以3.2，3.6，3，6，2.5，1.1为中心的丘形曲线(正态曲线)，而PN(x)则是这些曲线之和。∵x是一维的84由图看出，每个样本对估计的贡献与样本间的距离有关，样本越多，PN(x)越准确。由图看出，每个样本对估计的贡献与样本间85例2：设待估计的P(x)是个均值为0，方差为1的正态密度函数。若随机地抽取X样本中的1个、16个、256个作为学习样本xi,试用窗口法估计PN(x)。解：设窗口函数为正态的，σ＝1，μ＝0hN:窗长度，N为样本数，h1为选定可调节的参数。例2：设待估计的P(x)是个均值为0，方差为1的正态密度86用窗法估计单一正态分布的实验N=