Chp非参数估计PPT课件

1、1Chp7：非参数估计 CDF估计 点估计 区间估计 统计函数估计 点估计 区间估计第1页/共35页2Chp7：非参数估计 一个非参数模型的例子： “非参数”并不意味着没有参数，而是指模型不能参数化（有无限个参数）。第2页/共35页3非参数化方法 一些流行的非参数化方法： 直方图、核密度估计 (密度估计) 样条、小波回归 (回归) 核判别分析、最近邻、支持向量机SVM (分类)第3页/共35页4非参数化方法 非参数模型有时亦称局部模型（local model） 如：核回归 常用核函数 :第4页/共35页5CDF估计和统计函数估计 回到最基本状态，无需任何假设第5页/共35页6经验分布函数(Em

2、pirical Distribution Function， EDF) 令 为IID，则经验分布函数 定义为 其中 称为指示函数（indicator function）。 注意： 是基于排序好的样本数据的一个步长函数，在有样本时跳 1/n 。第6页/共35页7 是F的一个很好估计？ 给定x， 是一个随机变量： 服从二项分布 所以第7页/共35页8 是F F的一个很好估计？ 所以无偏估计一致估计第8页/共35页9EDF的置信区间 Glivenko-Cantelli 定理 如果 ，则 Dvoretzky-Kiefer-Wolfowitz (DKW)不等式 如果 ，则对任意 可根据下面的步骤构造F的

3、1-置信区间。第9页/共35页10EDF置信区间 定义 则对任意F和所有x 所以 为F的 非参数置信区间。其中第10页/共35页11例：神经纤维上相邻脉冲的相隔时间95%的置信区间中的参数为：时间t第11页/共35页12统计函数的估计 统计函数/统计泛函：F的任意函数 均值： 方差： 中值： 统计函数的估计：嵌入式估计量(Plug-in Estimator) 的嵌入式估计量为 插入 代替未知的F( )xdF xm=()( )22xdF xsm=-()11 2mF-=第12页/共35页13嵌入式估计量：线性函数 若对某个函数 ，有 ，则称T为一个线性函数。 T为一个线性函数： 该函数的嵌入式估计

4、量为 例如：均值第13页/共35页14例：方差 方差： 因此 注意：与样本方差稍有不同。该估计不是无偏估计第14页/共35页15例：偏度 令 和 分别表示随机变量X的均值和方差，偏度定义为： 表示分布偏离对称的程度。 因为 所以 的嵌入式估计量为：m2s第15页/共35页16例：样本相关系数 令 表示X与Y之间的相关系数，其中 为二元随机向量的分布 。 其中 用 代替 中的F，得到样本相关系数：( )( )( )( )( )( )()12345,T FT FTFT FTFTFa=第16页/共35页17例：样本分位数 令F为密度为f的严格增函数 第p分位数： 的估计为 由于 不可逆，为避免歧义，

5、定义 称为样本分位数。第17页/共35页18线性函数估计的置信区间 通常可以假定线性函数满足中心极限定理，即 这样只要知道了 ，就可以比较容易得到置信区间：渐近正态性 基于正态的置信区间： 如95%的置信区间为： 问题：标准误差 的估计第18页/共35页19标准误差 的估计 影响函数 Bootstrap方法第19页/共35页20影响函数(Influence Functions) 影响函数用于估计一个嵌入式估计量的标准误差。影响函数定义为 其中x 为x处的一个Delta函数， 为F和点x的混合体 影响函数形式同导数相同，表示统计函数 的变化率。影响函数越大，当F变成 时， 变化越大（与估计的方差

6、有关）概率为1-概率为第20页/共35页21经验影响函数 影响函数为 简记为 经验影响函数为第21页/共35页22影响函数的性质 令 为一个线性函数， 则 1. 证明：T(F)是线性函数第22页/共35页23影响函数的性质 2. 对任意G，有证明：第23页/共35页24影响函数的性质 3. 证明：L的期望为0第24页/共35页25影响函数的性质 4. 令 ，若 ，则证明：根据性质2，令L的方差所以根据CLT，第25页/共35页26影响函数的性质 5. 令 则 其中证明：第26页/共35页27影响函数的性质证明（续）：类似的，根据大数定律，另所以第27页/共35页28影响函数的性质 6. 证明：

7、根据性质4和性质5，将性质4中中的 用其估计 代替，极限分布仍然成立，即或第28页/共35页29影响函数与标准误差 对线性函数， 令 得到标准误差估计： 最后： 可用于计算置信区间第29页/共35页30与直接用方差的嵌入式估计量 结果一致例：均值 线性函数为 嵌入式估计量为 , 所以95%的置信区间为 。第30页/共35页31例7.11：Plasma Cholesterol51位无心脏病病人的血浆胆固醇()211nniiXXns=-$第31页/共35页32例7.11：Plasma Cholesterol320位动脉狭窄病人的血浆胆固醇第32页/共35页33例7.11：Plasma Cholesterol 两组的差别： 初步结论：有心脏病的病人的胆固醇更高。这个结论的可靠性需考察该估计的标准误差: 95%的置信区间：方差较小该结论比较可靠但并不能马上说明胆固醇会引起心脏病