参数的点估计

1、二、本章教学目的与要求二、本章教学目的与要求 ( 4 学时学时 ) 对概率分布中的未知参数对概率分布中的未知参数, , 如果不能利用概率分布的归一性如果不能利用概率分布的归一性, , 或者利用随机变量的独立性或者利用随机变量的独立性, ,包括利用特定点或特定区间上的给定概率关系包括利用特定点或特定区间上的给定概率关系, , 确定它们的大小确定它们的大小, ,那就只有通过从相应的总体内抽取适度容量的样本那就只有通过从相应的总体内抽取适度容量的样本, , 利用样本所必然携带的总体信息利用样本所必然携带的总体信息, , 做出参数大小的合理近似估计做出参数大小的合理近似估计. .起码的要求是起码的要求

2、是: :估计量与被估计量二者的数学期望应彼此相等估计量与被估计量二者的数学期望应彼此相等! ! 六六退出退出一一四四二二三三五五退出退出返回返回 对分布中未知参数对分布中未知参数 的近似取值或准确值的落入范的近似取值或准确值的落入范围进行的估计称为围进行的估计称为参数估计参数估计. 其中其中, , 对参数近似取值进行的估计称为参数的对参数近似取值进行的估计称为参数的点估点估计计; ; 对参数准确值的落入范围所进行的估计称为参数对参数准确值的落入范围所进行的估计称为参数的的区间估计区间估计. . 进行参数点估计所使用的统计量进行参数点估计所使用的统计量 称为参数的称为参数的点估点估计量计量; 按

3、点估计量依具体的样本值算出的参数值按点估计量依具体的样本值算出的参数值 称为称为参数的参数的点估计值点估计值. 类似的术语可同样地套用于区间估计中类似的术语可同样地套用于区间估计中.1. 点估计与区间估计的概念点估计与区间估计的概念2. 点估计量与点估计值点估计量与点估计值退出退出返回返回 1. 无偏性无偏性 2. 有效性有效性较好的无偏估计量较好的无偏估计量 应具较小的方差应具较小的方差 ()( ) .iDD 好的估计量好的估计量 应能使应能使() .E 最好的无偏估计量最好的无偏估计量 应依应依lim( .,)12pnnXXX 3. 一致性（相合性）一致性（相合性）概率收敛于参数的准确值概

4、率收敛于参数的准确值, , 即即(,)nXXX12 退出退出返回返回 证证()()11nii E XE Xn1nn证证: 总体的总体的样本均值样本均值 是是总体均值总体均值 的无偏估计的无偏估计.例例2-1 设设 X1, X2 , , X n 是总体是总体 X 的一个样本，的一个样本，().E X,()(),niii XX E XE X n1111nin,()E X 试试总体数学期望总体数学期望样本算术平均样本算术平均量量故故样本均值样本均值 是是总体均值总体均值的的无偏估计量无偏估计量. .X11niiXXn样本均值的观测值样本均值的观测值 是是总体均值总体均值的的无偏估计值无偏估计值. .

5、x故故样本方差样本方差 S2 是是总体方差总体方差的无偏估计的无偏估计. .退出退出返回返回而而 证证()() ,nniiiiXXXnXn n S2221121111niiXX ,n11(),()(),niiE X D XD X nn22111()()(),iiiE XD XEX 2222证明证明: 总体的总体的样本方差样本方差 S2 是是总体方差总体方差 的无偏估计的无偏估计. 例例2-2 设设 X1, X2 , , X n 是总体是总体 X 的一个样本，的一个样本，2(),E X ()(),()(), ,iiE XE X D XD X in21 2()()(),E XD XEX n2222

6、1()()()niiE SnE XnE X221211()()ninnn22221111()(), DnXn22111().D X2 ()nnn222211证毕证毕.其中其中退出退出返回返回 例例2-3 设设 X1, X2 , X3 , X4 是总体是总体 X 容量为容量为4 的样本则的样本则总体均总体均值值的以下无偏估计中的以下无偏估计中, 最有效的点估计量是最有效的点估计量是 ( )D.XXXX123412115555C.XXXX123443119999BXXXX123411114444A.XXXX123411113663B.()()()()DXDXDXDX123411113663解解()

7、DXXXX123411113663()()()()D XD XD XD X1111936369()D X1036同样同样, ()()DXXXXD X12341111444414其中其中, 最小的方差为最小的方差为()()DXXXXD X12344311999913()D XDXXXX123472512115555() ,D X 14最有效的估计量是最有效的估计量是XXXX123411114444且且()123E abXXXc)()()(,abXc E XE 故故 是总体期望是总体期望 的无偏估计的无偏估计. . ()E X123XXabXc(), ,()1 2 3iE X Xi E例例2-4

8、设设 X1, X2 , X3 是总体是总体 X 的样本三常数的样本三常数退出退出返回返回 证证()()()E XE XXabcE而各而各.1abc ()123E abXXXc()()()123aEbXEXcE X,1abc 试证明试证明: : 是总体期望是总体期望 的无偏估计的无偏估计. . ()E X123XXabXc证毕证毕.退出退出返回返回从而有从而有 证证( )(),EE X 212121 ()().)()nniiiE XEE XXXnn E111121(), D X2112 X R( 1,) , 例例2-4 设总体设总体 X R( 1,). 证明证明: 的估计量的估计量X21(),

9、E X12()( )()(),()DDD XXDnnnX 221112432144进而就有进而就有即即首先是参数首先是参数的无偏估计的无偏估计.此外此外, 又又是是的一致估计量的一致估计量.X21()lim(i,)l mnnD n2103 是参数是参数的一致估计的一致估计.X21退出退出返回返回可见可见, 要确定参数的准确值要确定参数的准确值, 必须发掘已知条件所隐含的其必须发掘已知条件所隐含的其本例无法利用概率分布的归一性确定本例无法利用概率分布的归一性确定的的其中其中, 未知参数未知参数【求解分析【求解分析】事实上事实上, 依归一性依归一性, 我们只能得出恒等式我们只能得出恒等式准确值准确

10、值. ( )()|f x dxx dxx11 100111. 1设设X1, X2, Xn 是变量是变量 X 的简单随的简单随机样本机样本. 试求参数试求参数 的矩估计量与极大似然估计量的矩估计量与极大似然估计量.例例1 设随机变量设随机变量X 的概率密度的概率密度(),( ),x xf x 1010 其它它有关信息它有关信息. 例如例如, “简单随机样本简单随机样本” 有何隐含的意思？有何隐含的意思？“矩估计量矩估计量”一词有何提示？一词有何提示？“极大似然估计量极大似然估计量”又有何提示？又有何提示？还有还有, ( (一般讲一般讲, , 总体数字特征不是总体原点矩总体数字特征不是总体原点矩,

11、 , 就是总就是总体中心矩体中心矩, , 或者可借总体原点矩与中心矩加以表示或者可借总体原点矩与中心矩加以表示) ) 若用若用表示分布参数表示分布参数, ,则易知总体的数字特征则易知总体的数字特征( (如数学期望和方差等如数学期望和方差等) )都是总体分布参数都是总体分布参数的函数的函数, ,反过来反过来, , 分布参数也是总体数字特征的函数分布参数也是总体数字特征的函数. .退出退出返回返回 1. 矩估计法矩估计法做点估计的基本思路做点估计的基本思路 同时同时, 只要把计算只要把计算点估计值的求点估计值的求解解公式当作未公式当作未知参数知参数的的估计函数式估计函数式, , 就可轻松获得未知参

12、数就可轻松获得未知参数的的点估计点估计( ( 统计统计) )量量 , , 并称其为参数并称其为参数的矩估计量的矩估计量; ; 估计时最高用到几阶矩估计时最高用到几阶矩, , 就说方法是几阶矩估计法就说方法是几阶矩估计法. . 因此因此, , 若用若用样本原点矩和样本中心矩的观测值样本原点矩和样本中心矩的观测值去近似总体的原点矩和中心矩去近似总体的原点矩和中心矩, 就可通过解方程而解就可通过解方程而解出含在原点矩和中心矩内的总体分布参数的近似值出含在原点矩和中心矩内的总体分布参数的近似值, 并将其视为总体分布参数并将其视为总体分布参数的点估计值的点估计值 . 总体总体 k 次方数学期望次方数学期

13、望 的别名的别名即总体的即总体的 k 阶原点矩阶原点矩;总体方差总体方差 的别名的别名即总体的二阶中心矩即总体的二阶中心矩. 退出退出返回返回 估计之初就应明确估计之初就应明确总体数学期望总体数学期望 的别名的别名即即总体总体X 的一阶原点矩的一阶原点矩,()E X()D X()kE X样本一阶原点矩样本一阶原点矩 即即样本均值样本均值( 算术平均量算术平均量);niiAXn111但样本二阶中心矩但样本二阶中心矩 不是样本方差不是样本方差. .()niiBXXn2211 还应提醒自己还应提醒自己2. 用矩估计法进行点估计的用矩估计法进行点估计的ABC总体平方数学期望总体平方数学期望 的别名的别

14、名即总体的二阶原点矩即总体的二阶原点矩,()2E X退出退出返回返回() .21XX X 的一阶原点矩的一阶原点矩(即数学期望即数学期望)其中其中, 未知参数未知参数【解【解】即可得出即可得出 的矩估计值的矩估计值()xf xxE Xd. 0设设 X1, X2 , X n 是总体是总体 X 的简的简单随机样本单随机样本. 试求参数试求参数 的矩估计量的矩估计量.例例3 随机变量随机变量 X 的概率密度的概率密度1, 01( )0,xxf x其它从而从而 的矩估计量的矩估计量即是即是()xE X1() .xx21xdx10|x1 1011 只要令样本一阶原点矩只要令样本一阶原点矩 的观察值的观察

15、值 与之相等与之相等, 即令即令xXA1 求总体求总体含有未知参数含有未知参数的数学期望和方的数学期望和方差差等数字特征等数字特征 g () . 并能正确地并能正确地用总体的用总体的一阶原点矩和二阶中心矩一阶原点矩和二阶中心矩等术语等术语解读它们解读它们退出退出返回返回3. 用矩估计法进行点估计的用矩估计法进行点估计的一般步骤一般步骤 将将矩估计值矩估计值计算式计算式 中中表示矩表示矩估计值与样本矩观测值估计值与样本矩观测值的小写字母分别改写的小写字母分别改写成大写字母成大写字母, 即得未知参数的矩估计量即得未知参数的矩估计量( )1xg() .1 gX 作为作为参数参数的的矩估计值矩估计值

16、. . 令样本一阶原点矩令样本一阶原点矩 的观测值的观测值 ( 或样或样本二阶中心矩本二阶中心矩 的观测值的观测值 )近似地等于总近似地等于总体的一阶原点矩体的一阶原点矩(或二阶中心矩或二阶中心矩) , 即令即令)() (x ggs211 或或Xx 2S2s()( )XxEg再将再将反解出的反解出的()( ) 2D X sg 或或 总体均值即总体的一阶原点矩总体均值即总体的一阶原点矩 A1 , 故其矩估计值为样故其矩估计值为样本一阶原点矩的观测值本一阶原点矩的观测值, 即即退出退出返回返回观测值观测值.解解此外此外, 总体样本方差总体样本方差 S2 的观测值为的观测值为()iisxx82211

17、81()iibxx8222118().iiiixxx881111741007474 0028800.514 8108 总体方差是总体的二阶中心矩总体方差是总体的二阶中心矩 B2 , 故其矩估计值为样本二故其矩估计值为样本二阶中心矩的观测值阶中心矩的观测值, 即即.66 010.66 8610.514 8107试求总体均值试求总体均值、总体方差、总体方差2 的矩估计值与样本方差的矩估计值与样本方差S2 的的74.001, 74.005, 74.003, 74.001, 74.000, 73.998, 74.006, 74.002 例例4 随机抽取随机抽取8只活塞环只活塞环, 测出的直径依次为测出

18、的直径依次为: 在随机世界里在随机世界里, 发生概率最大的事件实际出现发生概率最大的事件实际出现的可能性最大的可能性最大. 由于用抽样算得由于用抽样算得的事件概率的事件概率L () 是是参数参数的函数的函数,因而不同参数值以样本为依据所算出因而不同参数值以样本为依据所算出的事件概率必然会有大有小的事件概率必然会有大有小. 因此因此, 最可能的参数值最可能的参数值应是使似然函数应是使似然函数L () 取最大的值取最大的值. 退出退出返回返回 ( ( 事件发生概率表现为参数事件发生概率表现为参数 的函数的函数L () 时时, 该该函数函数通常称为样本的似然函数通常称为样本的似然函数. .使使似然函

19、数似然函数L () 取取最大值的点最大值的点 称为称为参数参数 的的极大极大或或最大似然点最大似然点. .用用极大似然点极大似然点 作为待估参数点估计值的方法称为作为待估参数点估计值的方法称为极极大似然估计法大似然估计法 ) )1. 用极大似然估计法做点估计的用极大似然估计法做点估计的基本思路基本思路 若用若用表示分布参数表示分布参数,则显然总体的分布律或则显然总体的分布律或者概率密度中必含有参数者概率密度中必含有参数, 从而以其为基本工具从而以其为基本工具所算出的事件发生概率所算出的事件发生概率, 也势必是也势必是 的函数的函数 L ().退出退出返回返回 当当总体的分布律总体的分布律是是

20、时时, 其点估其点估计的样本计的样本似然函数似然函数之形态也必为之形态也必为其其对数似然函数对数似然函数的形态则为的形态则为ln(l( ), )n1niif xL( ),(; )niinnLP Xx XxXf xx12211( ; )P Xxf x. .1. 用极大似然估计法做点估计的用极大似然估计法做点估计的基本思路基本思路 当当总体的概率密度总体的概率密度是是 时时, 其点估计的样其点估计的样本本似然函数似然函数之形态必为之形态必为其其对数似然函数对数似然函数的形态则为的形态则为ln(l( ); )nniif xL1(;)niif xL1( ; )f x. .若似然函数无驻点，则只能直接对

21、其求极、最值若似然函数无驻点，则只能直接对其求极、最值 依依似然函数似然函数的复杂程度的复杂程度, 决定是否应并实际对决定是否应并实际对其其取自然对数取自然对数, 得出对数似然函数得出对数似然函数ln(l( ), )n1niif xL,()1niixLf 根据总体的分布律或概率密度根据总体的分布律或概率密度构造似然函数构造似然函数 2. 用极大似然估计法进行点估计的用极大似然估计法进行点估计的一般步骤一般步骤 将极大似然估计值将极大似然估计值计算式计算式 中中表示估计值与样本观测值表示估计值与样本观测值的小写字母分别改写成的小写字母分别改写成大写字母大写字母, 即得未知参数的极大似然估计量即得

22、未知参数的极大似然估计量 ),(,nxxgx12),(,nXXgX12退出退出返回返回 求似然函数求似然函数或或对数似然函数对数似然函数的驻点的驻点, 即令导数即令导数 或或 . 其解即其解即 的的极大似然点极大似然点或或极大似然估计值极大似然估计值 .ln( )0dLd( )dLd 0注意：此步骤仅为对大多数情况适用的一般步骤注意：此步骤仅为对大多数情况适用的一般步骤退出退出返回返回其中其中, 未知参数未知参数. 0设设X1, X2, Xn 是总体是总体 X 的简单的简单随机样本随机样本. 试求参数试求参数 的极大似然估计量的极大似然估计量.例例5 随机变量随机变量 X 的概率密度的概率密度

23、1, 01( )0,xxf x 其它因为似然函数因为似然函数【解【解】所以只要令所以只要令,()1niixLfln( )lnniidnLxd11220对数似然函数对数似然函数ln( )ln()lnniinLx112() ()nniix11(ln)niinX 221进而可知极大似然估计量进而可知极大似然估计量(ln)niinx221即立得极大似然估计值即立得极大似然估计值例例6 总体总体 X R ( 0, ), 其中其中, 未知参数未知参数 设设X1, X2 ,退出退出返回返回【解【解】. 0, X n 是总体的简单随机样本是总体的简单随机样本. 求参数求参数的极大似然估计量的极大似然估计量.总

24、体总体X 的概率密度显然为的概率密度显然为1, 0( )0 ,xf x其它其最值只能在其定义区间上取得其最值只能在其定义区间上取得.,()1niixLf0Mx又因为此函数为单调函数又因为此函数为单调函数, 所以所以max,Mnx xxx12( )nn11因为似然函数因为似然函数12( 0, )nx xx则必同时有下二式成立则必同时有下二式成立记记MX 进而可知极大似然估计量进而可知极大似然估计量Mx可见可见, 其极大似然估计值应为其极大似然估计值应为max,Mnx xxx12max,MnX XXX12120, ,nx xx1,0( ), 00 ,xexf x其它退出退出返回返回.8118iiX

25、X X 的一阶原点矩即数学期望的一阶原点矩即数学期望0.01, 0.06, 0.02 . 试计算试计算 的矩估计值与极大似然估计值的矩估计值与极大似然估计值.【解【解】即可得出即可得出 的矩估计值的矩估计值()xf xxE XdX1, X2 , X 8 是来自总体是来自总体 X 的样本的样本. 试求参数试求参数 的矩估计量的矩估计量与极大似然估计量与极大似然估计量. 若抽取的样本值为若抽取的样本值为0.02, 0.05, 0.03, 0.02, 0.03,例例7 已知总体已知总体 X 的概率密度为的概率密度为从而从而 的矩估计量的矩估计量即是即是()8118iiE Xxx.8110 038ii

26、xx 0 xxedx()|0 xxe 取样本一阶原点矩取样本一阶原点矩 的观察值的观察值 为之近似值为之近似值, 即令即令x81118iiAXX1,0( ), 00 ,xexf x其它退出退出返回返回0.02, 0.06, 0.02 . 试计算试计算 的矩估计值与极大似然估计值的矩估计值与极大似然估计值.X1, X2 , X 8 是来自总体是来自总体 X 的样本的样本. 试求参数试求参数 的矩估计量的矩估计量与极大似然估计量与极大似然估计量. 若抽取的样本值为若抽取的样本值为0.01, 0.05, 0.03, 0.02, 0.03,例例7 已知总体已知总体 X 的概率密度为的概率密度为因为似然

27、函数因为似然函数【解【解】所以只要令所以只要令;()(81iixLfln( )821801iidLxd对数似然函数对数似然函数ln( )ln8118iiLx( )81181iixe.8118iiXX 进而可知极大似然估计量进而可知极大似然估计量.8110 038iixx 即立得极大似然估计值即立得极大似然估计值为什么为什么 总是总体均值总是总体均值的无偏估计的无偏估计; ; 问三系数问三系数 分别记三者的样本均值分别记三者的样本均值. 说明任意三系数说明任意三系数a, b, c 满足满足 时时, 例例8 从总体从总体 X 中抽得容量为中抽得容量为n1, n2 , n3 的三样本的三样本. 以以

28、而而()123 E abcX XX, 退出退出返回返回 解解始终是总体均值始终是总体均值的无偏估计的无偏估计. 1abc()123 E abXXXc()()()()123aEbEcEaXcXXb,1abc 123YabXXXc,123XXXa, b, c 各为多大时各为多大时, 可使方差可使方差 的值最小的值最小? ( )D Y(),(),2E X D X 令令则则()(), ,2111 2 3iiiD XD X inn123YabXXXc即即()(),iE XE X ,2123nbnnn为什么为什么 总是总体均值总是总体均值的无偏估计的无偏估计; ; 问三系数问三系数 分别记三者的样本均值分

29、别记三者的样本均值. 说明任意三系数说明任意三系数a, b, c 满足满足 时时, 例例8 从总体从总体 X 中抽得容量为中抽得容量为n1, n2 , n3 的三样本的三样本. 以以于是，依于是，依LagrangeLagrange乘数法，令乘数法，令退出退出返回返回,1123nannn则由则由 1abc的值最小，只须使三元函数的值最小，只须使三元函数 取最小值取最小值. . ( , , )322221nabcf a b cnn120 ,aanF ( , , ; )( , , )() 1F a b cf a b cabc123YabXXXc,123XXXa, b, c 各为多大时各为多大时, 可

30、使方差可使方差 的值最小的值最小? ( )D Y()( )()().122221233abcD YD abXXXD Xn nnc另外，另外，要要( )D Y123nnabnc即可解出即可解出 解解220 ,bnbF 320cncF 10Fabc 3123ncnnn课外书面练习退出退出返回返回概率统计练习册概率统计练习册P37, P38 P37: 1. (点估计，点估计量与点估计值的概念点估计，点估计量与点估计值的概念) 2. (指出矩估计与极大似然估计的基本步骤指出矩估计与极大似然估计的基本步骤) 3. (指出总体均值与总体方差的矩估计量指出总体均值与总体方差的矩估计量) 4. (指出均匀总体与正态总体未知参数的矩估计量指出均匀总体与正态总体未知参数的矩估计量) 5. (指出总体方差两种不同估计的有偏与无偏性指出总体方差两种不同估计的有偏与无偏性) 6. (指出正态总体均值的无偏估计量指出正态总体均值的无偏估计量)课外书面练习退出退出返回返回概率统计练习册概率统计练习册 P37: 7. (求统计值求统计值-矩估计值与样本方差的观测值矩估计值与样本方差的观测值) P38: 8. (求总体分布参数的矩估计与极大似然估计求总体分布参数的矩估计与极大似然估计) 9.