统计决策与贝叶斯估计.ppt

1、统计决策1、统计决策3要素1样本空间和分布族集人口的分布函数x为F(x；)，这是一个未知参数，如果x1，xn是来自总体X的样本，该样本的所有可能值的集合被称为样本空间，其被记录为X，2决策空间(决策空间)。对于任何参数估计，每个特定的估计都是一个答案，这被称为决策。统计问题中所有可能的决策集合称为决策空间，一个决策空间应该至少有两个决策。3损失函数统计决策的一个基本假设是，每一个决策都必须有一定的后果。统计决策是以定量的形式表达不同的决策。常见的损失函数包括：(1)线性损失函数绝对损失函数(2)平方损失函数(3)凸损失函数(4)多元二次损失函数(2)统计决策函数和风险函数(1)统计决策函数定义(3.1):在样本空间x上定义，在决策空间a取值的函数d(x)称为统计决策函数。简而言之，决策功能是一个行动计划。如果用表达式处理，d(X)=d(X1，x2，xn)本质上是一个统计数据。风险函数决策函数d (x)完全取决于样本。损失函数l(，d)也是样本x的函数。当样本取不同的值x时，决策d (x)可能不同。因此，损失函数值L(，d)也是不同的，并且不可能判断决策的质量。一般来说，决策函数是从整体的角度进行评估和比较的，并取平均损失。也就是说，风险函数定义3.2设定了样本空间，分布族是X，F*，决策空间是A，损失函数是L(，D)，d(X)是决策函数，而风险函数的决策函数是D (x)，r(，D)，它表示平均损失(L(，D)是由决策引起的数学期望d(X)，以及卓越标准。定义3.3将d1和d2设置为统计问题中的两个决策函数。如果风险函数满足不等式，则决策函数D1优于D2。定义3.4将D=d(X)设置为在样本空间X上定义并在决策空间A上采用的所有决策函数。如果存在决策函数d*(X)，则对于任何d(X)，可以说d*(X)是一致的最小风险决策函数或一致的最优决策函数。问题概述：1风险函数是二元函数，极值通常不存在或不唯一。2在某个时间间隔内逐点比较是不现实的(麻烦的)3对应不同的参数。对于相同的决策函数，风险值不相等。4统计规律的特点决定了点对点的比较是不可能的。5点对点比较必须由整体指数代替。2.贝叶斯估计，1)统计推断的基础，古典学派的观点：统计推断是根据样本信息推断人口分布或人口特征的数量，这里使用两种信息：人口信息和样本信息；贝叶斯学派的观点：除了上述两种信息，统计推断还应该使用第三种信息：先验信息。(1)一般信息：一般分发提供的信息。(2)样本信息：由通过提取样本获得的观察值提供的信息。(3)先验信息：人们总是对实验前要做的问题有所了解，既有经验也有数据，这有助于统计推断。先验信息是抽样(测试)前关于统计问题的一些信息。一般来说，先验信息来自经验和历史数据。先验信息在日常生活和工作中非常重要。基于上述三种信息进行统计推断的统计称为贝叶斯统计。它和经典统计学的区别在于是否使用先验信息。贝叶斯统计注重先验信息的收集、挖掘和处理，同时利用总体信息和样本信息对其进行量化，形成先验分布，并参与统计推断，以提高统计推断的质量。忽视使用先验信息有时是一种浪费，有时会导致不合理的结论。贝叶斯学派的基本观点是，任何未知量都可以视为随机变量(1)参数是随机的，但有一定的分布规律。(2)参数是常数，但目标是未知的：充分利用参数的先验信息，对未知参数进行更精确的估计。贝叶斯方法是一种将未知参数视为分布已知的随机变量，将先验信息数字化并加以利用的方法。通常，先前的分配被标记为()。3)将贝叶斯公式的密度函数形式(后验分布)设置为种群X的分布密度函数P(X)；在贝叶斯统计中，它被表示为p (x |)，当随机变量取给定值时，它代表总体的条件概率密度函数。p(x；)=p (x |)根据参数的先验信息确定先验分布()。样本x1，x2，xn集成了该分布的总体信息和样本信息；0未知，它是根据先验分布()生成的。为了整合先验信息，我们不仅要考虑0，还要考虑其他值出现的可能性。因此，我们需要使用()进行集成。这样，样本x1的联合分布，xn和参数为：f (x1，x2，xn)，)=q (x1，x2，xn)()，并简单地表示为f (x)，)=q (x)()。这种联合分布综合了三种可用信息，即总体信息、样本信息和先验信息。在样本观察值x1，x2，xn都得到了，这个推论应该是根据f (x)作出的。因为f (x，)=h (x1，x2，xn) m (x1，x2，xn)，其中m (x1，x2，xn)是x1，x2，xn，这是无关紧要的。因此，只有条件分布h (x1，x2，xn)可用于进行推断。它的计算公式是，这种条件分布被称为后验分布，它将所有相关信息集中在总体、样本和先验中。后验分布h (x1，x2，xn)是由密度函数表示的贝叶斯公式。这是用总体和样本调整先验分布()的结果。贝叶斯统计的所有推论都基于后验分布。4)共轭先验分布，定义：假设总体的分布密度x是p (x |)，F*是一个分布族，()是的任何先验分布，() F*，如果样本的任何观察值x的后验分布h p(x| x)仍在F*之内，f *称为关于分布密度p(x |)的共轭先验分布族，简称共轭族。共轭先验分布的计算方法如下：给定分布(似然函数)q (x |)和先验分布()；根据贝叶斯公式，h (x |)=() q (x)/m(x)被重写为h (x |) q (x)的异常密度函数，因为m(x)是独立的。它是h (x |)的主要部分，被称为h (x |)的内核。实施例8x1，x2，xn来自正态分布n(，2)的样本，其中已知找到方差2的共轭先验分布。实施例9x1，x2，xn来自二项式分布b (n)的样本，得到共轭先验分布，计算共轭先验分布的方法为1。h q(x|x)=()q (x |)/m (x)，m(x)不依赖于首先找到q(x | ),然后选择与q(x |)形式相同的分布作为先验分布，即共轭分布2。当参数有适当的统计量时，设x的分布密度为p (x |)，t (x)为充分统计量，然后由定理3.1得到共轭先验分布族。定理3.1将f()设置为满足的任何固定函数。如果后验分布h (x)和()属于同一分布族，则该分布族称为共轭先验分布(族)。二项式分布b (n)中成功概率的共轭先验分布是分布be (a，b)；泊松分布中均值的共轭先验分布为分布；指数分布中均值倒数的共轭先验分布是分布(，当方差已知时，正态均值的共轭先验分布是正态分布n(，2)；当平均值已知时，正态方差2的共轭先验分布是逆分布i(，)。，5)贝叶斯风险，定义：贝叶斯风险在给定的先验分布下称为决策函数d(X)，贝叶斯风险简称为d(X)，相当于一个寻找两个期望的随机损失函数，一个为后验分布，一个为X的边缘分布，6)贝叶斯点估计，定义：假设分布函数中的参数是随机变量，而分布函数中的参数是先验分布。如果在决策函数类d中有一个决策函数d*(X)，那么对于决策函数类d中的任何决策函数d(X)，都有一个称为d*(X)参数的贝叶斯估计器，定理3.2中的先验分布集是()，损失函数是l(，d)=(-d) 2，那么贝叶斯估计器是后验密度，其中h (| x)是参数。定理3.3-3.7。给出了不同损失函数下的贝叶斯估计，但没有得到证明。定理3.3将先验分布设置为()，并将损失函数作为加权平方损失函数。定理3.4设置了(1，2，假设d=d(x)是任何决策函数，损失函数为L(，d)，则后验分布H (| x)的数学期望为L(，(d)称为后验风险。有记录表明，如果存在决策函数d*(x)，则d*(x)被称为后验风险标准下的最优决策函数。定理3.5等价于给定统计决策问题(包括先验分布)和决策函数类D的贝叶斯后验决策函数d*(x)。定理3.6将先验分布设置为()，具有绝对损失函数的贝叶斯估计d*(x)是后验分布h (| x)的中值。定理3.7将先验分布设置为()，具有线性损失函数的贝叶斯估计d*(x)是后验分布h (| x)的k1/(k0 k1)的上分位数。通常使用基于后验分布h (x)的贝叶斯估计。常用的有以下三种：利用后验分布的最大密度函数的点估计称为最大后验估计；使用后验分布中值的点估计称为后验中值估计。使用后验分布均值的点估计称为后验期望估计。最常用的是后验期望估计，简称贝叶斯估计，记录为。根据总体x的分布，条件概率q (x |) 2。在已知的先验分布()下，联合分布密度f (x，=)q(x |)3。边缘分布m(x)4。计算h (| x)=() q (x |)/m (x) 5。数学期望。必要时的贝叶斯风险。例3.11设置总体XB(1，p)，其中参数p是未知的，并服从0，1上的均匀分布。损失函数采用二次损失函数l(，d)=(-d) 2，并计算参数p的贝叶斯估计和贝叶斯风险。如果在测试之前不知道事件a，则没有关于其发生概率的信息。贝叶斯自己建议采用“相等无知”的原则，并使用区间(0，1)上的均匀分布U(0，1)作为先验分布，因为(0，1)上的每个点都有相等的机会。贝叶斯的这一提议被后人称为贝叶斯假说。在某些情况下，贝叶斯估计比最大似然估计更合理。例如，“抽样3所有合格产品”和“抽样10所有合格产品”比前者更可靠。这种差异没有反映在不合格品率的最大似然估计中(两者均为0)，而贝叶斯估计分别为0.2和0.83。由此可见，在这些极端情况下，贝叶斯估计比最大似然估计更符合人们的想法。对于给定的损失函数l(，d)=(-d) 2，获得贝叶斯估计，例如3.15x1，x2，xn来自正态分布n(，02)的样本，其中02是已知和未知的，并且假设的先验分布是正态分布n(，2)，其中先验均值和先验方差2都是已知的，并且尝试贝叶斯估计。解：样本X的联合分布和的先验分布分别是，因此X的联合分布可以写成。如果有，请注意，A、B和C是不相关的。样本的边缘密度函数可以应用贝叶斯公式得到后验分布。这表明在给定样本后，后验分布是N(B/A，1/A)，即| X N (B/A，1/A)。后验均值是它的贝叶斯估计：它是样本均值和先验均值的加权平均值。贝叶斯估计的误差，贝叶斯区间估计，两个区间估计之间的差异1)构造一个统计量并获得其概率分布2)在步骤之前使用参数的后验分布区间估计来解决相同的贝叶斯点估计；在获得后验分布后，根据置信水平，分离单边和双边查找表以获得置信的上界和下界。注：贝叶斯区间估计的置信区间较短；贝叶斯点估计不再需要无偏性。实施例3.15x1，x2，xn来自正态分布n(，02)的样本，其中02是已知和未知的，假设的先验分布是正态分布n(，2)，其中先验均值和先验方差2都是已知的，尝试贝叶斯区间估计。解决方案：根据贝叶斯点估计，在例3.16中，测试一个孩子的智力x=115，结果是x n(，100)，这是智商。根据经验 n (100，225)，得出儿童智商的0.95贝叶斯置信区间解：由以上结论，后验分布服从正态分布，最大和最小估计(最大和最小)最小。定义：D是一组决策函数。如果有d* (x)=d * (x1，x2，xn)，d * d，因此对于任何决策函数d (x1，x2，xn)中，总是有一个称为d *的最大和最小决策函数，当可以获得上界时，可以记录问题解决步骤(1)在d (2)中找到所有决策函数的最大风险，从所有最大风险值中选择最小值，并且对应于该最小值的决策函数是最大和最小决策函数。让我们假设总体x服从两点分布，并试图找到p的极大极小估计，其中的解是：决策空间是A=0.25，0.5，选择容量为1的子样本，x只能取0，1a只能取0.25，0.5，那么决策函数d(x)有四个：风险函数R(p，d)，min(maxR(pi，dj)=5/2，极大极小估计是R(p，d)例如，地质学家将地层状态分为两种类型：0和1，并将局部非油记录为0，油记录为1。分配规则如下表所示。决策空间是A=a1，a2，a3，其中a1是钻探石油，a2是出售土地，a3是发展旅游业。损失函数l(，a)记下表，决策函数d(x)记下表(n=1)(9个决策函数)，风险函数r (I，DJ)和最大值表。可以看出，min (maxr(，di)=5.4，并且其对应的决策函数是d4，因此d4是这个统计决策问题的最大和最小决策函数。D4是：d4(0)=a2，d4(1)=a1，也就是说，当地质学家断定没有石油时，卖掉土地，在有石油时钻探石油。r(，d)计算的例子，定理3.8给出了一个统计决策问题，如果有先验分布的贝叶斯决策函数，风险函数是一个常数，那么决策函数必须是统计问题的最大和最小决策函数。如果给定的统计决策问题是参数的点估计，在定理条件下，相应的决策函数必须是参