稀疏总体抽样方法讲课

1、稀疏资源调查抽样设计和估计稀疏资源调查抽样设计和估计森林资源抽样技术 n性质：抽样调查是获取统计资料的重要手段，在社会、经济、科研等领域有着广泛的应用。抽样技术是统计学研究中的一个重要分支。主要介绍抽样技术的基本理论，是统计学专业的一门专业必修课。n内容：介绍一些基本的概率抽样方法，包括简单随机抽样、分层抽样、整群抽样、多阶抽样、等距抽样及不等概率抽样等，着重讨论其中统计推断、抽样设计的理论。对非抽样误差、调查实务（例如问卷设计、调查报告撰写等）作简要介绍。n要求：了解抽样技术的统计理论；掌握六种基本抽样方法的原理、统计推断方法及抽样设计技术，并能举一反三，灵活应用；对抽样调查的实际应用、调查

2、实务有所了解。稀疏总体调查n稀疏总体调查包括：生物多样性的调查、森林中病虫害发生分布的调查、林下非木质资源（non-timber）调查、森林中的倒木和珍贵濒危树种分布的调查 、林外的群立木、簇立木或林外的散生木的调查等等n空间分布特点：稀疏（rare）、群团状(cluster)、散生状（spread）和条状(strip)等自然分布 抽样方法比较n传统抽样方法（如简单随机抽样、分层抽样和系统抽样等等）：1.调查总体观察值总和均值前要确定样地单元总数 2.不依赖于抽样总体分布，即选择概率函数是非零的或者是常数，与总体单元内观察值的大小无关3.以郁闭的森林资源的林地为主要调查目标4.对稀疏总体的估计

3、是有偏估计n传统抽样方法没有考虑稀疏总体明显存在的空间分布差异 ，缺乏针对性，将必然导致调查成本大幅攀升和/或估计结果出现显著偏差 抽样方法比较n针对稀疏、簇生和聚集分布总体的抽样方法（如线截法、带抽样、样线法、适应性群团抽样等）较传统的抽样方法有更多的优点：1.在相同抽样工作量情况下估计量方差将会更小，获得更多的信息量，抽样估计是无偏的2.抽样设计灵活3.能够提高具有稀少且群聚特征总体的抽样效率，弥补了传统抽样方法失效、最终样本中观测目标信息几乎为零的缺点n在森林资源调查目标由传统的林木资源调查向森林多资源调查方向转变和发展 的形势下，研究针对稀疏总体的抽样方法是很有意义的，这里主要介绍近年

4、来研究应用较多的三种方法：1.线截法（line intersect sampling）2.带抽样（strip sampling ）3.样线法（line transect sampling）4.适应性群团方法（adaptive cluster sampling)一、线截法n线截抽样（line intersect sampling，简称lis），由canfield提出并在1960s得到发展应用n适用于稀疏总体，抽样调查 伐倒木和薪才总量估计公路长度关于生物多样性的调查（如倒木数量的估计） 线截法估计方法线截法估计方法 n设某区域内一条线，则与该线相交的所有目标入样，每棵树的概率取决于入样线长度l和

5、树的有效长度 ，如果将树看成一条线，则可直接根据其与抽样线所成的夹角 计算， l= sin( )l l ll样线调查目标线截法估计方法线截法估计方法n树i的有效长度的平均值为 每单元面积a的目标变量总数，依据horwitz-thompson estimator估计为： (1) 式中： 2( ( )iile l2( )( ( )nniiiille l11()nilytll （数量/面积a）00sin( ) cos( )(cos( ) cos(0)( 1) 1)2e( )e( sin( )e(sin( )dllllllll 线截法估计方法线截法估计方法则每平方米总量的估计值为： （2） 式中：l为

6、线（m个）的总长度（米）、li为树i的长度（米）、 yi是第i单元目标变（如蓄积、质量、长度）、m为观测单元数量。 12miliytll （数量/平方米）线截法估计方法线截法估计方法n若森林蓄积用hubers公式定义为 ，式中di是第i棵树的直径（cm），则前面公式（2）可改为 ； 若要估计倒木长度，利用（2）即可，若估计其它值如每公顷倒木数量，则还需测得树的长度。nlis估计量的方差可由线间方差算得： 式中n为线数、 为线j的每公顷总蓄积、 为研究区域的每公顷蓄积、lj为线j长度。 22iiidvl1nijljtt1(1)njjnl （ ）2/ ( )var t jtt2218miltdl

7、（立方米/公顷）二、带抽样n带抽样（strip sampling ）可以看成样地面积很大的样地抽样调查，根据计算，最简单情况是将研究区域分成n个非交叠样带，从中随机抽选n个样带。样带可以间隔一定距离抽选，也可以重叠（部分）抽选。 n特点及适用情况：特点及适用情况：1.带抽样经常用于稀疏总体调查2.相对于点抽样，既然该法相对于普通样地调查典型地覆盖了大面积区域，则意味着用于活立木调查时工作量很大3.由于某方位两带状样地自相关性很大，该法对于活立木调查效果很低。虽然稀少总体的观测值分离很远，但自相关性并不成问题，当包含稀少总体时可用带抽样方法。 样带布设n将调查总体面积分成n条非重叠的样带，用简单

8、随机方法随机抽取n条样带。n也可以用一定的宽度确定样带，这样可能有重叠。n测量带内的目标带抽样估计n总体蓄积（或其他目标变量）： 式中vi为第i条样带的总蓄积、 ai是第i条样带的面积、at为总面积，如果目标为平均每公顷蓄积，那么可估计比率尽可为： rt11niittniivraaa11niiniivra平均值 （m3/hm2）带抽样估计n比率的方差为 ： 式中： 为样带平均面积、n为调查区域样带总数、n为抽取的样带。 n总蓄积估计值方差： 21( )xsnnvar rnntxan （ ）/（ ）， 2s21niiv221niira12niiirav1n()rvar t2( )tvar r a

9、g221txsnnann三、样线法三、样线法 n样线法（line transect sampling，简称lts）是以观测目标所在的样线为基础的，样线可以是在地面设桩，或者是在图像上和其他方式。调查人员可以徒步或乘车和空中飞行。这种方法主要用于估计野生动植物总体密度。设目标随机分布在区域内，设观察目标i的概率取决于距线的距离，如距离越长观测概率越小。 n样线调查方法的内容一般都要包括样线布设、数量调查和密度计算样线抽样图解样线抽样图解样线法样线布设样线法样线布设n样地布设1.随机布设2.系统布设n估计方法1.窄带法2.目视修正法3.参数法4.非参数法核函数估计富利叶级数法l00b随机抽样l00

10、b系统抽样样线抽样估计方法样线抽样估计方法1.窄带法（narrow-strip method）：密度为单位面积的个体数目，即条带内动物数量除以条带面积 （1） 式中，d为野生动物种群密度；y0为条带内探测到的野生动物数量；l为样线总长度；w0为单侧样线宽度（米）。窄带法是最为常用的传统方法，简单易行，但是单侧样线w0宽度需要根据生境和野生动物的特点以及调查人员的实际观察能力进行经验估计。002ydlw （数量/m2）（一）窄带法n例：样线长l100米，有18个目标（如鸟和病虫害树木等）分别在距离样线0，0，1，3，7，11，11，12，15，15，18，19，21，23，28，33，34，44

11、米。如何使用(1)式估计目标值密度（株/每公顷）。首先画以10米间隔的目标探测直方图；找到以直方图显著变化的距离所对应的目标探测数量，就为带宽w0的值。 密度值为：图图1120.003220 100d样线距离1086420 10 20 30 40 50探测目标数目即30个/公顷（一）窄带法n特点：a)计算简单，但并不完全满意因为所有观察目标没有被用到估计；b)带宽w的确定有点强制性；c)探测目标率是随着样带宽度逐渐减少。n目视修正法（目视修正法（smooth-by-eye method）：为了使窄带法的直方图接近概率密度函数f，首先选择间隔宽度，然后用下面表达式确定一定距离x的直方图高 n特点

12、：引入探测密度函数概念；因为间隔宽和目视探测密度的选择带有主观，所以不同人估计的结果不同。建立在相同概念，后面的参数方法能够克服这些不足。（二）目视修正法00( )yxywf x在间隔距离内的观察数总观察数 间隔宽度（二）目视修正法n根据上面图1柱状图，第一个10米间段探测到5个目标，即5/(1810)=0.028；第二个10米间段探测到7个目标，值为7/(1810)=0.039；同样地后三个间段值分别为0.017、0.011和0.006，据此画出直方图，如图2n由概率密度表达式，种群密度可以表达为图图20.080.060.040.020.00 10 20 30 40 50样线距离探测密度(0

13、)2y fdl （数量/m2）（三）参数法n由上面两种方法，得知关键是对f(0)和带宽w的估计，假设它们之间的关系为： ，由上式知道其中之一，则可估计f(0)或w 。 n假如n个被观察到的调查对象的垂直距离x1, x2, xn 满足相互独立性。这些从样线到调查对象的垂直距离x被给出时，我们把调查对象被观测到的条件概率定义为探测函数g(x)，g(x)是x的单调减少函数，当调查对象在样线上时，概率是1（g(0)=1）。被发现的调查对象的距离x的概率密度函数f(x)可以通过探测函数g(x)和带宽w来表示：f(x)=g(x)/w n为了估计f(x)，使用最大似然估计方法估计探测函数的未知参数，就可得到

14、f(0)或w的估计值为 或 。(0)f1(0)fw w（三）参数法n广泛应用的探测函数为指数指数函数函数形式，即g(x)=exp(-x/w)。最大似然估计为 ，即探测目标距离的平均值。n拟合的指数曲线为图2曲线n依据上面的例子可以计算探测函数为指数形式的密度估计为： 22yydlwlx =18/2(16.39)(100)=0.0055=55(数量/公顷) w x0.080.060.040.020.00 10 20 30 40 50样线距离探测密度g(x)（三）参数法n探测函数为指数曲线的估计特点： 1、简单容易估计 2、对种群总体估计不理想（曲线可看出） 所以人们一般选择“肩形”探测曲线加以修

15、正。n如果假设探测函数为半正态函数g(x)=exp(-3.14x2/4w2)，参数w的最大似然估计为： 以上面为例计算结果为： =25.61，则 拟合的半正态函数曲线见图3。 图图323.1421yiyiwx wd= 18/2(25.61)(100)=0.0035=35(数量/公顷)0.080.060.040.020.00 10 20 30 40 50样线距离探测密度g(x)（四）非参数法n为了避免参数函数未知的探测函数的曲线形状，可以使用非参数函数估计方法，也就是直接估计概率密度函数f(0)。有两种方法估计f(0)： 1、核函数方法估计（kernel method） 2、富利叶级数方法（fo

16、urier series method） 1 核函数方法 式中：h是带宽，xj是第j个观察目标值，k是核函数（这里假设为对称核函数 ） 从式中可以知道关键是估计h, silverman(1986) 给出了h的计算公式： 式中a=min (s, q/1.34), s为x抽样样本目标观察值距样线的距离的标准差，q是所有调查目标距离沿样线距离的中位值。 依据上面案例，中位值为15，计算的s12.56，得到a=min(12.56, 15/1.34=11.19)则窗宽h=0.9(11.19)(18)(-1/5) =5.65，核函数f(0)的估计为： 调查目标的密度： 2(1/2)(/ )221211(0

17、)( )jjyyxx hyhhyhjjfke1/50.9hay22220 /2(5.65)44 /2(5.65)218(5.65) 2(0).0.0376fee(0)18(0.0376)0.003422(100)yfdl2（数量/m ）2 富利叶级数法 n富利叶级数方法估计f(0) 式中：ak是参数， f(0)为当垂直距离为0时发现目标个体的概率的密度函数；k依次取1、2、3、4、5等自然数；m为k的上限临界值，一般= c, 在最初样点上增加样方；否则，不增加包含概率包含概率（inclusion probability）：理解为网络ai所包含单元的概率（不能从抽样数据中计算，实际计算中用偏边缘

18、包含概率(pip)代替）。非常重要的参数，是计算horvitz-thompson估计值的主要参数，计算式为：yi1/11kknxnnnn-总的取样单元数，xk-在网络ak中总的单元数，n1-最初取样点数选择概率选择概率（selective probability）:是计算hansen-hurwitz估计值的主要参数()!11!1 !nnnnnn骣 =-桫案例案例(1)srs2)acs?=1/3(2+54+38)=31.3 acs方法均值和方差估计方法方法均值和方差估计方法目前目前acsacs有三种方法计算平均值和方差有三种方法计算平均值和方差(1)(1) hansen-hurwitz esti

19、mator (hh)hansen-hurwitz estimator (hh)基于网络内均值基于网络内均值wi,wi,不考虑边缘单元不考虑边缘单元1111211111 andvar1nhhiinhhihhiwnnnwnnn(2)(2) horvitz-thompson estimator (ht)horvitz-thompson estimator (ht)yk*为第k个网络内观察值和k为最初抽样入样第k个网络的包含概率jk表示最初抽样单元在第j个网络和第k个网络同时入样的包含概率 不考虑边缘单元是因为边缘单元不确定1jjkkjknxnxxnxnnnnn*1*2111 and1var1khtk

20、kjkjkhtjkjkjkyny yn (3) rao-blackwell esimator (rb)(3) rao-blackwell esimator (rb)lten networks sampledlnetwork totals (yk*)lnine 0s and one network with an 11lintersection probabilities (k)lfor network with 1 unit, k=0.025lfor network with 10 units, k=0.226ljoint intersection probabilities (jk)lfor

21、 2 small networks, jk = 0.00056lfor small and large networks, jk = 0.00515计算案例计算案例1217. 0226. 011025. 00025. 004001ht0115. 0226. 01226. 01114001r a v222ht密度估计密度估计：方差估计：方差估计：20406080100120final sample size0.40.81.21.6efficiencyabca b群团多群团多和小和小cv：1.345群团少群团少和大和大cv:1.344c群团少群团少和小和小cv:348%效率比较结果效率比较结果05

22、0100150200number of quadrats0.00.20.40.60.81.0probability of sampling uncommon speciesadaptive quadratsinitial quadrats适应性群团能提高探测稀疏物种的能力适应性群团能提高探测稀疏物种的能力3、估计方法研究估计方法研究（1） thompson(1990)thompson(1990)首先提出首先提出修正的修正的hansen-hurwitzhansen-hurwitz和和horvitz-thompsonhorvitz-thompson两个无偏估计量两个无偏估计量，并给出了详细的，并给

23、出了详细的算法。算法。 同时，同时，thompson(1990)thompson(1990) 提出了提出了rao-blackwellrao-blackwell理论的理论的hansen-hurwitzhansen-hurwitz和和horvitz-thompsonhorvitz-thompson估计量，但是没估计量，但是没有给出算法，是因为计算复杂。有给出算法，是因为计算复杂。 salehi(1999) salehi(1999)导出了容易计算的导出了容易计算的rao-blackwellrao-blackwell理论理论的的hansen-hurwitzhansen-hurwitz和和horvitz

24、-thompsonhorvitz-thompson估计量估计量的算法，的算法，并用实例说明了两个估计量算法的详细计算过程。并用实例说明了两个估计量算法的详细计算过程。brown and manley(1998)brown and manley(1998)为了减少为了减少acsacs抽样的抽样的最终样本数量，提出了限制性的最终样本数量，提出了限制性的acsacs抽样，使用抽样，使用hansen-hurwitzansen-hurwitz和和horvitz-thompsonhorvitz-thompson估计量估计，估计量估计，估计是有偏的估计是有偏的salehi and seber (2002)s

25、alehi and seber (2002)认为认为b&m(1998)b&m(1998)的估的估计有偏，基于计有偏，基于murthymurthy（19571957）估计方法，他们提）估计方法，他们提出限制性出限制性acsacs抽样的无偏估计，并用实例说明了抽样的无偏估计，并用实例说明了两个估计量算法的详细计算过程。两个估计量算法的详细计算过程。 为了避免选择过多且不能提高估计精度的边缘为了避免选择过多且不能提高估计精度的边缘单元，单元，salehi and smith (2005）提出）提出二阶段序二阶段序贯适应性群团抽样贯适应性群团抽样及及估计方法估计方法3、4、适应性群团抽

26、样设计适应性群团抽样设计 最初抽样设计方法、标准值、邻域形式和估计方法最初抽样设计方法、标准值、邻域形式和估计方法以及样地调查以及样地调查成本等成本等因素的不同组合将会导致大量不同的适应性群团抽样设因素的不同组合将会导致大量不同的适应性群团抽样设计计（特别是标准值大小）（特别是标准值大小） 最终抽样样本量的随机性或不确定性最终抽样样本量的随机性或不确定性. . 因为最终抽样样本量的随因为最终抽样样本量的随机性或不确定性使得人们在调查前无法确定最终抽样样本量以机性或不确定性使得人们在调查前无法确定最终抽样样本量以及抽样调查的成本及抽样调查的成本 主要几种限制适应性群团抽样最终样本量的抽样设计主要

27、几种限制适应性群团抽样最终样本量的抽样设计condition = yi c, make the condition more restrictive (i.e., make c a bigger number) so that adaptive sampling is triggered less often.如何控制最终样本量（如何控制最终样本量（1）00100100032002010014120070310014021006000040036000071001111005010000010010003200201001412007031001402100600004003600007100

28、111100501000a (yi0)b(yi1)限制最终抽样样本量方法限制最终抽样样本量方法 叫停规则（如何确定标准值叫停规则（如何确定标准值c c） c大，网络包含的单元数（大，网络包含的单元数（network）减少以致减少边）减少以致减少边界单元，对于比较稀疏和低密度的总体，界单元，对于比较稀疏和低密度的总体，acs的效率的效率减少。减少。 c小，网络包含的单元数（小，网络包含的单元数（network）增加以致增加边）增加以致增加边界单元数，对于比较稀疏和低密度的总体，界单元数，对于比较稀疏和低密度的总体，acs的效的效率增加，但是可能无限制的继续抽样率增加，但是可能无限制的继续抽样,

29、抽样成本也将增抽样成本也将增加。加。o 是最初抽样单是最初抽样单元元邻域为一次邻域为一次4单元单元s1，s2和和s3为为1，2和和3阶叫停阶叫停灰色单元为边缘灰色单元为边缘单元单元叫停规则适应性群团抽样示意图叫停规则适应性群团抽样示意图一次一次4单元和一次单元和一次2单元叫停群团抽样图单元叫停群团抽样图对于交叉型的样方对于交叉型的样方（cross pattern）, ,s=3的叫停规则有的叫停规则有24个自适应群团样个自适应群团样方方 对于线性型的样对于线性型的样方（方（linear pattern）, ,s=4的叫停规则的叫停规则最大有最大有8个自适应个自适应群团样方群团样方叫停规则的特点叫

30、停规则的特点 自适应群团抽样设计的理论基础发生改变，可能导致不完全的网络（例如网络重叠); 发生与总体格局不一致的变化。 相反，不使用叫停规则能在一定临界值条件下使网络完全分离，从而形成唯一的总体分化。这种分化（partition）是 hh和ht无偏估计的理论基础，因此如果使用叫停规则可能导致偏的估计。 限制性的适应群团抽样（限制性的适应群团抽样（brown 1994)brown 1994)(1)(1)确定最终样本数量确定最终样本数量n n(2)(2)按照序列形式选择最初抽样单元按照序列形式选择最初抽样单元(3)(3)当最初抽样单元和按照标准值所增加的单元等于当最初抽样单元和按照标准值所增加的

31、单元等于或大于（或大于（1 1）所确定的样本数量）所确定的样本数量n n就停止就停止估计方法采用修正的估计方法采用修正的hhhh和和htht，发现有偏。然后用，发现有偏。然后用bootstrapbootstrap方法估计有偏量，用于调整方法估计有偏量，用于调整hhhh和和htht的有的有偏估计偏估计53204212101033150714412266339141221146023标准条件 0，邻域形式：一阶4单元，最初抽样方法：srs，n1=10，当样本容量 15 停止，最后结果：最终样本量15，但只有n1=5限制性群团抽样过程示意图限制性群团抽样过程示意图 二阶段适应群团抽样（二阶段适应群团

32、抽样（salehi 1997)salehi 1997)总体单元总体单元n200分成分成m=8个一级单元样个一级单元样方（方（psus）用不放回用不放回srs方法抽取方法抽取4个个psus(如图中如图中1,2,3,8)在在4个个psus中的每个中中的每个中用不放回用不放回srs方法抽取方法抽取3个二级单元样方（图个二级单元样方（图中中o）最后按照一次最后按照一次4单元邻单元邻域和标准值（域和标准值（y0)增加增加样方单元样方单元可以分成重叠（横跨可以分成重叠（横跨2个二级单元）和个二级单元）和不重叠估计，但不重叠效率更高不重叠估计，但不重叠效率更高 调整的调整的二阶段适应性群团抽样（二阶段适应性

33、群团抽样（muttlak 2002)muttlak 2002)总体总体n200用不放回用不放回srs抽取抽取12个样方单元（个样方单元（x）在最大的网络中随在最大的网络中随机抽取机抽取3个样方单个样方单元，其余元，其余11个小网个小网络计数络计数导出了无偏估计公导出了无偏估计公式式 逆的逆的适应群团抽样（适应群团抽样（inverse acs)inverse acs)(christman 2001)(christman 2001)限制性限制性acsacs在稀少分布的总体抽样可能不能产生足够量的或大在稀少分布的总体抽样可能不能产生足够量的或大量的样本量量的样本量（1 1）抽样前规定最初抽样单元）抽

34、样前规定最初抽样单元n1n1中非零观察值的样本数量中非零观察值的样本数量k k2 2（2 2）如果最初抽样单元数量）如果最初抽样单元数量n1n1中不满足中不满足k k2 2，则增加最初抽，则增加最初抽样单元数量，直至满足条件样单元数量，直至满足条件k k停止停止导出了总体均值的估计公式，但是方差估计比较复杂导出了总体均值的估计公式，但是方差估计比较复杂 限制性逆的限制性逆的适应性群团抽样（适应性群团抽样（constrain constrain inverse acs) (rocco 2003)inverse acs) (rocco 2003)与与iacsiacs设计基本相似，不同是对设计基本相

35、似，不同是对2 2个非零观察值的个非零观察值的处理方法处理方法（1 1）保留满足最后一个非零观察值的最终抽样样）保留满足最后一个非零观察值的最终抽样样本量本量（2）拒绝满足最后一个非零观察值的最终抽样样）拒绝满足最后一个非零观察值的最终抽样样本量本量 次序统计量和叫停规则的联合抽样设计次序统计量和叫停规则的联合抽样设计（su 2003)su 2003)对抽样总体很难预先确定临界值, 而临界值的大小直接影响最终抽样数量，因此为了获得抽样精度和抽样效率，su et al（2003)在抽样设计中提出了偏差小的次序统计量(order statistics)方法来确定临界值。 一般经常采用次序统计量方法

36、来确定临界值，所以临临界值大小随序列而确定界值大小随序列而确定，即临界值为cy(n1-r)，与最初acs抽样技术事先确定的临界值不同。最初样本量为n11()nrcy即：111(1)(2)()(1)( ).n rn rnyyyyy 抽样设计案例抽样设计案例：单元数单元数10个，个，y值给定，总体值给定，总体 283 ，平均数平均数28.3，方差，方差860.4556 随机抽取随机抽取n1=3个单元（个单元（红色表示红色表示), 最大是最大是y(1)=99，取，取 标标 准值为准值为cy(n1r) 35 22089955129153528 加加y(1)y(1)相邻的相邻的单元单元，y y5555值大于值大于y(2)y(2)35352208995512915352822089955129153528 y=55 y=55相邻处加相邻处加y=12, y=12, 因为因