精算模型第9讲经验

1、经验模型问题：如何选取合适的理赔额分布或理赔次数的分布。分布拟合检验的一般步骤（1）获得损失分布的经验分布信息，例如经验分布图、样本均值、样本方差、分位点等。（2）选择一种概率分布作为损失的分布类型，估计所选择分布中所包含的参数；（3） 对分布进行拟合检验，以确信所选择的分布类型和参数估计是否恰当；（4） 考虑是否还有其它适合的分布，如果有，重复第（1）（3）步;（5）在几种合适的分布中选取一个最优的分布作为损失额的分布。选择的标准有多种，常用的方法是比较 c 2 统计量的值，比较最大似然函数的值等；（6）模型的修正。选择模型后，要注意随时对模型修正，以反映未来发生的情况，如通货膨胀，免赔额变

2、化等。一、构建经验模型Data set A下表是某保险公司在一年内小汽车发生事故次数的统计数据：Data set B下表是某劳工补偿险的部分原始损失数据Number of accidenceNumber of drivers081,714111,30625 or more7Data set C下表是某责任险的赔付数据：Payment rangeNumber of payments0-7500997500-175004217500-325002932500-675002867500-12500017125000-300000927821151261551612432943403844576808

3、55877974119313401884255815743Data setD1寿险保单终止有三种状态：，期满和退保（surrender）。下表是某寿险保单持有人在签订保单后 5 年内保单终止的时间。policyholderTime of deathTime of surrender1-0.124.80.53-0.840.83.953.11.86-1.87-1.88-2.1Over 3000003其中-表示时间未知，最后 12 个保单持有人保单期满并退保。Data set D29-2.5102.92.8112.94.612-3.9134.0-14-4.015-4.1164.8-17-4.818-

4、4.819-30-下表表示寿险保单存活状态的两次观测值，其中 First observed 表示第一次观测的时间，若为 0 则表示保单签订后马上进行，Last observed表示第二次观测的时间，Event 表示最后一次观测时保单持有人的状态，S 表示退保，D 表示，E 表示保单期满。PolicyFirst observedLast observedEventPolicyFirst observedLast observedEvent100.1S1604.8D200.5S1704.8S300.8S1805.0S400.8D19-3005.0E501.8S310.35.0E601.8S320.

5、75.0E702.1S331.04.1DData setE这是一组责任险保单的赔付数据,这个数据中包含了不同的免赔额和限额。年 免赔额 最大支付额 赔付额年 免赔额 最大支付额 赔付额9001000000289091150000001000000010000000802.5S341.83.1D902.8S352.13.9S1002.9D362.95.0E1102.9D374.8S1203.9S383.24.0D1304.0D393.45.0E1404.0S403.95.0E1504.1s909090909090909090909091919191919102500000000015000000

6、010000000000500000175000050000001000000010000003000000100000001000000040000050000001000000010000000100000001000000300000010000001000000010000001000000585115347156352055334584796611326011410989278440148943609316751189130893313924948867425150310929292929292929292929393939393939300000350000007000000000

7、005000003000001000001000000100000050000005000000100000005000000100000050000001500000030000005000003000000100000001000000100000005000000500000018361070510973134081633995736212313439543109871012111801051014029152962751653467874632209959191914500000001275000033000000100000001000000013357353308199100000

8、009393931500000050000005000000500000027408618623045000000请同学们观察上述几个数据集的特征lll，完整数据分组数据Truncated 和 Censored 数据分三种情况讨论经验模型的构建，完整数据分组数据Truncated 和 Censored 数据censored （from above） truncated (from below)lll（一）数据对于数据，它的经验分布信息除了样本均值、样本方差、中位数、极大值和极小值，还包括经验分布函数、生存函数（survival），亡力函数(cumulative hazard rate func

9、tuon）等信息。死1、样本分布函数样本分布函数就是累积频率，其定义式为F (x) = number of observations £ xnn其中是样本量。例：设某医疗保险，规定免赔额为 50件，赔偿额分别为141 1646403512593171511元，随机抽取了 10 个理赔事107567F10(16)=1/10=0.1, F10(40)=0.2, F10(1511)=1可以证明: 当 X1, X2, Xn 是某总体 XF(x)的Fn(x)依概率收敛到 F(x).同分布的样本时，经验生存函数xi ' s > tS (t) = 1- F (t) = number

10、ofnnn特殊地,设样本为 n 个数据 x1, x2, xn，这个数据中只有个不同的值，把这个值按从小到大的顺序排列，记为(1)<(2)<<() ，令表示等于（）的数据的个数，rj = å si 表示大于等于（）的个数， 经i= jk验生存函数为S (t) = rj ,if y£ t < ynj -1jn则样本分布函数x < y(1)ì0,F (x) = ïí1- r / n , y£ x < y, j = 2,., knj1,( j -1)( j )ïx ³ yî(k

11、 ) 例 ： 假 设 某 数 据 集 包 括 7 、 2 、 4 、 4 、 6 、 2 、 1 、 9 ，则 y1 = 1, y2 = 2, y3 = 4, y4 = 6, y5 = 7, y6 = 9s1 = 1, s2 = 2, s3 = 2, s4 = 1, s5 = 1, s6 = 1rj = å si ,i= jr1 = 8, r2 = 7, r3 = 5, r4 = 3, r5 = 2, r6 = 1kS (4.5) = r4 = 3 ,y = 4 £ 4.5 £ 6 = y834n8S8 (3) = ?例 假设某数据集包含下面的数据：1.0, 1.

12、3, 1.5,1.5, 2.1, 2.1, 2.1,和 2.8，计算其经验分布函数。解：，1.0181.3？71.52？2.1342.811x < 1.01.0 £ x < 1.3ì0,ï7ï1-= 0.125,ïïï1-868= 0.250,1.3 £ x < 1.5F (x) = ïí84ï1-= 0.5,1.5 £ x < 2.1ï8ï1ï1-= 0.875,2.1 £ x < 2.8x ³

13、 2.8ïïî1,82、经验均值、经验方差等n= 1 ånX ,s2 = 1 å ( X - X )2m1iinni=1i=11åE( X Ù u) =(x + u (number of x ' s > u)kkiinxi £u3、百分位数设随量 X 的分布函数为 F(x,q )，称p p (q ) 为 F(x,q ) 的 100p分位数，如果p p (q ) 满足F (p p (q ) | q ) = p数据的样本分位点：, xn 按从小到大的顺序排列为 x(1) , x(n) 。对于 0 <

14、 p < 1 ，将 x1 ,g=(n+1)p表示不超过(n+1)p 的最大整数，此时认为分位数应该在x(g)和 x(g1)之间。记 h=(n+1)p-g 表示(n+1)p 的小数部分，则样本的 100p 的分位数为p (p)=(1-h) x(g)+h x(g1)中位数n当 n 为奇数时,记 k=(n+1)/2, 中位数为 x(k),当 n 为偶数时,记 k=n/2, 则中位数为 1 x+ 1 xn(k +1)(k )22例：求下表中的理赔的 25和 75分位数来估计参数的值。由于 0.25×266.5，因此，0.25 的分位点为0.5×0.5+0.5×0.7

15、0.65类似计算，0.75×2619.5，0.75 的分位点为0.5×12.1+0.5×13.6512.8750.10.52.24.128.10.20.72.65.930.00.20.92.96.249.20.31.33.212.163.80.41.83.313.65118.04、核估计n直观含义经验分布函数是离散的，而大多数真实分布是连续的，因此经验分布不能很好的近似真实的分布，核估计的基本思想就是对每个观测值 yj 使用续分布函数去近似，即令 Ky (x) 表示在 yj 附近的分布函数，其均j值为 yj，则分布函数的核估计定义为：kF(x) = å

16、p( y j )Ky (x)jj =1p( y j ) 表示 yj 的经验概率，密度函数kf(x) = å p( y j )ky (x)jj =1其中 Ky 是连续分布函数， ky 为其分布函数。jj常见的核函数l均匀核函数x < y - by - b £ x £ y + b x > y - bx < y - by - b £ x £ y + b x > y - bì0,ï 1ky (x) = í 2b ,ïïî0,ì0,ï x - y +

17、bKy (x) = í,2bïïî1,请同学们画出均匀核函数分布图例某个损失数据的样本为：7,12,15,19,26,27,29,29,30,33,38,53。给定带f(20), F (20), f(30), F(30) 。宽参数h = 5 ，利用均匀核函数，估计11对于 f(20) ，需要考虑15,19 处的经验密度，两点的权重都为=。2h1011111f(20) =+=。12 1012 1060对于 F (20) ，需要考虑的点包括 7，12，15，19。其中前两个点在带宽范围左边，权重为 1，第三个点权重也为 1，第四个点权重为 0。6。因此：11

18、113F(20) =1+1+1+0.6 =。12121212同法可得：101111111111111f(30) =+=12 1012 1012 1012 1012 1012 102011111111122F(30) =1+1+1+1+0.9 +0.8 +0.6 +0.5 +0.1212121212121212我们可以绘制核密度估计的分布函数和密度函数图像，如图 8-7 所示。图 8-1均匀核密度估计的密度函数和分布函数l三角核函数ì0,x < y - b, y - b £ x £ yï x - y + bïk (x) = ïb2

19、í y + b - xyï, y £ x £ y + bx > y + bïb2ï0,î（请同学们画出三角型图）x < y - b, y - b £ x £ yì0,ï(x - y + b)2ïK (x) = ï2b2íy( y + b - x)2ï1-, y £ x £ y + bï2b2ï1,x > y + bî例：例某个损失数据的样本为：7,12,15,19,26,27,2

20、9,29,30,33,38,53。给定f(20), F (20), f(30), F(30)带宽参数h = 5 ，利用均匀核函数，估计估计过程类似。为计算 f(20) ，需要考虑的点是 15，19。由公式(8.4.8)得到相应5- | 20 -19 |4的权重分别为 0 和=。因此：5225141f(20) =12 2575对于对于 F (20) ，由(8.4.9)计算得到点 7，12，15，19 的权重分别为 1，1，1，(19 - 20 + 5)2171-=。因此：2 52251111 17 = 23F(20) =1+1+1+12121212 2575同理可得， f(30) =， F(30

21、) = 49 。相应的估计结果示意图为：35075图 8-2三角核密度估计的密度函数和分布函数lgamma 核函数xa -1e- xa / yky (x) = ( y / a )a G(a )此 gamma 函数的均值为a( y /a) = y ，方差a( y /a)2 = y2 /a 。例：You study five lives to estimate the time from the onset of a disease to death. The times to death are:2 3 3 3 7Using a triangular kernel with bandwidth

22、2, estimate the densityfunction at 2.5.(A) 8/40 (B) 12/40 (C) 14/40 (D) 16/40(E) 17/40解：三角核函数为x < y - b, y - b £ x £ yì0,ï x - y + bïk (x) = ïb2í y + b - xyï, y £ x £ y + bx > y + bïb2ï0,îThe kernel is a triangle with a base of 4

23、 and a height at the middle of0.5 (so the area is 1). The length of the base is twice the bandwidth. Any observation within 2 of 2.5 will contribute to the estimate.For the observation at 2, when the triangle is centered at 2,the height of the triangle at 2.5 is .375(=0.5*0.75) (it is one-quarter th

24、e way from 2 to the end of thetriangle at 4 and so the height isone-quarter the way from 0.5 to 0).Similarly the points at 3 are also 0.5 away and so the height of the associated triangle is also .375(=0.5*0.75).Each triangle height is weighted by the empirical probability at the associated point. S

25、o the estimate at 2.5 is (1/5)(3/8) + (3/5)(3/8) +(1/5)(0) = 12/40.（二）、分组数据例 2：某公司在 1970 年间发生的火灾损失如下：试画出损失的经验分布图。990400010202700298039001503300750495023001300210970100260012005200350125200105020003800110055529002000500110025003965解：先对损失按从小到大的递增顺序整理为，根据整理的数据可以确定一下标志值最小损失最大损失平均损失中位数10052001863.4313001

26、0012515020021035050055575075097099010201050110011001200130017001995200020002300250026002700290029803300380039003965400049505200把数据按不同规模分组，每组中的次数称为频数，以 500，1000 为组矩分组得：序号分组频数频率115007？50010005？2100120001017.1%320013000617.1%430014000514.3%54001520025.7%合计35100.0%1、直方图（1） 、分组数据的经验分布通常用直方图来表示，我们通常得到的直方图

27、为等距直方图， pi = ni / n 。一般统计软件都可画等距直方图。（2） 、设 c0<c1<<cr，nj 表示位于区间(cj-1,cj)的数据的个数，当分组数据的组距di = Ci - Ci-1 不相等时，需要计算消除组距因素影响后的标准化频率ri ，其计算公式为ninir =indn(C - C)iii-1根据上表可画出如下的频数直方图和相应的分布函数图。由频率直方图可以得到一条频率折线。它所代表的函数为作总体分布密度函数的近似。fn (x) ，可看注：同学们可以尝试把组分得更细些，这样得到的直方图就更平滑些。2、经验分布函数光滑曲线å jc , F (c

28、) = 0×××定义 Fn ,将，c , F (c )，i=1 i0n01n 1cr -1, Fn (cr -1)，cr , Fn (cr ) 等点用折线连接起来，可以得到经验分布光滑曲线，其函数表达式为ì0,x £ c0ïc - x(x - c)ï) +j-1 F (c ), c< x £ cF (x) = jF (cí cnj -1njj -1n- cc - cjïïîjj -11,jj -1x > cr下图例的经验分布光滑曲线例 2：下表给出了 217 份保

29、单的理赔额数据。理赔额数目平均理赔额频率Ej02，5004113890.039.752，5007，5004846610.000075649.177，50012，5002499910.000044227.012，50017，50018154820.000022117.5517，50022，50015202320.000016612.4822，50032，50014266160.000013816.7032，50047，50016402780.000006514.7747，50067，50012564140.000004911.1867，50087，5006749850.00000286.71画得

30、直方图和经验分布光滑曲线如下：87，500125，000111068510.00000147.22125，000225，00051847350.00000147.68225，000300，00042640250.00000026.79300，0003300，0000.00000023、经验均值(ck +1 - ck +1 )nnrrm ' = åcxkjdx = åjjj -1òjkn(cj - cj -1 )j=1 n(cj - cj -1 )(k +1)cj-1j =1nj (cj + c j -1 )rm = åj =1n24、计算 E(

31、X Ù u) 的值当u = c j , j = 0,1,., rn c + cjåi=1rån E( X Ù u) =i ii-1 + uin2i= j +1 n当cj -1 £ u < c jnj cj -1 + uu - c j -1j -1 nc + cåE( X Ù u) = i ii-1n2+()()c j - c j -1n2i=1cj - u+u njr+ u ånic j - c j -1ni= j +1 n这部分内容参考 loss m第 10 章或 manaul（ME-50,51）。5、百分

32、位数对于0 < p < 1，分组数据的样本 100p的分位点pp 定义为p = F (p )np利用 ogive 曲线的特点，可得p - Fn (cj -1 )Fn (cj ) - pp =´ c +´ c，j -1pF (c ) - F (cjF (c ) - F (c)njnj -1njnj -1其中cj -1 和cj 满足 Fn (cj -1 ) £ p < Fn (cj ) 。例：100 个观察值被分为 5 组，请计算在 40%的经验分位数。解：首先计算其经验分布函数组(0,100(100, 200(200,500(500,1000(10

33、00, 2000nj2520202015254565F(0) = 0, F(100) =, F(200) =, F(500) =,100100100100100100100F(1000) =, F(2000) = 100 ,85100100100100因此，40%的分位数位于 100 和 200 之间。使用插值得到0.4 - 0.250.4 - 0.4p=´ 200 +´100 = 1750 40.45 - 0.250.45 - 0.25（三）、censored 和 truncated 数据1、censored 和 truncated 的含义ntruncatedX <

34、 dX > dY = ì未定义< dì, Y =XXííX > dXî未定义î例如，免赔额 truncated from below, left truncatedncensored< dì X， Y =X < dX > dY = ì dXí Xí dX > dîî例如，赔偿限额 censored from above。例：一组责任险保单数据年 免赔额 最大支付额 赔付额年 免赔额 最大支付额 赔付额90010000002890900

35、500000058519025000010000000153479001000000156359003000000205539001000000034584900100000007966190040000013260190150000050000001410989900100000002784401900100000004894360901000000010000000931675191010000001891910300000030893911500000010000000100000009201000000183692010000001070592050000001097392050000

36、001340892010000000163399235000050000009573692010000002123139205000000439543927000000015000000109871092030000001211180930500000105109303000000140299301000000015296919191919191910500000175000045000000012750000100000010000000100000010000003300000010000000100000003139249488674251503101335735330819910000

37、00093939393939393500000300000100000150000001000000100000005000000500000050000005000000500000027516534678746322099527408618623045000000注：在生命表（mortalitytruncated 例子。table）模型构建中也存在大量的 censored 和例：为估计某阶段的率分布，随机抽取了 40 份保单，下面表中是两次观测的时间和保单持有人的状态。PolicyFirst observedLast observedEventPolicyFirst observedLas

38、t observedEvent100.1S1604.8D200.5S1704.8S300.8S1805.0S400.8D19-3005.0E501.8S310.35.0E601.8S320.75.0E702.1S331.04.1D802.5S341.83.1D902.8S352.13.9S1002.9D362.95.0E1102.9D374.8S1203.9S383.24.0D1304.0D393.45.0E1404.0S403.95.0E1504.1S其中First observed 是指签订保单后第一次观测的时间，Last observed是最后观测的时间，Event 是最后观测时，保单持

39、有人所处的状态，e表示保单期满，s 表示退保，d 表示例如：。第 4 份保单，第一次观测的时间是签署保单后，第二次观测时间是签署保单后 0.8 年，状态d。其存活时间为 0.8。第 31 份保单，第一次观测的时间是签署保单后 0.3 年（truncated），第二次观测时间是签署保单后 5 年，状态是期满 e。其存活时间大于等于 5。第 35 份保单，第一次观测的时间是签署保单后 2.1 年，第二次观测时间是签署保单后 3.9 年，状态是退保 s (cemsored)。其存活时间未知但大于 3.9。下面构造经验分布函数，首先定义几个记号：u设 dj 表示第 j 个观测值被 truncated

40、的点，若第 j 个观测值没有被 truncated，则令d j = 0 。在非寿险中一般认为 truncated 点是相同的，例如，免赔额 d。但是在寿险中却不同，例如，上例中第 31 份保单，第一次观测的时间是签署保单后 0.3 年，则d j = 0.3 。u设 xj 表示第 j 个观测值实际值，若第 j 个观测值被 censored， 则 xj 未知，censored 点记为 uj。非寿险：例如：保单限额 u寿险：例如上例中第 35 份保单，第一次观测的时间是签署保单后 2.1 年，第二次观测时间是签署保单后 3.9 年，状态是退保 s，其实际存活时间大于x j = -, u j = 3.

41、9 。3.9，但由于被censored，因此令u设样本 x1, x2, xn，这个数据中只有个不同的值，把这个值按从小到大的顺序排列，记为(1)<(2)<<() ，令表示等于(j)的数据且没有被 censor 观测值的个数(thenumber of times the uncensored observationsample )。yjappears in theu令rj 表示大于等于(j)的观测值的个数。如果样本都没有被kcensored 和truncated，则rj = å si , ；如果样本存在 censored 和i= jtruncated 的情况，则xi

42、s ³ y j )+(number ofui s ³ y j )-(number of di s ³ y j )rj=(number ofrj 的直观解释：rj 称为风险集，是由哪些在指定在观测值 y j 时刻的风险集包括：仍处于被观察状态的，（1）时间在 y j 或 y j 以后的；（2）删失 censored 时刻在 y j 或 y j 以后的。但是，对于那些在 y j 以后才首次观测到的，我们认为其在时刻y j 并没有处于被观测状态。因此，对于风险集大小的计算公式为：rj = #xi : xi ³ y j + #ui : ui ³ y j

43、 - #di : di ³ y j 另外，注意到：n = #xi + #ui = #xi : xi ³ y j + #xi : xi < y j + #ui : ui ³ y j + #ui : ui < y j = #di = #di : di ³ y j + #di : di < y j 因此，(0.1)也可写作：rj = #di : di < y j - #xi : xi < y j - #ui : ui < y j (0.1)即di s < y j ) -(number of xi s < y j

44、)-(number of ui s < y j )rj=(number of直观意义：由所有在给定数。之前参与研究的减去已经离去的递推计算rj=rj-1 +(number of dis between yj and yj-1)-(number of xis equal to yj-1)-(number of uis between yj and yj-1)rj = rj -1 + #di : y j -1 £ di < y j - #xi : xi = y j -1 - #xi : y j -1 £ ui < y j 请同学们分析一下上面表达式的直观含义。

45、根据上面的定义，下表给出了 data set D2 中的 di，xi，uiidixiuiidixiui10-0.11604.8D20-0.5170-4.830-0.8180-5.0400.8-19-3005.05.050-1.8310.35.05.060-1.8320.75.05.070-2.1331.04.1-80-2.5341.83.1-90-2.8352.1-3.91002.9-362.95.05.01102.9-37-4.8120-3.9383.24.0D1304.0D393.45.05.0140-4.0403.95.05.0150-4.1下表给出了风险集 y j , s j , rj

46、 的值rj = #di : di < y j - #xi : xi < y j - #ui : ui < y j rj = #xi : xi ³ y j + #ui : ui ³ y j - #di : di ³ y j rj=rj-1 +(number of dis between yj and yj-1)-(number of xis equal to yj-1)-(number of uis between yj and yj-1)jyjsjrj10.8132-0-2=30=0+32-0-222.9235-1-8=26=30+3-1-633

47、.1137-3-8=26=26+2-2-044.0240-4-10=26=26+3-1-254.11?64.81?下面我们给出经验生存函数估计，也称为 Kaplan-Meier product-limit计ì估ï0 £ t < y1y j -1 £ t < y j , j = 2,., kï1,j -1 æ r - söïSn (t) = íÕç ii ÷,i=1 èriøïïk æ r - sö

48、9;Õt ³ ykç ii ÷ or0,ïîi=1 èriø在生命表中的直观解释：S(0)=1S ( y ) = r1 - s1 表示在r1 个在时刻 y1 前存活的人群中，有 s1 个在时刻 y11r1，还有 r1-s1 还会继续存活，即存活时间大于 y1。S ( y ) = S ( y ) r2 - s2，在 r2 个在时刻 y1 后时刻 y2 前继续存活的人群中，21r2有 s2 个在时刻 y2，还有 r2-s2 还会继续存活。即存活时间大于 y2。依次类推下去，即可得 Kaplan-Meier produc

49、t-limit。若sk = rk ，则S(t) = 0,for t ³ yk ，表示所有人的存活时间小于等于 yk但由于 censored情况存在，存活时间大于 yk 的可能性存在，因此假设生存函数从S ( yk ) 是从指数衰减到 0，令w = maxx1,×××, xn ,u1,×××,un，æ ri - si ök= Õç(t / w) ln s* t / wSn (t) = e= (s )，其中s*÷ri=1 èiø当样本没有被 censored

50、和 truncated 的，rj = s j + rj -1因此，可以证明 Kaplan-Meier product-limit 估计与前面的估计是一致的， 即Sn (0) = 1S (t) = rj ,if y£ t < ynj -1jnSn (0) = 0,if t ³ yk例：计算 data setD2 的 Kaplan-Meier product-limit0 £ t < 0.80.8 £ t < 2.9ì1,ï30 -1ï= 0.9667,ï 30ïï0.966726 - 2= 0.8923, 2.9 £ t < 3.126ï(t) =