后测检验课件

第9讲后测检验xjyu@39380758B10北407华南理工大学金融工程研究中心华南理工大学经济与贸易学院于孝建博士讲师金融风险管理FinancialRiskManagement个人主页：/economy/center/yxj/第9讲后测检验xjyu@华南理工大学为什么要进行后测检验模型是否有效？模式是否稳健（鲁棒）？巴塞尔委员会对于银行采用的内部模型的评测与惩罚为什么要进行后测检验模型是否有效？后测检验的设立模型的准确性模型能够有效地反映标的物的实际价值最直接的办法——系统地比较实际损失水平与用模型预测出的水平之间的差别如果模型是完好校准的，所观察到的在VaR预测以外的点，就应该会与置信水平相一致。后测检验的设立模型的准确性后测检验的设立100807060504030201001020304050607080日损益（绝对值）日价格波动率异常值点异常值点的数量称为异常数观察样本数置信度后测检验的设立100102030405后测检验的设立如果实际出现的异常很多 模型低估了风险 风险资本金过少如果实际出现的异常过少 模型高估了风险 风险资本金过多，影响资金使用效率后测检验的设立如果实际出现的异常很多后测检验的设立：一个例子100807060504030201001020304050607080日损益（绝对值）日价格波动率假定损益分布是对称的，则大约有2%的日观察（为正或为负）会位于对角线的上方，或者说一年当中有5个数据点。在这里,我们观察到了4个。这样的模型是否正确呢？后测检验的设立：一个例子1001020304关于回报的选择模型依赖于数据VaR度量假定当前头寸在预测时段是“冻结”的“冻结”——投资组合（头寸）的成分是不变的实际中，交易投资组合的演变即使是在一天中都是动态的。实际的回报对应的是实际的损益，即考虑了日间的交易和其它的利润项目。关于回报的选择模型依赖于数据关于回报的选择要求：对回报数据的选择必须是时间上是非常短的。——选择日回报数据进行后测检验但是，日间交易会增加收入的波动。假想的回报

代表一种“冻结”的投资组合的回报。关于回报的选择要求：对回报数据的选择必须是时间上是非常短的。关于回报的选择此外，也可考虑通过采用清洁回报（cleanedreturn）来近似。清洁回报：是指实际回报减去所有的非盯市项目，诸如融资成本、费用收入、储备释放等。从监管的目的，后测检验应该采用实际回报。实际回报反映了真实的、事后的交易回报的波动率，这也会传达一定的信息量。关于回报的选择此外，也可考虑通过采用清洁回报（cleaned基于异常回报数的后测检验模型对后测检验的建模包括了系统地比较历史VaR度量和实际序列回报。对模型的检验，则可以利用异常回报数出现的情况来判断模型的好坏。基于异常回报数的后测检验模型对后测检验的建模包括了系统地比较基于异常回报数的后测检验模型譬如说在95%的置信水平下的5%的观察数。但几乎可以肯定，我们不一定正好观察到5%的超出偏差。由于运气不好可能导致某个比较大的比例，如6%到8%。如果偏差的频率很大，如10%到20%，则用户必须认为模型是不适宜的，而不仅仅是由于运气不好，从而采取纠正措施。基于异常回报数的后测检验模型譬如说在95%的置信水平下的5%基于异常回报数的后测检验模型问题：如何对模型的好坏进行判断？模型判断中的两种错误错误1：拒绝一个好的模型（第1类错误）错误2：接受一个坏的模型（第2类错误）需要在两种错误中进行权衡。基于异常回报数的后测检验模型问题：如何对模型的好坏进行判断？基于失效率的模型验证失效率：在某个给定样本下，超出VaR预测值的次数的占比。证实某个模型准确性最简单的方法是记录下其“失效率”。假定银行提供了总共T天的左尾1%（p=1–c）水平下的VaR数据。假设N为实际的损失会超出前一天的VaR值总的异常数，N/T即为失效率。基于失效率的模型验证失效率：在某个给定样本下，超出VaR预测基于失效率的模型验证理论上，失效率（failurerate）应该是p的一个无偏测度（unbiasedmeasure），即应该随着样本容量的增大而收敛于p。基于失效率的模型验证理论上，失效率（failurerate基于失效率的模型验证我们想要知道的是：给定某个置信水平，在样本容量为T的情况下，对于零假设p=0.01，N是太大还是太小。值得注意得是，这一统计检验对回报的分布没有任何先决条件。——非参数方法。基于失效率的模型验证我们想要知道的是：基于失效率的模型验证建立这种检验完全是一种传统的构架，即对一系列成功或失败的检验。这又被称作贝努里试验。异常的个数服从某个二项分布：基于失效率的模型验证建立这种检验完全是一种传统的构架，即对一基于失效率的模型验证二项分布的期望：E(X)=pT方差V(X)=p(1–p)T当T增大时，我们可以根据中心极限定理用一个正态分布来近似二项分布：基于失效率的模型验证二项分布的期望：E(X)=pT基于失效率的模型验证二项分布可以用来检验异常的次数是否足够小以接受模型，即发生第一类错误的概率。当模型是被正确地校准的，即当p=0.01，和当T=250时的情形。从该图形中可以看到，这一零假设成立时，仍会在10.8%的时间里观察到超出5个(包括5个）异常的情况。10.8%这一数字描述了犯第1类错误（type1error），即拒绝正确模型的概率。基于失效率的模型验证二项分布可以用来检验异常的次数是否足够小基于失效率的模型验证0.000.050.100.150.200.250.30第1类错误10.8%频率模型是正确的：p=0.01;T=250个观察0123456789101112131415如果模型是正确的，但此时的异常数大于等于5，就会拒绝模型。则，此时拒绝模型的概率为：P(x＞＝5)＝10.8%基于失效率的模型验证0.000.00基于失效率的模型验证二项式分布的概率密度函数值：P(x=0)=0.0811P(x=1)=0.2047P(x=2)=0.2574P(x=3)=0.2149P(x=4)=0.1341P(x＞＝5)＝1－P(x＜＝4)＝10.8%基于失效率的模型验证二项式分布的概率密度函数值：基于失效率的模型验证如果模型是错误的，但此时的异常数小于5，我们还是会接受模型。则，此时接受模型的概率为：P(x＜＝4)＝12.8%基于失效率的模型验证如果模型是错误的，但此时的异常数小于5，基于失效率的模型验证上面的图给出了当模型校准得不正确时，异常数的分布。该图形给出了，p=0.03，（不是0.01）和当T=250时，异常数的分布。这一图形也告诉我们，有稍多于12.8%的时间，我们会接受这一错误的模型。这描述了我们犯第2类错误，即并没有拒绝一个不正确的模型的概率。基于失效率的模型验证上面的图给出了当模型校准得不正确时，异常基于失效率的模型验证决策模型正确模型错误模型接受OK第2类错误拒绝第1类错误OK决策错误表基于失效率的模型验证决策模型正确模型错误模型接受OK基于失效率的模型验证对于后续检验的目的，VaR模型的用户需要尽量避免第2类错误而平衡第1类错误。目标：设置一个很低水平的1类错误，然后采用一种检验能够使得犯第2类错误的水平也很低。在这种情况下，检验才能被称得上是“有效力”的。基于失效率的模型验证对于后续检验的目的，VaR模型的用户需要基于失效率的模型验证Kupiec（1995）开发了一个95%置信水平的一个近似区域。如表9-2所报告的（应该注意到对这一检验置信区域的选择与在VaR中模型所选择的p的水平无关，而是仅仅取决于接受或拒绝模型的决策规则）。这些区域是由一些对数似然比尾部的点构成的。LRuc=–2ln[(1–p)T–NpN]+2ln{[1–(N/T)T–N(N/T)N]}基于失效率的模型验证Kupiec（1995）开发了一个95%基于失效率的模型验证LRuc=–2ln[(1–p)T–NpN]+2ln{[1–(N/T)T–N(N/T)N]}这是一个渐进（T非常大时）自由度为1的chi-平方分布。对于零假设：p

是真的概率水平，在置信水平95%下，如果LR>3.84，我们将拒绝这一零假设。即：P(LR>3.84)=0.05P(LR

<=3.84)=0.95基于失效率的模型验证LRuc=–2ln[(1–p)T基于失效率的模型验证异常数为N时的非拒绝区域概率水平pVaR置信水平T=255天T=510天T=1000天0.0199%N<71<N<114<N<170.02597.5%2<N<126<N<2115<N<360.0595%6<N<2116<N<3637<N<650.07592.5%11<N<2827<N<5159<N<920.1090%16<N<3638<N<6581<N<120注：N为在样本容量为T的样本中，在检验置信水平为95%的情况下，不足以拒绝零假设：p为一正确的概率水平（1–p为置信水平）时，所能观察到的失效次数。对模型的后测检验，非拒绝检验的置信区间为95%(好模型没有拒绝)基于失效率的模型验证异常数为N时的非拒绝区域概率水平pVaR基于失效率的模型验证如果有2年的数据（T=510），我们会期望观察到N=pT=1%×510=5个异常。但是只要N在[1<N<11]的范围之内，VaR模型的使用者都不能拒绝这一假设。当N

＞＝11时，说明VaR的预测值太低，或模型低估了较大损失的可能性。当N

＜＝1时，表示该VaR模型过余保守。基于失效率的模型验证如果有2年的数据（T=510），我们基于失效率的模型验证异常数为N时的非拒绝区域概率水平pT=255天T=510天T=1000天0.01N/T<0.0280.002<N/T<0.022

0.004<N/T<0.0170.0250.008<

N/T<0.0470.012<N/T<0.041

0.015<N/T<0.0360.050.024<N/T<0.0820.031<N/T<0.071

0.037<N/T<0.0650.0750.043<N/T<0.1100.053<

N/T<0.1

0.059<N/T<0.0920.100.063<N/T<0.1420.075<N/T<0.128

0.081<N/T<0.120对模型的后测检验，非拒绝检验的置信区间为95%(好模型没有拒绝)以N/T比例表示的区间，会随着样本容量的增大而缩小。基于失效率的模型验证异常数为N时的非拒绝区域概率T=25基于失效率的模型验证在p=0.05这一行，对于T=255的区间为[6/255=0.024，21/255=0.082]；而对于T=1000的区间为[37/1000=0.037，65/1000=0.065]。如果有更多的数据，当模型为假时，我们更容易拒绝它（因为不拒绝模型的区间越来越小，因此接受一个错误模型的区间也变小），即犯第2类错误的几率会减小。基于失效率的模型验证在p=0.05这一行，对于T=25基于失效率的模型验证对于VaR参数p的很小值，确定异常情况是一件很困难的事。（p很小，VaR很大，则超出VaR的异常情况很少）在p=0.01，和T=250时的非拒绝区域为(N<7)。在N

非常小或当模型系统地高估风险时，没有办法告诉任何信息。直觉上，对很低的p值，辨识出系统的异常情况是十分困难的。因为这对应的事件很少。此时犯第2类错误的概率很高。基于失效率的模型验证对于VaR参数p的很小值，确定异常情况是基于失效率的模型验证因此，部分银行会选择较高的p值，如p=0.05，即置信水平c=95%。这样可以观察到足够多的异常数来证实模型的有效性。然后通过一个乘数因子将具体的VaR值转换成安全资本金缓冲的数字。基于失效率的模型验证因此，部分银行会选择较高的p值，如p=巴塞尔规则巴塞尔（1996a）对内部模型的后测检验的规则是直接从这个失效率检验获得的。为了设计这样一个检验，首先要确定犯第1类错误的比例，这是当模型是正确时，拒绝该模型的概率。因此，我们首先应该选择一个检验，让它有较低的犯第1类错误的概率。矛盾的中心在于，不可避免的是，监管者会因此而犯第2类错误，银行都会有这样的意愿在它们的VaR报告中误导。巴塞尔规则巴塞尔（1996a）对内部模型的后测检验的规则是直巴塞尔规则当前的模型证实程序是记录在过去一年中对99%-日VaR的异常数。因此，期望250个交易日的1%，即在过去1年中只有2.5个异常。巴塞尔委员会已经决定直至4个异常都可以接受，这定义了银行的“绿灯区”。如果异常数升至5个或更多，则银行落在了“黄灯区”或“红灯区”，这时会招致惩罚，而且同时乘数因子也会由3增加到4。如果直接落在“红灯区”则自动招致惩罚。巴塞尔规则当前的模型证实程序是记录在过去一年中对99%-日V巴塞尔规则区域异常的次数（过去1年）乘数k值的增加绿灯0~40.00黄灯50.4060.5070.6580.7590.85红灯10+1.00表9-3：巴塞尔的惩罚区域巴塞尔规则区域异常的次数（过去1年）乘数k值的增加绿灯0~巴塞尔规则如果在“黄灯区”，惩罚将取决于监管者，取决于异常的原因。巴塞尔委员会采用以下的范畴来划分可能的原因：模型基本上的完整性（可信性）。异常的发生是由于头寸价值报告得不正确，或是因为程序编程时出现的错误。——运用惩罚模型的精度可以依靠自身得到修正。异常的产生是由于模型并没有以足够的精度度量风险。（譬如，太短的到期日）

——运用惩罚日间的交易。一天中的头寸改变。

——考虑惩罚运气不好。市场是高波动的，尤其是相关性的改变。

——也要考虑到这些情况的发生巴塞尔规则如果在“黄灯区”，惩罚将取决于监管者，取决于异常的巴塞尔规则后测检验问题的关键是要能够分开运气不好和确实的失效模型。或者说在第1类错误和第2类错误间做一个平衡。巴塞尔规则后测检验问题的关键是要能够分开运气不好和确实的失效覆盖率=99%，模型正确覆盖率=97%，模型不正确区域异常的个数N概率P(X=N)累计的(第1类，拒绝)P(X≥N)概率P(X=N)累计的(第2类，不拒绝)P(X<N)效力(第1类，拒绝)P(X≥N)绿灯08.1100.00.00.0100.0120.591.90.40.0100.0225.771.41.50.499.6321.545.73.81.998.1绿灯413.424.27.25.794.3黄灯56.710.810.912.887.262.74.113.823.776.371.01.414.937.562.580.30.414.052.447.6黄灯90.10.111.666.333.7红灯100.00.08.677.921.1110.00.05.886.613.4覆盖率=99%，模型正确覆盖率=97%，模型不正确区域异常的巴塞尔规则表9-4给出了对一个正确的模型（有99%的覆盖率，置信水平）和一个不正确的模型（仅有97%的覆盖率）获得某个给定的异常数的概率。对于正确的模型，如果有5个或更多的异常数，则犯第1类误差的概率为10.8%。这是一个相当高的比例。即10家银行就会有一家被错误地受到惩罚，尽管它有正确的内部模型。巴塞尔规则表9-4给出了对一个正确的模型（有99%的覆盖率，巴塞尔规则第2种错误的比例也相当得高。假定一个真实的97%的覆盖率（即错误的模型），监管层会有12.8%的可能性接受它。在99%的覆盖率和97%的覆盖率的VaR模型之间的差别在经济上是显著的。假定正态分布，真实的VaR（99%）会比银行对官方报告的高出23.7%。VaR99%=V02.3263σVaR97%=V01.8808σVaR99%/VaR97%=1.237巴塞尔规则第2种错误的比例也相当得高。条件覆盖率模型前面的检验，考虑的是无条件的覆盖率，并没有考虑异常情况发生的条件概率。异常数可能是密集地随时间“束集”的，它也可以使模型无效。如果有一个95%的VaR置信水平，我们会期望每年中有13个异常数。从理论上讲，这些个异常的发生是随时间均匀散布的。但是，如果我们在过去两周内观察到10个异常，这当然应该拒绝模型的有效性。条件覆盖率模型前面的检验，考虑的是无条件的覆盖率，并没有考虑条件覆盖率模型后测检验的系统要能够设计得合适地度量条件覆盖率（conditionalcoverage），即基于当前条件下的覆盖率。条件覆盖率模型后测检验的系统要能够设计得合适地度量条件覆盖率条件覆盖率模型由Christofferson（1998）提出的检验。扩展了LRuc统计量，将其指定为那些序列相互独立的偏误。这一检验是按如下设立的：每一天将偏误指示器设置为1或0，即当VaR预测值被超出时设为1，没有超出时设为0。然后定义Tij，为状态j发生在某一天，而状态i发生在它前一天的总天数，而

πi为观察到1次异常的概率，但是它前一天的状态为i，i,j=0或1。条件覆盖率模型由Christofferson（1998）提出条件覆盖率模型前一天（条件）当前日没有异常有异常无条件没有异常有异常总异常数T0T1T=T0+T1表9-5构造一个异常表和期望的异常数当前一天没有异常，当前日没有异常时，发生异常的总数为前一天没有异常，今天发生异常的概率条件覆盖率模型前一天（条件）当前日没有异常有异常无条件没有异条件覆盖率模型统计量：

LRind=–2ln[(1–π)(T00+T10)π

(T01+T11)]+2ln[(1–π0)T00π0T01(1–π1)T10π1T11]有条件覆盖率联合的统计量则为：

LRcc=LRuc+LRind分布如果LR

cc>5.99,将会在95%的置信水平上拒绝假设分布条件覆盖率模型统计量：分布如果LRcc>5.99,将会条件覆盖率模型例子：JPMorgan在1998年252个交易日内，观察到了20个异常值，则π=20/252=7.9%.有6个异常是属于连续异常发生的（前一天也是异常）π1=6/20=30%有14个异常发生时，前一天没有异常π0=14/232=6%这样我们得到LRind=9.53条件覆盖率模型例子：计算过程pi_06%pi_130%pi7.90%T00218.08T1014T0113.92T116T0232T120前一项139.3243后一项-129.748LRind9.576825计算过程pi_06%pi_130%pi7.90%T00218条件覆盖率模型LRind=9.53>3.84,我们拒绝假设。说明，银行应该修改其VaR模型。条件覆盖率模型LRind=9.53>3.84,我们拒绝假设险阵中的后测检验t时刻的组合回报定义如下：组合回报标准差

σ

p,t|t–1

的计算公式为：险阵中的后测检验t时刻的组合回报定义如下：险阵中的后测检验90%双尾置信区间险阵中的后测检验90%双尾置信区间险阵中的后测检验模型的评估对于1-日95%VaR，这里假定每一天都有5%的机会，所观察到的损失会超过VaR的预测值。定义在任意天t，如果这一特定天的观察损失大于它对应的VaR预测值，随机变量X(t)=1，反之则有X(t)=0险阵中的后测检验模型的评估险阵中的后测检验X(t)的分布如下，随机变量X(t)被认为是服从期望值为0.05的贝努利（Bernoulli）分布。险阵中的后测检验X(t)的分布如下，险阵中的后测检验在期间T违反VaR估计的总次数由下式给出XT

的期望值，即在T天中违反VaR估计的期望次数为

0.05T。例如，如果我们观察T=20天的VaR预报，则违反VaR预测的期望次数为20∙0.05=1；险阵中的后测检验在期间T违反VaR估计的总次数由下式险阵中的后测检验通过违反VaR估计的次数来评价对这一包括215个现金流组合的险阵模型的适宜性。违反

VaR的真实概率

=5%Prob(Loss<1.65σ

t|t

1)Prob(Profit>1.65σ

t|t

1)5.74%5.87%表9-7所实现的偏误了VaR的比例上、下限分别定义为1.65σ

t|t

1

和1.65σ

t|t

1险阵中的后测检验通过违反VaR估计的次数来评价对这一包括险阵中的后测检验推导出上述结论的一个更加直接的方法是运用险阵模型所维系条件正态分布的假定。假定实际回报（P/L）（被用于构造VaR估计的标准差估计除后的值）服从均值为0和方差为1的正态分布。通过分析标准化后的组合回报来做出判断。险阵中的后测检验推导出上述结论的一个更加直接的方法