SAS编程技术SAS处理流程与指针控制课件(PPT 49页)

1、第24章 SAS处理流程与指针控制清华大学经管学院 朱世武ZhushwResdat样本数据：SAS论坛： 第1页，共49页。SAS处理流程 SAS处理流程数据集SAS数据文件SAS数据视图PROC SQL视图SAS/ACCESS视图原始数据外部文件数据程序行数据远程数据FTP TCP/IP socketURLDATA步SAS数据集PORC步SAS报告SAS数据集SAS日志SAS报告SAS日志其它外部数据文件第2页，共49页。数据步定义 通过数据步可以实现的功能如下。创建SAS数据集（SAS数据文件或SAS数据视窗）；读取外部数据文件创建SAS数据集；通过对现有SAS数据集取子集、合并、修改和更

2、新创建新的SAS数据集；分析、操作或展示数据；创建新变量；产生报告、或将文件存储到硬盘或磁带上；提取信息；文件管理。第3页，共49页。编译SAS语句包括语法检查编译阶段建立输入缓冲区程序数据向量PDV描述信息开始data数据步语句反复计数运行阶段设定PDV中的变量值为缺失数据读入语句判断是否还有记录可以读入关闭数据集执行下一个数据步或者过程步没有有读入一个数据记录执行其它的可执行语句写入一个观测到数据集中数据步处理流程 第4页，共49页。指针控制 当SAS从输入数据中读取数据，并将其读入到输入缓冲区时，用一个指针标记所读数据的位置。INPUT语句提供了三种方式来控制指针运动。列指针控制设置指针

3、的列位置行指针控制设置指针的行位置行固定说明符在输入缓冲区内保持指针在同一个记录行上，从而使得其它的INPUT语句可以读入同一条记录行。SAS默认的情况下，INPUT语句在读入一条记录之后就自动释放该条记录而进入下一条第5页，共49页。列行指针控制 列指针控制指定变量从哪一列开始读入数据。行指针控制可以实现如下控制： 将指针移动至下一次记录行； 在INPUT语句中定义每个观测所要读入的记录行数量，或在INFILE语句中使用N=选项设定每个观测所需读入的记录数量。第6页，共49页。例24.2 列行指针控制。data one;input 2 Name $ +1 age ;cards; sara 1

4、5 kitty 23 paul 24;run; 例中：2表示第一个变量Name从每个观测记录的第二列开始读取数据，在读完Name之后，+1表示此时指针向右相对移动一列读取age的数值。通过列表输入方式的INPUT语句，每读入一个数值之后，指针自动停留在数据后的第二列上（如本例第一个数据行，读完sara后，指针已经指到sara后第二列上），所以此时指针只需相对向右一位，就能继续读入下一个变量。第7页，共49页。使用行固定说明符 下列情况发生时使用行固定说明符使得指针停留在当前的输入记录行上。 一个数据记录行被多个INPUT语句读入（单尾缀）。 一个数据记录行包含多个观测所需要的值（双尾缀）。 一

5、个数据记录行需要在下一个DATA步的重复过程中再次读入(双尾缀)。第8页，共49页。单尾缀一般来说，数据步中的每个INPUT语句都会将一条新的数据记录行读入输入缓冲区中，若用单尾缀控制，则在同一个重复过程中：指针位置没有改变。没有新的记录行被读入到输入缓冲区当中。下一个INPUT语句会继续读入同一条记录行。SAS在使用单尾缀时，会在碰到以下情况时释放一条记录行：一个空的INPUT语句: input;一个不带单尾缀的input语句；下一次重复过程开始。第9页，共49页。例24.3 单尾缀的作用。data one;input a b ; /*input语句1*/input ; /*input语句2

6、*/input c d ; /*input语句3*/cards;1 2 3 41 2 3 4;run;上述例子是一个标准组合顺序123 ，得到的结果是Obsabcd11212第10页，共49页。如果是13组合,得到的结果Obsabcd1123421234第11页，共49页。双尾缀一般来说，若使用双尾缀，则数据步在进行下一次重复过程时，INPUT语句读入同一条记录行。在碰到下列情况时，SAS才会将一个记录行释放：指针移动超过了输入记录的尾端；空INPUT语句；在DATA步下一次重复开始时，有一个单尾缀的INPUT语句input ;第12页，共49页。例24.4 双尾缀的作用。data one;i

7、nput a b ; cards;1 2 1 21 2 1 2;run;例中，每个数据记录行可以完成两次重复过程，当指针移动超过了输入记录的尾端,指针才开始换行。第13页，共49页。读完数据后的指针位置 分别用列表方式、列方式、格式化方式读入下一段数据-+-1-+-2-+-3REGION1 49670REGION2 97540REGION3 86342第14页，共49页。列表方式：input region $ jansales;在读完REGION1之后，指针停留在第9列上。-+-1-+-2-+-3REGION1 49670 第15页，共49页。格式化方式和列方式列方式input region

8、$ 1-7 jansales 12-16;格式化方式input region $7. +4 jansales 5.;input region $7. 12 jansales 5.;INPUT语句控制指针从前7列中读取数据赋给变量REGION，而后指针停留在第8列上。-+-1-+-2-+-3REGION1 49670 第16页，共49页。多个数据行构成一个观测 看下面的例子:data list2; infile datalines; input #4 name $ 1-10 #2 age 13-14 #3 team 16 ; datalines;li 12 1wang 45 2zhou 12 3

9、qian 3 4zhang 23 5ren 11 6wu 1 7qiu 98 8;proc print data=list2;quit;Obs name age team1 qian 45 32 qiu 11 7第17页，共49页。input #4 name $ 1-10 #2 age 13-14 team 16 ;对应输出窗口结果Obs name age team1 qian 45 22 qiu 11 6第18页，共49页。指针超过行的结尾 在使用或+控制指针时，如果指针移动超过数据行的结尾，则自动转到下一次数据记录行的第一列，并将此信息输入到SAS日志中。如下例：data one;inpu

10、t x +6 y;cards;1 2 3 4;run;/*x=1 y=3*/23 data one;24 input x +6 y;25 cards;NOTE: INPUT 语句到达一行的末尾，SAS 已转到新的一行。NOTE: 数据集 WORK.ONE 有 1 个观测和 2 个变量。NOTE: “DATA 语句”所用时间（总处理时间）: 实际时间 0.05 秒 CPU 时间 0.06 秒30 ;31 run;第19页，共49页。指针移到第一列之前 当列指针试图移到第一列之前的位置时，会被限制到第一列。例24. 5 列指针移到第一列。data one;input x (A-7) y;cards

11、;1;run;/*x=1 y=1*/SAS在读完X的值之后，指针回到第一列。x和y有同样的值。第20页，共49页。 恩格尔和克拉格（Kraft, D., 1983）在分析宏观数据时，发现这样一些现象：时间序列模型中的扰动方差稳定性比通常假设的要差。恩格尔的结论说明在分析通货膨胀模型时，大的及小的预测误差会大量出现，表明存在一种异方差，其中预测误差的方差取决于后续扰动项的大小。第21页，共49页。 从事于股票价格、通货膨胀率、外汇汇率等金融时间序列预测的研究工作者，曾发现他们对这些变量的预测能力随时期的不同而有相当大的变化。预测的误差在某一时期里相对地小，而在某一时期里则相对地大，然后，在另一时

12、期又是较小的。这种变异很可能由于金融市场的波动性易受谣言、政局变动、政府货币与财政政策变化等等的影响。从而说明预测误差的方差中有某种相关性。 为了刻画这种相关性，恩格尔提出自回归条件异方差(ARCH)模型。ARCH的主要思想是时刻 t 的ut 的方差(= t2 )依赖于时刻(t 1)的扰动项平方的大小，即依赖于 t2- 1 。 第22页，共49页。 6.1.1 ARCH模型 为了说得更具体，让我们回到k -变量回归模型：(6.1.1) 如果 ut 的均值为零，对 yt 取基于(t-1)时刻的信息的期望，即Et-1(yt)，有如下的关系： (6.1.2)由于 yt 的均值近似等于式（6.1.1）

13、的估计值，所以式（6.1.1）也称为均值方程。第23页，共49页。 假设在时刻 ( t 1 ) 所有信息已知的条件下，扰动项 ut 的条件分布是： (6.1.7) 也就是，ut 遵循以0为均值，(0+1u2t-1 )为方差的正态分布。第24页，共49页。 由于(6.1.7)中 ut 的方差依赖于前期的平方扰动项，我们称它为ARCH(1)过程： 通常用极大似然估计得到参数0, 1, 2, , k, 0, 1的有效估计。 容易加以推广，ARCH (p)过程可以写为： (6.1.8)这时方差方程中的(p+1)个参数0, 1, 2, , p也要和回归模型中的参数0, 1, 2, , k一样，利用极大似

14、然估计法进行估计。第25页，共49页。 如果扰动项方差中没有自相关，就会有 H0 ：这时 从而得到扰动项方差的同方差性情形。 恩格尔曾表明，容易通过以下的回归去检验上述虚拟假设：其中，t 表示从原始回归模型（6.1.1）估计得到的OLS残差。 第26页，共49页。 在 ARCH(p) 过程中，由于 ut 是随机的，ut2 不可能为负，所以对于 ut 的所有实现值，只有是正的，才是合理的。为使 ut2 协方差平稳，所以进一步要求相应的特征方程 （6.1.9）的根全部位于单位圆外。如果 i（i = 1, 2, , p）都非负，式（6.1.9）等价于 1 + 2 + + p 1。 第27页，共49页

15、。6.1.2 ARCH的检验 下面介绍检验一个模型的残差是否含有ARCH效应的两种方法：ARCH LM检验和残差平方相关图检验。 1. ARCH LM检验 Engle在1982年提出检验残差序列中是否存在ARCH效应的拉格朗日乘数检验（Lagrange multiplier test），即ARCH LM检验。自回归条件异方差性的这个特殊的设定，是由于人们发现在许多金融时间序列中，残差的大小与最近的残差值有关。ARCH本身不能使标准的OLS估计无效，但是，忽略ARCH影响可能导致有效性降低。 第28页，共49页。 ARCH LM检验统计量由一个辅助检验回归计算。为检验原假设：残差中直到q阶都没有

16、ARCH，运行如下回归： 式中 t 是残差。这是一个对常数和直到 q 阶的滞后平方残差所作的回归。这个检验回归有两个统计量： （1）F 统计量是对所有残差平方的滞后的联合显著性所作的一个省略变量检验； （2）TR2 统计量是Engles LM检验统计量，它是观测值个数 T 乘以回归检验的 R2 ； 第29页，共49页。 普通回归方程的ARCH检验都是在残差检验下拉列表中进行的，需要注意的是，只有使用最小二乘法、二阶段最小二乘法和非线性最小二乘法估计的方程才有此项检验。 Breusch-Pagan-GodfreyHarveyGlejserARCHWhiteCustom Test Wizard图6

17、.4 普通方程的ARCH检验列表第30页，共49页。2. 残差平方相关图 显示直到所定义的滞后阶数的残差平方t2的自相关性和偏自相关性，计算出相应滞后阶数的Ljung-Box统计量。残差平方相关图可以用来检查残差自回归条件异方差性（ARCH）。如果残差中不存在ARCH，在各阶滞后自相关和偏自相关应为0，且Q统计量应不显著。可适用于使用LS，TSLS，非线性LS估计方程。在图6.4中选择Residuals Tests/ Correlogram Squared Residuals项，它是对方程进行残差平方相关图的检验。单击该命令，会弹出一个输入计算自相关和偏自相关系数的滞后阶数设定的对话框，默认的

18、设定为36，单击OK按钮，得到检验结果。 第31页，共49页。 例6.1 沪市股票价格指数波动的ARCH检验 为了检验股票价格指数的波动是否具有条件异方差性，本例选择了沪市股票的收盘价格指数的日数据作为样本序列，这是因为上海股票市场不仅开市早，市值高，对于各种冲击的反应较为敏感，因此，本例所分析的沪市股票价格波动具有一定代表性。在这个例子中，我们选择的样本序列sp是1996年1月1日至2006年12月31日的上海证券交易所每日股票价格收盘指数，为了减少舍入误差，在估计时，对sp进行自然对数处理，即将序列ln(sp)作为因变量进行估计。第32页，共49页。 由于股票价格指数序列常常用一种特殊的单

19、位根过程随机游动（Random Walk）模型描述，所以本例进行估计的基本形式为： (6.1.12) 首先利用最小二乘法，估计了一个普通的回归方程，结果如下：(6.1.13) (2.35) (951) R2= 0.997 第33页，共49页。 可以看出，这个方程的统计量很显著，而且，拟合 的程度也很好。但是需要检验这个方程的误差项是否存在条件异方差性，。第34页，共49页。 图6.1 股票价格指数方程回归残差 观察上图，该回归方程的残差，我们可以注意到波动的“成群”现象：波动在一些较长的时间内非常小，在其他一些较长的时间内非常大，这说明残差序列存在高阶ARCH效应。第35页，共49页。 因此，

20、对式(6.1.26)进行条件异方差的ARCH LM检验，得到了在滞后阶数p = 3时的ARCH LM检验结果如下。此处的P值为0，拒绝原假设，说明式（6.1.26）的残差序列存在ARCH效应。 可以计算式（6.1.26）的残差平方t2的自相关（AC）和偏自相关（PAC）系数，结果说明式（6.1.26）的残差序列存在ARCH效应。第36页，共49页。 例6.2 中国CPI模型的ARCH检验 本例建立CPI模型，因变量为中国的消费价格指数（上年同月=100）减去100，记为cpit；解释变量选择货币政策变量：狭义货币供应量M1的增长率，记为m1rt；3年期贷款利率，记为Rt，样本期间是1994年1

21、月2007年12月。由于是月度数据，利用X-12季节调整方法对 cpit 和 m1rt 进行了调整，结果如下： t = (19.5) (-5.17) (2.88) (-2.74) R2=0.99 对数似然值 = -167.79 AIC = 2.045 SC =2.12 第37页，共49页。 这个方程的统计量很显著，拟合的程度也很好。但是观察该回归方程的残差图，也可以注意到波动的“成群”现象：波动在一些时期内较小，在其他一些时期内较大，这说明误差项可能具有条件异方差性。第38页，共49页。 从自相关系数和偏自相关系数可以看出：残差序列存在着一阶ARCH效应。再进行条件异方差的ARCH LM检验，

22、得到了在滞后阶数p = 1时的ARCH LM检验结果： 因此计算残差平方t2的自相关（AC）和偏自相关（PAC）系数，结果如下： 第39页，共49页。 从自相关系数和偏自相关系数可以看出：残差序列存在着一阶ARCH效应。因此利用ARCH(1)模型重新估计模型（6.1.14），结果如下： 均值方程： z = (12.53) (-1.53) (4.72) (-3.85) 方差方程： z = (5.03) (3.214) R2=0.99 对数似然值 = -151.13 AIC = 1.87 SC = 1.98 方差方程中的ARCH项的系数是统计显著的，并且对数似然值有所增加，同时AIC和SC值都变小

23、了，这说明ARCH(1)模型能够更好的拟合数据。 第40页，共49页。 再对这个方程进行条件异方差的ARCH LM检验，得到了残差序列在滞后阶数p=1时的统计结果： 此时的相伴概率为0.69，接受原假设，认为该残差序列不存在ARCH效应，说明利用ARCH(1)模型消除了式（6.1.14）的残差序列的条件异方差性。式（6.1.15）的残差平方相关图的检验结果为： 自相关系数和偏自相关系数近似为0。这个结果也说明了残差序列不再存在ARCH效应。 第41页，共49页。 6.1.3 GARCH模型 扰动项 ut 的方差常常依赖于很多时刻之前的变化量（特别是在金融领域，采用日数据或周数据的应用更是如此）

24、。因此 必须估计很多参数，而这一点很难精确的做到。但是如果我们能够意识到方程(6.1.8)不过是 t2 的分布滞后模型，我们就能够用一个或两个 t2 的滞后值代替许多 ut2的滞后值，这就是广义自回归条件异方差模型(generalized autoregressive conditional heterosce-dasticity model，简记为GARCH模型)。在GARCH模型中，要考虑两个不同的设定：一个是条件均值，另一个是条件方差。 第42页，共49页。 在标准化的GARCH(1,1)模型中：均值方程：(6.1.17)方差方程：(6.1.18)其中：xt 是 (k+1)1维外生变量向

25、量， 是(k+1)1维系数向量。 (6.1.17)中给出的均值方程是一个带有扰动项的外生变量函数。由于t2是以前面信息为基础的一期向前预测方差 ，所以它被称作条件方差，式（6.1.18）也被称作条件方差方程 。第43页，共49页。 (6.1.18)中给出的条件方差方程是下面三项的函数： 1常数项（均值）： 2用均值方程(6.1.11)的扰动项平方的滞后来度量从前期得到的波动性的信息： ut2-1（ARCH项）。 3上一期的预测方差： t2-1 （GARCH项）。 GARCH(1,1)模型中的(1,1)是指阶数为1的GARCH项（括号中的第一项）和阶数为1的ARCH项（括号中的第二项）。一个普通的ARCH模型是GARCH模型的一个特例，GARCH(0,1)，即在条件方差方程中不存在滞后预测方差t2-1的说明。 第44页，共49页。 在EViews中ARCH模型是在扰动项是条件正态分布的假定下，通过极大似然函