R软件及其在金融定量分析中的应用-CH12

R软件及其在金融定量分析中的应用

主编：许启发、蒋翠侠制作：王侠英、侯奇华2014年10月编写第十二章微观金融定量分析第一节破产概率预测第二节证券投资基金风格分析第三节证券投资基金绩效评价第四节基于Rhadoop的大数据定量分析第五节习题第六节参考文献第一节破产概率预测模型与方法L1正则化Logistic回归模型Logistic回归（logisticregression,LR）是一种在研究两元分类响应变量与诸多自变量间相互关系时常采用的统计分析方法。LR模型属于广义线性模型，普遍采用最大似然估计法估计参数。LR模型有其特有的突出优势，其假设简单，不要求误差分布与自变量趋于正态分布，对识别变量的分布也不做要求；LR能用于因变量二值性的判别并可计算出归属概率。第一节破产概率预测模型与方法L1正则化Logistic回归模型L1正则化的Logistic回归(12.3)对于L1正则化Logistic回归模型的求解，Zhang、Genkin等提出了较为有效的算法。这里使用Balakrishnan等提出的在线“shooting”算法求解L1正则化Logistic回归模型。第一节破产概率预测模型与方法分类评价方法混淆矩阵一个完美的预测模型就是将true的实例全部预测为true，将false的实例全部预测为false。而对于实际应用的预测模型，或多或少都存在预测错误的情况，将true的实例错误的预测为false，将false的实例错误的预测为true。在混淆矩阵中，分类模型的误判分为两类，即第一类错误，弃真(TN)；第二类错误，纳伪(FP)。在实际运用中，往往根据需要选择控制某一类错误，将这类误判的概率控制到最低，以致规避风险或是保证质量等等。第一节破产概率预测模型与方法分类评价方法混淆矩阵在分类问题中，预测的情形存在四种，如表12-1表12-1分类问题中四种预测情形情形类型数目true--trueTruePositive(TP)atrue--falseFalsNegative(TN)bfalse--falseTrueNegative(TN)cfalse--trueFalsePositive(FP)d第一节破产概率预测模型与方法分类评价方法混淆矩阵将上述四种情形的预测结果信息绘制成一个矩阵的形式，就形成了混淆矩阵，如表12-2表12-2混淆矩阵预测类总计TRUEFALSE真实类truea(TP)b(TN)a+bFALSEd(FP)c(TN)d+c总计a+db+c第一节破产概率预测模型与方法分类评价方法ROC曲线接受者操作特性曲线（receiveroperatorcharacteristiccurve，ROC曲线），又称为感受性曲线（sensitivitycurve）。ROC曲线是一种对于灵敏度进行描述的功能图像，是在以虚报概率为横轴，击中概率为纵轴所组成的坐标图，根据被试在特定刺激条件下采用不同判断标准得到的不同结果绘制出的曲线，以真阳性率（灵敏度）为纵坐标、假阳性率（1-特异度）为横坐标，通过描述比较真阳性率（TPR）和假阳性率（FPR）两个特征值来实现。第一节破产概率预测案例分析例12-1：本案例以沪深股市上市公司为研究对象，建立支持向量机和L1正则化Logistic回归模型开展破产概率预测的实证研究，对比支持向量机和L1正则化Logistic回归技术的预测精度并总结分析影响公司违约的显著性指标。沪深股市一些上市公司因“状况异常”而被实行“特别处理”，称为ST公司，这里定义为违约公司。第一节破产概率预测案例分析样本公司的财务数据来自国泰安数据库（），选取沪深股市财务数据相对完整的来自不同行业的共20家ST公司，并选取相同时段财务状况正常的29家非ST公司，共49家沪深股市上市公司构成本案例样本。主要使用了R包e1071与glmnet。第一节破产概率预测案例分析样本和财务指标选择本案例从能反映企业各方面能力（如偿债能力、获利能力、营运能力和资产状况）的一些财务指标着手，分析整理出8项财务指标见表12-3。并从每家企业最近两年的财务报表中分别挑出相同的4个时间点对应的这8项财务指标值构成样本数据。第一节破产概率预测案例分析样本和财务指标选择

表12-3财务指标及代号代号财务指标代号财务指标x1流动资产x5负债合计x2资产合计x6留存收益x3流动负债x7营业收入x4长期负债x8息税前利润第一节破产概率预测案例分析实证结果及分析基于支持向量机和L1正则化logistic回归模型模拟预测公司破产概率，对比两模型预测精度并分析出影响公司违约的显著性财务指标。在R软件中分别使用e1071和glmnet包中的svm和cv.glmnet两个函数实现。R代码演示如下：第一节破产概率预测案例分析实证结果及分析

图12-4精度与ROC曲线对比图第一节破产概率预测案例分析实证结果及分析表12-4两模型混淆矩阵预测结果对比模型svmL1正则化Logistic预测结果y

0

1y01099

16010681

5

751972准确率0.89230770.9128205第一节破产概率预测案例分析实证结果及分析结果解读：首先，通过两个模型精度与ROC评价曲线的对比（图12-4），可以看出两个模型均具有较好的分类效果，且L1正则化logistic回归模型分类效果略好于支持向量机模型。再者，从混淆矩阵的准确度预测结果对比（表12-4）来看，L1正则化logistic回归模型的预测准确度亦高于支持向量机模型，而且L1正则化logistic回归模型给出了系数不为0的财务指标向量。第二节证券投资基金风格分析证券投资基金概述及投资风格分析方法证券投资基金概述证券投资基金是通过发行基金份额，集中投资者的资金，由基金托管人托管，基金管理人管理和运用资金，是一种利益共享、风险共担的集合证券投资方式。证券投资基金风格证券投资基金风格是指基金在构建投资组合的过程中,为顺应市场形势即迎合投资者偏好而在基金规模管理以及投资标的物(如股票、债券以及期货等衍生产品)的选择上表现出来的差异性。第二节证券投资基金风格分析证券投资基金概述及投资风格分析方法证券投资基金风格分析方法鉴定基金投资风格的方法，按照分析时使用信息的不同，可以分为两种：基于组合特征的分析法(holdingbasedstyle,HBS)按照一定的标准计算出投资组合的市值规模、市盈率、市净率等特征值，从而判断其投资风格的一种方法。其中最主要的是晨星的风格判定法。基于收益的分析方法(returnbasedstyle,RBS)基本思路是：由于基金收益与某种特定风格投资组合的收益具有高度相关性，所以可以通过基金的收益率与相关指数的收益率的相关程度来判定基金的风格。第二节证券投资基金风格分析基于均值回归的证券投资基金风格分析Sharpe多因素的均值回归模型回归方程如下：(12.6)式中，Ri,t表示基金i

在时间

t

时的净值收益率；εi,t表示在t

时刻风格指数不能解释的基金收益部分；fk,t为k

类资产的风格指数在时间

t

的收益率；βk为回归系数。第二节证券投资基金风格分析基于均值回归的证券投资基金风格分析Sharpe多因素的均值回归模型Sharp投资风格分析的关键是找出一组能够代表基金投资资产类别表现的风格指数。Sharp认为，为使模型达到较好的使用效果，该组指数要求满足下列3个条件：互不包容；能够涵盖基金投资所涉及的全部资产类别；收益率具有差异性，从而使这些资产类别具有较低的相关性。第二节证券投资基金风格分析基于均值回归的证券投资基金风格分析Fama-French三因子的均值回归模型Fama-French三因子模型(12.7)式中，Ri,t为基金i在时刻t的收益率，Rf,t为时刻t

的无风险利率，(Ri,t

-Rf,t)为基金i在时刻t的超额收益率；SMBt和HLMt分别是时刻t的规模因子和账面市值比因子的收益率；Rm,t是时刻t

的市场组合收益率，(Rm,t-Rf,t)即是市场溢酬因子；αi是截距项；εi,t是残差项。第二节证券投资基金风格分析基于分位数回归的证券投资基金风格分析Sharpe多因素的分位数回归模型建立Sharpe多因素回归模型的分位数回归分析模型(12.8)式中，ri,t表示基金i

在时间t

时的净值收益率；fk,t为代表k

类资产的风格指数在时间t

时的收益率；τ为分位点；Q(ri,t/τ)为净值收益的条件分位数。第二节证券投资基金风格分析基于分位数回归的证券投资基金风格分析Fama-French三因子的分位数回归模型建立Fama-French三因子模型的分位数回归分析模型(12.9)式中，Rf,t表示时间

t

的无风险收益率；Rm,t表示时间

t

的市场收益率；Ri,t-Rf,t是基金

i

在时刻t

的超额收益率；Rm,t-Rf,t是市场溢酬因子。第二节证券投资基金风格分析案例分析例12-2：考虑中国基金市场裕元基金2001年6月29日至2003年6月27日间的周数据，使用Sharpe多因素回归模型做风格分析与风格漂移分析，在R软件中使用quadprog包中的solve.QP函数和quanterg包中的rq函数实现。R代码演示如下：第二节证券投资基金风格分析案例分析

表12-72001-6-29到2003-6-27期间基金裕元的资产配置变量与指数均值回归分位数回归0.10.30.50.70.9GB0.62670.61720.6450.62460.62190.5963LV0.27320.35560.2020.23580.28780.4037LG0.100200.1530.13960.09040MV000000MG000000SV000000SG00.02710000第二节证券投资基金风格分析案例分析由表12-7可以看出，本考察期内基金裕元的实际投资风格为大盘平衡型，与契约注明的投资风格（资产重组型）不同，出现了基金风格的漂移。国债投资比例比较大，这是由于基金投资渠道单一，不是股票就是债券，考察期间的股市又一直处于下跌状态，所以大多投资于国债市场。第三节证券投资基金绩效评价证券投资基金绩效评价概述基金绩效评价的内容证券投资基金的业绩主要来源于收益率水平、市场风险水平和基金管理人的投资决策能力，这三个方面又和不同类型的基金密切相关。基金的不同投资选择代表了基金未来的收益和风险程度，从而影响基金的绩效。合理分类是基金绩效评价的前提，基金的绩效评价应在各基金所属类别之内才更具有可比性。第三节证券投资基金绩效评价证券投资基金绩效评价概述基金绩效评价的内容基金的分类对于证券投资基金绩效的评价具有重要意义根据投资对象的不同根据投资风格的不同根据组织形式的不同根据运作方式的不同根据投资的来源、基金是否收费、投资货币币种种类第三节证券投资基金绩效评价证券投资基金绩效评价概述基金绩效评价的主体我国证券投资基金绩效评价的主体主要有两类：一是基金评价机构，二是基金管理公司。基金评价机构主要从两个方面展开证券投资基金的绩效评价：第一，通过基金的净值表现基金的绩效；第二，通过净值。基金管理公司对于基金的绩效表现主要是通过三个指标来反映：“证券投资基金资产净值周报表”中的“单位净值”、“累计单位净值”和“净值增长率”第三节证券投资基金绩效评价证券投资基金的绩效评价指标与方法证券投资基金绩效评价指标不同的证券投资基金在不同的市场中，以承担一定的风险为前提获得相应的收益。关于基金的风险度量，主要包括以下四个指标：标准差σp、β系数、决定系数R2和下行风险δ。针对以上四种不同的风险度量指标，相应地，学者们提出了以下四种风险调整绩效衡量指标：特雷诺比率(TR)、夏普比率(ShR)、詹森α指数和索提诺比率(SoR）。第三节证券投资基金绩效评价证券投资基金的绩效评价指标与方法证券投资基金绩效评价指标证券投资基金绩效评价方法均值回归分析对线性均值回归模型，可以通过最小二乘方法进行参数估计，同时用逐步回归方法进行变量选择，包括：向前逐步回归与向后逐步回归。分位数回归分析一方面反映了投资基金可能取得极端收益所表现的特殊统计特征，另一方面克服了条件均值回归模型只能揭示影响因子对投资基金平均收益的缺陷。第三节证券投资基金绩效评价基金经理人的绩效评价股票选择能力股票选择能力，即基金经理对不同股票的预测能力。由不同的股票产生不同的收益，即股票的选择收益率。给出了基金绩效来源的划分，认为基金的超额收益由选择收益率和风险收益率两部分组成，即(12.24)式的右端第一项为选择收益率，即为基金经理的股票选择能力的结果；第二项为风险收益率，即基金因承担风险而获得的补偿。第三节证券投资基金绩效评价基金经理人的绩效评价市场时机判断能力市场时机判断能力，即基金经理对市场整体走势的预测能力，选择出入市场的最佳时期，并以此调整基金的构成来取得超额收益。主要讨论两种模型：T—M模型和H—M模型。T—M模型的表达式如下(12.25)式中，α为股票选择能力指标H—M模型的表达式如下(12.26)式中，λ是一个虚拟变量第四节基于Rhadoop的大数据金融定量分析大数据概述大数据概述大数据含义大数据是由数量巨大、结构复杂、类型众多数据构成的数据集合。国际著名咨询公司麦肯锡认为，大数据是一个大的数据池，其中的数据可以被采集、传递、聚集、存储和分析。大数据产生大数据是由科学仪器、传感器、网上交易、电子邮件、视频、点击流和其他现在或将来可用的数字资源产生的大规模、多样性、复杂的、纵向的或分布式数据集。第四节基于Rhadoop的大数据金融定量分析大数据概述大数据概述大数据的特征4V特征：Volume(大量)、Velocity(高速)、Variety(多样)、Veracity(真实)大数据的意义大数据对社会经济生活产生的影响绝不限于技术层面，它为我们看待世界提供了一种全新的方法，即决策行为将日益基于数据分析做出，而不是像过去更多凭借经验和直觉做出。业内人士指出，大数据是一种全新的致富手段，它的价值堪比石油和黄金。第四节基于Rhadoop的大数据金融定量分析大数据概述大数据与金融定量分析金融领域每天生产着规模惊人的数据从狭义上来讲，很多金融数据离大数据还有段距离，有些数据称之为大规模数据可能更合适些。从广义上来讲，大规模的数据已经让很多分析软件不堪重负，因此，从相对性的角度来看，这些大规模数据也可认为是“大数据”。大数据技术凭借其优异的计算能力，在微观金融的很多领域有用武之地比如，客户信任风险评估，高维投资组合的构造，复杂衍生品的定价，投资策略的开发与快速执行等等。第四节基于Rhadoop的大数据金融定量分析大数据概述大数据与金融定量分析在金融交易中，模型的执行效率是至关重要的比如，大家都应用同样的套利策略，那么晚入场的套利机会就没了，这就是所谓的延迟风险。如何能让模型执行的更快呢，投资者至少可以做得有两点：一是模型本身的算法架构；二是与平台有关的信息处理能力。以互联网为代表的现代信息科技，特别是搜索引擎、移动支付、云计算、大数据等的发展，对金融模式产生了颠覆性的影响，催生了互联网与大数据金融等新兴金融业态。第四节基于Rhadoop的大数据金融定量分析大数据概述大数据相关处理技术几种流行的与大数据相关的处理技术MapReduceMapReduce是Google提出的一个软件框架，用于并行处理大数据集，它可以将单个计算任务分配给多台计算机完成，以此缩短任务处理时间。HadoopHadoop是一个开发和运行处理大规模数据的软件平台，是Apache的一个用java语言实现开源项目，实现在大量计算机组成的集群中对大规模数据集进行可靠的、稳定的和分布式的计算。第四节基于Rhadoop的大数据金融定量分析大数据概述大数据相关处理技术几种流行的与大数据相关的处理技术NoSQLNoSQL，有时被称作NotOnlyS