遗传规划在CTA信号挖掘中的应用

1、正文目录 HYPERLINK l _TOC_250024 本文研究导读 HYPERLINK l _TOC_250023 遗传规划回顾和量化策略简介 HYPERLINK l _TOC_250022 遗传规划回顾 HYPERLINK l _TOC_250021 量化策略简介 HYPERLINK l _TOC_250020 遗传规划挖掘信号的方法：gplearn的改进 HYPERLINK l _TOC_250019 改进1：适用于策略的信号函数 HYPERLINK l _TOC_250018 改进2：适用于信号的适应度计算函数 HYPERLINK l _TOC_250017 遗传规划挖掘信号的流程

2、HYPERLINK l _TOC_250016 标的选择和数据处理 HYPERLINK l _TOC_250015 遗传规划流程 HYPERLINK l _TOC_250014 遗传规划挖掘信号的测试结果 HYPERLINK l _TOC_250013 信号详细测试结果和分析 HYPERLINK l _TOC_250012 9 HYPERLINK l _TOC_250011 螺纹钢(RB) HYPERLINK l _TOC_250010 聚乙烯(L)12 HYPERLINK l _TOC_250009 铝(AL)13 HYPERLINK l _TOC_250008 天然橡胶(RU)14 HYP

3、ERLINK l _TOC_250007 菜籽粕(RM)15 HYPERLINK l _TOC_250006 焦炭(J)16 HYPERLINK l _TOC_250005 铁矿石(I)17 HYPERLINK l _TOC_250004 热轧卷板(HC)18 HYPERLINK l _TOC_250003 多策略组合 HYPERLINK l _TOC_250002 结论20 HYPERLINK l _TOC_250001 风险提示 HYPERLINK l _TOC_250000 附录：Numba加速回测代码图表目录图表1：遗传规划的总体流程5图表2：函数列表7图表3：标的品种列表8图表4：原

4、始数据列表8图表5：遗传规划挖掘出的表现较好的信号9图表6： 信号的回测指标9图表7： 信号的回测净值10图表8： 信号的参数遍历10图表9： 信号的含义分析(左轴：标的收盘价，右轴：信号取值)10图表10： 螺纹钢信号的回测指标图表 螺纹钢信号的回测净值图表12： 螺纹钢信号的参数遍历图表13：螺纹钢信号的含义分析(左轴：标的收盘价，右轴：信号取值)图表14： 聚乙烯信号的回测指标12图表15： 聚乙烯信号的回测净值12图表16： 聚乙烯信号的参数遍历12图表17：聚乙烯信号的含义分析(左轴：标的收盘价，右轴：信号取值)12图表18： 聚乙烯信号的回测指标13图表19： 铝信号的回测净值13

5、图表20： 铝信号的参数遍历13图表21： 天然橡胶信号的回测指标14图表22： 天然橡胶信号的回测净值14图表23： 天然橡胶信号的参数遍历14图表24： 菜籽粕信号的回测指标15图表25： 菜籽粕信号的回测净值15图表26： 菜籽粕信号的参数遍历15图表27： 焦炭信号的回测指标16图表28： 焦炭信号的回测净值16图表29： 焦炭信号的参数遍历16图表30： 铁矿石信号的回测指标17图表31： 铁矿石信号的回测净值17图表32： 铁矿石信号的参数遍历17图表33： 热轧卷板信号的回测指标18图表34： 热轧卷板信号的回测净值18图表35： 热轧卷板信号的参数遍历18图表36： 多策略组合

6、回测指标19图表37： 多策略组合回测净值19图表38： 使用Numba加速回测函数21图表39： Numba加速前后速度对比21本文研究导读在华泰金工人工智能系列之二十五市场弱有效性检验与择时战场选择(2019.11.17)中，我们通过真假序列识别的方法论证了国内商品期货 1 分钟收益率序列可能存在一定模式， 不满足弱有效市场理论，基于 1 分钟 K 线的 CTA 策略有一定机会。遗传规划作为一种优秀的特征挖掘工具，可以在商品期货 1 分钟 K 线中挖掘模式，从而生成可交易的 CTA 信号。本文将主要关注以下三个问题：策略体系提供何种补充？信号挖掘时，需要进行哪些定制化改进？信号的表现如何？

7、信号的含义如何解读？遗传规划回顾和量化 CTA 策略简介遗传规划回顾遗传规划(genetic programming)是一种启发式的公式演化技术，如图表 1 所示，遗传规划标的公式群体。在华泰金工人工智能系列的第二十一篇(2019.6.10) 和第二十三篇(2019.8.7)报告里，我们介绍了遗传规划在选股因子挖掘中的应用。作为一个优秀的特征生成工具，遗传规划是否能在量化择时(中有用武之地，将是本文讨论的内容。图表1： 遗传规划的总体流程资料来源： 量化 CTA 策略简介在投资领域，CTA(Commodity Trading Advisor)指商品交易顾问所采取的投资策略，又称管理期货(Man

8、aged Futures)策略，主要交易标的为期货。策略中，量化策略占据重/反转策略策略。趋势策略主要通过跟随已形成的价格趋势获利，在信号提常见的趋势/反转策略包括： 布林带策略、均线策略、MACD 策略、通道策略、菲阿里四价策略、空中花园策略、Dual Thrust 策略、R-Breaker 策略等，下面分别进行简介。NkN确定上下轨，当价格突破上下轨则相应做多/空。JosephE.Granville20 Moving Average，SMA)SMASMA为做多信号，反之则为做空信号。MACDMovingAverageConvergence/Divergence) GeralAppel197

9、0年MACD 使用指数移动平均(Exponential Moving Average，EMA)。EMA 在计算时运用全部可得的历史数据，但对更近的数据赋予更DIFEMADIFEMAMACDMACD AverageTrueRangeTrueRange取平均。TrueRange的定义是以下三者的最大者：当前最高价减前期最低价、当前最高价减前期收盘价绝对值、当前最True Range N 构造横盘整理区间，确定通道的上下轨，从而确定多空信号。空中花园策略关注当日开盘价是高开还是低开。通常高开与低开意味着市场上存在重k k 1%时才交易，价格突破上轨做多，反之做空。Dual ThrustMichael

10、 Chalek2080年代提出。该策略关键变量有四个：N HHLCHCLL。用HH LCHC LL的最大值作为浮动区间，结合开盘价构造上下轨，当价格突破上下轨则相应做多/空。R-Breaker 策略结合了趋势跟踪与趋势反转。策略根据前一期的收盘价、最高价和最若无趋势则在价格回调时做反转操作。7X24 策略的差异化程度。遗传规划挖掘 CTA 信号的方法：gplearn 的改进本文将不再介绍遗传规划的基本原理，对原理感兴趣的读者可阅读本系列报告基于遗传gplearn (https:/gplearn.readthedocs.io)gplearn 的改进要点。改进 1：适用于 CTA 策略的信号函数函

11、数集是构建遗传规划算法的关键，由于 gplearn 自带的函数较为简单，本文针对 CTA 信2 所示，其中包含自定义函数(多种时间序列运算函数)函数。TA-Lib(/project/TA-Lib/)是目前广泛使用的技术指标库，内含多种高性能实现的技术指标。图表2： 函数列表类型名称定义X：以下函数自变量X可以理解为向1，代表时序列X在T个时间上的值例如时为收盘价序列如果数中用明参数如open，close)，则代参数固定不可化下函数返回均为量。自定义数 neg(X)X的相反数。自定义数 delay(X, d)d天以前的X值。自定义数 delta(X, d)X- delay(X, d)。自定义数

12、ts_min(X, d)过去d天X值构成的序数中小值。自定义数 ts_max(X, d)过去d天X值构成的序数中大值。自定义数 ts_argmin(X, d)过去d天X值构成的序数中小值出的位。自定义数 ts_argmax(X, d)过去d天X值构成的序数中大值出的位。自定义数 ts_rank(X, d)过去d天X值构成的序数中截面日值所处位数。自定义数 ts_sum(X, d)过去d天X值构成的序数之和。自定义数 ts_stddev(X, d)过去d天X值构成的序数的准差。自定义数 ts_corr(X,Y,d)过去d天X值构成的序数与Y构成的序数列相关数自定义数 ts_mean_return

13、(X,d)过去d天X值构成的序数的化率的均值。TA-Lib函数 DEMA(X,d)过去d天X值的双移平均，于趋势号。TA-Lib函数 KAMA(X,d)过去d天X值的考夫自适移平均线属于势信。TA-Lib函数 MA(X,d)过去d天X构成的时数列平值，属趋势号。TA-Lib函数 MIDPOINT(X,d)过去d天X值构成的序数的大值与小值平均。TA-Lib函数 MIDPRICE(high,low,d)过去d天high序列的大与low序列的最小值平均TA-Lib函数 AROONOSC(high,low,d)过去d天的隆震指标属于量信号。TA-Lib函数 WILLR(high,low,close,

14、d)过去d 天的廉指，表的是场属于买还超卖态，于量信号TA-Lib函数 CCI(high,low,close,d)过去d天的势指，测股价否已超正常布范，属动信号。TA-Lib函数 ADX(high,low,close,d)过去d 天的均趋指数指标断盘整震荡单边势，于量信号TA-Lib函数 MFI(high,low,close,volume,d)过去d天的金流指标反映场的运趋势属于量信。TA-Lib函数 NATR(high,low,close,d)过去d天的一化动幅均值属于波性信。TA-Lib函数 BETA(X,Y,d)贝塔系，去d天X相对Y波动情，属统计信号。TA-Lib函数 LINEARRE

15、G_ANGEL(X,d)过去d天X值序列为变量列1,.,d为自变量线性归角度，属于计学号。TA-Lib函数 LINEARREG_INTERCEPT(X,d) 过去d天X值序列为变量列1,.,d为自变量线性归截，属于计学号。TA-Lib函数 LINEARREG_SLOPE(X,d)过去d天X值序列为变量列1,.,d为自变量线性归斜，属于计学号。TA-Lib函数 HT_DCPHASE(X)X值的希尔伯特变换主导环阶，属于期性号。资料来源：gplearn 官网，TA-Lib， 改进 2：适用于 CTA 信号的适应度计算函数适应度是遗传规划中公式进化的重要参考指标。在生成某个 CTA 信号后，需要计算

16、出其1KNumba Numba的技术细节详见附录。图表3： 标的品种列表交易所上市品种遗传规划挖掘 CTA 信号的流程标的选择和数据处理标的选择本文测试的标的为商品期货，我们选择三大商品交易所中流动性较好的 40 个品种进行测试，标的品种列表如图表 3。上期所金铜(CU)，燃料油(FU)，热轧板(HC)， 镍(NI)，铅(PB)，螺纹钢(RB)，然橡胶(RU)，锡(SN)，纸浆(SP)，锌(ZN)大商所豆1(A)，豆2(B)，玉米(C)，玉米淀粉(CS)，乙二醇(EG)，铁石(I)，焦炭(J)，鸡蛋(JD)， 焦煤(JM)，聚乙烯(L)，豆粕(M)，棕榈油(P)，聚丙烯(PP)，豆油(Y)郑商

17、所(MA)，菜油(RS)，菜籽粕(RM)， 油菜籽(RS)，硅铁(SF)，锰硅(SM)，白糖(SR)，PTA(TA)，动力煤(ZC)资料来源：聚宽， 原始数据选择4 为一分钟频。图表4： 原始数据列表名称定义open, close, highlowvolumeopen_interestdelta_open_interest资料来源：聚宽， 商品期货换合约情况的处理遗传规划流程遗传规划流程如下：421 的流程进行信号的进化和筛选。K 70%30%的行情序列为验证集。为信号的总长度/平仓规则来回测：SiSi-10000Si 80 分位数时，则在信号产生的一分钟后开多单5%时则止盈/止损。SiSi-

18、10000Si 20 分位数时，则在信号产生的一分钟后开空单5%时则止盈/止损。为适应度，交易成本为单边万分之三。对挖掘出的信号分析其内在含义，并进行参数遍历，考察其稳定性。本文的回测中，都假设策略不使用杠杆。遗传规划挖掘 CTA 信号的测试结果我们对图表 5 中的所有商品期货品种分别使用遗传规划挖掘 CTA 信号，各品种的挖掘效号的回测结果。图表5： 遗传规划挖掘出的表现较好的信号品种信号PTA(TA)LINEARREG_ANGLE(high,210)螺纹钢(RB)MIDPOINT(neg(low),450)聚乙烯(L)neg(DEMA(close,630)铝(AL)delta(ADX(hi

19、gh, low, close, 330),630)天然橡胶(RU)neg(delta(volume,60)菜籽粕(RM)MA(volume,180)焦炭(J)MIDPOINT(DEMA(delta_open_interest, 440),450)铁矿石(I)HT_DCPHASE(ADX(high, low, close,210)热轧卷板(HC)HT_DCPHASE(ts_rank(high,210)资料来源：聚宽， 信号详细测试结果和分析本部分将对图表 5 中的信号进行详细测试并分析部分信号的实际意义。在测试中，我们会对每个信号进行参数(即信号中的常数项)(1)观察信号择时效 (2)由于择时信

20、号过拟合可能性5 的信号是否为刻意挑选出的最优信号。PTA(TA)LINEARREG_ANGLE(high210)6 展示了详细的测试结果。图表6： PTA 信号的回测指标指标指标值指标指标值年化收益率24.58%总持仓次数178夏普比率1.12平均每次持仓收益1.72%最大回撤33.51%平均持仓分钟数4635.49胜率51.12%平今次数1资料来源：聚宽， 图表7 展示了8 160260， 8 中可以看出，在区间160, 260210 所对应的信号在所有参数中表现中上，不是刻意挑选出的最优信号。图表7： PTA信号的回测净值图表8： PTA信号的参数遍历标的净值信号净值160190230标

21、的净值信号净值1601902302601702002402101802202501412151081064522007-042008-042009-042010-042011-042012-042007-042008-042009-042010-042011-042012-042013-042014-042015-042016-042017-042018-042019-042007-042008-042009-042010-042011-042012-042013-042014-042015-042016-042017-042018-042019-04资料来源：聚宽， 资料来源：聚宽， 9 同

22、跌的关系，可知该信号是一个趋势信号。图表9： PTA 信号的含义分析(左轴：标的收盘价，右轴：信号取值)标的收盘价信号取值标的收盘价信号取值9,0008,9008,8008,7008,6008,5002007/04/272007/04/302007/04/272007/04/302007/05/082007/05/092007/05/102007/05/142007/05/152007/05/162007/05/172007/05/182007/05/212007/05/222007/05/242007/05/252007/05/282007/05/292007/05/302007/05/31

23、2007/06/012007/06/0450403020100(10)(20)(30)(40)(50)资料来源：聚宽， 螺纹钢(RB)本节中我们将详细测试螺纹钢期货的信号 MIDPOINT(neg(low), 450)。图表 10 展示了详细的测试结果。图表10： 螺纹钢信号的回测指标指标指标值指标指标值年化收益率12.76%总持仓次数62夏普比率0.95平均每次持仓收益2.17%最大回撤22.72%平均持仓分钟数5761.35胜率45.16%平今次数1资料来源：聚宽， 图表 11 展示了螺纹钢信号的回测净值。图表 12 中对信号参数进了遍历，遍历区间为400,12 400500450 所对应

24、的信号在所有参数中表现中上，不是刻意挑选出的最优信号。图表11： 螺纹钢信号的回测净值图表12： 螺纹钢信号的参数遍历 标的净值 标的净值信号净值 4004304705004104404804504204604903322112009-072010-072011-072012-072013-072014-072015-072016-072017-072018-072019-072009-072010-072011-072012-072013-072014-072015-072016-072017-072018-072019-07002009-072010-072011-072012-07201

25、3-072014-072015-072016-072017-072018-072019-072009-072010-072011-072012-072013-072014-072015-072016-072017-072018-072019-07资料来源：聚宽， 资料来源：聚宽， 图表 13 中截取了一段回测时间来分析信号含义，标的收盘价和信号取值呈现出相反的走势关系，结合信号的表达式，可知该信号是一个反转信号。图表13： 螺纹钢信号的含义分析(左轴：标的收盘价，右轴：信号取值)标的收盘价信号取值标的收盘价信号取值2011-022012-022013-022014-022015-022016-

26、022017-0202011-022012-022013-022014-022015-022016-022017-020(1,000)(2,000)(3,000)(4,000)(5,000)2018-022019-02(6,000)2018-022019-02资料来源：聚宽， 聚乙烯(L)neg(DEMA(close, 630)14 展示了详细的测试结果。图表14： 聚乙烯信号的回测指标指标指标值指标指标值年化收益率7.96%总持仓次数105夏普比率0.55平均每次持仓收益1.07%最大回撤33.48%平均持仓分钟数3995.52胜率39.05%平今次数3资料来源：聚宽， 图表 15 展示了聚

27、乙烯信号的回测净值。图表 16 中对信号参数进了遍历，遍历区间为580,16 580680630 所对应的信号在所有参数中表现中上，不是刻意挑选出的最优信号。 标的净值信号净值图表15： 聚乙烯信号的回测净值图表16 标的净值信号净值3.02.52.01.51.00.52007-092008-092007-092008-092009-092010-092011-092012-092013-092014-092015-092016-092017-092018-092019-093.05806105806106506805906206606306006406702.01.51.00.52007-0

28、92008-092007-092008-092009-092010-092011-092012-092013-092014-092015-092016-092017-092018-092019-09资料来源：聚宽， 资料来源：聚宽， 图表 17 中截取了一段回测时间来分析信号含义，标的收盘价和信号取值呈现出相反的走势关系，结合信号的表达式，可知该信号是一个反转信号。图表17： 聚乙烯信号的含义分析(左轴：标的收盘价，右轴：信号取值)标的收盘价信号取值15,000标的收盘价信号取值10,000(5,000)5,000(10,000)2011-022012-022013-022014-022015

29、-022016-022017-022018-022019-020(15,000)2011-022012-022013-022014-022015-022016-022017-022018-022019-02资料来源：聚宽， 铝(AL)本节中我们将详细测试铝期货的信号 delta(ADX(high, low, close, 330), 630)。图表 18 展示了详细的测试结果。图表18： 聚乙烯信号的回测指标指标指标值指标指标值年化收益率11.49%总持仓次数220夏普比率0.79平均每次持仓收益0.81%最大回撤29.04%平均持仓分钟数4556.94胜率55.00%平今次数5资料来源：聚宽

30、， 19 20 遍历区间分别为280, 380和580, 68020 中可以看出，在遍历区间中信号都有(330,630)图表19： 铝信号的回测净值图表20： 铝信号的参数遍历 标的净值 标的净值信号净值 (280,580)(300,600)(320,620)(350,650)(370,670)(330,630)(290,590)(310,610)(340,640)(360,660)(380,680)55443322112005-032006-032007-032008-032009-032005-032006-032007-032008-032009-032010-032011-032012

31、-032013-032014-032015-032016-032017-032018-032019-032005-032006-032007-032008-032009-032010-032011-032012-032013-032014-032015-032016-032017-032018-032019-03资料来源：聚宽， 资料来源：聚宽， 由于信号表达式 delta(ADX(high, low, close, 330), 630)中包含趋势信号 ADX，我们推测该信号为类趋势信号。天然橡胶(RU)neg(delta(volume,60)21展示了详细的测试结果。图表21： 天然橡胶信号

32、的回测指标指标指标值指标指标值年化收益率12.43%总持仓次数126夏普比率0.76平均每次持仓收益1.58%最大回撤30.45%平均持仓分钟数3026.71胜率39.68%平今次数2资料来源：聚宽， 图表 22 展示了天然橡胶信号的回测净值。图表 23 中对信号参数进了遍历，遍历区间为10,23 中可以看出，在区间1060 所对应的信号在所有参数中表现中上，不是刻意挑选出的最优信号。图表22： 天然橡胶信号的回测净值图表23： 天然橡胶信号的参数遍历 标的净值信号净值10 标的净值信号净值104080110205090603070100565443322112009-072010-07201

33、1-072012-072013-072014-072015-072016-072017-072018-072019-072009-072010-072011-072012-072013-072014-072015-072016-072017-072018-072019-07002009-072010-072011-072012-072013-072014-072015-072016-072017-072018-072019-072009-072010-072011-072012-072013-072014-072015-072016-072017-072018-072019-07资料来源：聚宽

34、， 资料来源：聚宽， 根据信号表达式 neg(delta(volume, 60)可知该信号是与成交量变化相关的信号。菜籽粕(RM)本节中我们将详细测试菜籽粕期货的信号 MA(volume, 180)。图表 24 展示了详细的测试结果。图表24： 菜籽粕信号的回测指标指标指标值指标指标值年化收益率13.77%总持仓次数96夏普比率0.74平均每次持仓收益1.02%最大回撤20.89%平均持仓分钟数5318.20胜率52.08%平今次数1资料来源：聚宽， 图表 25 展示了菜籽粕信号的回测净值。图表 26 中对信号参数进了遍历，遍历区间为130,26 130230180 所对应的信号在所有参数中表

35、现中上，不是刻意挑选出的最优信号。130160200230140170210180150190220图表251301602002301401702101801501902203.03.0标的净值信号净值2.5标的净值信号净值2.02.01.00.50.52013-022013-022014-022015-022016-022017-022018-022019-020.02013-022013-022014-022015-022016-022017-022018-022019-020.02014-022015-022016-022017-022018-022019-02资料来源

36、：聚宽， 资料来源：聚宽， 2014-022015-022016-022017-022018-022019-02根据信号表达式 MA(volume, 180)可知该信号是与成交量相关的信号，成交量持续放量则可能开多单，成交量持续缩量则可能开空单。焦炭(J)本节中我们将详细测试焦炭的信号 MIDPOINT(DEMA(delta_open_interest, 440), 450)。图表 27 展示了详细的测试结果。图表27： 焦炭信号的回测指标指标指标值指标指标值年化收益率28.80%总持仓次数149夏普比率1.16平均每次持仓收益1.57%最大回撤35.79%平均持仓分钟数3687.56胜率44

37、.30%平今次数5资料来源：聚宽， 28 29 390, 490和40029 (440,450) 所对应的信号在所有参数中表现中上，不是刻意挑选出的最优信号。图表28： 焦炭信号的回测净值图表29： 焦炭信号的参数遍历 标的净值 标的净值信号净值 (390,480)(410,500)(430,410)(460,440)(480,460)(440,450)(400,490)(420,400)(450,430)(470,450)(490,470)786564342212011-082012-082013-082014-082015-082016-082017-082018-082019-08201

38、1-082012-082013-082014-082015-082016-082017-082018-082019-08002011-082012-082013-082014-082015-082016-082017-082018-082019-082011-082012-082013-082014-082015-082016-082017-082018-082019-08资料来源：聚宽， 资料来源：聚宽， MIDPOINT(DEMA(delta_open_interest, 440), 450)可知该信号是与持仓and2012年的论文Whatdoesfuturesmarketinterest

39、tellusaboutthemacroeconomyandassetprices? JournalofFinancialEconomics”铁矿石(I)本节中我们将详细测试铁矿石期货的信号 HT_DCPHASE(ADX(high, low, close, 210)。图表 30 展示了详细的测试结果。图表30： 铁矿石信号的回测指标指标指标值指标指标值年化收益率30.91%总持仓次数202夏普比率0.96平均每次持仓收益1.02%最大回撤43.65%平均持仓分钟数2350.56胜率42.08%平今次数7资料来源：聚宽， 图表 31 展示了铁矿石信号的回测净值。图表 32 中对信号参数进了遍历，遍

40、历区间为160,32 160260180 所对应的信号在所有参数中表现中上，不是刻意挑选出的最优信号。图表31： 铁矿石信号的回测净值图表32： 铁矿石信号的参数遍历 标的净值信号净值 标的净值信号净值 16019023026017020024021018022025055443322112014-022015-022016-022017-022018-022019-022014-022015-022016-022017-022018-022019-02002014-022015-022016-022017-022018-022019-022014-022015-022016-022017-0

41、22018-022019-02资料来源：聚宽， 资料来源：聚宽， 热轧卷板(HC)本节中我们将详细测试铁矿石期货的信号 HT_DCPHASE(ts_rank(high, 210)。图表 33展示了详细的测试结果。图表33： 热轧卷板信号的回测指标指标指标值指标指标值年化收率31.41%总持仓数106夏普比率1.17平均每持仓益1.56%最大回撤23.60%平均持分钟数4254.81胜率43.40%平今次数3资料来源：聚宽， 图表 34 展示了热轧卷板信号的回测净值。图表 35 中对信号参数进了遍历，遍历区间为160,35 160260180 所对应的信号在所有参数中表现中上，不是刻意挑选出的最优信号。图表34： 热轧卷板信号的回测净值图表35： 热轧卷板信号的参数遍历标的净值信号净值160190230标的净值信号净值1601902302601702002402101802202504.5