金融产品深度：基于时序神经网络的选股模型初探

本报告由中信建投证券股份有限公司在中华人民共和国（仅为本报告目的，不包括香港、澳门、台湾）提供。在遵守适用的法律法规情况2022/7/42022/8/42022/9/42022/10/42022/11/42022/12/42023/1/42023/2/42023/3/42023/4/42023/5/42023/6/4证券研究报告·金融产品深度基于时序神经网络的选股模型初探核心观点探讨多种时序模型，将时序处理模块拓宽为三大类、将时序模型结构拓宽为九种。根据测试结果，单模型中TCN2022/7/42022/8/42022/9/42022/10/42022/11/42022/12/42023/1/42023/2/42023/3/42023/4/42023/5/42023/6/4证券研究报告·金融产品深度基于时序神经网络的选股模型初探核心观点探讨多种时序模型，将时序处理模块拓宽为三大类、将时序模型结构拓宽为九种。根据测试结果，单模型中TCN表现较优，均值因子IC可达11.31%，无明显弱势年份；模型间相关性随结构差异度而有相对高低；多模型简单结合后，绩效全面提升、分年表现更稳定；基于多模型的中证1000增强组合年化超额达到18.6%、信息比率2.63。时序处理模块对于时序数据，常用处理模块包括RNN、CNN和Attention。三于捕捉短期局部依赖关系；Attention可为时间或变量加权。时序模型结构选择9类结构各异的时序模型，包含GRU、AGRU、TPA、GAT、LSTNet、TCN、TCAN、XCM和Transformer。其中，AGRU模型增加时序注意力层；TPA模型侧重识别关键变量的时序模式；LSTNet模型包含短期信息、长期信息、周期信息、线性稳健预测的多种学习途径；GAT模型增加图注意力层；XCM模型仅用CNN模块实现低复杂度和高可解释性的结构；TCN模型构建适用于时序建模的卷积模块；TCAN模型在TCN的基础上纳入注意力机制；Transformer模型以注意力机制为核心进行时序建模。单模型测试从单模型整体绩效来看：1）TCN模型IC绩效最优，均值因子IC达到11.31%，随机种子间最大差异仅为0.26%；2）Transformer模型IC绩效偏弱，均值因子IC8.66%，随机种子间最大差异可达1.73%。从单模型分年绩效来看：1）随模型更新，模型间的相对表现出现轮转；2）GRU、AGRU、TPA、TCN在过往年份表现颇为强势，其中TCN模型无明显弱势年份；3）XCM、Transformer在过往年份表现较弱势，但今年表现偏强势。多模型测试从模型间相关性来看：1）GRU、AGRU、TPA因结构相似性而高度相关；2）XCM、TF因模块差异性而与其它模型偏低相关。从模型间两两结合来看：1）强强结合利于提升当收IC绩效；2）强弱结合可提升次均IC绩效。从多模型等权结合的效果来看：1）相较于单模型，IC绩效全面提升，分年表现更平滑、无弱势年份；2）中证1000内分组的多头年化超额可达29.5%；3）中证1000增强组合的年化超额收益可达18.6%、信息比率2.63。风险提示：本文所有模型结果均来自历史数据，不保证模型未来的有效性陈升锐陈升锐chenshengruiAC编号：S1440519040002王西之wangxizhi8109SAC编号：S1440522070003发布日期：2023年12月08日市场表现0%-5%-10%-15% 国债指数上证指数相关研究报告【中信建投金融产品】：基于循环神【中信建投金融产品】：基于循环神金融产品研究金融产品研究1 3 3 3 4 4 4 5 5 6 6 7 8 8 9 9 3 4 4 5 5 6 7 7 8 8 9 9 2 金融产品研究金融产品研究3一、前言本篇报告作为前两篇专题（《基于循环神经网络的选股模型初探》与《基于循环神经网络的选股模型改进》）的拓展，对时序模型结构做进一步探讨。将时序处理模块由RNN拓展为RNN、CNN和Attention三大类，将时序模型结构由简单GRU拓展为GRU、AGRU、TPA、GAT、LSTNet、TCN、TCAN、XCM和Transformer九种，从模型结构介绍、到模型间互相关联、再到多模型结合，对时序神经网络的选股应用做了初步探究。根据测试结果得到以下初步结论：1）单模型测试下，TPA和TCN表现较突出；2）模型间的预测相关程度与模型结构的相似性有密切关联；3）相较于单模型结果，多模型整合后的绩效表现有全面提升、分年表现更为稳定；4）基于多模型构建中证1000指数增强组合，年化超额收益可达18.6%、信息比率为2.63。时序模型通常会考虑多维时序数据，如图表1所示，包含三个维度：样本、变量和时间步。数据维度对模型结构设计颇为重要，可以从三个维度内部或三个维度之间提取丰富的特征信息。以基础模块而言，譬如RNN可以识别时间模式信息、Attention可以识别关键变量信息、CNN可以识别时间步与变量的联合信息、GNN可以识别样本间关联信息。在特征输入环节，选择8个日度行情特征作为特征集，包括：开盘价、收盘价、最高价、最低价、均价、成交额、成交量和市值。而后进行统一处理操作，涉及：1）序列截取，截取30日序列长度；2）时序变换，可以去除量纲并保留时序信息；3）截面变换，将所有特征缩放到同一尺度以便模型训练；4）缺失填补，对低缺失率的序列样本做填补。资料来源：Spadonetal.(2021)，中信建投金融产品研究金融产品研究4对于时序数据，常用的处理模块包括RNN、CNN和Attention。如图表2所示，三者的作用各不相同：RNN擅于捕捉长期宏观依赖关系；CNN擅于捕捉短期局部依赖关系；Attention可为时间或变量加权。循环神经网络（RNN）专用于序列数据建模，利用其内部循环结构捕捉序列前后的依赖关系。常用的RNN模型包括长短期存储器（LSTM）、门控循环单元（GRU）等，可改善长期依赖效应。卷积神经网络（CNN）常用于图像数据建模，通过局部感受野捕捉空间依赖关系。为了将CNN应用于序列数据，可以使用因果卷积（CasualConvolution）即仅考虑序列的历史信息进行预测，同时为了削弱感受野的局限性，可以使用膨胀卷积（DilatedConvolution）纳入更早的历史信息。注意力机制（AttentionMechanism）适用于多种场景，使用加权操作捕捉关键信息。对于序列数据而言，可以直接聚焦于长历史窗口内的关键时间步。资料来源：Limetal.(2021)，中信建投随着研究的深入，通常会采用多种模块的组合来搭建模型。如图表4所示，我们列举了9类常见的时序预测模型，分别使用了不同的模块或不同的搭建方法。其中，相对基础的模型结构为GRU模型，也是前两篇报告中使用的核心结构，原始数据经过GRU提取特征，再输入到MLP用于特征决策，最终输出预测结果。以模块的丰富度而言，GRU、Transformer、TCN、XCM均使用单一类型模块，AGRU、LSTNet、TCAN使用两种类型模块，GAT、TPA则使用了三种类型模块。以模块的种类而言，GRU、AGRU、LSTNet、GAT、TPA均使用RNN模块，LSTNet、TCN、TPA、TCAN、XCM均使用CNN模块，AGRU、Transformer、GAT、TPA、TCAN均使用Attention模块，此外GAT还涉及GNN模块。以模型的复杂度而言，参考后文各模型的超参设定，计算参数量来衡量模型复杂度，由低到高依次为XCM、GRU、GAT、AGRU、TPA、LST、TCN、TCAN、TF。资料来源：中信建投金融产品研究金融产品研究5模型简称结构来源GRUGRURNN+MLPtranslation:Encoder-decoderapproaches（2014）AGRUAGRULSTNetLSTCNN+RNN+MLPTransformerTFTCNTCNCNN+MLPRecurrentNetworksforSequenceMoTPATPARNN+CNN+Attention+MLPTCANSequenceModeling（2020）XCMXCMCNN+MLP资料来源：Limetal.(2021)，中信建投相对于基础GRU模型结构，AGRU模型在此基础上增加时序注意力层。如图表5所示，以自适应权重聚合各时间步的隐状态，增强对不同时间步的感知能力。尽管GRU模型能捕捉长期依赖关系，但时序注意力能更直接识别关键时间步。在决策阶段，将所有时间步的加权信息和最后时间步的隐状态拼接起来，共同用于最终资料来源：Luongetal.(2015)，中信建投金融产品研究金融产品研究6相较于前一节的AGRU模型，TPA模型同样关注注意力机制，但更侧重于识别关键变量的时序模式，也更适用于多维时序数据。如图表6所示，在GRU之后使用CNN来提取单个特征的时序模式，之后经过注意力机制识别关键特征，而在决策阶段与AGRU类似，合并注意力加权信息和最后时间步的隐状态共同用于最终的预资料来源：Shihetal.(2019)，中信建投LSTNet模型全称是Long-andShort-TermTime-SeriesNetwork，顾名思义专注于识别不同期限长度的时序模式。LSTNet模型结构拥有4种模块，包含CNN、GRU、SkipGRU和AR。如图表7所示，1）使用CNN捕捉短期模式，在时间维度上用短期窗口提取局部信息；2）使用GRU捕捉长期模式，经过CNN提取的多种短期模式，再进一步提取更长期模式；3）使用SkipGRU捕捉周期性模式，实际是根据一定间隔重组数据样本再输入到GRU；4）使用线性AR结构提供稳健预测，通过highway形式直接输入原始数据，相较于非线性结构对数据尺度敏感性会更低；5）整合多源信息用于最终预测，一方面是拼接GRU与SkipGru的信息，另一方面是再叠加AR的信息。金融产品研究金融产品研究7资料来源：Laietal.(2018)，中信建投相对于基础GRU模型结构，GAT模型在此基础上增加图注意力层。如图表8所示，将样本看作是节点，将GRU提取最后时间步的隐状态作为节点特征，通过自注意力机制计算两两节点间的注意力系数，再通过激活函数和归一化操作得到注意力权重矩阵，在决策阶段仍与AGRU类似，合并注意力加权信息和最后时间步的隐状态共同用于最终的预测。资料来源：Velickovicetal.(2018)，中信建投金融产品研究金融产品研究8XCM模型由3个卷积子模块构成，模型复杂度较低、同时可解释性程度较高。如图表9所示，1）使用2维CNN提取单特征的时序模式，并通过填充保持维度；2）使用1维CNN提取联合特征的时序模式，并通过填充保持维度；3）使用1维CNN提取高层特征的时序模式，将前2个CNN模块提取的特征横向拼接，再次提取特征并填充保持维度；4）经过池化后，用于最终决策。资料来源：Fauveletal.(2021)，中信建投TCN模型结构的核心在于TCN模块，改进CNN结构以适配序列数据建模。如图标10所示，1）因果卷积：仅考虑序列的历史信息进行预测；2）膨胀卷积：以特定间隔接收信息，削弱感受野的局限性来纳入更早的历史信息；3）残差连接：有效应对深层网络模型性能退化的问题，同时能利用不同层级特征。资料来源：Baietal.(2018)，中信建投金融产品研究金融产品研究9相对于TCN模型结构，TCAN模型在TCN模块的基础上增加注意力机制。如图表11所示，1）时序注意力：将历史时间步的关键信息整合至当前步；2）增强残差连接：将时间步加权的输入信息直接连接至输出层。资料来源：Haoetal.(2020)，中信建投Transformer模型结构复杂度较高，包含多个模块。如图表12所示，1）嵌入层：将原始特征信息转为更丰富表示；2）位置编码：将位置信息表征为向量形式；3）编码器模块：依次经过自注意力层、正则化层、前馈层和正则化层，同时使用残差连接；4）解码器：使用全连接层。资料来源：Vaswanietal.(2017)，中信建投金融产品研究金融产品研究模型GRU模型GRU三、单时序模型测试2016年末起，每两年重新训练模型；3）抽样规则：每个批属于同期样本；4）目标函数：设置单目标函数，模型测试方面，1）回测区间：从2017年1月至2023年10月，以周度频率生成预测结果；2）因子处理：将预测结果看作是深度学习因子，进行异常值缩减、标准化（中性化）预处理；3）随机性：采用相同的参数初始化方法，并设定5个固定的随机种子，利于比对测试结果；4）结果整合：对不同随机性的结果进行均值整合；5）IC回测：计算当收IC和次均IC，分别以因子期当日收盘价或次日均价作为首端价格计算收益率。对前文介绍的9个模型进行逐一测试，结果如图表13至21所示：1）TCN模型表现较优，均值IC分别和中位IC分别达到11.31%和11.22%，最大差异仅为0.26%；2）TF模型表现较弱，中位IC仅有8.66%、最大差异高达1.73%。种子原始中性化当收ICIR次均IC次均ICIR当收ICIR次均IC次均ICIR种子2种子3种子3种子4种子5种子5最大差异均值整合资料来源：Wind，中信建投模型随机种子原始中性化当收ICIR次均IC次均ICIR当收ICIR次均IC次均ICIRAGRU种子1种子2种子3种子4最大差异均值整合资料来源：Wind，中信建投金融产品研究金融产品研究TPA模型TPA模型原始中性化原始中性化次均ICIR次均ICIR资料来源：Wind，中信建投原始中性化次均ICIR次均ICIR资料来源：Wind，中信建投模型原始中性化次均ICIR次均ICIRGAT9.51%1.50%资料来源：Wind，中信建投模型原始中性化次均ICIR次均ICIRXCMXCM 资料来源：Wind，中信建投金融产品研究金融产品研究TCNTCN原始中性化原始中性化次均ICIR次均ICIR资料来源：Wind，中信建投模型原始中性化次均ICIR次均ICIRTCAN0.26%资料来源：Wind，中信建投模型原始中性化次均ICIR次均ICIRTFTF 资料来源：Wind，中信建投对9个模型的分年当收IC表现进行对比，如图表22所示：1）随更新频率模型表现呈现轮转，2017-2018年TPA与TCN表现突出、2019-2020年AGRU与TPA表现突出、2021-2022年GRU与AGRU表现突出、2023年TCAN与XCM表现突出；2）GRU、AGRU、TPA在2017-2022年表现偏强势，但在2023年表现偏弱势；3）XCM、TF在2017-2022年表现偏弱势，但在2023年表现偏强势；4）TCN模型在各年份均无明显弱势表现。金融产品研究金融产品研究年份GRUAGRUTPAGATLSTTCNTCANXCM 10.33%10.22%10.45%8.38%10.18%10.51%7.18%4.58% 14.48%13.94%14.51%14.21%14.06%14.94%13.41%10.23% 12.36%12.79%12.67%12.04%12.10%12.41%12.00%12.20% 10.28%10.61%10.95%9.61%10.11%10.56%9.65%8.42% 9.65%9.64%9.39%9.18%8.99%9.19%9.20%7.54% 11.63%11.72%11.45%11.55%10.74%11.15%11.26%9.58% 9.40%9.43%9.74%10.28%9.08%10.19%12.13%11.76%TFTF6.38%11.64%8.98%4.89%9.42%20172018201920202021202211.29%11.30%11.30%9.04%2023全部11.21%11.24%11.35%10.76%10.80%11.31%10.64%9.10%资料来源：Wind，中信建投金融产品研究金融产品研究四、多时序模型测试内个股等权配置；3）分组收益：计算每组相对标的指数超额收益；4）股票池：全市场、沪深300、中证500和中证1000，其中全市场对标指数为万德全A；3）持仓个股：剔除新股、停牌股、ST股和涨跌停个股；4）成交设定：按次日均价成交，虽然不考虑交易费率，但会计算每组换手率。股、剔除长期停牌股；3）优化目标：最大化多模型等权预测结果，预测值经过标准化与中性化处理；4）约束限制：指数内权重下限80%、个股权重偏离限定1%、行业权重偏离限定1.5%、风格暴露偏离限定0.2、换手率单边上限15%；5）持仓设定：剔除停牌股和涨跌停股；6）成交设定：按次日均价成交，费率双边千三。为了便于模型间比较，将各模型的五种随机种子结果按均值整合为单一结果，再做后续统计与测试。考察模型间预测的两两相关性，如图表23所示：1）GRU、AGRU、TPA间极高相关，从模型结构就不难发现三者高度相似，均以GRU作为前期特征提取模块并以最后时间步的隐状态最为主要决策依据，区别在于AGRU和TPA补充了部分注意力信息；2）GAT、LST与前三者亦有高相关，尽管模型结构有部分差异，但核心特征提取模块仍以GRU为主；3）TCN、TCAN与前五者相关性略低，主要源于TCN与RNN的序列建模有部分差异；4）XCM、TF与前七者相关性偏低，XCM和TF分别仅使用CNN模块和注意力机制，区别于一般序列建模形式。资料来源：Wind，中信建投金融产品研究金融产品研究GATTCNGATTCN为了考察模型间增益效果，尝试将模型进行两两等权结合。如图表24左侧所示，当收IC绩效下：1）强强结合增益明显，TPA和TCN是表现最强的单模型，两者结合后依然表现最强并有进一步提升；2）弱模型有拖累，XCM和TF是表现偏弱的单模型，与其它模型结合后会有不同程度拉低效果。如图表24右侧所示，次均IC绩效下：1）高相关模型间增益有限，GRU、AGRU、TPA、GAT、LST互相高相关，两两结合增益不及其它低相关模型；2）强弱结合有所增益，TCN和TF分别是表现稍强和稍弱的单模型，但两者结合后表现最强并有所提升；3）弱模型亦有小幅增益，XCM和TF是表现偏弱的单模型，与其它模型结合后会有小幅拉升效果。资料来源：Wind，中信建投4.3、多模型叠加分析为了考察多模型结合的增益效果，将9个模型结果按照等权配置进行叠加。如图表25所示：1）多模型的IC绩效全面强于单模型表现；2）多模型的次均IC提升幅度略高于当收IC。进一步观察分年IC绩效，如图表26所示，相较于单模型：1）多模型无明显弱势年份，除了2017年表现位于中游，其余年份表现靠前；2）多模型逐年表现更平滑、没有极端表现。单模型原始中性化当收IC当收ICIR次均IC次均ICIR当收IC当收ICIR次均IC次均ICIRGRUTPATCANTF全部等权1.031.06GRUTPATCANTF全部等权1.031.060.911.001.040.900.710.671.0011.18%11.16%11.28%10.99%10.93%11.26%10.90%9.97%10.45%11.62%1.041.070.951.031.050.940.780.781.0310.46%10.35%10.44%10.27%10.13%10.53%10.01%9.22%8.58%10.75%9.95%9.85%9.94%9.93%9.75%10.02%9.74%9.43%9.21%10.47%AGRUXCM11.24%11.35%10.76%10.80%11.31%10.64%9.10%9.04%11.47%资料来源：Wind，中信建投年份GRUAGRUTPAGATLSTTCNTCANXCMTF 10.33%10.22%10.45%8.38%10.18%10.51%7.18%4.58%6.38%全部等权全部等权20179.63%14.57%14.57%12.87%10.84%9.55%11.73%11.10%201814.48%12.36%10.28%9.65%11.63%9.40%13.94%12.79%12.79%10.61%9.64%11.72%9.43%14.51%12.67%10.95%9.39%11.45%9.74%14.21%14.21%12.04%9.61%9.61%9.18%11.55%11.55%10.28%14.06%12.10%10.11%8.99%8.99%10.74%9.08%14.94%14.94%12.41%10.56%9.19%11.15%11.15%10.19%13.41%13.41%12.00%9.65%9.20%11.26%12.13%12.13%10.23%10.23%12.20%8.42%8.42%7.54%9.58%11.76%11.64%11.64%8.98%4.89%9.42%11.29%11.30%11.30%20192020202120222023全部11.21%11.24%11.35%10.76%10.80%11.31%10.64%9.10%9.04%11.47%资料来源：Wind，中信建投4.4、多模型组合绩效将多模型预测结果在不同股票池内进行分组测试，如图表27和图表28所示，1）中证1000内多头超额收益最高，原始因子的多头超额可达29.5%，略高于全市场、明显高于中证500和沪深300；2）全市场内多空收益最高，原始因子的多空收益可达76.0%，其中空头收益贡献占比超过60%；3）中性化因子换手率略低，最头组的换手率处于55%~59%；4）中性化因子多空净值回撤率更低，相较于原始因子，中性化因子的最大回撤率能缩减一半。等权多头超额空头超额多空换手多头超额空头超额多空换手最尾组最头-最尾最头组最头组最尾组最头-最尾最头组股票池最头组次头组次尾组次头组次尾组原始全部全市场29.1%23.3%-18.0%-46.9%76.0%54.2%23.9%20.4%-19.6%-44.3%68.2%55.6%中证100029.5%27.3%-16.8%-40.5%70.0%59.4%24.1%24.8%-18.1%-37.5%61.6%58.9%中证50020.1%18.0%-10.0%-31.3%51.4%61.5%13.9%10.2%-12.1%-27.8%41.7%58.5%沪深30024.4%16.7%-13.4%-28.0%52.5%64.3%13.2%10.9%-13.3%-23.1%36.3%55.7%资料来源：Wind，中信建投资料来源：Wind，中信建投金融产品研究金融产品研究利用多模型预测结果构建相对于中证1000的指数增强组合，如图表29和图表30所示，1）总体绩效方面，年化超额收益达18.6%、信息比率达2.63、双边换手率约30%；2）分年绩效方面，各年均有显著正向超额，仅2021年略低于10%，2023年的年化超额可达26%；3）超额净值方面，大幅回撤集中出现在三个时段，2020年的年初、2021年的年中和2022年的上半年。多模型全部等权年化超额收益年化超额波动信息比率超额最大回撤率双边换手率21.3%29.5%29.7%29.6%8.7%29.6%9.2%9.4%0.987.8%29.7%7.1%29.7%26.0%4.9929.7%全部7.1%7.8%29.6%资料来源：Wind，中信建投资料来源：Wind，中信建投金融产品研究金融产品研究五、总结本篇报告作为前两篇专题的拓展，将时序处理模块拓宽为三大类、将时序模型结构拓宽为九种。从分析与测试结果来看：1）单模型测试下，TPA和TCN表现较突出；2）模型间的预测相关程度与模型结构的相似性有密切关联；3）相较于单模型结果，多模型整合后的绩效表现有全面提升、分年表现更为稳定；4）基于多模型构建中证1000指数增强组合，年化超额收益可达18.6%、信息比率为2.63。风险提示：研究均基于历史数据，对未来投资不构成任何建议。文中的模型分析均是以历史数据进行计算和分析的，未来存在失效的可能性。市场的系统性风险、政策变动风险等市场不确定性均会对策略产生较大的影响。另外，本报告聚焦于深度模型构建和量化组合的回测效果，因此对市场及相关交易做了一些合理假设，但这样可能会导致基于模型所得出的结论并不能完全准确地刻画现实环境，在此可能会与未来真实的情况出现偏差。而且数据源通常存在极少量的缺失值，会弱微增加模型的统计偏误。六、参考文献GabrielSpadon,ShendaHong,BrunoBrandoli,StanMatwin,JoseF.Rodrigues-Jr,andJiemengSun.PayAttentiontoEvolutionTimeSeriesForecastingwithDeepGraph-EvolutionLearning.IEEETransactionsonPatternAnalysis&MachineIntelligence,1939-3539(2021).BryanLim,andStefanZohren.TimeSeriesForecastingwithDeepLearning:ASurvey.PhilosophicalTransactionsoftheRoyalSociety,(2021).Minh-ThangLuong,HieuPham,andChristopherD.Manning.EffectiveApproachestoAttention-basedNeuralMachineTranslation.InProceedingsofthe2015ConferenceonEmpiricalMethodsinNaturalLanguageProcessing,1412-1241,(2015).Shun-YaoShih,Fan-KengSun,andHung-yiLee.TemporalPatternAttentionforMultivariateTimeSeriesForecasting.MachineLearning,vol108,1421-1441(2019).GuokunLai,Wei-ChengChang,YimingYang,andHanxiaoLiu.ModelingLongandShort-TermTemporalPatternswithDeepNeuralNetworks.InThe41stInternationalACMSIGIRConferenceonResearch&DevelopmentinInformationRetrieval,95-104(2018).PetarVelickovic,GuillemCucurull,ArantxaCasanova,AdrianaRomero,PietroLio,andYoshuaBengio.GraphAttentionNetworks.arXiv:1710.10903(2018).KevinFauvel,TaoLin,VeroniqueMasson,ElisaFromont,andAlexandreTermier.XCM：AnExplainableCNNforMultivariateTimeSeriesClassification.Mathematics9(23),3137(2021).金融产品研究金融产品研究ShaojieBai,J.ZicoKolter,andVladlenKoltun.AnEmpiricalEvaluationofGenericConvolutionalandRecurrentNetworksforSequenceModeling.arXiv:1803.01271.(2018).HongyanHao,YanWang,SiqiaoXue,YudiXia,FuraoShen,andJianZhao.TemporalConvolutionalAttention-basedNetworkforSequenceModeling.arXiv:2002.12530.(2020).AshishVaswani,NoamShazeer,NikiParmar,JakobU