《一种基于长短期记忆LSTM的神经网络模型的空气质量预测实证研究》10000字

Ⅲ一种基于长短期记忆LSTM的神经网络模型的空气质量预测实证研究摘要随着城市化和工业化的快速发展，空气污染问题日益突出，空气质量预测尤为重要。目前，一些有代表性的研究对空气质量进行实时监测和预报。例如，周光强等人使用数值预测方法来分析华东地区的空气质量，但是他们的实验结果表明，这种方法很难预测非常严重的污染。SANKAR等使用多元线性回归预测空气质量，但实验结果表明，线性模型预测的准确性较低且效率较低；PEREZ等用统计方法预测空气质量，实验结果证明统计方法的预测精度较低。Wang等使用的改进方法的BP神经网络为空气质量指数建立了预测模型。实验证明，BP神经网络收敛缓慢，容易陷入局部最优解。YANG等利用相邻网格的空气质量浓度效应建立了预测随机森林的PM2.5浓度的模型。森林的PM2.5浓度预测模型通过实验过程证明网格划分过程削弱了后续空气质量分析的质量和效率。从时间角度来看，这些方法很难建模，且较低的预测准确性是一个重要问题。由于预测精度低，可能会导致空气质量预测结果出现较大误差。针对空气质量研究中预测精度低的问题，提出了一种基于长短期记忆（longshort-termmemory,LSTM）的神经网络模型。该模型使用诸如MSE，MAE，RMSE和r2的指标来测试LSTM神经网络和比较模型的预测性能。由于北京是一个空气污染程度比较严重的城市，因此使用的实验数据集来自一个美国驻北京大使馆五年来的空气质量数据，该数据报告了每小时的天气和污染水平。LSTM神经网络与多元线性回归和回归模型（SVR）的比较结果表明，LSTM神经网络适用于多变量或多输入的时间序列的预测问题，LSTM神经网络具有较高的预测精度，速度快和较强的鲁棒性等优点。关键词：空气质量,LSTM神经网络,回归,预测目录TOC\o"1-3"\h\u1851摘要 .2国内外研究现状及发展趋势时间序列是按时间先后顺序排列并且内部相关的一组数据。通过对历史时间序列的分析，可以在一定程度上对未来的长期或短期进行准确的预测，从而为生产实践带来更大的收益。迄今为止，人们对时间序列的分析和研究工作已经扩展到气象、经济、医药、电力、交通等许多领域。对于时间序列的分析具有广阔的应用前景和重大的现实意义。用于时间序列分析的模型在早期主要集中于传统线性模型。这种分析模型比较简单、计算快速。但是，这种传统线性模型假定了将来值与过去值和随机误差之间存在一定的线性函数关系，因此它们通常限于平稳的时间序列研究REF_Ref10250\w\h[5]。随着研究的逐步深入，线性模型不再能满足人们的精度要求，无法应用于实际的复杂应用场景，因此出现了非线性模型分析方法，如人工神经网络、支持向量回归和遗传规划算法。非线性模型具有强大的学习和数据处理能力，并且不需要事先假设数据之间存在什么样的函数关系。通过对大量样本数据进行训练，该模型可以自发地趋近复杂甚至难以用数学公式描述的非线性特征。对于常规的人工神经网络，样本输入节点间是彼此相互离散的，也就是说，网络本身并不关注输入节点的时序关系，但是这种关系在某些特定问题中通常是必不可少的，例如对文本情感分析REF_Ref10338\w\h[6]、污染物监测分析REF_Ref10469\w\h[7,REF_Ref10580\w\h8]、医疗跟踪REF_Ref10808\w\h[9]、价格预测REF_Ref10874\w\h[10]等其他问题的分析与前几个时刻的输入密切相关。在不同的输入时序下，相同的数据将获得完全不同的结果。为了解决上述问题，人们提出了递归神经网络（RNN），它引入了输入数据的时间先后顺序，并使得分析结果得到了明显改善。SaadREF_Ref10874\w\h[10]对RNN，时延网络和概率网络进行了实验比较；Lin等REF_Ref11024\w\h[11]首先使用卷积网络提取数据的高维特征，然后使用RNN网络挖掘数据的内部时序特征。这种组合网络改善了分类效果，同时提供了更好的模型可解释性。然而，传统的RNN网络通常存在梯度消失和梯度爆炸的问题，这极大地限制了长时序列预测的效果。因此，Hochreiter等REF_Ref11109\w\h[12]提出了一个长短时记忆网络（LSTM，即带有LSTM存储单元的RNN神经网络）以有针对性的方式解决这种问题，极大地提升了分析结果，并吸引了大量研究人员研究相关模型的开发和优化。Zhang等REF_Ref11246\w\h[13]和Yang等REF_Ref11389\w\h[14]都使用LSTM网络来预测海平面温度（SST）。其中，Zhang等REF_Ref11246\w\h[13]使用LSTM层来挖掘数据内部间的时序联系，然后通过全连接层将LSTM层的输出映射到最终的预测结果。Yang等REF_Ref11389\w\h[14]人提出的网络结构包括LSTM层和卷积层，将空间信息与数据时间信息同时使用，这提高了预测的精度。Karim等REF_Ref11788\w\h[15]提出了ALSTM-FCN网络结构，简化了数据集的预处理步骤并提高了分类效果。Zhang等REF_Ref10469\w\h[7]结合小波变换和LSTM网络,首先对变化很剧烈的原始时间序列数据采用小波变换操作，以获得多个变化相对较缓慢的子序列，然后为该子序列建立LSTM网络，最终的预测结果为每个LSTM网络的预测结果之和。Liu等REF_Ref11382\w\h[16]的ANR-SAE-VAL-STM模型首先对原始时间序列数据进行去噪,然后从经过去噪的数据中提取特征，并将其用作VALSTM网络的输入以生成预测结果。它在北京PM2.5和GEFCom2014上的实验里被证明了网络结构的有效性。Zhang等REF_Ref12033\w\h[17]提出了一种LSTM网络和SVM的组合结构来预测电路故障,LSTM从大规模电力传输数据中提取时间特征。由于SVM具有出色的鲁棒性，因此它负责生成最终的分类结果。也有许多研究人员致力于改善LSTM。例如，Cho等REF_Ref12105\w\h[18]提出了GRU，它减少了存储单元中门的数量，并减少了参数数量，同时又保证了原始效果。之后Chen等REF_Ref12150\w\h[19]提出了一种基于GRU实施的基于社交平台评论的预测未来股市波动的方法；Sun等REF_Ref12183\w\h[20]从LSTM和GRU得到启发，并提出使用GM存储单元网络来完成手写识别任务。综上所述，随着神经网络在现实生活中越来越多的运用，针对较长时间序列的预测问题中，尤其是对于解决大型更加复杂的非线性深度神经网络模型，首选LSTM是发展的大趋势。相关技术介绍2.1深度学习（deeplearning）深度学习（也称为分层学习）是基于数据学习表示的更广泛的机器学习方法的一部分。它具有多层神经网络，信息向量在神经元之间传递和转换。上一层神经元输出的信息向量将成为输入信息，并传输到下一层神经元结构。深度学习分为三类：监督学习，半监督学习和无监督学习REF_Ref24468\w\h[21]。深度学习架构（例如深度神经网络，深度置信网络和递归神经网络）已应用于计算机视觉，语音识别，自然语言处理，音频识别，社交网络过滤，机器翻译，生物信息学，药物设计，医学图像分析等其他领域，它们产生的结果可以与人类专家媲美，在某些情况下还比人类专家更好。传统的表示学习很难从原始数据中提取高级特征或抽象特征，但是深度学习解决了这个问题，并且可以简单，直接地呈现复杂的应用场景。与传统的机器学习相比，传统机器学习的特征提取步骤需要手动完成，不仅效率低下，执行时间长，而且需要大量领域专业知识；深度学习注重于自动学习功能，将学习到的规律性转移到更深层的网络组合中，把更简单些的模型组合到一起，并将数据从一层转移到另一层以构建更复杂的模型。通过训练大量的数据，可以区分和简化不同类型的问题，可以提取更复杂的特征，并且可以自动得出广泛化模型，而无需人工提取特征，这不仅提高了效率，而且大大缩短了模型生成的时间。深度学习与机器学习对比图如下图2-1所示。图2-1深度学习与机器学习对比图2.2时间序列（timeseries）时间序列是按时间先后顺序出现的数据点。时间间隔可以是不确定的，也可以是固定的。因此，时间序列不是连续数据。例如，大气环流速度，细胞分裂数和未来的天气状况等离散数据REF_Ref24977\w\h[22]。时间序列可用于许多领域，例如计算机科学、历史、医学、气象、军事科学、管理学等，并且它主要用于涉及时间测量的任何应用科学和工程领域REF_Ref25118\w\h[23]。时间序列分析主要分析序列的潜在特征，并通过此特征来预测未来的时间序列。时间序列预测是使用获取的数据去预测未来一段时间内的数据。回归分析通常用于检验理论，即考虑两个序列的当前值之间的关系和影响。时间序列数据具有自然的时间顺序，这使得时间序列分析与横断面研究不同REF_Ref25219\w\h[24]，不需要时间的自然顺序（例如，通过参考人们的个人学习经历来解释人们的工资，其中他们的健康就没有时间上的先后排列）。时间序列分析不同于空间数据分析，有必要观察地理位置（例如，根据城市和距中心区域的距离来计算本地房价）。时间序列随机模型的观测结果它比单个观测具有更强的泛化能力，此外，时间序列模型通常遵循时间的单向自然顺序，并且仅受流逝的时间序列的影响，与未来的时间序列无关。当空气质量预测模型中的初始值和预测值之间的特征关系逐渐变得清晰时，将从动态角度结合空间和地理因素研究空气质量。许多研究证明，空气质量或人们过去简单地称为天气模型是一种混沌的时间序列模型REF_Ref25598\w\h[25]。它是自然产生的并具有无序性，但是当它与过去的数据关联时，它会显示出有序性，这表明人们可以通过适当的方法对其进行预测。从随机时间序列的角度分析序列的平稳性。假设存在一个平稳的时间序列Y1Y2Y3Y4...Yt，则它具有以下特征：每个平稳的时间序列Y之间都具有固定的时间间隔，因此，它们之间的协方差之间没有时间相关性。另外，Y是随机分布的序列，并且均值和方差没有时间相关性，并且是一个固定值。以上就是平稳时间序列的特征。2.3循环神经网络（RNN,recurrentneuralnetworks）RNN是一种非常强大的算法，可以对数据（尤其是时间序列和文本）进行分类、聚类和预测。RNN可以看作是在体系结构中添加了环路的MLP网络。在图2-2中，你可以看到有一个输入层（包含X1，X2之类的节点），一个隐藏层（包含h1，h2之类的节点）和一个输出层（包含y1，y2之类的节点）），类似于MLP体系结构。区别在于隐藏层的节点相互连接。在普通的RNN中，节点沿一个方向连接，这意味着h2取决于h1，h3取决于h2。隐藏层中的节点由隐藏层中的上一个节点所决定REF_Ref25967\w\h[26]。RNN公式可以表示为式中：wxh是输入到隐层的矩阵参数；whh是隐层到到隐层的矩阵参数；bh为隐层的偏置向量（bias）参数；σ可以为Sigmoid，tanh或ReLU函数。图2-2RNN结构REF_Ref25967\w\h[26]2.4长短时记忆网络（LSTM，longshort-termmemory）RNN神经网络在处理长时序列时容易出现爆炸梯度REF_Ref26127\w\h[27]的问题，其准确性通常要差一些。为了解决这个问题，Hochreiter等REF_Ref11109\w\h[12]首先引入了LSTM，并成为成功的体系结构。LSTM神经网络是RNN神经网络结构的一种变体。其主要思想是引入自适应门控机制，该机制决定LSTM单元保持先前状态的程度并记住当前数据输入的提取特征。尽管已经提出了许多LSTM变体，但LSTMREF_Ref26891\w\h[28,REF_Ref26901\w\h29]的标准架构仍用于空气质量模型预测。图2-3显示了带有门的LSTM[30]存储单元。通常，LSTM的递归神经网络由以下组件组成：输入门it具有对应的权重矩阵wxi，whi，wci，bi；遗忘门ft具有对应的权重矩阵wxf，whf，wcf，bf；输出门ot具有对应的权重矩阵wxo，who，wco，bo。输入门的功能是有选择地将新信息记录到细胞状态中。遗忘门的功能是在单元状态下有选择地遗忘信息。输出门的功能是输出细胞的一些信息。所有这些门均设置为使用电流输入xi生成一定的度数，在上一步中生成的状态hi-1以及此单元ci-1的当前状态（窥视孔），用于确定是否接受输入并忘记先前的存储内存，然后输出稍后生成的状态。图2-3带有门的LSTM存储单元REF_Ref27097\w\h[30]2.5TensorFlow介绍TensorFlow是一个开源软件库，基于数据流程图和跨越一系列任务的可区分编程。它是GoogleBrain团队开发的第二代系统，并于2015年11月9日根据Apache2.0开源许可发布。TensorFlow支持从大到台式机，GPU和CPU到平板电脑和手机的多种设备，开发人员都可以使用它。此外，该平台还具有许多内置的机器学习模型，使用户可以随意选择最合适的模型，而不必担心如何实现底层代码。TensorFlow支持多种开发语言。当前，被普遍使用的是Python，其他语言如JavaScript，C++，Java，Go和Swift也逐渐被广泛使用。TensorFlow的名称早已体现了它的两个重要概念：Tensor“张量”和Flow“流”。它是一个编程系统，以计算图的形式来表述。该模型的实现主要分为三个步骤：构造数据流图，选择和训练模型以及应用模型。其中，TensorFlow的输入“张量”包括输入变量，模型中的变量和其他变量。TensorFlow它具有以下优点：（1）高灵活性，TensorFlow不是严格的“神经网络”库。你只需要确定适当的张量和过程即可构建自己的神经网络模型，并且可以使用体系结构中现成的工具来构建自己的“上层库”。并可以迎合自己的创造力，编写出独特的整合操作。底层数据库也可以通过C++编码添加。（2）可移植性，TensorFlow支持多种设备，并且可以在台式机，GPU，CPU，平板电脑，移动电话和其他设备上同时运行，而无需修改代码。训练后的模型可以直接应用于移动应用端app或云服务服务器。（3）科学研究和产品联系在一起。开发人员可以直接通过TensorFlow将科学研究中的新思想直接应用于产品，并将其直接提供给在线用户，从而提高代码共享的效率并提高科学研究的产出率。（4）TensorFlow支持多语言，具有C++的界面和易于使用的python界面。此外，还可以使用其他语言来创建用户界面，例如Go，Java，Lua，JavaScript或R.（５）性能最优化。TensorFlow可以协调和管理线程，队列和异步操作，从而可以充分利用硬件的性能，并将计算元素分配给设备的各个方面以提高操作效率。本文使用了TensorFlow平台作为算法支撑。

3.基于LSTM网络预测的研究方案本课题是基于LSTM网络的空气质量预测，对该课题的研究就是建立LSTM预测模型。LSTM预测模型由导入库并读取查看数据、数据预处理、建立模型并训练、模型预测并可视化四部分构成。导入库并读取查看数据。本课题数据集使用的是一个五年来美国驻中国北京大使馆每小时报告天气和污染水平的数据集。将所给原始数据导入库并读取查看数据。数据预处理。在实际实验中，待分析的时间序列时候往往会比较粗糙，由于人为原因或者机器系统问题，往往会存在很多的异常数据或者缺失值，数据之间的特征不明显或者关联性过低，但是数据的准确性与真是性对饰演的结果起了决定性的作用，所以为了提高计算的效率，减少冗余的计算步骤，经常会对数据进行必要的处理，比如清理，实例选择，规范化，转换，特征提取和零均值处理等。对数据的预处理包括以下步骤：定义读取格式、丢弃编号列、更改列名、把所有NA值用0替换、丢弃前24小时、将预测数据PM2.5列放到最后一列、整理好的数据显示。建立模型并训练。建立模型包括以下几个步骤：为LSTM模型做数据准备、在多变量输入数据上拟合LSTM模型、将输入变量转变成LSTMs需要的三维格式、定义和拟合LSTM模型、LSTM模型训练。在定义和拟合LSTM模型过程中，确定隐藏层和输入层神经元个数，选择合适的损失函数和优化算法。最后，记录训练集和测试集的损失，并在完成训练和测试后绘制损失图。模型预测并可视化。进行模型预测并可视化后，可以从输出的图形中看到真实输出、测试数据的预测输出。建立LSTM预测模型的流程图如图3-1所示。图3-1LSTM预测模型流程图

4.基于LSTM网络的空气质量预测的研究与分析4.1导入库并读取查看数据本课题数据集使用的是一个五年来美国驻中国北京大使馆每小时报告天气和污染水平的数据集BeijingPM2.5DataSet。这些数据包括日期时间、被称为PM2.5浓度的污染，以及包括露点、温度、气压、风向、风速和累计雨雪时数等天气信息。原始数据中完整的特征列表如下表4-1:表4-1原始数据中完整的特征列表NO行号year该行记录的年month该行记录的月day该行记录的日hour该行记录的小时PM2.5PM2.5浓度(细颗粒物指环境空气中空气动力学当量直径小于等于2.5微米的颗粒物。它能较长时间悬浮于空气中，其在空气中含量浓度越高，就代表空气污染越严重)DEWP露点(又称露点温度(Dewpointtemperature)，在气象学中是指在固定气压之下，空气中所含的气态水达到饱和而凝结成液态水所需要降至的温度)TEMP温度PRES大气压力cbwd组合风向lws累计风速ls累计小时下雪量lr累计小时下雨量下面是原始数据集的前几行，如下图4-2所示。图4-2原始数据前几行至此，这些数据还不能使用。我们必须先做好准备，将其导入Spyder中并显示出来。在经过如图4-3所示代码实现导入模块、定义读取格式后得到的数据如下图4-4所示。图4-3实现导入模块、定义读取格式的代码图4-4导入库并读取查看数据所得图4.2数据预处理在上述导入库并读取查看数据后，接下来就是对数据进行处理以便于数据分析。可以看到日期和时间是分开的，第一步把日期时间合并为一个datetime，以便将其作为Pandas里的索引。看数据表可知，第一个24小时里，PM2.5这一列有很多空值。因此，我们把第一个24小时里的数据行删掉。剩余的数据里面也有少部分空值，为了保持数据完整性和连续性，只要将空值填补为0即可。在经过如图4-5所示代码实现丢弃编号列、更改列名、把所有NA值用0替换、丢弃前24小时、将所预测数据PM2.5放到最后一列后得到的数据如图4-6所示。图4-5实现丢弃编号列、更改列名、把所有NA值用0替换、丢弃前24小时、将所预测数据PM2.5放到最后一列的代码图4-6数据预处理后得到的数据图至此已经得到了易于使用的数据形式，接下来看看空气污染时间序列的线性图。经过如图4-7所示代码实现加载数据集、指定要绘制的列、绘制每一列后得到的线性图如图4-8、4-9所示。图4-7实现加载数据集、指定要绘制的列、绘制每一列的代码图4-8露点、温度、大气压力、组合风向的时间序列线性图图4-9累计小时下雪量、累计小时下雨量、PM2.5浓度的时间序列线性图时间序列线性图4-8、4-9展示出每一特征的分布图表，是数据在图表中的一种展现形式。再创建每一特征的相关性图，得到每一特征的相关性图如图4-10所示。图4-10每一特征的相关性图图4-10展示的是每一特征之间的相关性。4.3建立模型并训练经过上述数据预处理后，接着就可以开始建立LSTM模型了。第一步为LSTM模型准备数据。将数据集构建为监督学习问题，并且对输入变量进行标准化得到如图4-11所示数据图。图4-11数据图图4-11所展示出的数据就是为LSTM模型所准备好的数据。为LSTM模型准备好数据后就可以在多变量输入数据上拟合LSTM模型了。这一步是将数据分割为训练集和测试集，然后将训练集和测试集分别拆分为输入和输出变量。最后将输入变量转变成LSTMs需要的三维格式（即样例、时间步、特征）。所执行的代码如图4-12所示，图4-12在多变量输入数据上拟合LSTM模型的代码执行图4-12所示代码后，训练和测试的数据划分为：42000小时的数据用于训练，1799小时的数据用于测试。现在就可以开始定义和拟合LSTM模型了。学习率函数取每隔100个epoch，学习率减小为原来的1/10。LSTM模型的构成：两个LSTM层（第一个LSTM层有500个神经元，第二个LSTM层有256个神经元）、两个drop层（drop比率为0.1）、一个普通神经网络层（64个神经元）、激活函数（用的relu函数）、损失函数（用的mae函数）、优化器（用的Adam）、一个输出层。该模型训练100次，批量大小为200。建立LSTM模型的关键代码如下图4-13所示，LSTM模型结构如下图4-14所示。图4-13定义和拟合LSTM模型的关键代码图4-14LSTM模型结构LSTM模型建立好后就可以进行训练了。训练过程中的多元LSTM的训练和测试损失趋势线便可以绘制出来了，如图4-15所示。图4-15训练过程中多元LSTM的训练和测试损失的线图图4-15展示出多元LSTM训练过程中的训练损失和测试损失。4.4模型预测并可视化在经过代码实现做出预测、计算预测指标后得出预测评价指标如下：MSE=0.003;MAE=0.029;RMSE=0.056;r2=0.927然后在经过如图4-16所示代码实现反向缩放预测值、反向缩放实际值、绘图后得到PM2.5的真实值与预测值的图，如图4-17所示。图4-16实现反向缩放预测值、反向缩放实际值、绘图的代码图4-17PM2.5的真实值与预测值图4-17展示出的是LSTM模型训练完后对PM2.5浓度作出的预测值和真实值的曲线图。4.5结果与分析上述通过建立LSTM网络预测模型，利用训练得到的模型对空气质量的PM2.5浓度进行预测，根据课题的目的（针对已有的空气质量数据，采用深度LSTM网络模型，根据前几个小时的空气质量数据预测未来一小时的空气污染情况）可知，在建立的LSTM模型得到的结果中，预测评价指标中MSE、MAE、RMSE越接近0，r2越接近1，则表示模型预测得到的PM2.5的浓度真实值与预测值越接近，即在如上图4-15的曲线图中，模型预测得到的PM2.5的浓度值的预测值曲线越趋近真实值曲线。要想得到更趋近于0的预测评价指标MSE、MAE、RMSE，更趋于1的预测评价指标r2，就要不断调整LSTM模型中的参数（神经元个数、网络层数、batchsize、epoch等）。取不同的模型参数所得到的预测评价指标就不同，当我取如图4-19所示的LSTM模型2参数时，记图4-14模型结构为LSTM模型1，则LSTM模型1与LSTM模型2的参数对比如表4-18所示，表4-18LSTM模型1与LSTM模型2的参数对比神经元个数bitchsizeepoch网络层数LSTM模型1500,256,642001002,1LSTM模型250,256,641001002,1图4-19LSTM模型2结构所得到的预测评价指标为:MSE=0.003;MAE=0.031;RMSE=0.058;r2=0.922相应的训练过程中的多元LSTM的训练和测试损失趋势线如下图4-20所示、图4-20训练过程中多元LSTM的训练和测试损失的线图从图4-20所展示的多元LSTM训练过程中训练损失和测试损失曲线可以看出，LSTM模型2训练过程中测试损失低于训练损失，即LSTM模型2可能过度拟合训练数据。PM2.5的真实值与预测值的图则如下图4-21所示。图4-21PM2.5的真实值与预测值上述LSTM模型2预测评价指标（MSE、MAE、RMSE、r2）、训练过程中的多元LSTM的训练和测试损失趋势线和PM2.5的真实值与预测值的图与LSTM模型1的相对比可知，这组LSTM模型2参数选取的没有LSTM模型2的参数选取的好。由以上分析可知，在LSTM模型中参数选取的越合适，模型所预测出的值就越越趋近与真实值。5.总结与展望5.1总结首先我们介绍了基于LSTM网络的空气质量预测这一课题的研究背景及意义；接着我对课题的相关技术做了简单介绍；第三部分简单介绍了我对该课题的研究方案；接着根据上述研究方案，进行了数据集导入库并查看数据、数据预处理、建立模型并训练、模型预测并可视化后得到结果并分析，我所训练的模型中测试集的预测评价指标最好的一组是MSE=0.003、MAE=0.029、RMSE=0.056、r2=0.927.5.2展望虽然对于本篇论文所研究的课题，已经尽可能的对数据，特征，代码的实现和修正进行了研究，由于本人能力有限，文章中还存在需要优化和改进的部分，主要从以下几点进行说明：首先是本文数据的获取是已给定的一个五年来美国驻中国北京大使馆每小时报告天气和污染水平的数据集。数据是以一天24小时每小时作为记录，因此数据的质量不是非常高，在以后进行的研究可以基于半小时进行采样和记录，这样数据的质量会更高一些，预测系统的搭建会更加完善一些。其次，在本文对于特征维度的选取过程中，选择的是PM2.5的浓度，后续还可以考虑一些大气主要污染物相关的维度，如二氧化硫SO2、氮氧化物NOX等一些指标，关联到空气质量指数中，以进行更深层次的数据关系的探讨；并且在本文中，我们的目标值是PM2.5的浓度，我们进行的是回归，当然我们有PM2.5浓度的数值，也能得出他所在的级别，根据我们的数据维度，也可以考虑对等级进行分类预测。最后就是在模型的训练过程中，对于模型的参数调整的还不够好，在以后的研究中，可以对于模型的不同参数实现更为详细的调参过程。参考文献付彦丽.基于神经网络的PM2.5质量浓度预测研究[D].陕西西安:陕西科技大学,2016.PEREZVA,ARASAR,CODINAB,etal.Enhancingairqualityforecastsovercatalonia(spain)usingmodeloutputstatics[J].JournalofGeoscienceandEnvironmentProtection,2015,3(8):9-22.CHENJianjun,LUJin,AVISEJC,etal.SeasonalmodelingofPM2.5incalifornia’ssanjoaquinvalley[J].AtmosphericEnvironment,2014,92:182-190.ZHOUGuangqiang,XUJianming,XIEYing,etal.Numericalairqualityforecastingovereasternchina:anoperationalapplicationofwrf-chem[J].AtmosphericEnvironment,2017,153:94-108.SELVINS,VINAYAKUMARR,GOPALAKRISHNANEA,etal.StockpricepredictionusingLSTM,RNNandCNN-slidingwindowmodel[C]∥2017InternationalConferenceonAdvancesinComputing,CommunicationsandInformatics(ICACCI).IEEE,2017.SHIS,ZHAOM,GUANJ,etal.Ahierarchicallstmmodelwithmultiplefeaturesforsentimentanalysisofsinaweibotexts[C]InternationalConferenceonAsianLanguageProcessing.IEEE,2017:379-382.HUY,SUNX,NIEX,etal.AnEnhancedLSTMforTrendFollowingofTimeSeries[J].IEEEAccess,2019,7:34020-34030.ZHANGQ,LIF,LONGF,etal.VehicleEmissionForecastingBasedonWaveletTransformandLongShort-TermMemoryNetwork[J].IEEEAccess,2018,6:56984-56994.WANGR,LIANGX,ZHUX,etal.AFeasibilityofRespirationPredictionBasedonDeepBi-LSTMforReal-TimeTumorTracking[J].IEEEAccess,2018,6:51262-51268.SAADW.Comparativestudyofstocktrendpredictionusingtimedelay,recurrentandprobabilisticneuralnetwork[J].IEEETransactionsonNeuralNetworks,1998,9(6):1456-70.LINS,RUNGERGC.GCRNN:Group-ConstrainedConvolu-tionalRecurrentNeuralNetwork[J].IEEETransactionsonNeuralNetworksandLearningSystems,2018,29(10):4709-4718.HOCHREITERS,SCHMIDHUBERJ.Longshort-termmemo-ry[J].NeuralComputation,1997,9(8):1735-1780.ZHANGQ,WANGH,DONGJ,etal.PredictionofSeaSurfaceTemperatureUsingLongShort-TermMemory[J].IEEEGeo-scienceandRemoteSensingLetters,2017,14(10):1745-1749.YANGY,DONGJ,SUNX,etal.ACFCC-LSTMModelforSeaSurfaceTemperaturePrediction[J].IEEEGeoscienceandRemoteSensingLetters,2018,15(2):207-211.KARIMF,MAJUMDARS,DARABIH,etal.LSTMFullyConvolutionalNetworksforTimeSeriesClassification[J].IEEEAccess,2017,6(99):1662-1669.

LIUF,CAIM,WANGL,etal.AnEnsembleModelBasedonAdaptiveNoiseReducerandOver-FittingPreventionLSTMforMultivariateTimeSeriesForecasting[J].IEEEAccess,2019,6:26102-26115.ZHANGS,WANGY,LIUM,etal.Data-basedLineTripFaultPredictioninPowerSystemsUsingLSTMNetworksandSVM[J].IEEEAccess,2017,6:1-1.CHOK,VANMERRIËNBOERB,GULCEHREC,etal.LearningphraserepresentationsusingRNNencoder-decoderforstatisticalmachinetranslation[J].arXiv:1406.1078,2014.CHENW,ZHANGY,YEOCK,etal.Stockmarketpredictionusingneuralnetworkthroughnewsononlinesocialnetworks[C]∥2017InternationalSmartCitiesConference(ISC2).IEEE,2017:1-6.SUNL,SUT,ZHOUS,etal.GMU:ANovelRNNNeuronandI