基于Nadam优化器的全连接神经网络在水泥3 d及28 d抗压强度预测中的应用实践

水泥抗压强度值是衡量水泥质量的一个重要指标，也是确定水泥标号的一个主要依据，在实际的生产过程中起到重要的作用，它是一个典型的非线性、多变量、不确定、多时滞的复杂系统。目前，国内外学者对水泥抗压强度预测进行了多方面的研究，崔运美通过线性回归分析及非线性回归分析建立了1d抗压强度和28d抗压强度模型；张大鹏等通过多元回归分析方法建立28d抗压强度模型；林远煌通过使用BP神经网络建立了水泥配料各组分掺入量与28d抗压强度的模型。由于该系统的非线性、多变量、多时滞等特性，导致传统的预测方法准确性较差，难以在实际生产过程中普遍推广和应用。近些年来一些研究者将人工智能算法应用到了水泥强度预测方面，取得了一定的效果。随着深度学习技术近些年的快速发展，在非线性回归分析中得到了较好的效果，针对以上水泥抗压强度预测存在的问题，本文基于TensorFlow深度学习框架，采用Python编程语言，使用Nadam优化器的全连接神经网络深度学习算法，实现了对水泥3d抗压强度和28d抗压强度的预测。1、TensorFlow及Keras深度学习框架TensorFlow是Google开源的基于数据流图的机器学习框架，支持Python和C++语言。广泛应用在图像分类、物体检测、模型预测等领域。Keras是基于TensorFlow和Theano的深度学习库，包括由Python编写而成的高级神经网络API，使用Keras可以快速实现对TensorFlow的再次封装，大幅减少纯粹使用TensorFlow实现深度学习的代码量。本文中的环境包括Anaconda及Pycharm，在Anaconda中配置了Python3.7虚拟环境供Pycharm使用，TensorFlow版本为2.3.0。Pycharm是由JetBrains打造的一款PythonIDE，本文采用Pycharm2020.3，其环境设置见图1。图1Python虚拟环境2、特征参数选取及数据预处理水泥强度的影响因素较多，其主要影响因素有熟料的质量、SO3含量、混合材的掺入量及粉磨细度等。熟料的矿物组成及其结构决定了熟料的质量，对水泥强度的增长起决定性作用，水泥28d强度基本依赖于C3S的含量，C3S含量高早期强度增长率高，在28d时已基本发挥出最高强度的绝大部分；C2S主要影响水泥后期强度；C3A主要对1d、3d等早期强度影响大；C4AF对水泥强度无较大的影响。因此，合理、稳定的矿物组成是确保水泥强度及其增长率的重要因素。水泥中SO3含量主要来源于石膏，其含量的变化影响硅酸盐水泥的水化，尤其是C3A的早期水化。混合材的掺入量对水泥性能有一定的影响，采用烧失量取代石灰石掺入量作为特征较直观。粉磨细度对水泥各龄期强度有一定的影响，粉磨越细、颗粒级配越窄，水泥水化反应速度越快，强度越高，尤其对早期强度的影响最为显著。样本数据包括某厂12个月759组P·O42.5数据，部分数据见表1。表1样本原始数据模型选取细度、比表面积、初凝、终凝、烧失量、CaO、SO3、1d抗压强度共计8个参数作为输入特征参数，3d抗压强度及28d抗压强度分别作为3d及28d强度预测神经网络输出特征进行模型辨识。数据预处理主要包括误差处理和数据变换，由于样本数据有不同的工程单位，且在数值上相差很大，直接使用这些未经过数据变换（归一化）的原始数据容易引起计算误差增大和计算的不确定，影响学习速度及精度，为了加快神经网络的学习速度和模型精度，样本数据必须经过归一化处理才能作为训练样本输入。归一化使用sklearn的MinMaxScaler函数进行[0，1]区间的归一。需要重点说明数据归一化在深度学习中在实践过程中发现十分关键，直接影响模型精度，不可忽视。计算公式如下：3、神经网络模型训练及预测Momentum（动量）算法是计算梯度的指数加权平均数，并利用该值来更新参数值，可有效解决局部最优问题（如鞍点问题）。RMSProp（RootMeanSquareProp）算法是在对梯度进行指数加权平均的基础上，引入平方和平方根，有助于减少抵达最小值路径上的摆动，并允许使用一个更大的学习率，从而加快算法学习速度。Adam是一种可以替代传统随机梯度下降过程的一阶优化算法，它能基于训练数据迭代地更新神经网络权重，可以看作是修正后的Momentum+RMSProp算法，相对传统的SGD随机梯度下降优化器，Adam对超参数的鲁棒性更好。Nadam类似于带有Nesterov动量项的Adam。公式如下：一般而言，在想使用带动量的RMSprop，或者Adam的地方，大多可以使用Nadam取得更好的效果。

全连接神经网络包括输入层、隐含层及输出层，具备前向传播计算损失及反向传播更新参数的特性，其结构图如图2所示。图2全连接神经网络结构图全连接神经网络具有前向传播与反向传播性能，前向传播每层经过线性计算和激活函数计算网络输出，反向传播采用优化算法进行模型参数更新，相对于BP网络采用梯度下降（SGD）算法进行模型参数更新带来的梯度爆炸或消失（即在梯度函数上出现的以指数级递增或者递减的情况）等问题，本文采用Relu激活函数及Nadam优化算法可有效解决上述问题。基于Nadam优化器的水泥强度预测全连接神经网络模型包括一个输入层（8节点）、隐含层1（256个节点）、BN层、隐含层2（128个节点）、BN层、隐含层3（128个节点）、DropOut（128个节点）、输出层（1个节点）。隐含层使用Relu作为激活函数，输出层使用Linear作为激活函数，模型损失函数采用mse（均方误差），学习率设置为0.001，迭代次数设置为5 000。将数据集的90%用于训练，10%用于测试。训练结果见图3。图3模型训练结果3d抗压强度训练集数据预测曲线如图4所示。图4基于Nadam优化器的训练集数据3d强度预测曲线3d抗压强度测试集数据预测曲线如图5所示。图5基于Nadam优化器的测试集数据3d强度预测曲线模型的损失（均方误差）分别为：训练集=0.000 59，测试集=0.048。测试集数据预测绝对误差在0.017~2.14之间，测试集数据预测相对误差在0.061%~7.47%之间。28d抗压强度训练集数据预测曲线如图6所示。图6基于Nadam优化器的训练集数据28d强度预测曲线28d抗压强度测试集数据预测曲线如图7所示。图7基于Nadam优化器的测试集数据28d强度预测曲线模型的损失（均方误差）分别为：训练集=0.000 73，测试集=0.048。测试集数据预测绝对误差在0.02~1.62之间，测试集数据预测相对误差在0.04%~3.57%之间。采用SGD随机梯度优化器的28d抗压强度预测模型训练及测试结果见图8及图9。图8基于SGD优化器的训练集数据28d强度预测曲线图9基于SGD优化器的测试集数据28d强度预测曲线Nadam与SGD优化器28d强度预测模型对比见表2，由于训练集模型均方误差分别为0.000 73及0.021，可见Nadam模型精度明显优于SGD模型。表2Nadam与SGD优化器28d强度预测模型数据对比4、结