基于前馈神经网络的试验数据拟合实践

1、 基于前馈神经网络的试验数据拟合实践 秦子实Summary：在材料试验过程中，由于每组试验价格较为昂贵，且采集到的试验数据存在环境噪音，这种状况使得能够获得的数据较少，且数据存在一定的误差。因此，在处理试验结果时，需要一种能够通过少量数据拟合一定区间内所有试验变量对应结果的算法。该场景对算法的实时性要求较低，而对算法拟合结果要求较高，此外，由于试验数据可能存在的误差，对拟合算法的数据容错性也有较高要求。本文将采用全连接前馈神经网络，直接在试验原始数据上进行拟合，通过梯度下降算法迭代提高拟合效果，最终获得收敛的拟合结果。Key：前馈神经网络；全连接层；缩放指数线性单元；数据拟合：TP393 ：A

2、 ：1009-3044（2019）04-0174-021 概述现代材料试验为多场耦合类型，通常包含两个或两个以上的试验变量，而由于成本原因，每个试验件每组试验能够进行的测试次数有限（通常为5-6次），数据量较少。此外，试验采集到的数据会因为每次试验试验件状态、设备调试状态的细微变化而存在误差。这种误差在数据上的具体体现为，同一组试验变量的测试结果，在不同次试验下的试验结果略有不同，导致同一组变量出现多个测量值。因此，通常用于拟合多维数据的Gridfit一类算法并不能够完全适用于这种存在误差的环境。由于材料试验有一定的时间周期，对算法拟合的实时性要求较低，而对拟合过程的可视化以及拟合结果的准确性

3、要求较高。本文將使用基于全连接神经网络的线性模型，通过多轮梯度下降，对多维试验数据进行迭代拟合，在迭代过程中输出拟合过程值并进行可视化，在拟合完成时输出模型拟合结果。2 全连接前馈神经网络简介全连接前馈神经网络也被称作多层感知器，由全连接层线性堆叠而成。全连接层是神经网络算法中最早出现的计算结构之一，具有原理简单、易于实现、调试方便等优点，被广泛应用在各类神经网络计算架构中，通常被用在局部或全局的节点汇总及特征抽取等业务中。全连接前馈神经网络通常由一个输入层、若干隐藏层和一个输出层组成，输入层负责展开特征，隐藏层负责对数据进行复杂的非线性变换，输出层负责汇总特征。一般的，隐藏层层数越多，模型的

4、非线性能力越强，而隐藏层参数越多，模型能够拟合的结果越复杂。3 算法实现3.1 神经网络结构本文将使用可缩放指数型线性单元（scaled exponential linear units，下文简称selu）作为全连接前馈神经网络的激活函数，为神经网络引入自归一化特性，使学习过程更快收敛且更具鲁棒性1。与使用SELU的自归一化网络不同的是，本文要做的是尽可能地拟合试验数据。当遇到试验数据中因现实原因出现的一点多值情况时，模型尽量避免此类干扰，保证模型对数据的近似程度已经模型整体的平滑性。因此，本文使用的神经网络将去掉用于控制拟合水平的Alpha Dropout层1，直接通过selu的全连接神经网

5、络的线性堆叠来组织模型。模型损失函数采用传统的最小均方误差（mean squared error，下文简称mse），梯度下降算法采用默认参数的RMSprop，批梯度下降大小为每批10样本，训练集与验证集比值为9：1。3.2 神经网络实现后文将以一套由2个测试维度、429条测试点组成的试验测试数据集为例，说明拟合实现过程。本文使用的计算平台为TensorFlow，使用的神经网络实现及训练库为Keras，使用的数据预处理库为sklearn。实现一个由1个64参数的输入层、9个64参数隐藏层、1个输出层组成的前馈神经网络模型，并设置损失函数为mse、梯度下降算法为RMSprop的核心代码如下：拟合目

6、标完成时，即第100次迭代完成时的拟合状态，图7、图8中的蓝色网格所示：从数据的三维可视化中可以明显看出，模型计算出的蓝色网格对试验数据的红色曲线拟合效果良好，达到了预期的目的。5 结束语本文介绍了基于全连接前馈神经网络的多维试验数据拟合算法的原理及实现。该方法原理简单且易于实现，总体计算量较小，且具有较高的数据容错特性，可以针对试验数据的误差自动调整拟合结果。该方法有效地降低试验成本，提高了科研效率，是一种易于实践、效果明显的多维试验数据拟合算法。Reference：1 Klambauer， Gnter. Self-normalizing neural networksJ.Advances in Neural Information Processing Systems， 2017.【通联编辑：梁书】电脑知识与技术2019年4期电脑知识与技术的其它文章基于数据库和熵权法的海南沿海防护林部分指标的评价与分