毕业论文-基于深度神经网络的热轧合金钢性能预报算法研究

1、 MACROBUTTON AcceptAllChangesInDoc 基于深度神经网络的热轧合金钢性能预报算法研究摘 要：近年来，热轧产品在建筑、船舶、汽车、电子等工业领域得到广泛应用，这些关键领域都密切涉及到民生和公共安全，因此要求热轧产品必须具有良好的产品质量。用户对钢材品质要求越来越严格，尤其是热轧产品的力学性能，因此钢材的力学性能预报具有重要的意义。传统的产品性能检测会抽取少量样品来测量样品钢的力学性能，但这种方法需要花费大量的时间和人力。现有钢铁性能预测方法主要采用人工神经网络预测模型，但是随着钢铁热轧数据的爆炸式增长，这种模型已经不能满足用户越来越高的精度预测需求。本文提出了一种新

2、的基于深度学习的钢铁性能预测方法，并利用Dropout和Batch Normalization等技术优化模型，提高预测精度。我们采集了两个热轧厂5万多条真实生产数据，对网络模型进行了训练和测试，并和传统的ANN模型和SVM模型进行比较。实验结果表明，本文提出的深度神经网络方法精度更高，可以准确预测热轧产品的力学性能。关键词：深度神经网络；力学性能预测；支持向量机中图分类号： MACROBUTTON AcceptAllChangesShown 单击此处键入中图分类号 文献标识码：A 文章编号：DOI：10.11999/JEITResearch on Performance Prediction

3、of Hot Rolled Products Based on Deep LearningAbstract: In recent years, hot-rolled products have been widely used in the construction, shipbuilding, automotive, and electronics industries. These key areas are closely related to peoples livelihood and public safety. Therefore, hot-rolled products mus

4、t have good product quality. Users have increasingly stringent requirements on the quality of steel products, especially the mechanical properties. Therefore, the prediction of the mechanical properties of steel is of great significance. Traditional hot-rolled product quality inspection usually extr

5、acted a small sample to measure the mechanical properties of the sample steel, however, this method requires a great deal of time and manpower. Existing methods for prediction of steel properties mainly use artificial neural network prediction model. With the explosive growth of steel hot-rolled dat

6、a, this model can no longer satisfy users increasingly higher precision prediction needs. In this paper, a new method of predicting steel performance based on deep learning is proposed, and the prediction accuracy is improved by using Dropout and Batch Normalization techniques. We have collected mor

7、e than 50 thousand real production data from two hot rolling mills, trained and tested the network model, and compared them with the traditional ANN model and SVM model. The experimental results show that the deep neural network method proposed in this paper has higher precision and can accurately p

8、redict the mechanical properties of hot-rolled products. Key words: Deep neural network; Mechanical properties prediction; Support Vector Machines.收稿日期：-; 改回日期：-; 网络出版：-通信作者：张凯 基金项目：国家自然科学基金 (61472293)，湖北省教育厅研究项目(2016238)Foundation Items: The National Natural Science Foundation of China (Grant No. 6

9、1472293), Research Project of Hubei Provincial Department of Education (Grant No. 2016238).1引言近年来，热轧钢材已广泛应用于建筑，桥梁，管道，汽车，船舶，铁路，工程机械，压力容器等许多行业和领域。这些关键领域都密切涉及到民生和公共安全，要求热轧产品必须具有良好的产品质量，特别是抗拉强度、屈服强度和延伸率等力学性能。传统的热轧产品质量检验会随机抽取少量样品，测量这些样品钢的力学性能，以估算产品的平均机械性能。然而，这种抽样检验的方式测量热轧产品性能会花费大量的时间和人力。实际上，钢材的化学成分和热轧工艺参

10、数是影响热热轧产品质量的最直接因素。钢材在冶炼和热轧过程中，钢铁的内部会发生一系列的物理冶金学过程，轧件的微观组织会发生一系列复杂的变化，直接决定了钢铁本身的力学性能。因此，用化学成分和热轧工艺参数预测其力学性能具有重要的理论意义和应用价值。由于热轧生产是一个高实时性的动态工艺过程，受到各种随机因素的干扰，同时也包含了海量的工艺参数。因此，Irvine提出的理论数学模型预测方法基于很多近似的假设，仅适用于理想环境和理论分析。近年来，人工神经网络的提出和发展，给热轧产品性能预报提供了有效的技术工具，预测精度得到了极大的提高。然而，由于人工神经网络结构和学习算法的限制，对当前海量的实时工业生产数据

11、，已经无法有效的训练和学习，不能满足用户日益提高的精度预测需求。本文提出基于深度神经网络的热轧产品性能预报模型，利用多层感知机实现了从钢铁成分和热轧工艺到力学性能的预报模型。充分利用工业大数据，实现对深度神经网络的训练和性能预报精度的提升。利用两个热轧厂的50000多条热轧数据，以及Google的Tensorflow平台实现了提出的算法和模型。本文首先通过对比实验，证明了深度前馈神经网络对比与浅层神经网络和支持向量机在钢铁性能预测上的可行性和优越性，并获得了较好的精度提升。本文在分析了模型的基础上，结合实验中出现的过拟合等问题，使用Dropout，Batch Normalization等各种技

12、术对网络模型进行改进。实验结果验证了本文算法的有效性和可靠性，可有效提高热轧产品性能预测的精度。2热轧工艺及性能预报钢铁的化学成分和热处理工艺决定了热轧产品的力学性能，为了满足用户对钢的力学性能的需求，钢铁企业通过调整化学成分或改变热处理工艺来达到用户期望的力学性能。因此本文建立深度神经网络模型，通过大量的实测数据对网络进行训练和学习，实现钢材的力学性能的准确预测。2.1化学成分钢铁由铁矿石经过两级氧化还原反应精练而成，冶炼过程中需要添加碳、硅、锰、磷等化学元素来改善钢的性能。我们在两个不同的热轧厂共收集5万多条数据，包含17种化学成分。产品种类和规格覆盖Q235B、Q235C、Q235D、Q

13、345B、SPHC等数十项国家标准，其化学元素成分如表1所示。表1 热轧合金钢主要化学元素化学成分最大值(%)最小值(%)C (碳)0.00070.537Mn (锰)0.0881.953Si (硅)0.0010.459P (磷)0.0040.116S (硫)0.00050.025Nb (铌)00.09Ti (钛)0.00010.162Cr (铬)0.0081.106Al (铝)00.614Cu (铜)0.010.349Ni (镍)0.0010.346Mo (钼)00.344V (钒)0.0010.129N (氮)00.1905H (氢)00.0082B (硼)00.0031Als (酸溶铝)0

14、0.6092.2热轧生产工艺流程热轧生产流程主要包括加热、粗轧、精轧、层流冷却和卷取等。在热轧生产过程中，热轧合金钢的微观结构变化决定了钢的力学性能。预热过程中奥氏体晶粒的生长是钢铁冶炼过程的第一步1。然后，钢材经过粗轧和精轧，通过动态和静态再结晶使奥氏体微细化2。最后，钢板通过层流冷却系统连续冷却来精炼相变的铁素体和珠光体晶粒，这些晶粒的大小和体积分数决定了钢的力学性能3。因此，加热炉的温度、粗轧、精轧和卷取温度对钢的力学性能有重要影响4。热轧生产工艺过程如图1所示。图1 热轧生产工艺流程2.3力学性能板带力学性能是指在受力作用下显示出弹性和非弹性相关的一系列的应力应变关系，其中重要的指标主

15、要包括抗拉强度、屈服强度和延伸率等5。它们的大小表示钢材对抗任意作用力的大小，是评定钢材性能的重要依据。屈服点指材料开始塑性变形时的最大拉应力点，一旦外力超过材料可以承受的屈服极限，材料将发生永久变形，并且是不可逆的6。抗拉强度指材料在断裂和失效之前能承受的最大应力，其值越大，代表钢的性能越好7。伸长率是指材料受外力作用断裂时材料伸长的长度与原始尺寸的百分比，图2显示了三种力学性能之间的关系8。图2 力学性能关系图3基于深度神经网络的性能预报模型3.1深层神经网络结构模型基于全连接的深度感知机时是深度神经网络的常用模型9，我们选取三种力学性能之一的抗拉强度作为研究对象。网络输入层有21个神经元

16、，包括17个化学成分和4个热处理参数，输出层为抗拉强度，网络结构如图3所示。图3 热轧性能预报深度神经网络结构图网络中每一层的神经元由神经网络权值连接，数据通过隐层神经元自底向上从输入层传到输出层。隐层神经元的激活函数选择Relu函数10，与传统的Sigmoid激活函数相比，Relu函数更简单，可以有效降低深度神经网络的梯度消失问题，有效的提高模型精度并减少网络的训练时间。其函数方程定义如下： (1)其中w是权重矩阵，x是输入，b是偏置。3.2损失函数和网络训练损失函数可以评价预测数据和真实数据之间的差异，本文采用均方差作为损失函数11。均方差越小，预测值就越接近真实值。均方差函数可以采用梯度

17、下降算法进行网络优化，其计算公式如下： (2)其中是网络计算的真实值，是原始数据的测量值。由于均方差函数具有非负和连续的特点，我们可以利用误差反向传播算法调整网络权值，使得MSE最小化。为了加快损失函数的优化，我们选择了Adam(Adaptive moment estimation)算法代替传统的随机梯度下降算法(SGD)，实现目标函数的优化和网络权值的更新12。同时，为了保证算法的收敛，我们采用指数下降的方式调整学习率，其公式如下所示。 (3)其中，IniLR是初始的学习率，LR是每次迭代的实际学习率，DecayRate是学习率的下降率，GlobalStep用于衰减计算的全局步数，Decay

18、Step是衰减步数。3.3数据标准化处理数据标准化(归一化)处理是深度学习模型训练之前必不可少的一项操作13，由于不同维度的数据单元不同，例如化学成分C取值0.0007，0.537，而加热温度1207，1310，如表2所示。为了有效减少网络在训练过程中的振荡，我们对数据进行规范化处理以提高预测的准确性。样本数据的化学成分、温度和力学性能的数据范围如表2所示。表2 样本数据范围类型相关项最小值最大值化学成分(%)C0.00070.537Mn0.0881.953Si0.0010.459P0.0040.105S0.00050.025Cu0.0130.349Al00.565Als00.565Ni0.0

19、010.346Cr0.0081.106Ti0.00010.162Mo00.344V0.0010.129Nb00.09N00.1824H00.0082B00.0031温度()加热温度12071310粗轧温度9901130精轧温度778934卷取温度301714力学性能(Mpa)抗拉强度111900本文中使用的标准化方法定义如下： (4)为序列样本，为序列样本最小值，为序列样本最大值。是归一化后的值，其范围在0和1之间。3.4评价函数为了评估所提出的模型的有效性，我们使用均方误差（MSE）和平均绝对误差（MAE）14作为模型性能指标，其定义如下： (5) (6)其中是网络计算的真实值，是原始数据的

20、测量值。MSE对偏离较大的值给一个更大的惩罚值，可以评价数据的变化程度，MAE能更好地反映预测值误差的实际情况。我们用两个指标对一个模型进行综合评价，当MSE和MAE的值越小，说明预测模型描述实验数据具有更好的精度15。4仿真实验结果与分析4.1超参数选择及调优本文的算法模型基于Google的TensorFlow深度学习框架实现。为了确定网络的最佳结构，我们首先做了两个实验。第一组实验确定了网络的隐藏层层数，第二组实验确定了每层隐藏层的节点数。实验结果如表3所示： 表3 隐藏层层数选择隐藏层层数MSEMAE20.08980.235430.08470.212540.08260.209450.07

21、420.190360.07880.198270.08100.201780.08630.2145我们首先将每层隐藏单元的数量设置为60，固定其他超参数，确定网络的最优层数。从表3可以看出，当网络隐层层数为5时，MSE和MAE最小。在第一组实验中，我们选择了最佳隐藏层数。然后固定网络层数，并从第一层开始依次调整网络隐藏层节点数量。当选择第一个隐藏层中的节点数时，其它隐藏层中的节点数保持不变。然后我们以相同的方式依次选择其他层中最佳的节点数。最终得到网络的最佳结构是50-50-50-30-20。4.2添加Batch Normalization 为了有效地减少梯度爆炸和梯度消失，我们在每个隐藏层添加B

22、atch Normalization16，该算法能有效地提升网络的收敛速度，实验结果如图4所示。从图中可以看出，添加BN后，网络可以得到更优的结果。未添加BN添加BN未添加BN添加BN图4 添加BN和未添加BN对比实验4.3添加正则优化为了提高测试数据的准确性，我们使用Dropout17技术来防止网络过度拟合。实验结果如表4所示，本文最后设置Dropout的值为0.9，此时的网络相比之前未使用Dropout时精度有所提高。表4 随机概率取值设置DropoutMSEMAE0.11.0930.88420.20.53640.61180.30.35510.48790.40.28900.42680.50

23、.16240.30990.60.12630.27490.70.10910.24060.80.08160.21050.90.07260.18234.4实验结果比对为了更好地显示数据的拟合程度，我们对预测数据进行了可视化处理。实验结果如图5所示。横坐标是真实测量值，纵坐标是预测值，为了便于数据的观察，坐标轴单位为100Mpa。图5 深度神经网络真实值与预测值效果展示图为了客观地比较BP神经网络和深度前馈神经网络的实验结果，我们从10,20,30,40,50,60,70中选择BP神经网络的隐藏层节点个数。隐藏层的节点数为60时，MSE和MAE最小，分别为0.0912和0.2257。图6显示了BP神经

24、网络抗拉强度的预测图。图6 BP神经网络真实值与预测值效果展示图此外，我们还使用SVM算法18预测钢材的抗拉强度，并将其与前两组实验进行比较。实验过程中使用RBF19核函数。为了获得最好的预测结果，我们的实验调整了两个常用参数：C和G。根据实际经验，我们从0.1,1,10中选择C，参数的默认值G是1/k（K是特征维度），所以本文G的取值从0.05开始，逐渐增加G的值直到预测精度开始下降。当C = 10和G = 1时，MSE和MAE最小。预测效果图如图7所示。图7 SVM真实值与预测值效果展示图我们比较了本文提出的模型、BP神经网络和支持向量机（SVM）方法的预测精度，结果在表5中给出。 同时，

25、我们统计了三种模型的误差分布，如图8所示。由图8可知，BP神经网络约68数据的抗拉强度相对误差小于10，支持向量机(SVM)约71数据的抗拉强度相对误差小于10%。而本文提出的方法抗拉强度相对误差约74小于10。由实验结果可知，支持向量机的预测性能优于BP神经网络，而本文提出的方法优于SVM，验证了深度学习方法在钢铁性能预测领域的有效性和优越性。表5 三种模型最优实验结果对比表模型类型MSEMAE相对平均误差BP0.09120.22579.97%SVM0.08070.21468.43%DNN0.07260.18237.25%图8 抗拉强度误差分布对比图5结论本文提出了一种基于深度前馈神经网络的

26、热轧钢材力学性能预测方法，我们使用ReLU激活函数代替传统的Sigmoid激活函数，能有效提高网络的训练速度，消除梯度消失或梯度爆炸现象。同时，我们调整网络的深度和宽度后，得到最优的网络结构。通过加入Batch Normalization方法来提高网络的训练精度和收敛速度。通过Dropout技术，有效防止网络过拟合问题，提高测试数据的预测准确率。最后，我们比较了深度前馈神经网络、BP神经网络和支持向量机的实验结果。结果表明，本文提出的算法在钢铁力学性能预测领域效果更优。参 考 文 献1 秦建春, 张果, 王剑平,等. 带钢热轧过程厚度分配的仿真分析J. 钢铁研究, 2016, 44(3):17

27、-20.2 刘贵立, 张国英, 曾梅光,等 用人工神经网络模型研究微量元素对钢力学性能的影响J. 钢铁研究, 2000(1):48-50.3 谭文, 刘振宇, 吴迪,等. 热轧中厚板冲击功的神经网络预报模型J. 钢铁, 2007, 42(2):51-55.4 陈林根, 夏少军, 谢志辉,等. 钢铁冶金过程动态数学模型的研究进展J. 热科学与技术, 2014(2):95-125.5 Ghaisari J, Jannesari H, Vatani M. Artificial neural network predictors for mechanical properties of cold ro

28、lling productsM. Elsevier Science Ltd. 2012.6 Chou T C, Nieh T G, Mcadams S D, et al. Mechanical properties and microstructures of metal/ceramic microlaminates: Part II. A Mo/Al2O3 systemJ. Journal of Materials Research, 1992, 7(10):2774-2784.7 左秀荣, 姜茂发, 薛向欣,等. 人工神经网络在钢铁材料力学性能预测方面的应用J. 特殊钢, 2004, 25

29、(5):26-29.2017, 79:1-17.8 信自成, 李杰, 刘卫星,等. 基于BP神经网络钒钛烧结矿低温还原粉化性能预测J. 钢铁钒钛, 2017, 38(3):94-99.9 Polson N G, Sokolov V O. Deep learning for short-term traffic flow predictionJ. Transportation Research Part C Emerging Technologies,10 Huang C W, Chiang C T, Li Q. A study of deep learning networks on mobi

30、le traffic forecastingC/ IEEE, International Symposium on Personal, Indoor, and Mobile Radio Communications. IEEE, 2018:1-6.11 罗向龙, 焦琴琴, 牛力瑶,等. 基于深度学习的短时交通流预测J. 计算机应用研究, 2017, 34(1):91-93.12 Xu F, Lin Y, Huang J, et al. Big Data Driven Mobile Traffic Understanding and Forecasting: A Time Series ApproachJ. IEEE Transactions on Services Computing, 2016, 9(5):796-805.13 Weng Y, Zhao Y, Tang G, et al. Prediction of the mechanical properties of hot-rolled C-Mn steels by single index modelC/ International