智能控制 课件 第5、6章 基于经典机器学习方法的智能控制、神经元与神经网络

《智能控制》第五章基于经典机器学习方法的智能控制主要内容机器学习的基本概念5.15.25.3决策树支持向量机5.5经典机器学习在控制领域的应用5.4主成成分分析

机器学习(ML)有监督学习无监督学习强化学习聚类5.1—机器学习的基本概念机器学习的概念机器学习的分类逻辑回归降维决策树支持向量机人工神经网络数据机器学习模型指标预测/性能提升数据分析图像处理自然语言处理控制工程领域……5.2—决策树决策树的概念决策树是一种简单有效的分类方法。基于样本数据，递归选择合适特征条件作为分支节点，不断提高子分支的“纯度”特征在于，能够将复杂的决策过程分解为一系列更加简单的步骤优点在于，结果直观，可解释性更强结点(Node)分支(Branch)根结点(RootNode)内部结点(InternalNode)叶结点(LeafNode)父结点(ParentNode)子结点(ChildNode)5.2—决策树决策树的构建—生成过程

递归过程开始选择最优特征a根据a对数据进行分类查看结点中数据类别是否同类是否满足停止条件设为叶结点完成是否是否停止条件当前结点内的数据样本均属于同一个类别，无需进一步分割能够作为划分标准的特征已经全部使用，无法选出新的划分特征当前结点内的数据样本在所有特征上具有相同的值当前结点内的数据样本集为空，无法再做划分5.2—决策树

决策树的构建—特征选择5.2—决策树目的：对正在构造的或是已经生成的决策树进行简化，降低过拟合的风险。种类：预剪枝（pre-pruning）和后剪枝（pro-pruning）决策树的构建—剪枝预剪枝：在构建决策树过程中，根据一定的条件，提前停止剪枝过程。举例：训练数据T中抽出一部分组成验证集Test，在对样本进行划分时，在Test上验证划分前与划分后的精度，若精度有提升，则执行划分操作，否则不执行划分操作，当前结点修改为叶节点。后剪枝：后剪枝则是指在生成了一棵完整的决策树后，再对分支进行删减。举例：从决策树的叶结点开始递归地向上回溯，将某个叶结点的父结点修改为叶结点，考察在验证集上分类精度的变化。若修改为叶结点后分类精度上升，则意味着当前的分支造成了决策树泛化能力的下降，应当被剪除。类别：二分类算法

算法核心：划分超平面

面对问题：线性划分/非线性划分难点：寻找合适的超平面，使模型具备良好的鲁棒性和泛化能力，乃至处理非线性划分分类思想依据：最大化间隔的分类思想5.3—支持向量机支持向量机的概念正类反类分离超平面

5.3—支持向量机线性可分问题与硬间隔支持向量机正类反类分离超平面

问题特点：两个类别线性可分，存在一个明确的分隔间隔。处在间隔边界上的样本点叫做“支持向量”

支持向量几何间隔

5.3—支持向量机求解超平面及其对偶问题

5.3—支持向量机求解超平面及其对偶问题

5.3—支持向量机线性问题与软间隔支持向量机

正类反类不可分点

5.3—支持向量机非线性可分问题与核方法低维，线性不可分映射到高维，线性可分维度灾难：实际应用中，数据维度较高，但是可能只有部分特征与学习任务强相关，其余特征冗余。同时，高维数据还会在机器学习算法中带来巨大的计算负担。降维：通过某种数学变换，将数据特征由原本的高维空间投射到低维空间。通常用在机器学习和图像处理过程中来降低高维数据的维度，同时提取并保留初始数据的主要特征，便于模型的建立。5.4—主成成分分析主成成分分析的基本思想—降维满足要求：

最近重构性：样本集中所有点，重构后

的点距离原来的点的误差之和最小。

最大可分性：样本在低维空间的投影尽可能分开。5.4—主成成分分析理论推导

矩阵分解（SingularValueDecomposition）

5.4—主成成分分析方法步骤背景：石油，钢铁，化工，建材等行业产能过剩，环境风险，安全风险，急需改革信息技术的发展，数据大量冗余，新要求和新方向终端生产指标预测模型在工业化和信息化加速融合的背景下，利用数据驱动方法及人工智能技术，充分利用工业现场的海量数据进行终端生产指标预测，对于生产过程的操作条件优化、提高流程制造企业的智能化程度和实现全流程的整体优化具有重要的理论意义和应用价值。5.5—经典机器学习在控制领域的应用流程工业生产控制系统流程工业生产过程中，由于其具有工艺流程长、物理化学性质多变、噪声干扰大等生产特性，采集到的生产过程数据也呈现出独特的数据特征。了解、分析这些流程工业数据特有的特征，对于生产控制方案的设计具有重要的意义。5.5—经典机器学习在控制领域的应用流程工业生产控制系统的分析时滞特征和时空相关性原因：由工业对象本身的特点引起的时滞，化验过程和在线分析仪引起的时滞

方法：ARMA,ARMIA,HMM,RNN等标签样本有限性原因：过程变量由传感器实时得到，而生产指标常常需要耗时的化学检测，导致标签相对较少。方法：半监督学习等工况波动下的数据分布时变原因：工艺输入原料的波动、工艺积垢、机械部件的磨损、催化剂失活、外部环境的变化等方法：自适应策略，如即时学习，滑动窗等噪声和质量数据小样本过程的不确定性原因：在数据采集、传输与存储等环节均会受到不确定的噪声干扰，以及模型的认知不确定性。方法：数据预处理，构造鲁棒性强的模型等优势：数据驱动方法不需要复杂的物理化学背景知识，基于历史数据建立变量的相关关系模型来实现预测任务，因其较好的通用性，成为建立生产指标预测模型的一种有效方法。建立步骤：数据预处理：用于剔除噪声及离群点的影响，提升模型泛化性能。输入变量选择：提高建模效率，减少模型复杂度及计算负担。特征提取：尽可能保留主要信息，剔除冗余信息，集中数据特征。建立预测模型：根据任务需求，建立合适的预测模型，预测终端生产指标。常用建模方法：PCA,ICA,PLS,KPCA,KPLS,SVM等5.5—经典机器学习在控制领域的应用基于统计学习的终端生产指标预测模型高炉炉缸特点：应用于生铁冶炼，高能耗，多相反应物，高温高压，反应复杂，影响产品质量，热状态难以直接测量。5.5—经典机器学习在控制领域的应用基于支持向量机的高炉炉缸热状态控制方法热状态评价指标

：铁水含硅量与高炉炉缸的温度近似呈线性关系，炉缸温度越高，则铁水含硅量越高，故用其作为指标。输出标签：+1和-1，分别代表铁水含硅量增加和减少。输入变量：在输入变量的选择上，与生产原料、燃料相关的变量鼓风压力、进料速度以及与出料成分密切相关的变量如硫含量均被包括在内。数据增强：考虑预测含硅量的趋势变化，所以还需考虑是采用原始数据（Originldata，表中记作OD）还是微分数据（Differentiateddata，表中记作DD）。输入变量：5.5—经典机器学习在控制领域的应用基于支持向量机的高炉炉缸热状态控制方法符号变量名单位符号变量名单位最新硅含量wt%FTT炉膛顶部温度℃S硫含量wt%SB炉渣碱度wt%BV鼓风量m^3/minCO炉顶煤气一氧化碳含量wt%BT鼓风温度℃炉顶煤气二氧化碳含量wt%BP鼓风压力kPa炉顶煤气氢气含量wt%FTP炉膛顶部压力kPaBI成分碱度wt%FS送料速度mm/hCLI配料焦炭量wt%GP透气性m^3/min∙kPaSI冶炼强度t/m^3∙dPC煤粉喷吹tonCR焦比kg/tOE富氧率wt%UC利用系数t/m^3∙d表5-1数据增强：5.5—经典机器学习在控制领域的应用基于支持向量机的高炉炉缸热状态控制方法数据类型SBVBTBPFTPFSGPPCOEDD-0.24-0.45-0.20-0.07-0.08-0.09-0.150.06-0.01-0.13OD-0.33-0.23-0.08-0.05-0.01-0.01-0.120.02-0.03-0.03数据类型FTTSBCOBICLISICRUCDD0.060.02-0.13-0.10-0.050.40-0.04-0.150.02-0.06OD0.02-0.01-0.07-0.070.020.14-0.03-0.140.02-0.10

表5-2

5.5—经典机器学习在控制领域的应用基于支持向量机的高炉炉缸热状态控制方法变量筛选（通过计算F-score）：根据下表，即可通过设定F-score阈值等方法确定最终的输入变量5.5—经典机器学习在控制领域的应用基于支持向量机的高炉炉缸热状态控制方法变量F-score变量F-score0.27550.00710.21720.00510.12630.00390.04130.00270.02260.00260.01830.00240.01810.00070.01540.0006UC0.01220.00040.0104PC0.0001表5-3

5.5—经典机器学习在控制领域的应用基于支持向量机的高炉炉缸热状态控制方法丙烯酸工艺介绍：主要原材料是丙烯和空气。丙烯在催化剂的催化作用下，首先和氧气反应生成丙烯醛，而后再进行第二步氧化反应，最终生成丙烯酸。关键变量指标

：经过第一步氧化反应后丙烯醛的转化率，对于提高丙烯酸最终生成率有重要意义。但是由于技术的限制，很难实时获得丙烯醛的转化率5.5—经典机器学习在控制领域的应用基于主成成分分析的丙烯醛软测量建模方法流程说明：丙烯醛转化为丙烯酸的反应发生在第二步氧化过程的第二个反应器（R-102）中，图5-11中展示了丙烯第二步氧化工艺流程。丙烯经过第一步氧化制得丙烯醛后，需补充进一步氧化所需要的空气，丙烯醛和循环废弃、空气在进料混合器（M-103）中混合，进入二段氧化反应器（R-102），在催化剂的作用下转化为丙烯酸。丙烯第二步氧化变量说明

：5.5—经典机器学习在控制领域的应用基于主成成分分析的丙烯醛软测量建模方法编号标签号变量描述编号标签号变量描述1FIC1011空气到M‐103控制流量8TI1083H‐103出口温度2FIC1023K‐102出口流量9TI1084H‐103入口温度3TI1085M‐103内部温度10TI1052R‐102底部温度4TI1057AM‐103出口温度11TI1054P‐104出口温度5TI1057BE‐106进口温度12PI1021AR‐102顶部压力6TI1051R‐102最高温度13PI1021BR‐102底部压力7TI1082H‐103入口温度14TIC1053E‐105控制温度

5.5—经典机器学习在控制领域的应用基于主成成分分析的丙烯醛软测量建模方法主成成分分析得到结果展示

：5.5—经典机器学习在控制领域的应用基于主成成分分析的丙烯醛软测量建模方法主成分编号特征值方差百分比（%）累计方差百分比（%）主成分编号特征值方差百分比（%）累计方差百分比（%）15.137936.7036.7080.45883.2893.7522.662619.0255.7290.30412.1795.9231.934513.8269.54100.24341.7497.6641.10597.9077.43110.13520.9798.6350.77005.5082.93120.10170.7299.3560.58704.2087.13130.06520.4799.8270.46823.3490.47140.02560.18100《智能控制》2023年5月第六章神经元与神经网络主要内容神经网络的基本概念6.16.26.3前馈神经网络反馈神经网络6.4模糊神经网络6.5深度学习课程内容—神经网络的基本概念神经网络的基本概念神经元网络的研究已有30多年的历史：20世纪40年代初，心理学家Mcculloch和数学家Pitts提出了形式神经元的数学模型，并研究了基于神经元模型几个基本元件互相连接的潜在功能。1958年，Rosenblatt首先引入了感知器（Perceptron）概念并提出了构造感知器的结构。1969年，Minsky和Papert对感知器为代表的网络作了严格的数学分析，指出了几个模型的局限性。由于结论相当悲观，此后神经网络的研究在相当长时间内发展缓慢。20世纪70年代，Grossberg根据生物学和生理学的证明，他提出具有新特征的几种非线性动态系统的结构，使神经元网络的研究又有了突破性的进展。1986年，以Rumelthard和Mcclelland为首的PDP（ParalellDistributedProcessing）小组发表了一系列的研究结果和应用，神经网络的研究进入全盛时期。课程内容—神经网络的基本概念神经网络的重要特征和性质非线性：神经元网络在理论上可以趋近任何非线性函数，人工神经元网络比其他方法建模更经济。平行分布处理：神经元网络具有高度平行的结构，比常规方法有更大程度的容错能力。神经元网络的基本单元结构简单，并行连接的处理速度很快。硬件实现：它不仅可以平行实现，而且许多制造厂家已经用专用的VLSL硬件来制作神经元网络，网络能实现的规模也明显增大。学习和自适应性：利用系统过去的数据记录，可对网络进行训练。受适当训练的网络有能力泛化，也即当输入出现训练中未提供的数据时，网络也有能力进行辨识。神经元网络也可以在线训练。数据融合：网络可以同时对定性和定量的数据进行操作。在这方面，网络正好是传统工程系统（定量数据）和人工智能领域（符号数据）信息处理技术之间的桥梁。多变量系统：神经元网络自然地处理多输入信号并具有多输出，适合于多变量系统。课程内容—神经网络的基本概念神经元网络的基本结构图6-1表示了在中央神经系统中，典型神经细胞的主要元件，包括：细胞体、轴突、树突、突触、膜电位。图6-1神经元的构造

图6-2神经元模型

课程内容—神经网络的基本概念神经元网络的模型图6-3神经元模型框图从控制工程角度来看，为了采用控制领域中相同的符号和描述方法，可以把神经元网络改为图6-3所示形式。该模型由三部分组成：加权的加法器线性动态单输入单输出（SISO）系统静态非线性函数（1）可微和不可微（2）类脉冲和类阶跃（3）正函数和零均函数课程内容—神经网络的基本概念常用的非线性函数的数学表示及其形状:课程内容—神经网络的基本概念神经元的连结方式单层的静态网络：神经元的结合可以按一组代数方程来描述：

多层神经元网络：

动态网络：在网络中引入反馈，动态方程可以表示为

课程内容—前馈神经网络感知器感知器是美国心里学家Rosenblatt于1958年提出的，它是最基本的但具有学习功能的层状结构（Layednetwork）。最初的感知器由三层即S（Sensory）层、A（Association）层和R（Response）层组成。图6-4三层的感知器图6-5三层的感知器S层和A层之间的耦合是固定的，只有A层和R层（即输出层）只有一个输出节点的感知器，它相当于单个神经元，简化为如图6-5所示。Minsky和Papert曾对感知器的分类能力作了严格的评价，并指出了它的局限性，例如它连最常用的异或（XOR）逻辑运算都无法实现。课程内容—前馈神经网络感知器感知器权值的学习是通过给定的导前信号（即希望输出）按下式进行的

如果在感知器的A层和R层加上一层或多层隐单元，则构成的多层感知器具有很强的处理功能，事实上我们有以下的结论：定理6-1假定隐层的节点可以根据需要自由设置，那么三层（不包括S层）的阈值网络可以实现任意的二值逻辑函数。课程内容—前馈神经网络BP网络BP网络（BackPropagationNN）是一单向传播的度层前向网络，其结构如图6-6所示。

图6-6BP网络

课程内容—前馈神经网络GMDH网络GMDH（TheGroupMethodofDataHandling）模型是由Ivakhnenko（1971）为预报海洋河流中的鱼群而提出的模型。它成功地应用于非线性系统的建模和控制中，如超音速飞机的控制系统，电力系统的负荷预测等。又称多项式网络。图6-7GDMH的典型网络结构图6-8GMDH网络的处理单元图6-7所示的是一典型的GDMH网络，它由4个输入和单输出构成。输入层节点只是传递输入信号到中间隐层的节点，每一隐层节点和输出节点正好有两个输入，因此单输出节点的前一层肯定只有两个隐层节点。

课程内容—前馈神经网络RBF网络RBF（RadialBasisFunctiion）网络由三层组成，其结构如图6-10所示：图6-10RBF网络输入层节点：传递输入信号到隐层隐层节点（RBF节点）：由辐射状作用函数构成，最常用的时高斯核函数输出层节点：隐层节点输出的线性组合

与BP网络的区别：作用函数不同课程内容—反馈神经网络CG网络模型在反馈网络中，输入信号决定反馈系统的初始状态，然后系统经过一系列状态转移后，逐渐收敛于平衡状态。这样的平衡状态就是反馈网络经计算后的输出结果，由此可见，稳定性是反馈网络中最重要的问题之一。Cohen和Grossberg提出的反馈网络模型可用下述一组非线性微分方程描述

关于CG网络模型的稳定性，我们有以下的结果：

定理6-4的证明可通过Lyapunov函数来完成。课程内容—反馈神经网络盒中脑（BSB）模型BSB(Brain-State-in-a-Box)模型由下列离散方程描述对应的连续时间模型为

定义

课程内容—反馈神经网络Hopfield网络模型Hopfield提出的网络模型可用下列非线性微分方程描述，上述模型还可用一电路来表示（如图6-12所示）

图6-12Hopfield电路

定义Hopfield网络的能量函数为

（6-24）（6-25）课程内容—反馈神经网络Hopfield网络模型

对于理想放大器，等式（6-25）可简化为

或对应等式(6-24)的连续时间的Hopfield网络模型，离散的的Hopfield网络模型描述如下：

（6-30）对于网络的每个节点课程内容—反馈神经网络回归BP网络回归BP网络可由非线性动态方程描述

（6-33）

网络的权矩阵可通过一辅助网络来修正，即

（6-39）课程内容—反馈神经网络Boltzmann网络G.E.Hinton和T.J.Sejnowski借助统计物理学的方法，对具有对称权矩阵的随机网络引进了一般的学习方法。由于这种随机网络的状态服从于统计学的Boltzmann分布，故被称为Boltzmann机。

（6-40）网络由可见单元和隐单元构成，每个单元只取两种状态：+1和-1。输出值取+1的概率：输出值取-1的概率：

（6-41）

课程内容—反馈神经网络Boltzmann网络

（6-41）

采用梯度下降法得

权值修正方程为

课程内容—模糊神经网络模糊神经网络将模糊逻辑与神经网络适当地结合起来，吸取两者的长处，则可组成比单独的神经网络系统或单独的模糊系统性能更好的系统。神经网络模糊逻辑模糊神经网络不适于表达基于规则的知识训练时不能很好地利用经验知识适合于表达模糊或定性的知识缺乏自学习和自适应能力课程内容—模糊神经网络基于标准模型的模糊神经网络一种是模糊规则的后件为输出量的某一模糊集合，如NB，PB等。另一种是模糊规则的后件为输入语言变量的函数。图6-13基于标准模型的模糊系统原理结构图由于该方法是Takagi和Sugeno首先提出来的，因此通常称它为模糊系统的Takagi-Sugeno模型。模糊模型的表示主要有两种：模糊系统的标准模型

课程内容—模糊神经网络

输出量总的模糊集合为

若采用加权平均的清晰化方法，则可求得输出的清晰化量为

其中课程内容—模糊神经网络图6-14基于标准模型的模糊神经网络结构模糊神经网络结构如图6-14所示模糊神经网络的结构

课程内容—模糊神经网络学习算法

图6-15单个神经元结点的基本结构课程内容—模糊神经网络下面具体给出它的每一层的结点函数：第一层第二层第三层第四层第五层或者设取误差代价函数为

课程内容—模糊神经网络

最后可给出参数调整的学习算法

课程内容—模糊神经网络例6-1设有如下的二维非线性函数

图6-17模糊神经网络的误差学习曲线图6-18模糊神经网络输入输出的三维图形课程内容—模糊神经网络基于Takagi-Sugenno模型的模糊神经网络Takagi-Sugenno模型

模糊系统的输出量为每条规则的输出量的加权平均，即

课程内容—模糊神经网络模糊神经网络的结构该网络由前件网络和后件网络两部分组成，前件网络用来匹配模糊规则的前件，后件网络用来产生模糊规则的后件，如图6-18所示。图6-18基于Takagi-Sugeno模型的模糊神经网络结构

课程内容—模糊神经网络学习算法

图6-18基于Takagi-Sugeno模型的模糊神经网络简化结构课程内容—模糊神经网络

课程内容—深度学习深度学习源于人工神经网络的研究1943年，心理学家WarrenMcculloch和数理逻辑学家WalterPitts在合作的论文中提出并给出了人工神经网络的概念及人工神神经元的数学模型，从而开创了人类神经网络研究的时代。1957年，FrankRosenblatt在NewYorkTimes上发表文章“Electronic‘Brain’TeachesItself”，首次提出感知机（Perceptron）。1982年，美国加州理工学院的物理学家JamesL.McCelland研究小组发表的《并行分布处理》，重新激起了人们对ANN的研究兴趣。文中对反向传播算法进行了详尽的分析。2006年，加拿大多伦多大学教授GeoffreyHinton在世界顶级学术期刊“Science”上发表的一篇论文提出了深度学习以及深度神经网络模型训练方法的改进，打破了BP神经网络发展的瓶颈，揭开了深度学习的序幕。……课程内容—深度学习深度学习基本概念机器学习（MachineLearning）监督学习：分类，针对已有的训练样本；无监督学习：没有任何训练样本，需要直接对数据进行建模；半监督学习：训练的时候有一部分是有标签的而有一部分是没有的；强化学习：试错学习，智能体要以不断与环境进行交互，通过试错来获得最佳策略。表示学习（RepresentationLearning）表示学习希望能从数据中自动地学到从数据的原始形式到数据的表示之间的映射深度学习（DeepLearning）通过组合低层特征形成更加抽象的高层表示属性类别或特征课程内容—深度学习深度神经网络（DeepNeuralNetworks，DNN）深度神经网络目前的成功取决于三大推动因素，包括大数据、计算能力和算法创新。激活函数（Activationfunctions）是神经网络能解决非线性问题关键，具有代表性的激活函数有许