智能控制理论及应用 课件 第10章 神经网络的应用及控制

主要内容10.1神经网络应用技巧10.2神经网络用于控制10.2.1单神经元PID自适应控制器算法10.2.2神经网络前馈学习控制10.1神经网络应用技巧神经网络的训练流程第10章10.1神经网络应用技巧（1）数据选择神经网络学习的来源为样本数据，因此数据的质量和数量是决定神经网络效果的根本。训练神经网络的数据必须覆盖神经网络可能会用到的输入空间。尽量采用标准化操作自行设计数据收集的实验，以保证实验的设置能够遍历使用神经网络时的所有情况；如果无法控制数据收集的过程，则尽量使用所有收集到的数据，待训练完成后通过分析训练好的网络，判断训练数据是否充分，结果是否可靠？1.训练前的准备第10章10.1神经网络应用技巧（2）数据预处理：数据归一化特征选择或提取输入/目标变量的编码缺失数据处理数据集的划分1.训练前的准备第10章10.1神经网络应用技巧数据归一化：最大最小归一化均值方差归一化MATLAB函数：mapminmaxMATLAB函数：normalize1.训练前的准备第10章10.1神经网络应用技巧1.训练前的准备特征选择从原始特征集中选择出有效的特征子集，是一种包含的关系分为Filter型、Wrapper型和Embedded型三大类特征提取通过属性间的关系，如组合不同的特征得到新的特征代表性算法：主成分分析PCA、独立成分分析ICA、线性判别分析LDA、典型相关分析CCA以及各种核方法第10章10.1神经网络应用技巧1.训练前的准备输出编码（举例：四个类的模式识别问题）用四个数值{1,2,3,4}来表示目标输出；用二进制编码来表示四种类型，即{(0,0),(0,1),(1,0),(1,1)}；使用四位输出{(1,0,0,0),(0,1,0,0),(0,0,1,0),(0,0,0,1)}进行编码。匹配对应的激励函数第10章10.1神经网络应用技巧1.训练前的准备缺失数据处理丢弃法；补全法：利用已有数据补全缺失数据；如果某输入变量中存在缺失数据，可以用该变量的平均值或邻近值代替缺失数据，并用额外的标记对其进行标注；如果目标中的某些数据存在缺失，则可以修改性能指标，去掉与缺失的目标输出值相关联的误差信息。第10章10.1神经网络应用技巧1.训练前的准备数据集划分训练集、验证集、测试集；通常的比例为：70%、15%、15%。注意：这些子集应该能够代表整个数据集，即三个子集覆盖一样的输入空间，因此最简单的数据划分方法是每个子集从整个数据集中随机选择。第10章10.1神经网络应用技巧（3）网络类型及结构选择：拟合/回归：目标变量为连续值隐层采用Tan-Sigmoid，输出层采用线性神经元的多层感知器。径向基网络：隐层使用高斯激励函数，输出使用线性激励函数。分类：目标变量为离散量多层感知器用于模式识别问题时，输出层通常使用Sigmoid或者Softmax函数。径向基函数也可以用于模式识别。1.训练前的准备第10章10.1神经网络应用技巧对于多层网络，权重和偏差通常设置为较小的随机值。如果输入归一化到-1到1之间，则均匀分布在-0.5到0.5之间。如果初始化权值和偏置量为0，初始条件可能会落在性能曲面的鞍点上；如果初始权值很大，由于Sigmoid函数趋于饱和，初始条件可能落在性能曲面的平坦部分。2.网络训练权值初始化第10章10.1神经网络应用技巧对于多层网络，通常使用基于梯度或Jacobian的算法；对于有几百个权值的多层网络，Levenberg-Marquardt算法运算最快；当权值数量达到上千或更多时，Levenberg-Marquardt算法就不如共轭梯度方法效率高。2.网络训练训练算法选择第10章10.1神经网络应用技巧性能指标2.网络训练均方误差带正则项的均方误差交叉熵第10章10.1神经网络应用技巧终止条件设置最大迭代次数：如果达到最大迭代次数时，权值依然没有收敛，可以使用上一次训练得到的权值初始化网络并重新开始训练。性能指标梯度的范数（通常采用误差平方和）为零或为一很小值时停止训练。2.网络训练第10章10.1神经网络应用技巧（1）拟合问题MSE与Epochs3.训练结果分析第10章10.1神经网络应用技巧（1）拟合问题3.训练结果分析ty线性回归网络输出与对应的目标输出做回归计算两者之间的相关系数R（希望R接近1）第10章10.1神经网络应用技巧（1）分类问题3.训练结果分析预测类实际类121TPFN2FPTNTP:

TruePositive将正类预测为正类FN:

FalseNegative将正类预测为负类FP:

FalsePositive将负类预测为正类TN:

TrueNegative将负类预测为负类第10章10.1神经网络应用技巧混淆矩阵预测类实际类121TPFN2FPTN3.训练结果分析第10章10.1神经网络应用技巧10.2神经网络用于控制神经网络在控制系统中的应用（1）在反馈控制系统中直接充当控制器；（2）在基于精确模型的控制系统中充当被控对象的模型；（3）在传统控制系统中起优化作用，如优化PID参数；（4）与其他智能控制方法或优化方法融合使用，如模糊控制、遗传算法等。第10章10.2神经网络用于控制10.2.1单神经元PID自适应控制器

第10章10.2.1单神经元PID自适应控制器单神经元PID自适应控制器第10章10.2.1单神经元PID自适应控制器单神经元PID自适应控制器第10章10.2.1单神经元PID自适应控制器10.2.2神经网络前馈学习控制第10章10.2