神经网络讲义第7章.ppt

2020 3 25 1 第七章径向基网络BP网络在训练过程中需要对网络的所有权值和阈值进行修正 把它称之为全局逼近神经网络 全局逼近神经网络学习速度很慢 所以在一些实时性较强的场合 如实时控制 其应用受到限制 径向基网络是一种局部逼近网络 对于每个训练祥本 它只需要对少量的权值和阈值进行修正 因此训练速度快 2020 3 25 2 7 1径向基网络模型径向基函数 radialbasisfunction RBF 方法是在高维空间进行插值的一种技术 Bromhead和Love在1998年率先使用该技术 提出了神经网络学习的一种新手段 2020 3 25 3 径向基神经元模型径向基神经元模型如图7 1所示 输入神经元图7 1径向基神经元模型 2020 3 25 4 其输出表达式为式中 radbas为径向基函数 一般为高斯函数 其光滑性好 径向对称 形式简单 有称之为欧几里得距离 2020 3 25 5 径向基函数的图形和符号如图7 2所示 图7 2径向基传输函数的传输特性和符号 2020 3 25 6 2 径向基神经网络模型径向基神经网络同样是一种前馈反向传播网络 它有两个网络层 隐层为径向基层 输出为一线性层 如图7 3所示 输入向量径向基层线性层图7 3径向基函数网络模型 2020 3 25 7 网络的输出为 2020 3 25 8 式中 表示取矩阵向量主对角线上的元素组成的列向量 和 分别表示数量乘方或数量乘积 即矩阵中各对应元素的乘方或乘积 2020 3 25 9 下面讨论径向基网络的工作特性 从图7 2所示的径向基传输函数可以看出 只有在距离为0时 其输出为1 而在距离为0 833时 输出仅为0 5 假如给定一个输入向量 径向基神经元将根据各输入向量与每个神经元权值的距离输出一个值 那些与神经元权值相差很远 距离大 的输入向量产生的输出值趋于0 这些很小的输出值对线性神经元输出的影响可以忽略 相反 那些与神经元权值相差较小 距离小 的输入向量产生的输出值趋于1 从而激活第二层线性神经元的输出权值 2020 3 25 10 换句话说 径向基网络只对那些靠近 距离接近于0的中央位置 输入权值向量的输入产生响应 由于隐层对输入信号的响应 只在函数的中央位置产生较大的输出 即局部响应 所以该网络具有很好的局部逼近能力 2020 3 25 11 可以从两方面理解径向基网络的工作原理 1 从函数逼近的观点看 若把网络看成是对未知函数的逼近 则任何函数都可以表示成一组基函数的加权和 在径向基网络中 相当于选择各隐层神经元的传输函数 使之构成一组基函数逼近未知函数 2020 3 25 12 2 从模式识别的观点看 总可以将低维空间非线性可分的问题映射到高维空间 使其在高维空间线性可分 在径向基网络中 隐层的神经元数目一般比标准的BP网络的要多 构成高维的隐单元空间 同时 隐层神经元的传输函数为非线性函数 从而完成从输入空间到隐单元空间的非线性变换 只要隐层神经元的数目足够多 就可以使输入模式在隐层的高维输出空间线性可分 2020 3 25 13 在径向基网络中 输出层为线性层 完成对隐层空间模式的线性分类 即提供从隐单元空间到输出空间的一种线性变换 2020 3 25 14 7 2径向基网络的创建与学习过程从图7 3所示径向基网络的结构上看 当隐层和输出层神经元的权值与阈值确定后 网络的输出也就确定了 所以径向基网络的学习 仍然是各网络层权值和阈值的修正过程 因为径向基网络设计函数newrbe和newrb在创建径向基网络的过程中 就以不同的方式完成了权值和阈值的选取和修正 所以径向基网络没有专门的训练和学习函数 下面分别予以说明 2020 3 25 15 1 newrbe创建径向基网络的过程以newrbe创建径向基网络的步骤 1 在隐含层 径向基神经元数目等于输入样本数 其权值等于输入向量的转置 2020 3 25 16 所有径向基神经元的阈值为式中 spread为径向基函数的扩展系数 默认值为1 0 合理选择spread是很重要的 spread的值越大 其输出结果越光滑 但太大的spread值会导致数值计算上的困难 若在设计网络时 出现 Rankdeficient 警告时 应考虑减小spread的值 重新进行设计 2020 3 25 17 2 在输出层 以径向基神经元的输出作为线性网络层神经元的输入 确定线性层神经元的权值和阈值 使之满足 解如下方程 可以看出 上述过程只要进行一次就可以得到一个零误差的径向基网络 所以newrbe创建径向基网络的速度是非常快的 但由于其径向基神经元数等于输入样本数 当输入向量数目很大时 将导致网络的规模也很大 所以更有效的方法是采用newrb创建径向基网络 2020 3 25 18 2 newrb创建径向基网络的过程当以newrb创建径向基网络时 开始是没有径向基神经元的 可通过以下步骤 逐渐增加径向神经元的数目 1 以所有的输入样本对网络进行仿真 2 找到误差最大的一个输入样本 3 增加一个径向基神经元 其权值等于该样本输入向量的转置 阈值 spread的选择与newrbe一样 2020 3 25 19 4 以径向基神经元输出的点积作为线性网络层神经元的输入 重新设计线性网络层 使其误差最小 5 当均方误差未达到规定的误差性能指标 且神经元的数目未达到规定的上限值时 重复以上步骤 直至网络的均方误差达到规定的误差性能指标 或神经元的数目达到规定的上限值时为止 2020 3 25 20 可以着出 创建径向基网络时 newrb是逐渐增加径向基神经元数的 所以可以获得比newrbe更小规模的径向基网络 关于径向基网络设计函数newrbe和newrb的译解可参见附录 2020 3 25 21 7 3其他径向基神经网络1 泛化回归神经网络泛化回归神经网络GRNN generalizedregressionNN 常用于函数逼近 其网络结构如图7 4所示 它具有一个径向基网络层和一个特殊的线性网络层 2020 3 25 22 输入向量径向基层线性层图7 4GRNN模型 2020 3 25 23 图中 标有nprod的方框实现的归一化点乘运算 以权值函数normprod完成 其结果的点乘 并以所有元素的和进行归一化 最后作为线性神经元的加权输入 2020 3 25 24 GRNN的第一层与newrbe创建的RBF一样 其径向基神经元数目等于输入样本数 其权值等于输入向量的转置 阈值为 其第二层神经元数也等于输入样本数 其 目标向量为权值等于目标向量为无阈值向量 同样 不需要训练 函数newgrnn的详解可参见附录 2020 3 25 25 2 概率神经网络概率神经网络PNN probabilisticneuralnetworks 常用于模式分类 其网络结构如图7 5所示 它具有一个径向基网络层和一个竞争型网络层 输入向量径向基层竞争层图7 5PNN模型 2020 3 25 26 PNN的第一层与newrbe创建的RBF一样 其径向基神经元数目等于输入样本数 其权值等于输入向量的转置 阈值为 第一层将各种模式以与权值向量的距离加权表示与训练样本的相似程度 2020 3 25 27 PNN的第二层神经元数等于分类模式数 其权值为目标向量 无阈值向量 第二层神经元的传输函数为竞争型传输函数 它选择那些距离加权值最大 最可能的训练样本模式 的 作为网络的输出 即对输入向量最可能的模式分类结果 函数newpnn的详解可参见附录 2020 3 25 28 需要提醒的是 第二层的目标向量T表示的各种模式和训练样本顺序的关系 其行号表示模式分类号 其列号表示训练样本序号 位置 如 T 2 3 1表示第三个训练样本的模式分类号为2 若T 2 3 0 则表示2类模式不是第三个训练样本对应的模式分类号 newpnn是采用T中元素值为1的元素 可以用ind2vec来实现 2020 3 25 29 例如 p 000111 1 1 1 01 101 101 1 tc 122111121 t ind2vec tc 则 t 1 1 1 2 2 1 2 8 1 1 9 1 2020 3 25 30 同样 sim对PNN进行仿真的结果 也只取其元素值中为1的元素 表示的是模式分类结果和待测样本之间的关系 行号表示模式分类号 列号表示待测样本序号 例如 net newpnn p t p 001 1 11 y sim net p 2020 3 25 31 结果为 y 2 1 1 2 2 1 1 3 1为了清晰的表示分类结果 可以用函数vec2indyc vec2ind y 则 yc 221 2020 3 25 32 1 用于曲线拟合的RBF网络径向基网络在完成函数逼近任务时花费的时间最短 所用的神经元个数也较少 例7 1为了比较径向基网络与BP网络的结果 仍以例6 3进行曲线拟合为例 重新列出系统输出y与输入x的部分对应关系 如表7 1所示 设计一RBF神经网络 完成的曲线拟合 2020 3 25 33 表7 1函数的部分对应关系 2020 3 25 34 为了比较径向基网络和BP网络设计所花费的时间 在创建和训练BP网络的MATLAB程序中加人两条语句 进行计时 重写程序如下 例5 3创建和训练BP网络的MATLAB程序 Example53Trclearall 2020 3 25 35 p 1 0 1 0 9 t 0 832 0 423 0 0240 3441 2823 4564 023 2322 1021 5040 2481 2422 3443 2622 0521 6841 0222 2243 0221 984 tl clock 计时开始net newff 11 151 tansig purelin traingdx learngdm 2020 3 25 36 net trainParam epochs 2500 net trainParam goal 0 001 net trainparam show 10 net trainParam lr 0 05 net train net p t datat etime clock tl 计算设计网络所用的时间saveE53netnet 2020 3 25 37 由于本例的BP网络将随机初始化权值和阈值 所以每次运行上述程序的结果将不相同 不同的机型也将影响网络设计的时间 其中的一种运行结果表明 BP网络从定义网络到训练完成所需的时间为32 46s 采用径向基网络 网络设计的MATLAB程序如下 2020 3 25 38 例7 1设计RBF神经网络的MATLAB程序 Example53Trclearall 定义输入向量和目标向量p 1 0 1 0 9 t 0 832 0 423 0 0240 3441 2823 4564 023 2322 1021 5040 2481 2422 3443 2622 0521 6841 0222 2243 0221 984 设计径向基网络 2020 3 25 39 t1 clock 计时开始 net newrbe p t 0 1 net newrb p t 0 1 0 1 20 5 datat etime clock t1 计算设计网络所用的时间 存储设计好的神经网络savenet61net 2020 3 25 40 运行结果为NEWRB Neurons 0SSE 22 3653NEWRB Neurons 5SSE 4 99188NEWRB Neurons 10SSE 0 696357NEWRB Neurons 15SSE 0 0742263datat 0 74100网络设计花费的时间为0 741s 比BP网络训练所需的时间32 46s要少得多 训练的误差性能曲线如图7 6所示 2020 3 25 41 图7 6例7 1网络设计的误差性能曲线 2020 3 25 42 例7 1RBF神经网络的MATLAB仿真程序 Example6lsimclearall 绘制训练样本图形p 1 0 1 0 9 t 0 832 0 423 0 0240 3441 2823 4564 023 2322 1021 5040 2481 2422 3443 2622 0521 6841 0222 2243 0221 984 holdonplot p t 2020 3 25 43 网络仿真loadnet61net i 1 0 05 0 9 r sim net i 绘制函数拟合曲线plot i r holdoff运行结果如图7 7所示 实线为得到的拟合曲线 为训练样本 2020 3 25 44 图7 7例7 1的仿真结果读者不妨以不同的径向基扩展常数Spread设计该网络 看看运行的结果有什么不同 2020 3 25 45 2 用于模式分类的RBF网络例7 2以PNN完成图7 8所示的两类模式的分类 图7 8例7 2待分类模式解 将正方形规定为第一类模式 三角形规定为第二类模式 以 p1 p2 代表各模式样本的位置 形成相应的输