泛朦第三系-神经系PPT课件讲义

泛朦第三系—神经系

(NeuralNetwork)类神经网络导论类神经网络（artificialneuralnetwork）或译为人工神经网络：模仿生物神经网络的信息处理系统。精确定义

一种计算系统：硬件、软件。大量简单的相连人工神经元：模仿生物神经网络的能力。取得信息：外界环境、人工神经元。输出结果：外界环境其他人工神经元。背景（1）1957年（计算机发展的初期）：第一种类神经网络模式—

感知机（Perceptron）提出。1960年代中期没落。没落因素1.本身理论无法突破（EX：XOR问题）。2.数字计算机、人工智能的吸引。3.当时相关技术无法实现「神经计算机」。背景（2）80年代中期：类神经网络的研究复兴，而在短短数年之内蔚为风潮。原因：如下4点。复兴原因（1）类神经网络在理论的建立与模式的开发上有了突破，最明显的突破包括：霍普菲尔网络（Hopfieldneuralnetwork，HNN）倒传递网络（Back-propagationnetwork）。复兴原因（2）解决计算机科学与人工智能的难题，（EX：样本识别、机器学习）。电子、光学等技术进展：提供实现「神经计算机」可能性（EX：基于VLSI的神经计算机与光神经计算机的诞生）。复兴原因（3）从现代生物学、认知学、心里学对生物神经网络的了解，提供了发展新的类神经网络模式的启示。

生物神经元模型生物神经网络：由巨量的神经细胞，或称神经元所组成，神经细胞的形状和一般的细胞有很大的不同。神经细胞神经核：神经细胞呈核状的处理机构。轴索（神经轴）：神经细胞成轴索状的输送机构。树突（神经树）：神经细胞成树枝状的输出入机构。突触（神经节）：神经细胞神经树上乘点状的连结机构。神经核（soma）神经轴突（axon）神经突触（synapses）（synapses）神经树突（dendrites）(dendrites）人工神经元模型（1）类神经网络：由许多的人工神经细胞（artificialneuron）所组成。又称类神经元、人工神经元、处理单元（processingelement）。每一个处理单元的输出以扇形送出，成为其它许多处理单元的输入。人工神经元模型（2）其中Yj=模仿生物神经元模型的输出讯号。处理单元输出值与输入值的关系式：一般用输入值的加权乘积和之函数来表示人工神经元模型（3）f＝模仿生物神经元模型的转移函数（transferfunction）。Wij＝模仿生物神经元模型的神经链结强度，又称链结加权值。人工神经元模型（4）Xi＝模仿生物神经元模型的输入讯号（inputsignal）。θ＝模仿生物神经元模型的阀值（thresholdvalue）。人工神经元模型（5）链结（connection）：介于处理单元间的讯号传递路径。每一个链结上有一个数值的加权值Wij，用以表示第i处理单元对第j处理单元之影响程度。人工神经元模型（6）一个类神经网络:由许多个人工神经元所组成，并且可以组成不同的网络模式（networkmodel）或网络典范（networkparadigm）。类神经网络模型(1)倒传递网络（back-propagationnetwork，BPN）:应用最普遍。BPN:包含许多层(含若干个处单元)类神经网络模型(2)输入层单元:输入讯息。输出层单元：输出讯息。隐藏层单元：提供类神经网络表现处理单元间的交互作用与问题的内在结构的能力。网络分类（1）目前著名类神经网络不下数十种，主要分为四类1.监督式学习网络：从问题领域中取得训练范例（有输入变量值，也有输出变量），并从中学习输入变量与输出变量内在对映规则，以应用于新的案例（只有输入变量值，而需推论输出变量值的应用）如BP。网络分类（2）2.无监督式学习网络：从问题领域中取得训练范例（只有输入变量值），并从中学习范例的内在聚类规则，以应用于新的案例。3.联想式学习网络：从问题领域中取得训练范例（状态变量值），并从中学习范例的内在记忆规则，以应用于新的案例，如霍普菲尔网络。网络分类（2）4.最适化应用网络：对一问题决定其设计变量值，使其在满足设计变量下，使设计目标达最佳状态的应用，如退火神经网络。类神经网络运作（1）类神经网络的运作过程分成两个阶段：学习过程：从范例学习，以调整网络连节加权值的过程。回想过程：网络依回想算法，以输入数据决定网络输出数据的过程。类神经网络运作（2）1.训练范例：藉此调整网络链接加权值。训练范例型式依所使用的网络模式之不同而异。2.测试范例：用以评估网络学习成果所使用的范例。（1.2）差异：前者只用回想算法得到推论输出值，并与目标输出值比较，以评估网络学习精度。类神经网络运作（3）3.待推案例：网络学习过程完后，可用网络推论待推案例的结果。（2.3）差异：前者没有目标输出变量向量优点高速计算能力高容记忆能力学习能力容错能力应用监督式学习应用：分类、预测。非监督式学习应用：聚类。联想式学习应用：噪声过滤、数据撷取。优化问题应用：设计、排程。基本架构（1）处理单元：类神经网络基本单位作用可用三个函数来说明：

1）集成函数

2）作用函数

3）转换函数基本架构（2）层：若干个具相同作用的处理单元集合成。层的三种作用：

1）正规化输出

2）竞争化输出

3）竞争化学习

基本架构（3）网络：若干个具不同作用的层集合成网络网路两种作用：

1）学习过程

2）回想过程C：实数型常数。单调(monotonic)递增、平滑且可微分的函数。采用：倒传递类神经网络、连续型霍普菲尔网络，都是此种活化函数。倒传递网络倒传递类神网络模式是目前类神网络学习模式中最具代表性，应用最普遍的模式。倒传递类神经网络属于监督式学习网络，因而适合诊断、预测等应用。‧‧‧‧‧‧‧‧‧‧‧‧‧‧‧输出向量输入向量输出层：表示输出变数隐藏层：表示输入处理单元间的交互影响输出层：表示输入变数范例文章：

IntegrationofGrayPredictionandFuzzyModelforImprovingBack-propagationLearningAlgorithmR.J.Kuo,C.Y.Chiu,andC.C.HsiehFuzzy2000题目简述基本观念：利用灰预测和模糊理论来改善BP的训练速度。模拟：XOR范例设定：初始学习率：0.3，学习次数1000次。由MSE（meansquareerror）来判定收敛效。解法（灰色）建立GM（1,1）模型的灰微分方程式目的：预测error（PE）andchangeoferror(PCE)。用PE和PCE根据FUZZY规则，调整训练参数。解法（类神经）各层间初始权重：随机数。开始时训练误差大：给大学习率使系统收敛快。当训练接近优化：给小学习率以免震荡。训练速度调整是根据PE和P