人工神经网络课件

2024-2-51人工神經網路

ArtificialNeuralNetworks2024-2-52主要內容第一章：引論智能的概念、智能系統的特點及其描述基本模型，物理符號系統與連接主義的觀點及其比較；人工神經網路的特點、發展歷史。

2024-2-53主要內容第二章

人工神經網路基礎本章在介紹了基本神經元後，將概要介紹人工神經網路的一般特性。主要包括，生物神經網路模型，人工神經元模型與典型的激勵函數；人工神經網路的基本拓撲特性，存儲類型（CAM──LTM，AM──STM）及映象，Supervised訓練與Unsupervised訓練。2024-2-54主要內容第三章

感知器感知器與人工神經網路的早期發展；單層網能解決線性可分問題，而無法解決線形不可分問題，要想解決這一問題，必須引入多層網；Hebb學習律，Delta規則，感知器的訓練演算法。實驗：實現一個感知器。

2024-2-55主要內容第四章

向後傳播BP（Backpropagation）網路的構成及其訓練過程；隱藏層權調整方法的直觀分析，BP訓練演算法中使用的Delta規則（最速下降法）的理論推導；演算法的收斂速度及其改進討論；BP網路中的幾個重要問題。實驗：實現BP演算法。

2024-2-56主要內容第五章

對傳網生物神經系統與異構網的引入；對傳網的網路結構，Kohonen層與Grossberg層的正常運行，對傳網的輸入向量的預處理，Kohonen層的訓練演算法及其權矩陣的初始化方法；Grossberg層的訓練；完整的對傳網。實驗：實現基本的對傳網。

2024-2-57主要內容第六章

統計方法統計方法是為了解決局部極小點問題而引入的，統計網路的基本訓練演算法，模擬退火演算法與收斂分析，Cauchy訓練，人工熱處理與臨界溫度在訓練中的使用，BP演算法與Cauchy訓練相結合。實驗：實現模擬退火演算法。

2024-2-58主要內容第七章迴圈網路迴圈網路的組織，穩定性分析；相聯存儲；統計Hopfield網與Boltzmann機；Hopfield網用於解決TSP問題。BAM(BidirectionalAssociativeMemory)用於實現雙聯存儲；基本雙聯存儲網路的結構及訓練；其他的幾種相聯存儲網路。實驗：實現一個Hopfield網。

2024-2-59主要內容第八章

自適應共振理論人腦的穩定性與可塑性問題；ART模型的總體結構與分塊描述；比較層與識別層之間的兩個聯接矩陣的初始化，識別過程與比較過程，查找的實現；訓練討論。

2024-2-510第1章

引言主要內容：智能與人工智慧；ANN的特點；歷史回顧與展望重點：智能的本質；ANN是一個非線性大規模並行處理系統難點：對智能的刻畫

2024-2-511第1章

引言1.1人工神經網路的提出1.2人工神經網路的特點1.3歷史回顧2024-2-512第1章

引言人類對人工智慧的研究可以分成兩種方式對應著兩種不同的技術：傳統的人工智慧技術——心理的角度模擬基於人工神經網路的技術——生理的角度模擬2024-2-5131.1人工神經網路的提出

人工神經網路（ArtificialNeuralNetworks，簡記作ANN），是對人類大腦系統的一階特性的一種描述。簡單地講，它是一個數學模型，可以用電子線路來實現，也可以用電腦程式來模擬，是人工智慧研究的一種方法。

2024-2-5141.1人工神經網路的提出1.1.1智能與人工智慧

一、

智能的含義智能是個體有目的的行為，合理的思維，以及有效的、適應環境的綜合能力。

智能是個體認識客觀事物和運用知識解決問題的能力。

人類個體的智能是一種綜合能力。2024-2-5151.1人工神經網路的提出智能可以包含8個方面感知與認識客觀事物、客觀世界和自我的能力感知是智能的基礎——最基本的能力

通過學習取得經驗與積累知識的能力這是人類在世界中能夠不斷發展的最基本能力。理解知識，運用知識和經驗分析、解決問題的能力這一能力可以算作是智能的高級形式。是人類對世界進行適當的改造，推動社會不斷發展的基本能力。2024-2-5161.1人工神經網路的提出聯想、推理、判斷、決策語言的能力這是智能的高級形式的又一方面。預測和認識“主動”和“被動”之分。聯想、推理、判斷、決策的能力是“主動”的基礎。運用進行抽象、概括的能力上述這5種能力，被認為是人類智能最為基本的能力

2024-2-5171.1人工神經網路的提出作為5種能力綜合表現形式的3種能力發現、發明、創造、創新的能力即時、迅速、合理地應付複雜環境的能力預測、洞察事物發展、變化的能力

2024-2-5181.1人工神經網路的提出二、人工智慧人工智慧：研究如何使類似電腦這樣的設備去模擬人類的這些能力。研究人工智慧的目的增加人類探索世界，推動社會前進的能力進一步認識自己三大學術流派符號主義（或叫做符號/邏輯主義）學派聯接主義（或者叫做PDP）學派進化主義（或者叫做行動/回應）學派2024-2-5191.1人工神經網路的提出1.1.2物理符號系統

人腦的反映形式化

現實資訊數據

物理系統物理符號系統

表現智能2024-2-5201.1人工神經網路的提出Newell和Simon假說：一個物理系統表現智能行為的充要條件是它有一個物理符號系統概念：物理符號系統需要有一組稱為符號的實體組成，它們都是物理模型，可以在另一類稱為符號結構的實體中作為成分出現，以構成更高級別的系統2024-2-5211.1人工神經網路的提出困難：抽象——捨棄一些特性，同時保留一些特性形式化處理——用物理符號及相應規則表達物理系統的存在和運行。局限：對全局性判斷、模糊資訊處理、多粒度的視覺資訊處理等是非常困難的。2024-2-5221.1人工神經網路的提出1.1.3聯接主義觀點

核心：智能的本質是聯接機制。

神經網路是一個由大量簡單的處理單元組成的高度複雜的大規模非線性自適應系統

ANN力求從四個方面去模擬人腦的智能行為物理結構

計算模擬

存儲與操作

訓練

2024-2-5231.1人工神經網路的提出1.1.4兩種模型的比較

心理過程邏輯思維高級形式（思維的表像）

生理過程

形象思維

低級形式（思維的根本）

仿生

人工神經網路聯結主義觀點物理符號系統2024-2-5241.1人工神經網路的提出物理符號系統和人工神經網路系統的差別

專案物理符號系統人工神經網路處理方式邏輯運算模擬運算執行方式串行並行動作離散連續存儲局部集中全局分佈2024-2-5251.1人工神經網路的提出兩種人工智慧技術的比較專案傳統的AI技術

ANN技術

基本實現方式

串行處理；由程式實現控制

並行處理；對樣本數據進行多目標學習；通過人工神經元之間的相互作用實現控制

基本開發方法

設計規則、框架、程式；用樣本數據進行調試（由人根據已知的環境去構造一個模型）

定義人工神經網路的結構原型，通過樣本數據，依據基本的學習演算法完成學習——自动从样本数据中抽取内涵（自动适应应用环境）

適應領域

精確計算：符號處理，數值計算非精確計算：模擬處理，感覺，大規模數據並行處理模擬對象

左腦（邏輯思維）右腦（形象思維）2024-2-5261.2人工神經網路的特點資訊的分佈表示運算的全局並行和局部操作處理的非線性

2024-2-5271.2.1人工神經網路的概念1、定義

1）Hecht—Nielsen（1988年）人工神經網路是一個並行、分佈處理結構，它由處理單元及其稱為聯接的無向訊號通道互連而成。這些處理單元（PE—ProcessingElement）具有局部記憶體，並可以完成局部操作。每個處理單元有一個單一的輸出聯接，這個輸出可以根據需要被分枝成希望個數的許多並行聯接，且這些並行聯接都輸出相同的信號，即相應處理單元的信號，信號的大小不因分支的多少而變化。2024-2-5281.2.1人工神經網路的概念（1）Hecht—Nielsen（1988年）（續）處理單元的輸出信號可以是任何需要的數學模型，每個處理單元中進行的操作必須是完全局部的。也就是說，它必須僅僅依賴於經過輸入聯接到達處理單元的所有輸入信號的當前值和存儲在處理單元局部記憶體中的值。2024-2-5291.2.1人工神經網路的概念強調：

①

並行、分佈處理結構；②一個處理單元的輸出可以被任意分枝，且大小不變；③輸出信號可以是任意的數學模型；④處理單元完全的局部操作

2024-2-5301.2.1人工神經網路的概念（2）Rumellhart，McClelland，Hinton的PDP1）

一組處理單元（PE或AN）；2）

處理單元的啟動狀態（ai）；3）

每個處理單元的輸出函數（fi）；4）

處理單元之間的聯接模式；5）

傳遞規則（∑wijoi）；6）

把處理單元的輸入及當前狀態結合起來產生啟動值的啟動規則（Fi）；7）

通過經驗修改聯接強度的學習規則；8）

系統運行的環境（樣本集合）。

2024-2-5311.2.1人工神經網路的概念（3）Simpson（1987年）人工神經網路是一個非線性的有向圖，圖中含有可以通過改變權大小來存放模式的加權邊，並且可以從不完整的或未知的輸入找到模式。

2024-2-5321.2.1人工神經網路的概念2、關鍵點（1）

資訊的分佈表示（2）

運算的全局並行與局部操作（3）

處理的非線性特徵3、對大腦基本特徵的模擬1）

形式上：神經元及其聯接；BN對AN2）

表現特徵：資訊的存儲與處理2024-2-5331.2.1人工神經網路的概念4、別名人工神經系統（ANS）神經網路（NN）自適應系統（AdaptiveSystems）、自適應網（AdaptiveNetworks）聯接模型（Connectionism）神經電腦（Neurocomputer）2024-2-5341.2.2學習（Learning）能力人工神經網路可以根據所在的環境去改變它的行為自相聯的網路異相聯的網路：它在接受樣本集合A時，可以抽取集合A中輸入數據與輸出數據之間的映射關係。——“抽象”功能。不同的人工神經網路模型，有不同的學習/訓練演算法2024-2-5351.2.3基本特徵的自動提取

由於其運算的不精確性，表現成“去噪音、容殘缺”的能力，利用這種不精確性，比較自然地實現模式的自動分類。普化（Generalization）能力與抽象能力

2024-2-5361.2.4資訊的分佈存放資訊的分佈存提供容錯功能由於資訊被分佈存放在幾乎整個網路中，所以，當其中的某一個點或者某幾個點被破壞時，資訊仍然可以被存取。系統在受到局部損傷時還可以正常工作。並不是說可以任意地對完成學習的網路進行修改。也正是由於資訊的分佈存放，對一類網來說，當它完成學習後，如果再讓它學習新的東西，這時就會破壞原來已學會的東西。

2024-2-5371.2.5適應性(Applicability)問題

擅長兩個方面：對大量的數據進行分類，並且只有較少的幾種情況；必須學習一個複雜的非線性映射。目前應用：人們主要將其用於語音、視覺、知識處理、輔助決策等方面。在數據壓縮、模式匹配、系統建模、模糊控制、求組合優化問題的最佳解的近似解（不是最佳近似解）等方面也有較好的應用。

2024-2-5381.3歷史回顧

1.3.1萌芽期（20世紀40年代）人工神經網路的研究最早可以追溯到人類開始研究自己的智能的時期，到1949年止。1943年，心理學家McCulloch和數學家Pitts建立起了著名的閾值加權和模型，簡稱為M-P模型。發表於數學生物物理學會刊《BulletinofMethematicalBiophysics》1949年，心理學家D.O.Hebb提出神經元之間突觸聯繫是可變的假說——Hebb學習律。

2024-2-5391.3.2第一高潮期（1950~1968）

以MarvinMinsky，FrankRosenblatt，BernardWidrow等為代表人物，代表作是單級感知器（Perceptron）。可用電子線路模擬。人們樂觀地認為幾乎已經找到了智能的關鍵。許多部門都開始大批地投入此項研究，希望儘快佔領制高點。

2024-2-5401.3.3反思期（1969~1982）

M.L.Minsky和S.Papert，《Perceptron》，MITPress，1969年

異或”運算不可表示

二十世紀70年代和80年代早期的研究結果

認識規律：認識——實踐——再認識

2024-2-5411.3.4第二高潮期（1983~1990）

1982年，J.Hopfield提出迴圈網路用Lyapunov函數作為網路性能判定的能量函數，建立ANN穩定性的判別依據闡明了ANN與動力學的關係用非線性動力學的方法來研究ANN的特性指出資訊被存放在網路中神經元的聯接上

2024-2-5421.3.4第二高潮期（1983~1990）2）1984年，

J.Hopfield設計研製了後來被人們稱為Hopfield網的電路。較好地解決了著名的TSP問題，找到了最佳解的近似解，引起了較大的轟動。3）1985年，UCSD的Hinton、Sejnowsky、Rumelhart等人所在的並行分佈處理（PDP）小組的研究者在Hopfield網路中引入了隨機機制，提出所謂的Boltzmann機。

2024-2-5431.3.4第二高潮期（1983~1990）4）1986年，並行分佈處理小組的Rumelhart等研究者重新獨立地提出多層網路的學習演算法——BP演算法，較好地解決了多層網路的學習問題。（Paker1982和Werbos1974年）國內首屆神經網路大會是1990年12月在北京舉行的。

2024-2-5441.3.5再認識與應用研究期（1991~）

問題：1）應用面還不夠寬2）結果不夠精確3）存在可信度的問題

2024-2-5451.3.5再認識與應用研究期（1991~）

研究：1）開發現有模型的應用，並在應用中根據實際運行情況對模型、演算法加以改造，以提高網路的訓練速度和運行的準確度。2）充分發揮兩種技術各自的優勢是一個有效方法3）希望在理論上尋找新的突破，建立新的專用/通用模型和演算法。4）進一步對生物神經系統進行研究，不斷地豐富對人腦的認識。

2024-2-546第2章人工神經網路基礎主要內容：BN與AN；拓撲結構；存儲；訓練重點：AN；拓撲結構；訓練難點：訓練2024-2-547第2章人工神經網路基礎2.1生物神經網2.2人工神經元2.3人工神經網路的拓撲特性2.4存儲與映射2.5人工神經網路的訓練2024-2-5482.1生物神經網1、構成胞體(Soma)枝蔓（Dendrite）胞體(Soma)

軸突（Axon）突觸（Synapse）2、工作過程2024-2-5492.1生物神經網3、六個基本特徵：1）神經元及其聯接；2）神經元之間的聯接強度決定信號傳遞的強弱；3）神經元之間的聯接強度是可以隨訓練改變的；4）信號可以是起刺激作用的，也可以是起抑制作用的；5）一個神經元接受的信號的累積效果決定該神經元的狀態；6)每個神經元可以有一個“閾值”。2024-2-5502.2人工神經元

神經元是構成神經網路的最基本單元（構件）。人工神經元模型應該具有生物神經元的六個基本特性。

2024-2-5512.2.1人工神經元的基本構成

人工神經元模擬生物神經元的一階特性。輸入：X=（x1，x2，…，xn）聯接權：W=（w1，w2，…，wn）T網路輸入：

net=∑xiwi向量形式：

net=XWxnwn∑x1w1x2w2net=XW…2024-2-5522.2.2啟動函數(ActivationFunction)

啟動函數——執行對該神經元所獲得的網路輸入的變換，也可以稱為激勵函數、活化函數：o=f（net）

1、線性函數（LinerFunction）

f（net）=k*net+c

netooc2024-2-5532、非線性斜面函數(RampFunction)

γ ifnet≥θf（net）=k*net if|net|<θ -γ ifnet≤-θ

γ>0為一常數，被稱為飽和值，為該神經元的最大輸出。

2024-2-5542、非線性斜面函數（RampFunction）γ-γθ

-θ

net

o

2024-2-5553、閾值函數（ThresholdFunction）階躍函數

β ifnet>θf（net）= -γ ifnet≤θβ、γ、θ均為非負實數，θ為閾值二值形式：

1 ifnet>θf（net）= 0 ifnet≤θ雙極形式：

1 ifnet>θf（net）= -1 ifnet≤θ

2024-2-5563、閾值函數（ThresholdFunction）階躍函數β

-γθonet02024-2-5574、S形函數

壓縮函數（SquashingFunction）和邏輯斯特函數（LogisticFunction）。f（net）=a+b/(1+exp(-d*net))a，b，d為常數。它的飽和值為a和a+b。最簡單形式為：f（net）=1/(1+exp(-d*net))

函數的飽和值為0和1。S形函數有較好的增益控制

2024-2-5584、S形函數

a+bo(0,c)netac=a+b/22024-2-5592.2.3M-P模型

x2w2

∑fo=f（net）xnwn…net=XWx1w1McCulloch—Pitts（M—P）模型，也稱為處理單元（PE）

2024-2-560上次課內容回顧擅長兩個方面目前應用語音、視覺、知識處理數據壓縮、模式匹配、系統建模、模糊控制、求組合優化問題的最佳解的近似解（不是最佳近似解）輔助決策——預報與智能管理通信——自適應均衡、回波抵消、路由選擇、ATM中的呼叫接納、識別與控制空間科學——對接、導航、制導、飛行程式優化2024-2-561上次課內容回顧發展過程萌芽期（20世紀40年代）M-P模型Hebb學習律第一高潮期（1950~1968）Perceptron的興衰反思期（1969~1982）第二高潮期（1983~1990）4個標誌性成果再認識與應用研究期（1991~）2024-2-562上次課內容回顧生物神經網六個基本特徵神經元及其聯接、信號傳遞、訓練、刺激與抑制、累積效果、“閾值”。人工神經元的基本構成xnwn∑x1w1x2w2net=XW…2024-2-563上次課內容回顧啟動函數與M-P模型

線性函數、非線性斜面函數、閾值函數

S形函數

M-P模型x2w2

∑fo=f（net）xnwn…net=XWx1w12024-2-5642.3人工神經網路的拓撲特性

連接的拓撲表示

ANi wij ANj

2024-2-5652.3.1聯接模式

用正號（“+”，可省略）表示傳送來的信號起刺激作用，它用於增加神經元的活躍度；用負號（“-”）表示傳送來的信號起抑制作用，它用於降低神經元的活躍度。層次（又稱為“級”）的劃分，導致了神經元之間的三種不同的互連模式：

2024-2-5662.3.1聯接模式

1、層（級）內聯接層內聯接又叫做區域內（Intra-field）聯接或側聯接（Lateral）。用來加強和完成層內神經元之間的競爭2、

迴圈聯接回饋信號。

2024-2-5672.3.1聯接模式3、層（級）間聯接

層間（Inter-field）聯接指不同層中的神經元之間的聯接。這種聯接用來實現層間的信號傳遞前饋信號回饋信號

2024-2-5682.3.2網路的分層結構

單級網

簡單單級網

2024-2-569簡單單級網……x1x2…xno1o2omwnmw11w1mw2mwn1輸出層輸入層 2024-2-570簡單單級網W=（wij）輸出層的第j個神經元的網路輸入記為netj：

netj=x1w1j+x2w2j+…+xnwnj其中,1≤j≤m。取NET=（net1，net2，…，netm）NET=XWO=F（NET）2024-2-571單級橫向回饋網輸出層x1o1w11w1mx2o2w2m………xnomwn1輸入層 V2024-2-572單級橫向回饋網

V=（vij）NET=XW+OVO=F（NET）時間參數——神經元的狀態在主時鐘的控制下同步變化考慮X總加在網上的情況NET（t+1）=X（t）W+O（t）V O(t+1)=F(NET(t+1))O（0）=0考慮僅在t=0時加X的情況。

穩定性判定2024-2-573多級網輸出層隱藏層輸入層o1o2om…x1x2xn………………2024-2-574層次劃分

信號只被允許從較低層流向較高層。層號確定層的高低：層號較小者，層次較低，層號較大者，層次較高。輸入層：被記作第0層。該層負責接收來自網路外部的資訊輸出層隱藏層輸入層o1o2om…x1x2xn………………2024-2-575第j層：第j-1層的直接後繼層（j>0），它直接接受第j-1層的輸出。輸出層：它是網路的最後一層，具有該網路的最大層號，負責輸出網路的計算結果。隱藏層：除輸入層和輸出層以外的其他各層叫隱藏層。隱藏層不直接接受外界的信號，也不直接向外界發送信號輸出層隱藏層輸入層o1o2om…x1x2xn………………2024-2-576約定

:輸出層的層號為該網路的層數：n層網路，或n級網路。第j-1層到第j層的聯接矩陣為第j層聯接矩陣，輸出層對應的矩陣叫輸出層聯接矩陣。今後，在需要的時候，一般我們用W（j）表示第j層矩陣。輸出層隱藏層輸入層o1o2om…x1x2xn………………W(1)W(2)W(3)W(h)2024-2-577多級網——h層網路輸出層隱藏層輸入層o1o2om…x1x2xn………………W(1)W(2)W(3)W(h)2024-2-578多級網非線性啟動函數

F(X)=kX+CF3(F2(F1(XW(1))W(2))W(3))2024-2-579迴圈網x1o1輸出層隱藏層輸入層x2o2omxn…………………2024-2-580迴圈網

如果將輸出信號回饋到輸入端,就可構成一個多層的迴圈網路。輸入的原始信號被逐步地“加強”、被“修復”。大腦的短期記憶特徵——看到的東西不是一下子就從腦海裏消失的。穩定：回饋信號會引起網路輸出的不斷變化。我們希望這種變化逐漸減小，並且最後能消失。當變化最後消失時，網路達到了平衡狀態。如果這種變化不能消失，則稱該網路是不穩定的。

2024-2-5812.4存儲與映射

空間模式（SpatialModel）時空模式（SpatialtemporalModel）空間模式三種存儲類型1、

RAM方式（RandomAccessMemory）隨機訪問方式是將地址映射到數據。2、

CAM方式（ContentAddressableMemory）內容尋址方式是將數據映射到地址。3、

AM方式（AssociativeMemory）相聯存儲方式是將數據映射到數據。

2024-2-5822.4存儲與映射後續的兩種方式是人工神經網路的工作方式。在學習/訓練期間，人工神經網路以CAM方式工作；權矩陣又被稱為網路的長期存儲（LongTermMemory，簡記為LTM）。網路在正常工作階段是以AM方式工作的；神經元的狀態表示的模式為短期存儲（ShortTermMemory，簡記為STM）。

2024-2-5832.4存儲與映射自相聯（Auto-associative）映射：訓練網路的樣本集為向量集合為{A1，A2，…，An}在理想情況下，該網路在完成訓練後，其權矩陣存放的將是上面所給的向量集合。

2024-2-5842.4存儲與映射異相聯（Hetero-associative）映射

{（A1，B1），（A2，B2），…，（An，Bn）}該網路在完成訓練後，其權矩陣存放的將是上面所給的向量集合所蘊含的對應關係。當輸入向量A不是樣本的第一的分量時，樣本中不存在這樣的元素（Ak，Bk），使得

Ai≤Ak≤A或者A≤Ak≤Aj且此時有

Ai≤A≤Aj則向量B是Bi與Bj的插值。

2024-2-5852.5人工神經網路的訓練

人工神經網路最具有吸引力的特點是它的學習能力。1962年，Rosenblatt給出了人工神經網路著名的學習定理：人工神經網路可以學會它可以表達的任何東西。人工神經網路的表達能力大大地限制了它的學習能力。人工神經網路的學習過程就是對它的訓練過程2024-2-5862.5.1無導師學習

無導師學習(UnsupervisedLearning)與無導師訓練(UnsupervisedTraining)相對應

抽取樣本集合中蘊含的統計特性，並以神經元之間的聯接權的形式存於網路中。2024-2-5872.5.1無導師學習Hebb學習律、競爭與協同（CompetitiveandCooperative）學習、隨機聯接系統（RandomlyConnectedLearning）等。Hebb演算法[D.O.Hebb在1961年]的核心：當兩個神經元同時處於激發狀態時被加強，否則被減弱。數學運算式表示：Wij（t+1）=Wij（t）+αoi（t）oj（t）2024-2-5882.5.2有導師學習

有導師學習(SupervisedLearning)與有導師訓練(SupervisedTraining)相對應。輸入向量與其對應的輸出向量構成一個“訓練對”。有導師學習的訓練演算法的主要步驟包括：

1）

從樣本集合中取一個樣本（Ai，Bi）；

2）

計算出網路的實際輸出O；

3）

求D=Bi-O；

4）

根據D調整權矩陣W；

5）對每個樣本重複上述過程，直到對整個樣本集來說，誤差不超過規定範圍。

2024-2-589Delta規則

Widrow和Hoff的寫法：Wij(t+1)=Wij(t)+α(yj-aj(t))oi(t)也可以寫成：Wij(t+1)=Wij(t)+∆Wij(t)∆Wij(t)=αδjoi(t)δj=yj-aj(t)Grossberg的寫法為：∆Wij(t)=αai(t)(oj(t)-Wij(t))更一般的Delta規則為：∆Wij(t)=g(ai(t)，yj，oj(t)，Wij(t))2024-2-590其他再例學習外部環境對系統的輸出結果給出評價，學習系統通過強化受獎的動作來改善自身性能。學習規則誤差糾錯學習Hebb學習競爭學習2024-2-591練習題P291、4、6、10、15

2024-2-592上次課內容回顧:網路的分層結構聯接模式刺激聯接與抑制聯接前饋信號與回饋信號層（級）內聯接迴圈聯接層（級）間聯接簡單單級網：NET=XW；O=F(NET)單級橫向回饋網:NET=XW+O(t)V;O(t)=F(NET)2024-2-593上次課內容回顧:網路的分層結構非迴圈多級網層次劃分非線性啟動函數：

F3(F2(F1(XW1)W2)W3)迴圈網短期記憶特徵及其對輸入信號的修復作用時間參數與主時鐘穩定性2024-2-594上次課內容回顧：存儲與映射模式空間模式時空模式模式三種存儲類型RAM、CAM、AM模式的存儲與運行CAM——LTM——訓練AM——STM——運行相聯：自相聯映射、異相聯映射2024-2-595上次課內容回顧：訓練Rosenblatt的學習定理無導師學習抽取樣本集合中蘊含的統計特性樣本集：{A1，A2，…，An}Hebb演算法：Wij(t+1)=Wij(t)+αoi(t)oj(t)有導師學習抽取樣本蘊含的映射關係樣本集：{(A1,B1)，(A2,B2)，…，(An,Bn)}

訓練演算法Delta規則2024-2-596第3章

感知器

主要內容：感知器與人工神經網路的早期發展；線性可分問題與線性不可分問題；Hebb學習律；Delta規則;感知器的訓練演算法。重點：感知器的結構、表達能力、學習演算法難點：感知器的表達能力

2024-2-597第3章

感知器3.1感知器與人工神經網路的早期發展

3.2感知器的學習演算法

3.2.1離散單輸出感知器訓練演算法

3.2.2離散多輸出感知器訓練演算法3.2.3連續多輸出感知器訓練演算法3.3線性不可分問題3.3.1異或(Exclusive–OR)問題

3.3.2線性不可分問題的克服

實現！問題的發現與解決！2024-2-5983.1感知器與ANN的早期發展McCulloch和Pitts1943年，發表第一個系統的ANN研究——閾值加權和(M-P)數學模型。1947年，開發出感知器。1949年，提出Hebb學習律。單輸出的感知器(M-P模型)x2

x1o

xn…2024-2-5993.1感知器與ANN的早期發展1962年，Rosenblatt宣佈：人工神經網路可以學會它能表示的任何東西

o1多輸出感知器x1x2o2omxn…

………輸入層輸出層2024-2-51003.2感知器的學習演算法

感知器的學習是有導師學習感知器的訓練演算法的基本原理來源於著名的Hebb學習律基本思想：逐步地將樣本集中的樣本輸入到網路中,根據輸出結果和理想輸出之間的差別來調整網路中的權矩陣

2024-2-51013.2.1離散單輸出感知器訓練演算法

二值網路：引數及其函數的值、向量分量的值只取0和1函數、向量。權向量：W=(w1，w2，…，wn)輸入向量：X=(x1，x2，…，xn)訓練樣本集：{(X，Y)|Y為輸入向量X對應的輸出}2024-2-5102演算法3-1離散單輸出感知器訓練演算法

1.初始化權向量W；2.重複下列過程，直到訓練完成：

2.1對每個樣本（X，Y），重複如下過程：

2.1.1輸入X；

2.1.2計算o=F（XW）；

2.1.3如果輸出不正確，則 當o=0時，取W=W+X， 當o=1時，取W=W-X2024-2-51033.2.2離散多輸出感知器訓練演算法

樣本集：{(X,Y)|Y為輸入向量X對應的輸出}輸入向量：X=(x1,x2,…,xn)理想輸出向量：Y=(y1,y2,…,ym)啟動函數：F

權矩陣W=(wij)實際輸出向量：O=(o1,o2,…,om)o1多輸出感知器x1x2o2omxn…

………輸入層輸出層2024-2-5104演算法3-2離散多輸出感知器訓練演算法

1.初始化權矩陣W；2.重複下列過程，直到訓練完成：

2.1對每個樣本（X，Y），重複如下過程：

2.1.1輸入X；

2.1.2計算O=F（XW）；

2.1.3forj=1tomdo執行如下操作：

ifoj

≠yjthen ifoi

=0thenfori=1ton

wij=wij+xi

elsefori=1tondo

wij=wij-xi2024-2-5105演算法3-2離散多輸出感知器訓練演算法演算法思想：將單輸出感知器的處理逐個地用於多輸出感知器輸出層的每一個神經元的處理。第1步，權矩陣的初始化：一系列小偽亂數。

2024-2-5106演算法3-2離散多輸出感知器訓練演算法第2步，迴圈控制。方法1：迴圈次數控制法：對樣本集執行規定次數的迭代改進——分階段迭代控制：設定一個基本的迭代次數N，每當訓練完成N次迭代後，就給出一個中間結果2024-2-5107演算法3-2離散多輸出感知器訓練演算法方法2：精度控制法：給定一個精度控制參數精度度量：實際輸出向量與理想輸出向量的對應分量的差的絕對值之和；實際輸出向量與理想輸出向量的歐氏距離的和

“死迴圈”：網路無法表示樣本所代表的問題2024-2-5108演算法3-2離散多輸出感知器訓練演算法方法3：綜合控制法：將這兩種方法結合起來使用

注意：精度參數的設置。根據實際問題選定；初始測試階段，精度要求低，測試完成後，再給出實際的精度要求。2024-2-51093.2.3連續多輸出感知器訓練演算法

用公式wij=wij+α（yj-oj）xi取代了演算法3-2第2.1.3步中的多個判斷yj與oj之間的差別對wij的影響由α（yj-oj）xi表現出來好處：不僅使得演算法的控制在結構上更容易理解，而且還使得它的適應面更寬

2024-2-5110演算法3-3連續多輸出感知器訓練演算法

1．用適當的小偽亂數初始化權矩陣W；2.初置精度控制參數ε，學習率α，精度控制變數d=ε+1；3．Whiled≥εdo3.1d=0；

3.2for每個樣本（X，Y）do 3.2.1輸入X（=(x1，x2，…，xn)）；

3.2.2求O=F（XW）；

3.2.3修改權矩陣W：

fori=1ton，j=1tomdo wij=wij+α(yj-oj)xi；

3.2.4累積誤差

forj=1tomdo d=d+(yj-oj)22024-2-5111演算法3-3連續多輸出感知器訓練演算法

1、程式實現:ε、α、d、i、j、n、m為簡單變數來表示，W為n行m列的二維數組。樣本集二維數組2、系統的調試3、Minsky在1969年證明，有許多基本問題是感知器無法解決4、問題線性可分性可能與時間有關5、很難從樣本數據集直接看出問題是否線性可分6、未能證明，一個感知器究竟需要經過多少步才能完成訓練。2024-2-51123.3線性不可分問題

3.3.1異或(Exclusive–OR)問題

g（x，y）y01x0011102024-2-5113用於求解XOR的單神經元感知器

xyo單神經元感知器的圖像ax+by=θ1yx1(0,0)(1,1)2024-2-5114線性不可分函數變數函數及其值xyf1f2f3f4f5f6f7f8f9f10f11f12f13f14f15f160000000000111111110100001111000011111000110011001100111101010101010101012024-2-5115線性不可分函數R.O.Windner1960年

引數個數函數的個數線性可分函數的個數144216143256104465,536188254.3*10994,57261.8*10195,028,1342024-2-51163.3.2線性不可分問題的克服

用多個單級網組合在一起，並用其中的一個去綜合其他單級網的結果，我們就可以構成一個兩級網路，該網路可以被用來在平面上劃分出一個封閉或者開放的凸域來一個非凸域可以拆分成多個凸域。按照這一思路，三級網將會更一般一些，我們可以用它去識別出一些非凸域來。解決好隱藏層的聯接權的調整問題是非常關鍵的

2024-2-5117兩級單輸出網在n維空間中劃分出m邊凸域

…x1ANmAN1ANoxn…o2024-2-5118第1次課堂測試（5分*4）Newell和Simon的物理符號系統所基於的假說是什麼？它在什麼層面上如何實現對人類智能的模擬？聯接主義觀點所基於的假說是什麼？它在什麼層面上如何實現對人類智能的模擬？畫出有導師演算法的流程圖。證明：一個啟動函數為線性函數的3級非迴圈網等價於一個單級網。2024-2-5119習題P381、62024-2-5120第1次課堂測試解答要點Newell和Simon的物理符號系統所基於的假說是什麼？它在什麼層面上如何實現對人類智能的模擬？要點：物理符號系統；心理；符號對事務及變換的描述聯接主義觀點所基於的假說是什麼？它在什麼層面上如何實現對人類智能的模擬？

要點：聯接機制；生理；模式、聯接權的調整與對變換的表示2024-2-5121第1次課堂測試解答要點畫出有導師學習演算法的流程圖。

要點：如何處理精度與樣本集兩層迴圈證明：一個啟動函數為線性函數的3級非迴圈網等價於一個單級網。

要點：一級網與多級網的的數學模型2024-2-5122上次課內容回顧:學習演算法離散單輸出感知器訓練演算法W=W+X;W=W-XW=W+(Y-O)X離散多輸出感知器訓練演算法Wj=Wj+(yj-oj)X連續多輸出感知器訓練演算法wij=wij+α(yj-oj)xi2024-2-5123上次課內容回顧:線性不可分問題ax+by=θ1yx1(0,0)(1,1)線性不可分問題的克服兩級網路可以劃分出封閉或開放的凸域多級網將可以識別出非凸域隱藏層的聯接權的調整問題是非常關鍵2024-2-5124第4章

BP網路

主要內容：BP網路的構成隱藏層權的調整分析Delta規則理論推導演算法的收斂速度及其改進討論BP網路中的幾個重要問題

重點：BP演算法難點：Delta規則的理論推導

2024-2-5125第4章

BP網路4.1概述

4.2基本BP演算法

4.3演算法的改進

4.4演算法的實現

4.5演算法的理論基礎

4.6幾個問題的討論

2024-2-51264.1概述

1、BP演算法的出現非迴圈多級網路的訓練演算法UCSDPDP小組的Rumelhart、Hinton和Williams1986年獨立地給出了BP演算法清楚而簡單的描述1982年，Paker就完成了相似的工作1974年，Werbos已提出了該方法2、弱點：訓練速度非常慢、局部極小點的逃離問題、演算法不一定收斂。3、優點：廣泛的適應性和有效性。2024-2-51274.2基本BP演算法

4.2.1網路的構成

神經元的網路輸入：

neti=x1w1i+x2w2i+…+xnwni神經元的輸出：2024-2-5128輸出函數分析

0.5f′(net)0.25o01

1（0,0.5）

net（0,0）o應該將net的值儘量控制在收斂比較快的範圍內可以用其他的函數作為啟動函數，只要該函數是處處可導的2024-2-5129網路的拓撲結構x1o1輸出層隱藏層輸入層x2o2omxn…………………W(1)W(2)W(3)W(L)2024-2-5130網路的拓撲結構

BP網的結構輸入向量、輸出向量的維數、網路隱藏層的層數和各個隱藏層神經元的個數的決定實驗：增加隱藏層的層數和隱藏層神經元個數不一定總能夠提高網路精度和表達能力。BP網一般都選用二級網路。2024-2-5131網路的拓撲結構x1o1輸出層隱藏層輸入層x2o2omxn…………WV2024-2-51324.2.2訓練過程概述

樣本：(輸入向量，理想輸出向量)權初始化：“小亂數”與飽和狀態；“不同”保證網路可以學。1、向前傳播階段：（1）從樣本集中取一個樣本(Xp，Yp)，將Xp輸入網路；（2）計算相應的實際輸出Op：

Op=Fl(…(F2(F1(XpW(1))W(2))…)W(L))2024-2-51334.2.2訓練過程概述

2、向後傳播階段——誤差傳播階段：（1）計算實際輸出Op與相應的理想輸出Yp的差；（2）按極小化誤差的方式調整權矩陣。（3）網路關於第p個樣本的誤差測度：（4）網路關於整個樣本集的誤差測度：2024-2-51344.2.3誤差傳播分析

1、輸出層權的調整wpq=wpq+∆wpq∆wpq=αδqop

=αfn′(netq)(yq-oq)op =αoq(1-oq)(yq-oq)op

wpqANpANq第L-1層第L層∆wpq2024-2-51352、隱藏層權的調整

ANpANqANhvhp δpk-1δ1kwp1wpqδqkwpmδmk第k-2層第k層第k-1層……2024-2-51362、隱藏層權的調整δpk-1的值和δ1k，δ2k，…，δmk

有關不妨認為δpk-1通過權wp1對δ1k做出貢獻，通過權wp2對δ2k做出貢獻，……通過權wpm對δmk做出貢獻。δpk-1=fk-1′(netp)(wp1δ1k+wp2δ2k+…+wpmδmk)2024-2-51372、隱藏層權的調整vhp=vhp+∆vhp

∆vhp=αδpk-1ohk-2 =αfk-1′(netp)(wp1δ1k+wp2δ2k+…+wpmδmk)ohk-2 =αopk-1(1-opk-1)(wp1δ1k+wp2δ2k+…+wpmδmk)ohk-2ANpANqANhvhp δpk-1δ1kwp1wpmδqkwpqδmk第k-2層第k層第k-1層……2024-2-5138上次課內容回顧基本BP演算法neti=x1w1i+x2w2i+…+xnwni

2024-2-5139上次課內容回顧x1o1輸出層隱藏層輸入層x2o2omxn…………WV2024-2-5140上次課內容回顧樣本權初始化向前傳播階段Op=Fn(…(F2(F1(XpW(1))W(2))…)W(n))誤差測度2024-2-5141上次課內容回顧向後傳播階段——誤差傳播階段輸出層權的調整∆wpq=αδqop=αfn′(netq)(yq-oq)op

=αoq(1-oq)(yq-oq)op隱藏層權的調整ANpANqANhvhp δpk-1δ1kwp1wpqδqkwpmδmk……∆vhp=αopk-1(1-opk-1)(wp1δ1k+wp2δ2k+…+wpmδmk)ohk-22024-2-51424.2.4基本的BP演算法

樣本集：S={(X1,Y1),(X2,Y2),…,(Xs,Ys)}

基本思想：逐一地根據樣本集中的樣本(Xk,Yk)計算出實際輸出Ok和誤差測度E1，對W(1)

，W(2)

，…，W(L)各做一次調整，重複這個迴圈，直到∑Ep<ε。用輸出層的誤差調整輸出層權矩陣，並用此誤差估計輸出層的直接前導層的誤差，再用輸出層前導層誤差估計更前一層的誤差。如此獲得所有其他各層的誤差估計，並用這些估計實現對權矩陣的修改。形成將輸出端表現出的誤差沿著與輸入信號相反的方向逐級向輸入端傳遞的過程

2024-2-5143演算法4-1

基本BP演算法

1fork=1toLdo 1.1初始化W(k)；2初始化精度控制參數ε；3E=ε+1;4whileE>εdo

4.1E=0;

2024-2-5144演算法4-1

基本BP演算法

4.2對S中的每一個樣本（Xp,Yp）：

4.2.1計算出Xp對應的實際輸出Op；

4.2.2計算出Ep；

4.2.3E=E+Ep；

4.2.4根據相應式子調整W(L)；

4.2.5k=L-1；

4.2.6whilek≠0do 4.2.6.1根據相應式子調整W(k)；

4.2.6.2k=k-1

4.3E=E/2.0

2024-2-51454.3演算法的改進

1、BP網路接受樣本的順序對訓練結果有較大影響。它更“偏愛”較後出現的樣本2、給集中的樣本安排一個適當的順序，是非常困難的。3、樣本順序影響結果的原因：“分別”、“依次”

4、用(X1,Y1)，（X2,Y2），…，（Xs,Ys）的“總效果”修改W(1)

，W(2)

，…，W(L)。

∆w(k)ij=∑∆pw(k)ij

2024-2-5146演算法4-2消除樣本順序影響的BP演算法

1fork=1toLdo 1.1初始化W(k)；2初始化精度控制參數ε；3E=ε+1;4whileE>εdo 4.1E=0; 4.2對所有的i，j，k：∆w(k)ij=0；

2024-2-51474.3對S中的每一個樣本（Xp,Yp）：

4.3.1計算出Xp對應的實際輸出Op；

4.3.2計算出Ep；

4.3.3E=E+Ep；

4.3.4對所有i，j根據相應式子計算∆pw(L)ij；

4.3.5對所有i，j：∆w(L)ij=∆w(L)ij+∆pw(L)ij；

4.3.6k=L-1；

4.3.7whilek≠0do 4.3.7.1對所有i,j根據相應式子計算∆pw(k)ij；

4.3.7.2對所有i,j：∆w(k)ij=∆w(k)ij+∆pw(k)ij；

4.3.7.3k=k-1

4.4對所有i，j，k：w(k)ij=w(k)ij+∆w(k)ij;4.5E=E/2.0

2024-2-5148演算法4-2分析

較好地解決了因樣本的順序引起的精度問題和訓練的抖動問題

收斂速度：比較慢偏移量：給每一個神經元增加一個偏移量來加快收斂速度衝量：聯接權的本次修改要考慮上次修改的影響，以減少抖動問題

2024-2-5149演算法4-2分析——衝量設置Rumelhart等人1986年∆wij=αδjoi+β∆wij′∆wij′為上一次的修改量，β為衝量係數，一般可取到0.9

Sejnowski與Rosenberg，1987年∆wij=α((1-β)δjoi+β∆wij′)

∆wij′也是上一次的修改量，β在0和1之間取值

2024-2-51504.4演算法的實現

主要數據結構W[H，m]——輸出層的權矩陣；V[n，H]——輸入（隱藏）層的權矩陣；∆o[m]——輸出層各聯接權的修改量組成的向量；∆h[H]——隱藏層各聯接權的修改量組成的向量；O1——隱藏層的輸出向量；O2——輸出層的輸出向量；(X，Y)——一個樣本。

2024-2-5151演算法的主要實現步驟

用不同的小偽亂數初始化W，V；初始化精度控制參數ε；學習率α；

迴圈控制參數E=ε+1；迴圈最大次數M；迴圈次數控制參數N=0；

whileE>ε&N<Mdo

4.1N=N+1；E=0；

4.2對每一個樣本(X,Y)，執行如下操作

2024-2-51524.2對每一個樣本(X,Y)，執行的操作

4.2.1計算：O1=F1(XV)；O2=F2(O1W)；4.2.2計算輸出層的權修改量

fori=1tom 4.2.2.1∆o[i]=O2[i]*(1-O2[i])*(Y[i]-O2[i])；4.2.3計算輸出誤差：fori=1tom4.2.3.1E=E+(Y[i]-O2[i])2；2024-2-51534.2對每一個樣本(X，Y)，執行的操作4.2.4計算隱藏層的權修改量：fori=1toH 4.2.4.1Z=0；

4.2.4.2forj=1tomdoZ=Z+W[i,j]*∆o[j]；

4.2.4.3Δh[i]=Z*O1[i](1-O1[i])

；4.2.5修改輸出層權矩陣：fork=1toH&i=1tom 4.2.5.1W[k,i]=W[k,i]+α*O1[k]*∆o[i]；4.2.5修改隱藏層權矩陣：fork=1ton&i=1toH 4.2.5.1V[k,i]=V[k,i]+α*X[k]*∆h[i]；2024-2-5154建議

隱藏層的神經元的個數H作為一個輸入參數同時將ε、迴圈最大次數M等，作為演算法的輸入參數在調試階段，最外層迴圈內，加一層控制，以探測網路是否陷入了局部極小點

2024-2-51554.5演算法的理論基礎基本假設網路含有L層聯接矩陣：W(1)

，W(2)

，…，W(L)第k層的神經元：Hk個引數數：n*H1+H1*H2+H2*H3+…+HL*m樣本集：S={(X1,Y1),(X2,Y2),…,(Xs,Ys)}

誤差測度: 2024-2-5156用E代表EP，用（X，Y）代表（XP，YP）

X=(x1，x2，…，xn) Y=(y1，y2，…，ym)該樣本對應的實際輸出為

O=（o1，o2，…，om）誤差測度2024-2-5157誤差測度用理想輸出與實際輸出的方差作為相應的誤差測度2024-2-5158最速下降法，要求E的極小點

wijE>0，此時Δwij<0取E<0,此時Δwij>0wij2024-2-5159而其中的

所以，

最速下降法，要求E的極小點2024-2-5160令所以Δwij=αδjoiα為學習率最速下降法，要求E的極小點2024-2-5161ANj為輸出層神經元

oj=f(netj)

容易得到

從而

2024-2-5162ANj為輸出層神經元2024-2-5163所以，故，當ANj為輸出層的神經元時，它對應的聯接權wij應該按照下列公式進行調整：ANj為輸出層神經元2024-2-5164ANj為隱藏層神經元

函數2024-2-5165ANj為隱藏層神經元netk=oj…o2o1oHhnetk是oj下一級的神經元的網路輸入2024-2-5166ANj為隱藏層神經元2024-2-5167ANj為隱藏層神經元2024-2-5168ANj為隱藏層神經元2024-2-51694.6幾個問題的討論

收斂速度問題

局部極小點問題

逃離/避開局部極小點：修改W、V的初值——並不是總有效。逃離——統計方法；[Wasserman，1986]將Cauchy訓練與BP演算法結合起來，可以在保證訓練速度不被降低的情況下，找到全局極小點。

2024-2-51704.6幾個問題的討論

網路癱瘓問題

在訓練中，權可能變得很大，這會使神經元的網路輸入變得很大，從而又使得其啟動函數的導函數在此點上的取值很小。根據相應式子，此時的訓練步長會變得非常小，進而將導致訓練速度降得非常低，最終導致網路停止收斂

穩定性問題

用修改量的綜合實施權的修改連續變化的環境，它將變成無效的

2024-2-51714.6幾個問題的討論

步長問題

BP網路的收斂是基於無窮小的權修改量步長太小，收斂就非常慢步長太大，可能會導致網路的癱瘓和不穩定自適應步長，使得權修改量能隨著網路的訓練而不斷變化。[1988年，Wasserman]

2024-2-5172練習P541、5、102024-2-5173上次課內容回顧基本BP演算法演算法的改進用(X1,Y1)，（X2,Y2），…，（Xs,Ys）的“總效果”修改W(1)

，W(2)

，…，W(L)∆w(k)ij=∑∆p

w(k)ij2024-2-5174上次課內容回顧改進演算法有關問題抖動、收斂速度、偏移量、衝量演算法的實現迴圈控制、演算法的調試演算法的理論基礎2024-2-5175上次課內容回顧問題的討論收斂速度局部極小點網路癱瘓穩定性步長2024-2-5176第5章

對傳網

主要內容：CPN的網路結構，正常運行，輸入向量的預處理，Kohonen層的訓練演算法及其權矩陣的初始化方法；Grossberg層的訓練；完整的對傳網重點：Kohonen層與Grossberg層的正常運行與訓練難點：Kohonen層的訓練演算法及其權矩陣的初始化方法

2024-2-5177第5章

對傳網

5.1網路結構

5.2網路的正常運行

5.3Kohonen層的訓練

5.4Kohonen層聯接權的初始化方法

5.5Grossberg層的訓練

5.6補充說明

2024-2-5178第5章

對傳網RobertHecht-Nielson在1987年提出了對傳網（CounterpropagationNetworks，CPN）。CPN為異構網：Kohonen1981年提出的Self-organizationmapSOM——Kohonen層Grossberg1969年提出的Outstar——Grossberg層訓練時間短：BP的1%。應用面：比較窄讓網路的隱藏層執行無導師學習，是解決多級網路訓練的另一個思路2024-2-51795.1網路結構