泛朦第三系神经系课件

泛朦第三系—神經系

(NeuralNetwork)泛朦第三系—神經系

(NeuralNetwork)1類神經網路導論類神經網路（artificialneuralnetwork）或譯為人工神經網路：模仿生物神經網路的資訊處理系統。類神經網路導論2精確定義一種計算系統：硬體、軟體。大量簡單的相連人工神經元：模仿生物神經網路的能力。取得資訊：外界環境、人工神經元。輸出結果：外界環境其他人工神經元。精確定義一種計算系統：硬體、軟體。3背景（1）1957年（電腦發展的初期）：第一種類神經網路模式—感知機（Perceptron）提出。1960年代中期沒落。背景（1）1957年（電腦發展的初期）：第一種類神經網路模式4沒落因素1.本身理論無法突破（EX：XOR問題）。2.數位電腦、人工智慧的吸引。3.當時相關技術無法實現「神經電腦」。沒落因素1.本身理論無法突破（EX：XOR問題）。5背景（2）80年代中期：類神經網路的研究復興，而在短短數年之內蔚為風潮。原因：如下4點。背景（2）80年代中期：類神經網路的研究復興，而在短短數年之6復興原因（1）類神經網路在理論的建立與模式的開發上有了突破，最明顯的突破包括：霍普菲爾網路（Hopfieldneuralnetwork，HNN）倒傳遞網路（Back-propagationnetwork）。復興原因（1）類神經網路在理論的建立與模式的開發上有了突破，7復興原因（2）解決電腦科學與人工智慧的難題，（EX：樣本識別、機器學習）。電子、光學等技術進展：提供實現「神經電腦」可能性（EX：基於VLSI的神經電腦與光神經電腦的誕生）。復興原因（2）解決電腦科學與人工智慧的難題，（EX：樣本識別8復興原因（3）從現代生物學、認知學、心裡學對生物神經網路的瞭解，提供了發展新的類神經網路模式的啟示。

復興原因（3）9生物神經元模型生物神經網路：由巨量的神經細胞，或稱神經元所組成，神經細胞的形狀和一般的細胞有很大的不同。生物神經元模型生物神經網路：10神經細胞神經核：神經細胞呈核狀的處理機構。軸索（神經軸）：神經細胞成軸索狀的輸送機構。樹突（神經樹）：神經細胞成樹枝狀的輸出入機構。突觸（神經節）：神經細胞神經樹上乘點狀的連結機構。神經細胞神經核：神經細胞呈核狀的處理機構。11神經核（soma）神經軸突（axon）神經突觸（synapses）（synapses）神經樹突（dendrites）(dendrites）神經核（soma）神經軸突（axon）神經突觸（synaps12人工神經元模型（1）類神經網路：由許多的人工神經細胞（artificialneuron）所組成。又稱類神經元、人工神經元、處理單元（processingelement）。每一個處理單元的輸出以扇形送出，成為其它許多處理單元的輸入。人工神經元模型（1）類神經網路：由許多的人工神經細胞（art13人工神經元模型（2）其中Yj=模仿生物神經元模型的輸出訊號。處理單元輸出值與輸入值的關係式：一般用輸入值的加權乘積和之函數來表示人工神經元模型（2）其中處理單元輸出值與輸入值的關係式：14人工神經元模型（3）f＝模仿生物神經元模型的轉移函數（transferfunction）。Wij＝模仿生物神經元模型的神經鏈結強度，又稱鏈結加權值。人工神經元模型（3）f＝模仿生物神經元模型的轉移函數（tr15人工神經元模型（4）Xi＝模仿生物神經元模型的輸入訊號（inputsignal）。θ＝模仿生物神經元模型的閥值（thresholdvalue）。人工神經元模型（4）Xi＝模仿生物神經元模型的輸入訊號（16泛朦第三系神经系课件17人工神經元模型（5）鏈結（connection）：介於處理單元間的訊號傳遞路徑。每一個鏈結上有一個數值的加權值Wij，用以表示第i處理單元對第j處理單元之影響程度。人工神經元模型（5）鏈結（connection）：介於處理18人工神經元模型（6）一個類神經網路:由許多個人工神經元所組成，並且可以組成不同的網路模式（networkmodel）或網路典範（networkparadigm）。人工神經元模型（6）一個類神經網路:由許多個人工神經元所組成19類神經網路模型(1)倒傳遞網路（back-propagationnetwork，BPN）:應用最普遍。BPN:包含許多層(含若干個處單元)類神經網路模型(1)倒傳遞網路（back-propagat20類神經網路模型(2)輸入層單元:輸入訊息。輸出層單元：輸出訊息。隱藏層單元：提供類神經網路表現處理單元間的交互作用與問題的內在結構的能力。類神經網路模型(2)輸入層單元:輸入訊息。21泛朦第三系神经系课件22網路分類（1）目前著名類神經網路不下數十種，主要分為四類1.監督式學習網路：從問題領域中取得訓練範例（有輸入變數值，也有輸出變數），並從中學習輸入變數與輸出變數內在對映規則，以應用於新的案例（只有輸入變數值，而需推論輸出變數值的應用）如BP。網路分類（1）目前著名類神經網路不下數十種，主要分為四類23網路分類（2）2.無監督式學習網路：從問題領域中取得訓練範例（只有輸入變數值），並從中學習範例的內在聚類規則，以應用於新的案例。3.聯想式學習網路：從問題領域中取得訓練範例（狀態變數值），並從中學習範例的內在記憶規則，以應用於新的案例，如霍普菲爾網路。網路分類（2）2.無監督式學習網路：從問題領域中取得訓練範例24網路分類（2）4.最適化應用網路：對一問題決定其設計變數值，使其在滿足設計變數下，使設計目標達最佳狀態的應用，如退火神經網路。網路分類（2）4.最適化應用網路：對一問題決定其設計變數值，25類神經網路運作（1）類神經網路的運作過程分成兩個階段：學習過程：從範例學習，以調整網路連節加權值的過程。回想過程：網路依回想演算法，以輸入資料決定網路輸出資料的過程。類神經網路運作（1）類神經網路的運作過程分成兩個階段：26類神經網路運作（2）1.訓練範例：藉此調整網路連結加權值。訓練範例型式依所使用的網路模式之不同而異。2.測試範例：用以評估網路學習成果所使用的範例。（1.2）差異：前者只用回想演算法得到推論輸出值，並與目標輸出值比較，以評估網路學習精度。類神經網路運作（2）1.訓練範例：藉此調整網路連結加權值。訓27類神經網路運作（3）3.待推案例：網路學習過程完後，可用網路推論待推案例的結果。（2.3）差異：前者沒有目標輸出變數向量類神經網路運作（3）3.待推案例：網路學習過程完後，可用網28優點高速計算能力高容記憶能力學習能力容錯能力優點高速計算能力29應用監督式學習應用：分類、預測。非監督式學習應用：聚類。聯想式學習應用：雜訊過濾、資料擷取。最佳化問題應用：設計、排程。應用監督式學習應用：分類、預測。30基本架構（1）處理單元：類神經網路基本單位作用可用三個函數來說明：1）集成函數2）作用函數3）轉換函數基本架構（1）處理單元：類神經網路基本單位31基本架構（2）層：若干個具相同作用的處理單元集合成。層的三種作用：1）正規化輸出2）競爭化輸出3）競爭化學習

基本架構（2）層：若干個具相同作用的處理單元集合成。32基本架構（3）網路：若干個具不同作用的層集合成網路網路兩種作用：1）學習過程2）回想過程基本架構（3）網路：若干個具不同作用的層集合成網路33泛朦第三系神经系课件34C：實數型常數。單調(monotonic)遞增、平滑且可微分的函數。採用：倒傳遞類神經網路、連續型霍普菲爾網路，都是此種活化函數。C：實數型常數。單調(monotonic)遞增、平35倒傳遞網路倒傳遞類神網路模式是目前類神網路學習模式中最具代表性，應用最普遍的模式。倒傳遞類神經網路屬於監督式學習網路，因而適合診斷、預測等應用。倒傳遞網路倒傳遞類神網路模式是目前類神網路學習模式中最具代表36‧‧‧‧‧‧‧‧‧‧‧‧‧‧‧輸出向量輸入向量輸出層：表示輸出變數隱藏層：表示輸入處理單元間的交互影響輸出層：表示輸入變數‧‧‧‧‧‧‧‧‧‧‧‧‧‧‧輸出向量輸入向量37範例文章：IntegrationofGrayPredictionandFuzzyModelforImprovingBack-propagationLearningAlgorithmR.J.Kuo,C.Y.Chiu,andC.C.HsiehFuzzy2000範例文章：38題目簡述基本觀念：利用灰預測和模糊理論來改善BP的訓練速度。模擬：XOR範例設定：初始學習率：0.3，學習次數1000次。由MSE（meansquareerror）來判定收斂效。題目簡述基本觀念：利用灰預測和模糊理論來改善BP的訓練速度。39解法（灰色）建立GM（1,1）模型的灰微分方程式目的：預測error（PE）andchangeoferror(PCE)。用PE和PCE根據FUZZY規則，調整訓練參數。解法（灰色）建立GM（1,1）模型的灰微分方程式目的：預測e40解法（類神經）各層間初始權重：亂數。開始時訓練誤差大：給大學習率使系統收斂快。當訓練接近最佳化：給小學習率以免震盪。訓練速度調整是根據PE和PCE。解法（類神經）各層間初始權重：亂數。41解法（模糊）PE大時或非常大，訓練速率大，反之亦然。PCE負時訓練速率應增加，PCE正時訓練速率應減小。解法（模糊）PE大時或非常大，訓練速率大，反之亦然。42模糊規則IfPEisVeryLargeandPCEisNegativelyLargeTHENthetrainingrateshouldbeincreasedPositivelyLarge模糊規則IfPEisVeryLargeandPC43泛朦第三系神经系课件44泛朦第三系神经系课件45泛朦第三系神经系课件46泛朦第三系神经系课件47泛朦第三系—神經系

(NeuralNetwork)泛朦第三系—神經系

(NeuralNetwork)48類神經網路導論類神經網路（artificialneuralnetwork）或譯為人工神經網路：模仿生物神經網路的資訊處理系統。類神經網路導論49精確定義一種計算系統：硬體、軟體。大量簡單的相連人工神經元：模仿生物神經網路的能力。取得資訊：外界環境、人工神經元。輸出結果：外界環境其他人工神經元。精確定義一種計算系統：硬體、軟體。50背景（1）1957年（電腦發展的初期）：第一種類神經網路模式—感知機（Perceptron）提出。1960年代中期沒落。背景（1）1957年（電腦發展的初期）：第一種類神經網路模式51沒落因素1.本身理論無法突破（EX：XOR問題）。2.數位電腦、人工智慧的吸引。3.當時相關技術無法實現「神經電腦」。沒落因素1.本身理論無法突破（EX：XOR問題）。52背景（2）80年代中期：類神經網路的研究復興，而在短短數年之內蔚為風潮。原因：如下4點。背景（2）80年代中期：類神經網路的研究復興，而在短短數年之53復興原因（1）類神經網路在理論的建立與模式的開發上有了突破，最明顯的突破包括：霍普菲爾網路（Hopfieldneuralnetwork，HNN）倒傳遞網路（Back-propagationnetwork）。復興原因（1）類神經網路在理論的建立與模式的開發上有了突破，54復興原因（2）解決電腦科學與人工智慧的難題，（EX：樣本識別、機器學習）。電子、光學等技術進展：提供實現「神經電腦」可能性（EX：基於VLSI的神經電腦與光神經電腦的誕生）。復興原因（2）解決電腦科學與人工智慧的難題，（EX：樣本識別55復興原因（3）從現代生物學、認知學、心裡學對生物神經網路的瞭解，提供了發展新的類神經網路模式的啟示。

復興原因（3）56生物神經元模型生物神經網路：由巨量的神經細胞，或稱神經元所組成，神經細胞的形狀和一般的細胞有很大的不同。生物神經元模型生物神經網路：57神經細胞神經核：神經細胞呈核狀的處理機構。軸索（神經軸）：神經細胞成軸索狀的輸送機構。樹突（神經樹）：神經細胞成樹枝狀的輸出入機構。突觸（神經節）：神經細胞神經樹上乘點狀的連結機構。神經細胞神經核：神經細胞呈核狀的處理機構。58神經核（soma）神經軸突（axon）神經突觸（synapses）（synapses）神經樹突（dendrites）(dendrites）神經核（soma）神經軸突（axon）神經突觸（synaps59人工神經元模型（1）類神經網路：由許多的人工神經細胞（artificialneuron）所組成。又稱類神經元、人工神經元、處理單元（processingelement）。每一個處理單元的輸出以扇形送出，成為其它許多處理單元的輸入。人工神經元模型（1）類神經網路：由許多的人工神經細胞（art60人工神經元模型（2）其中Yj=模仿生物神經元模型的輸出訊號。處理單元輸出值與輸入值的關係式：一般用輸入值的加權乘積和之函數來表示人工神經元模型（2）其中處理單元輸出值與輸入值的關係式：61人工神經元模型（3）f＝模仿生物神經元模型的轉移函數（transferfunction）。Wij＝模仿生物神經元模型的神經鏈結強度，又稱鏈結加權值。人工神經元模型（3）f＝模仿生物神經元模型的轉移函數（tr62人工神經元模型（4）Xi＝模仿生物神經元模型的輸入訊號（inputsignal）。θ＝模仿生物神經元模型的閥值（thresholdvalue）。人工神經元模型（4）Xi＝模仿生物神經元模型的輸入訊號（63泛朦第三系神经系课件64人工神經元模型（5）鏈結（connection）：介於處理單元間的訊號傳遞路徑。每一個鏈結上有一個數值的加權值Wij，用以表示第i處理單元對第j處理單元之影響程度。人工神經元模型（5）鏈結（connection）：介於處理65人工神經元模型（6）一個類神經網路:由許多個人工神經元所組成，並且可以組成不同的網路模式（networkmodel）或網路典範（networkparadigm）。人工神經元模型（6）一個類神經網路:由許多個人工神經元所組成66類神經網路模型(1)倒傳遞網路（back-propagationnetwork，BPN）:應用最普遍。BPN:包含許多層(含若干個處單元)類神經網路模型(1)倒傳遞網路（back-propagat67類神經網路模型(2)輸入層單元:輸入訊息。輸出層單元：輸出訊息。隱藏層單元：提供類神經網路表現處理單元間的交互作用與問題的內在結構的能力。類神經網路模型(2)輸入層單元:輸入訊息。68泛朦第三系神经系课件69網路分類（1）目前著名類神經網路不下數十種，主要分為四類1.監督式學習網路：從問題領域中取得訓練範例（有輸入變數值，也有輸出變數），並從中學習輸入變數與輸出變數內在對映規則，以應用於新的案例（只有輸入變數值，而需推論輸出變數值的應用）如BP。網路分類（1）目前著名類神經網路不下數十種，主要分為四類70網路分類（2）2.無監督式學習網路：從問題領域中取得訓練範例（只有輸入變數值），並從中學習範例的內在聚類規則，以應用於新的案例。3.聯想式學習網路：從問題領域中取得訓練範例（狀態變數值），並從中學習範例的內在記憶規則，以應用於新的案例，如霍普菲爾網路。網路分類（2）2.無監督式學習網路：從問題領域中取得訓練範例71網路分類（2）4.最適化應用網路：對一問題決定其設計變數值，使其在滿足設計變數下，使設計目標達最佳狀態的應用，如退火神經網路。網路分類（2）4.最適化應用網路：對一問題決定其設計變數值，72類神經網路運作（1）類神經網路的運作過程分成兩個階段：學習過程：從範例學習，以調整網路連節加權值的過程。回想過程：網路依回想演算法，以輸入資料決定網路輸出資料的過程。類神經網路運作（1）類神經網路的運作過程分成兩個階段：73類神經網路運作（2）1.訓練範例：藉此調整網路連結加權值。訓練範例型式依所使用的網路模式之不同而異。2.測試範例：用以評估網路學習成果所使用的範例。（1.2）差異：前者只用回想演算法得到推論輸出值，並與目標輸出值比較，以評估網路學習精度。類神經網路運作（2）1.訓練範例：藉此調整網路連結加權值。訓74類神經網路運作（3）3.待推案例：網路學習過程完後，可用網路推論待推案例的結果。（2.3）差異：前者沒有目標輸出變數向量類神經網路運作（3）3.待推案例：網路學習過程完後，可用網75優點高速計算能力高容記憶能力學習能力容錯能力優點高速計算能力76應用監督式學習應用：分類、預測。非監督式學習應用：聚類。聯想式學習應用：雜訊過濾、資料擷取。最佳化問題應用：設計、排程。應用監督式學習應用：分類、預測。77基本架構（1）處理單元：類神經網路基本單位作用可用三個函數來說明：1）集成函數2）作用函數3）轉換函數基本架構（1）處理單元：類神經網路基本單位78基本架構（2）層：若干個具相同作用的處理單元集合成。層的三種作用：1）正規化輸出2）競爭化輸出3）競爭化學習

基本架構（2）層：若干個具相同作用的處理單元集合成。79基本架構（3）網路：若干個具不同作用的層集合成網路網路兩種作用：1）學習過程2）回想過程基本架構（3）網路：若干個具不同作用的層集合成網路80泛朦第三系神经系课件81C：實數型常數。單調(monotonic)遞增、平滑且可微分的函數。採用：倒傳遞類神經網路、連續型霍普菲爾網路，都是此種活化函數。C：實數型常數。單調(monotonic)遞增、平82倒傳遞網路倒傳遞類神網路模式是目前類神網路學習模式中最具代表性，應用最普遍的模式。倒傳遞類神經網路屬於監督式學習網路，因而適合診斷、預測等應用。倒傳遞網路倒傳遞類神網路模式是目前類神網路學習模式中最具代表83‧‧‧‧‧‧‧‧‧‧‧‧‧‧‧輸出向量輸入向量輸出層：表示輸出變數隱藏層：表示輸