加速倒传递人工神经系统学习之技巧

1、實驗四 加速倒傳遞人工神經系統學習之技巧一 實驗目的：熟習倒傳遞人工神經系統學習中，誤差倒傳遞相關學習之技巧，包含：(1) 加入慣量(momentum)影響(2) 改變輸出啟動函數(sigmoidal function)之斜率(3) 改變以一次誤差倒傳遞修正全部評量加權之方式(4) 競爭式部分學習二 背景說明：有關倒傳遞人工神經系統，其學習速度之緩慢是大家公認的噩夢。如何在不影響學習效果，而能提高學習速度，已成為目前熱門的研究題材。以下介紹其中最有效的方法：(1) 加入慣量(momentum)影響由於在學習中，我們是根據資料輸入修正評量加權。在評量加權修正過程時，最怕這一次修正方向，與上一次修

2、正方向相反而抵消，使得這二次學習變成無效。所以就衍生出一種混合修正方式，即每次評量加權修正，取決於二個部分：一部份是上一次修正值(也就是慣性)，另一部份是這一次誤差倒傳遞實得之修正值(即是創新)。這二部份的影響分配比例，隨問題特性而不同。以數學表示如下：為動量係數(momentum coefficient)(2) 改變輸出啟動函數(sigmoidal function)之斜率在倒傳遞人工神經系統學習中，輸出啟動函數(sigmoidal function)之一次微分是所有計算項必用的。sigmoidal function有下列特性，除非是在自變參數x落在0附近，否則函數數值多是接近0，要不就接近

3、1，造成啟動函數的飽和。所以該函數之一次微分數值便大多為0。因此可預期，若處理元件之總輸入值只要不是落在0附近，及相關之評量加權修正將不可避免為0，這將使神經系統學習進入學習之平台區(standstill)。如果能改變輸出啟動函數之斜率，儘可能使輸出啟動函數之一次微分不為0，方能加速學習。所以如遇上倒傳遞神經系統學習過慢時，改變輸出啟動函數之斜率是一可行之途徑。 r = 0.5r = 1r = 2 圖一 sigmoidal function(3) 改變以一次誤差倒傳遞修正全部評量加權之方式將原來由誤差倒傳遞到第一層後，一次修正全部評量加權之方式 ; 改成由第一層起修正，再將原來該資料輸入，重新

4、計算誤差，然後進行誤差倒傳遞，對其第二層修正，依此方式重複逐層修正至輸出層。這便是所謂由前向後之學習法(Forward Genetic Learning)。(4) 逐層競爭之部份學習當每一筆資料輸入神經網路後，誤差便開始倒傳遞，吾人藉此可求得每一個神經元之delta ()。每層設有L個神經元，參考準位Thj，j為層之變數，定義為Thj = ，每層之L個神經元均以Thj為比較參考，若本身之delta小於Thj，則以該神經元為輸出之所有評量加權就不進行修正; 反之則照常修正。換言之，神經元之所有評量加權要不要修正，取決於神經元之delta是否大於所屬層之參考準位。 三 實驗步驟1 在相同條件下，試

5、逐一應用上述四法改善實驗三之x-to-cos(x)學習2 試以其誤差收斂情況來比較各加速法則的學習效益。四問題討論1 啟動函數的飽和會造成神經系統學習進入平台區(standstill)，上面我們提到改變函數斜率可以避免這樣的問題，試另找一方法來避免這樣的問題。2 試自把改善學習效率方法(3)之修改順序改為依倒傳方式，由輸出層起，逐層修正，並觀察其成效。3 試以多項式y = x4 - 18x3 + 104x2 - 222x + 135 ， 0<x<10 的學習來比較各個學習法則之效能。 圖三 多項式 y = x4 - 18x3 + 104x2 - 222x + 1354 最陡坡降法是一種較簡單的最佳化法則，但其以字形(zigzag)的修正軌道慢慢指向最小值的做法，造成其學習速度過於緩慢。底下介紹的Conjugate-Gradient 學習法則即可避免這樣的問題。W(n +1) = w(n) + p(n)為學習係數，p(n)為方向向量(direction vector)。也就是說，此時鍵結值的修改不再由梯度值g(n)，而是由p(n)，其定義如下:p(0) = -g(0