数学式的神经

1、數學式的神經大家都知道我們的大腦能夠構思、計算、甚至推導出偉大的數學式子。哪驅動我們去做這些行為的神經，它能夠用數學式子來表示嗎？如果可以，那會是怎樣的形態。我們知道從小就該教育自己的小孩，訓練他們的大腦，讓他們成未下一為愛因斯坦，大腦中左腦的快速成長期，大概是孩童介於六至八歲的時候。這個時期是培養孩子敏銳觀察力與邏輯思考的最好時機。到了八歲左右，大腦的皮質前葉會忽然呈現快速地成長，孩子們的精密思考與反射動作會變得更加成熟；不論是閱讀，或者是書寫都會更為順暢容易。當孩童長至九歲至十二歲的階段，連接大腦皮質左右兩邊的神經網路胼胝體，便會開始成長。此時，有規律和持續性的刺激大腦，可以加速腦神經的發

2、育。這就是全腦開發的完全成熟期。以下是左腦與右腦的功能對照：功 能左 腦右 腦思維功能邏輯推理空間心像 / 創造力 / 構思擬想體覺功能觸覺辨識 / 操作理解體覺感受 / 鑑賞力視覺功能視覺辨識 / 觀察理解視覺感受 / 圖像欣賞聽覺功能聽覺辨識 / 語言理解聽覺感受 / 音樂欣賞神經網絡模型 神經網絡系統的組成元件包括處理數據的基本元件Neuron及Neuron互相連接的橋樑Link，不同數量的Neuron組成網絡層即Network Layer，不同的網絡層平行排列成神經網絡系統架構，而接受數據輸入的網絡層我們稱為輸入層Input Layer，相反網絡計算結果輸出的介面我們稱為輸出層Outp

3、ut Layer，負責網絡內部計算即界符輸入及輸出的網絡層，我們稱為隱藏層Hidden Layer，經過以上神經網絡系統元件介紹後，相信各位對神經網絡系統結構已經有了初步籃圖。根據外國學者及專家研究結果所得，使用三層網絡架構基本上可以模擬，分析及解決大部份的複雜問題Hornik，et al，1989，所以三層神經網絡系統係現時最流行使用及具效率的分析架構，而他們証實使用四層架構即兩層隱藏層加一層輸入及輸出層的數量已經係上限，他們更發現使用五層或以上的神經網絡層組合架構不但沒有提高系統本身分於析及預測的準確度，相反還會降低系統整體運作速度及執行效率。下圖為三層的神經網絡系統及模型架構，圖表中，位

4、於最左邊垂直排列的一層為輸入層，當中包括個輸入Neuron及個Bias Neuron，而位於最右邊是輸出層包括個輸出Neuron，而介符兩者間為內部隱藏計算層包括個Neuron及個Bias Neuronf(x)稱為Activation Function，而f(x)本身可以使用Linear，Step，Ramp，Sigmoid或Gaussian不同種類的函數代替，而現時較流行的神經網絡分析系統均使用Sigmoidal function，而上述模型中f(x)為其中Sigmoidal function之一類，稱為LogisticSigmoidFunction。 神經網絡的學習訓練程序係使用系統分析的主

5、要程序，分析人員需要將整理好的學習訓練個案載入網絡系統中，系統不斷從相關數據裹接受訓練並且當學習訓練程序到達預先設定好的終止條件後，學習訓練程序便會終止。基本上分析人員可以利用以上學習訓練結果去進行分析，分類及預測等不同範疇應用，現時學習訓練主要有兩種分類方法：1. 指導性學習訓練supervised Learning，每筆學習訓練的個案必須提供與其有關之既定結果一併給神經網絡接受學者訓練，系統以便根據每筆數據與其相關結果不斷進行內部網絡相關參數調整及更新，從而決定最適合的對應函數之相關參數。現時最流行的神經網絡學習訓練演算法是Back-propagation Training Algorit

6、hmRumelhar te tal，1986：McClelland and Rumelhart ，1988；Carpemter and Hoffman，1955，由於計算過程牽涉向量函數Vector Function，而微分Derivative向量函數我們稱為Gradient，故有稱Gradient Descent Algorithm，下列為主要數學公式去執行有關演算法： 上列公式中，代表神經網絡系統學習訓練速率Learning Rate，而為Momentum Term代表指向某方向並且增加神經網絡系統訓練學習速度的參數。2. 非指導性學習訓練Unsupervised Learning，相反每

7、筆學習訓練的個案沒有提供與其有關之既定結果給神經網絡接受學者訓練，系統需要根據載入的學習訓練的個案不斷進行內部網絡相關參數調整及更新，並且自行決定學習訓練的個案整體不同特徵，Kohonen LearningKohonen，1984是其中例子。“人工神經元”是一種算法或物理裝置，實現了一個數學模型，靈感的基本行為的生物神經元。一個神經細胞積聚所收到的信號從其他神經元或投入（例如，傳感器） ，如果總信號的積累超過某一閾值，神經元傳遞一個信號，其他神經元或產出（例如，效應） 。任何數學模型結合的思想，積累了多種投入和高產一個單一的輸出（即加劇的相對強度的投入相對一些象徵性的水平） ，可用於模式識別。

8、這種模型可以根據一個人工神經元。如果影響每個輸入可以進行修改，那麼，該模型可以支持學習。“激活函數”是一種數學函數轉換輸入值低於某一特定的價值相對較低的產值，並將其轉換為輸入值以上，特別是價值相對較高的產值。“激活功能”是用來轉換的加權總和，輸入值的一個神經元的價值，代表的輸出神經元。“sigmoid”功能，是一種通用類別的順利職能漸近的做法，下限為輸入值接近負至無限遠，並漸近的做法，上限輸入值接近積極至無限遠。一個具體的sigmoid職能是“logistic sigmoid”功能：該“Logistic Sigmoid”功能：數學衍生的“logistic sigmoid”可以計算為一個公式，因

9、此很容易計算相關的學習公式。“Error”是一個數值代表之間的差額，產值和“Desired”值：Error = (Output - Desired); / Derived from:Output = Desired+Error; “網絡仿真”程序是用來宣傳網絡的投入，通過鏈接和神經元的機構，直至達到網絡的產出。網絡仿真涉及模擬，其所有的組成環節和神經元的機構。模擬沒有循環或時間：有很多可能的網絡配置，涉及循環。有許多神經元模型，依賴於時間。但一些最常見的應用人工神經元涉及既不循環也不是時間。以下是數學模型

10、的一個神經細胞團體：Output = ActivationFunction( Bias + InputAccumulator );與此神經元模型，以及網絡“環路” ，我們只是從外部投入，產出計算的第一層神經元，以及供應這些產出的投入到下一層，計算產出為層，並繼續透過層層神經元，直到最後的產出計算。循環：一個網絡可以有聯繫，在形式的迴路（或“週期”）。舉例來說，輸出一個神經細胞可以直接連接到一投入相同的神經元，造成“的反饋意見”。另一個例子是輸出神經元1被連接到輸入神經元2，輸出神經元2被連接到輸入神經元1。如果您就可以開始從一些點，在

11、一個網絡和微量元素的路徑，通過神經元和連接，服從一個雙向流動的信號，並最終到達相同的起點，那麼，路徑是一個循環。循環介紹有趣的可能性，信號流圍繞網絡無限期的一段時間。一些簡單的模型假設，它需要的具體數額的時間信號，通過個體神經元。在這樣的模式，通過信號的流通循環，只有少數神經元速度比信號分發通過循環與許多神經元。一個神經細胞連接到本身將有最快的信號流通速度。如果一個神經元有一個輸入X ，重量W ，偏見B ，和一個非負輸出Y （例如， 0.0 -> 1.0 ） ，那麼我們可以形成一個振盪器，只要設置W = (-8)和B = +4和連接Y ，以X ;我們每一次模擬神經元，信號將切換到對面的國

12、家。網絡環路，可繁忙的活動，甚至當它不接受外部信號（刺激）的投入。元胞自動機的規則Conway's “Game of Life”可以實施在一個神經網絡，讓你一個小提示的多樣性活動，可以發生在一個神經網絡與循環。有限狀態機(FSM) ，振盪器，揮發性記憶體（在對比的學習模式，通過不斷變化的權重），是可能的循環。如果一個網絡環路，我們不能更新任何產出，直到我們計算的所有產出，因此，我們需要一個臨時的緩衝區來存儲計算的產出，直到我們計算的所有產出，然後我們可以承諾，新的輸出值向神經元網絡。任何方法更新的產出在實際的網絡在一個漸進的方式，而不是一個全在一次的方式，介紹了一個任意訂購的時間，導致

13、混亂。時間相關性：一個簡單的網絡仿真通常涉及的投入，造成了預期的產出後，一個單一的模擬時間步。在這樣一個模擬，我們認為在條件“疊代次數” ，而不是“在幾秒鐘的時間”。不必有任何書信來往迭代和時間尺度。一個制度的設計可能會做網絡仿真（代）只有當新的輸入是可用的，這可能是發生在不規則的間隔時間。不過，考慮的數學模型，一個神經細胞，試圖模擬脈衝輸出方面的生物神經元。脈衝可能的特點是在時間的條款，如脈衝在某一特定頻率或有脈衝，其曲線延伸為某一大量的時間。我們可以有其他時間依賴的要素在一個數學模型，一個神經細胞，例如作為一項投入，蓄電池，其價值得到捐款的投入，但有一個洩漏成正比，其目前的價值。一般而言，

14、我們可以找到一個類比電路的內容，遵守一定的數學方程，因此可以把神經元作為電路的電阻，電容，和一個非線性放大器。正如一位電路可以展示複雜的時間依賴的行為，輸出一個神經細胞，可被視為一個功能取決於其投入和時間，在一個複雜的方式。“落後的誤差傳播”是一種數學程序，開始與錯誤的輸出的神經網絡和宣傳這個錯誤倒退，通過網絡，以收益率的輸出誤差值為所有神經元網絡。落後的誤差傳播公式：誤差值在神經網絡的產出計算，使用下列公式：Error = (Output - Desired);  / Derived from: Out

15、put = Desired + Error;錯誤的積累在一個神經元的機構調整，根據輸出神經元的機構和輸出誤差（所指定的鏈接連接到神經元的機構） 。每個輸出的誤差值，有助於錯誤蓄能器在下列方式：ErrorAccumulator += Output * (1 - Output) * OutputError;在某種意義上說，所有的輸出誤差在下次層洩漏倒退，通過投入的權重和積累，在輸出的神經元在先前的層。這積累的價值乘以一個值，該值是最大的，當電流輸出的神經元是最中性的（最“未定” ） ，並至少當輸出神經元是最極端的（很“某些” ） 。體重變化和偏見的變化公式：基礎學習是調整權重和偏差的價值觀，企圖以減少未來的輸出錯誤。學習“率”是一個數值，基本上表明，如何迅速的神經元調整重量和偏見，價值觀，根據錯誤的價值觀。下列公式表明，如何變更的權重的神經元與特定的輸入值和其輸出誤差值：Weight += (-1) * Rate * Input * Error;下列公式表明，如何改變偏見的一個神經細胞鑑於目前的輸出誤差為神經元：Bias