一、 人工神經網絡的概念

　　人工神經網絡（ArTIficial Neural Network，ANN）簡稱神經網絡（NN），是基于生物學中神經網絡的基本原理，在理解和抽象了人腦結構和外界刺激響應機制后，以網絡拓撲知識為理論基礎，模擬人腦的神經系統對復雜信息的處理機制的一種數學模型。該模型以并行分布的處理能力、高容錯性、智能化和自學習等能力為特征，將信息的加工和存儲結合在一起，以其獨特的知識表示方式和智能化的自適應學習能力，引起各學科領域的關注。它實際上是一個有大量簡單元件相互連接而成的復雜網絡，具有高度的非線性，能夠進行復雜的邏輯操作和非線性關系實現的系統。

　　神經網絡是一種運算模型，由大量的節點（或稱神經元）之間相互聯接構成。每個節點代表一種特定的輸出函數，稱為激活函數（acTIvaTIon funcTIon）。每兩個節點間的連接都代表一個對于通過該連接信號的加權值，稱之為權重（weight），神經網絡就是通過這種方式來模擬人類的記憶。網絡的輸出則取決于網絡的結構、網絡的連接方式、權重和激活函數。而網絡自身通常都是對自然界某種算法或者函數的逼近，也可能是對一種邏輯策略的表達。神經網絡的構筑理念是受到生物的神經網絡運作啟發而產生的。人工神經網絡則是把對生物神經網絡的認識與數學統計模型相結合，借助數學統計工具來實現。另一方面在人工智能學的人工感知領域，我們通過數學統計學的方法，使神經網絡能夠具備類似于人的決定能力和簡單的判斷能力，這種方法是對傳統邏輯學演算的進一步延伸。

?

從數學的角度講，人工神經網絡的本質從機器學習的過程可理解為通過參數求最佳解得過程。同樣也是一個負反饋的過程，以最簡單的負反饋神經網絡bp神經網絡（back propagation）為例，其本質可以形象的理解為這樣一個過程：我們假設這個剛搭建的好的機器人叫“小明”（假設他剛出生），他的硬件軟件等我們不需要考慮的部分全部是最先進的，小明的大腦里現在是最純凈的，除了一個學習的算法什么都沒有，就像一個剛出生的嬰兒一樣。

現在，小明餓了，想吃東西。那么如何才能吃到東西呢？在什么都不知道的情況下，小明開始探索如何才能不餓。他可能會伸手，或者笑、哭，于是母親喂了他吃的，從邏輯上可以這么理解：然后他每次餓了，都開始伸手-笑-哭，然后就有吃的了。突然，有一天他自己也不知道怎么搞的，直接哭了。然后---有吃的了！

這時他才明白這一個邏輯：這時候，機器人“小明“明白，其實達到一個目的很簡單，但是需要不斷嘗試。再后來，小明又餓了，這回他懶得動，稍微小哭了一下等吃的，結果媽媽沒來喂他！這是為啥？然后他就哭的超級大聲，媽媽看他這樣子以為是病了，急沖沖的送她去診所，結果啥病也沒有，小明迷惑，這是為什么？

邏輯可以這么理解：然后他把哭聲再稍微降低以點，變成了很正常的哭，這時媽媽終于恍然大悟，喂他吃的。小明終于明白，想吃東西，首先需要哭，然后若哭聲小，不起作用，需要調大哭聲，若哭聲過大，會起反作用，需要把哭聲再降小一點，就有吃的了。

以上就是人工神經網絡的本質，通過不斷嘗試引入各種參量，最終得到允許誤差范圍內的解，并通過引入參量系數，最終得到最優解——喂食=哭。通過負反饋機制，當參量所占權重過小，以當前參量所得結果為參考依據適當增加參量權重比例，增加的比例的系數隨機。通過第二次的結果和第一次的結果選擇更合適的權重系數，最后經過不斷的“嘗試“得到最優解。以上過程即是bp負反饋神經網絡的算法思想。