01

神經(jīng)網(wǎng)絡(luò)中最基本的成分是神經(jīng)元（neuron）模型。在生物神經(jīng)網(wǎng)絡(luò)中，每個神經(jīng)元與其他神經(jīng)元相連，當它“興奮”時，就會向相連的神經(jīng)元發(fā)送化學物質(zhì)，從而改變這些神經(jīng)元內(nèi)的電位；如果某神經(jīng)元的電位超過了一個“閾值”（threshold），那么它就會被激活，即“興奮”起來，向其他神經(jīng)元發(fā)送化學物資。

圖5.1所示的簡單模型就是沿用至今的“M-P神經(jīng)元模型”。在這個模型中，神經(jīng)元接收到來自n個其他神經(jīng)元傳遞過來的輸入信號，這些輸入信號通過帶權(quán)重的連接（connection）進行傳遞，神經(jīng)元接收到總輸入值將與神經(jīng)元的閾值進行比較，然后通過“激活函數(shù)”（activation function）處理以產(chǎn)生神經(jīng)元的輸出。 階躍函數(shù)是理想的激活函數(shù)，它將輸出值映射為輸出值“0”或“1”，“1”對應(yīng)與神經(jīng)元興奮，“0”對應(yīng)于神經(jīng)元抑制。但階躍函數(shù)具有不連續(xù)、不光滑等不太好的性質(zhì)，因此常用Sigmoid函數(shù)作為激活函數(shù)，如下圖：

把許多這樣的神經(jīng)元按一定的層次結(jié)構(gòu)連接起來，就得到了神經(jīng)網(wǎng)絡(luò)。

感知機與多層網(wǎng)絡(luò)

once time【2018】

02

感知機（Perceptron）由兩層神經(jīng)元組成，如圖5.3所示。輸入層接收外界輸入信號后傳遞給輸出層，輸出層是M-P神經(jīng)元，亦稱“閾值邏輯單元”（threshold logic unit）。

要解決非線性可分問題，需考慮使用多層功能神經(jīng)元。如圖5.5中兩層感知機解決異或問題。

這里的輸入層和輸出層之間的一層神經(jīng)元，被稱為隱層或隱含層（hidden layer），隱含層和輸出層神經(jīng)元都是擁有激活函數(shù)的功能神經(jīng)元。

我們常見的神經(jīng)網(wǎng)絡(luò)是如圖5.6所示的層級結(jié)構(gòu)，每層神經(jīng)元與下一層神經(jīng)元全互連，神經(jīng)元枝江不存在同層連接，也不存在跨層連接。這樣的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)通常稱為“多層前饋神經(jīng)網(wǎng)絡(luò)”（multi-layer feed forward neural network）。由于輸入層神經(jīng)元僅是接受輸入，不進行函數(shù)處理，隱層與輸出層包含功能神經(jīng)元。因此，通常被稱為“兩層網(wǎng)絡(luò)”，或“單隱層網(wǎng)絡(luò)”。 神經(jīng)網(wǎng)絡(luò)的學習過程，就是根據(jù)訓練數(shù)據(jù)來調(diào)整神經(jīng)元之間的“連接權(quán)”（connection weight）以及每個功能神經(jīng)元的閾值。

誤差逆?zhèn)鞑?a href="http://www.3532n.com/v/tag/2562/" target="_blank">算法

once time【2018】

03

欲訓練多層神經(jīng)網(wǎng)絡(luò)，上述的簡單感知機學習規(guī)則顯然不夠，我們需要更強大的學習算法。誤差逆?zhèn)鞑ィ╡rror BackPropagation，簡稱BP）算法就是一種杰出的神經(jīng)網(wǎng)絡(luò)學習算法。