在分類任務(wù)中，我們通常在感知器的輸出層中使用 Softmax 函數(shù)作為激活函數(shù)，以保證輸出的是概率并且相加等于 1。Softmax 函數(shù)接收一個(gè)隨機(jī)實(shí)值的分?jǐn)?shù)向量，轉(zhuǎn)化成多個(gè)介于 0 和 1 之間、并且總和為 1 的多個(gè)向量值。所以，在這個(gè)例子中：
概率（Pass）+概率（Fail）=1

第一步：前向傳播
網(wǎng)絡(luò)中所有的權(quán)重都是隨機(jī)分配的。我們現(xiàn)在考慮圖 5 中標(biāo)注 V 的隱藏層節(jié)點(diǎn)。假設(shè)從輸入連接到這些節(jié)點(diǎn)的權(quán)重分別為 w1、w2 和 w3（如圖所示）。

神經(jīng)網(wǎng)絡(luò)會(huì)將第一個(gè)訓(xùn)練樣本作為輸入（我們已知在輸入為 35 和 67 的情況下，通過(guò)的概率為 1）。
網(wǎng)絡(luò)的輸入=[35, 67]

期望的網(wǎng)絡(luò)輸出（目標(biāo)）=[1, 0]

涉及到的節(jié)點(diǎn)的輸出 V 可以按如下方式計(jì)算（*f* 是類似 Sigmoid 的激活函數(shù)）：
V = f(1*w1 + 35*w2 + 67*w3)

同樣，隱藏層的其他節(jié)點(diǎn)的輸出也可以計(jì)算。隱藏層兩個(gè)節(jié)點(diǎn)的輸出，是輸出層兩個(gè)節(jié)點(diǎn)的輸入。這讓我們可以計(jì)算輸出層兩個(gè)輸出的概率值。

假設(shè)輸出層兩個(gè)節(jié)點(diǎn)的輸出概率分別為 0.4 和 0.6（因?yàn)闄?quán)重隨機(jī)，輸出也會(huì)隨機(jī)）。我們可以看到計(jì)算后的概率（0.4 和 0.6）距離期望概率非常遠(yuǎn)（1 和 0），所以圖 5 中的網(wǎng)絡(luò)被視為有「錯(cuò)誤輸出」。

第二步：反向傳播和權(quán)重更新

我們計(jì)算輸出節(jié)點(diǎn)的總誤差，并將這些誤差用反向傳播算法傳播回網(wǎng)絡(luò)，以計(jì)算梯度。接下來(lái)，我們使用類似梯度下降之類的算法來(lái)「調(diào)整」網(wǎng)絡(luò)中的所有權(quán)重，目的是減少輸出層的誤差。圖 6 展示了這一過(guò)程（暫時(shí)忽略圖中的數(shù)學(xué)等式）。

假設(shè)附給節(jié)點(diǎn)的新權(quán)重分別是 w4，w5 和 w6（在反向傳播和權(quán)重調(diào)整之后）。

圖 6：多層感知器中的反向傳播和權(quán)重更新步驟

如果我們現(xiàn)在再次向網(wǎng)絡(luò)輸入同樣的樣本，網(wǎng)絡(luò)應(yīng)該比之前有更好的表現(xiàn)，因?yàn)闉榱俗钚』`差，已經(jīng)調(diào)整了權(quán)重。如圖 7 所示，和之前的 [0.6, -0.4] 相比，輸出節(jié)點(diǎn)的誤差已經(jīng)減少到了 [0.2, -0.2]。這意味著我們的網(wǎng)絡(luò)已經(jīng)學(xué)習(xí)了如何正確對(duì)第一個(gè)訓(xùn)練樣本進(jìn)行分類。

圖 7：在同樣的輸入下，多層感知器網(wǎng)絡(luò)有更好的表現(xiàn)

用我們數(shù)據(jù)集中的其他訓(xùn)練樣本來(lái)重復(fù)這一過(guò)程。這樣，我們的網(wǎng)絡(luò)就可以被視為學(xué)習(xí)了這些例子。

現(xiàn)在，如果我們想預(yù)測(cè)一個(gè)學(xué)習(xí)了 25 個(gè)小時(shí)、期中考試 70 分的學(xué)生是否能通過(guò)期末考試，我們可以通過(guò)前向傳播步驟來(lái)計(jì)算 Pass 和 Fail 的輸出概率。

我回避了數(shù)學(xué)公式和類似「梯度下降（Gradient Descent）」之類概念的解釋，而是培養(yǎng)了一種對(duì)于算法的直覺(jué)。對(duì)于反向傳播算法更加注重?cái)?shù)學(xué)方面討論，請(qǐng)參加此鏈接： ~vlsi/AI/backp_t_en/backprop.html

多層感知器的 3D 可視化

Adam Harley 創(chuàng)造了一個(gè)多層感知器的 3D 可視化（~aharley/vis/fc/），并已經(jīng)開(kāi)始使用 MNIST 數(shù)據(jù)庫(kù)手寫(xiě)的數(shù)字進(jìn)行訓(xùn)練。

此網(wǎng)絡(luò)從一個(gè) 28 x 28 的手寫(xiě)數(shù)字圖像接受 784 個(gè)數(shù)字像素值作為輸入（在輸入層有對(duì)應(yīng)的 784 個(gè)節(jié)點(diǎn)）。網(wǎng)絡(luò)的第一個(gè)隱藏層有 300 個(gè)節(jié)點(diǎn)，第二個(gè)隱藏層有 100 個(gè)節(jié)點(diǎn)，輸出層有 10 個(gè)節(jié)點(diǎn)（對(duì)應(yīng) 10 個(gè)數(shù)字）[15]。

雖然這個(gè)網(wǎng)絡(luò)跟我們剛才討論的相比大了很多（使用了更多的隱藏層和節(jié)點(diǎn)），所有前向傳播和反向傳播步驟的計(jì)算（對(duì)于每個(gè)節(jié)點(diǎn)而言）方式都是一樣的。

圖 8 顯示了輸入數(shù)字為「5」的時(shí)候的網(wǎng)絡(luò)

圖 8：輸入為「5」時(shí)的視覺(jué)化的網(wǎng)絡(luò)

輸出值比其它節(jié)點(diǎn)高的節(jié)點(diǎn)，用更亮的顏色表示。在輸入層，更亮的節(jié)點(diǎn)代表接受的數(shù)字像素值更高。注意，在輸出層，亮色的節(jié)點(diǎn)是如何代表數(shù)字 5 的（代表輸出概率為 1，其他 9 個(gè)節(jié)點(diǎn)的輸出概率為 0）。這意味著多層感知器對(duì)輸入數(shù)字進(jìn)行了正確的分類。我非常推薦對(duì)這個(gè)可視化進(jìn)行探究，觀察不同節(jié)點(diǎn)之間的聯(lián)系。

結(jié)論

在這篇文章中，我跳過(guò)了部分概念的重要細(xì)節(jié)，以促進(jìn)理解。為了全面理解多層感知器，我推薦閱讀斯坦福神經(jīng)網(wǎng)絡(luò)教程的第一、第二、第三和案例研究部分。如果有任何問(wèn)題或者建議，請(qǐng)?jiān)谙路皆u(píng)論告訴我。