此時輸入參數對應的是下圖中的黑點，每個神經元就是黑線（由于激勵函數的存在，不一定像下圖一樣是線性的，它可以是任意的形狀）。神經網絡由一個個神經元組成，這些神經元表示的擬合函數相互交錯就形成了各種各樣的區域。在下圖中可以直觀的看到，此時分類問題就是一個數學的問題，輸入參數落在 A 區域，那么就認為他是分類 1，落在 B 區域，則認為他是分類 2。依次類推，我們便建立了神經網絡分類器在數學上的表現含義。

激活函數

事實上，一個神經元不能擬合異或運算。在下圖中可以直觀的看到，你無法直接用一條直線將分類 0 和分類 1 分隔開。

此時可以借助激活函數來做分割。激活函數選擇閥值函數，也就是當輸入大于某個值時輸出 1（激活）,小于等于那個值則輸出 0（沒有激活）。

擬合異或函數的神經網絡如圖所示：

圖中神經網絡分成三層。在第二層中，如果輸入大于 1.5 則輸出 1，否則 0；第三層，如果輸入大于 0.5，則輸出 1，否則 0.

第一層到第二層（閥值 1.5）：

第二層到第三層（閥值 0.5）：

可以看到最終結果與異或結果吻合。

其實，這里放在數學上理解體現的是一個升維思想。放在二維坐標中無法分割的點，可以放在三維坐標中分割。上面的神經網絡可以理解為只有最后一層，三個參數的神經元。激活函數是用來構造第三個參數的方式。這樣等同于將三個點放在三維坐標系中做數據分割。相當于在二維中無法解決中的問題升維到三維中解決。

深度學習過程

構造神經網絡

確定學習目標

學習

如何進行深度學習，過程基本都可以分為這三步來做。用一個簡單的例子來說明。如圖，假設我們需要通過深度學習來識別手寫圖片對應的數字。

1.構造神經網絡。這里可以采用最簡單的全連接神經網絡，也可以采用卷積神經網絡。同時確定神經元的激勵函數，神經網絡的層數等。基礎概念篇不做過多介紹

2.確定學習目標。這里簡單假設我們所有輸入的都是手寫的數字圖片。那么這里就有 10 個輸出，分別對應 0~9 的數字的比例。我們用 [y0,y1,...y9]表示，每個 y 值代表這張圖可能對應該數字的概率（y0 表示這張圖是數字 0 的概率）。對于上圖中第一個輸入圖片，在訓練過程中，我們知道第一張圖片輸出應該是數字 5。于是我們期望輸出是 [0,0,0,0,0,1,0,0,0,0]。但是實際上，我們的模型不是完美的，肯定會有誤差，我們得到的結果可能是 [0,0,0.1,0,0,0.88,0,0,0,0.02]。那么就會有個訓練得到的結果和期望結果的誤差。

這時候我們的學習目標也就是希望這個誤差能夠最小。誤差用 L 來表示，學習目標就是找到權值 w，使得 L 最小。當然，這里涉及到我們需要用一個公式來表達這個誤差 L，這個公式選取也很有學問，不同的公式最終在學習過程時收斂速度是不一樣的，通過訓練模型得到的權值 w 也是不一樣的。這里先不多介紹。

3.學習。假設我們神經模型確定下來的權值 w 與 L 的關系如圖所示（這里我們考慮最簡單的二維坐標下的情況，原理是相通的，推廣到多元坐標也是適用的）。由于數學模型的復雜，這里找最小值 L 的過程其實是找局部最小值的過程。

我們都知道，函數某個位置可導，那么就可以確定這個點的斜率。要找到局部最小值，可以根據這個點的斜率移動 w。如根據此時斜率的值我們可以確定 w 應該向右移動一段距離。