近日，Mate Labs 聯合創始人兼 CTO 在 Medium 上撰文《Everything you need to know about Neural Networks》，從神經元到 Epoch，扼要介紹了神經網絡的主要核心術語。

理解什么是人工智能，以及機器學習和深度學習如何影響它，是一種不同凡響的體驗。在 Mate Labs 我們有一群自學有成的工程師，希望本文能夠分享一些學習的經驗和捷徑，幫助機器學習入門者理解一些核心術語的意義。

神經元（節點）—神經網絡的基本單元，它包括特定數量的輸入和一個偏置值。當一個信號（值）輸入，它乘以一個權重值。如果一個神經元有 4 個輸入，則有 4 個可在訓練中調節的權重值。

?

?

神經網絡中一個神經元的運算

?

連接—它負責連接同層或兩層之間的神經元，一個連接總是帶有一個權重值。訓練的目標是更新這一權重值以降低損失（誤差）。

?

偏置（Offset）—它是神經元的額外輸入，值總是 1，并有自己的連接權重。這確保即使當所有輸入為 0 時，神經元中也存在一個激活函數。

激活函數（遷移函數）—激活函數負責為神經網絡引入非線性特征。它把值壓縮到一個更小范圍，即一個 Sigmoid 激活函數的值區間為 [0,1]。深度學習中有很多激活函數，ReLU、SeLU 、TanH 較 Sigmoid 更為常用。更多激活函數，請參見《一文概覽深度學習中的激活函數》。

?

各種激活函數

?

基本的神經網絡設計

輸入層—神經網絡的第一層。它接收輸入信號（值）并將其傳遞至下一層，但不對輸入信號（值）執行任何運算。它沒有自己的權重值和偏置值。我們的網絡中有 4 個輸入信號 x1、x2、x3、x4。

隱藏層—隱藏層的神經元（節點）通過不同方式轉換輸入數據。一個隱藏層是一個垂直堆棧的神經元集。下面的圖像有 5 個隱藏層，第 1 個隱藏層有 4 個神經元（節點），第 2 個 5 個神經元，第 3 個 6 個神經元，第 4 個 4 個神經元，第 5 個 3 個神經元。最后一個隱藏層把值傳遞給輸出層。隱藏層中所有的神經元彼此連接，下一層的每個神經元也是同樣情況，從而我們得到一個全連接的隱藏層。

輸出層—它是神經網絡的最后一層，接收來自最后一個隱藏層的輸入。通過它我們可以得到合理范圍內的理想數值。該神經網絡的輸出層有 3 個神經元，分別輸出 y1、y2、y3。

輸入形狀—它是我們傳遞到輸入層的輸入矩陣的形狀。我們的神經網絡的輸入層有 4 個神經元，它預計 1 個樣本中的 4 個值。該網絡的理想輸入形狀是 (1, 4, 1)，如果我們一次饋送它一個樣本。如果我們饋送 100 個樣本，輸入形狀將是 (100, 4, 1)。不同的庫預計有不同格式的形狀。

權重（參數）—權重表征不同單元之間連接的強度。如果從節點 1 到節點 2 的權重有較大量級，即意味著神將元 1 對神經元 2 有較大的影響力。一個權重降低了輸入值的重要性。權重近于 0 意味著改變這一輸入將不會改變輸出。負權重意味著增加這一輸入將會降低輸出。權重決定著輸入對輸出的影響力。

?

前向傳播

前向傳播—它是把輸入值饋送至神經網絡的過程，并獲得一個我們稱之為預測值的輸出。有時我們也把前向傳播稱為推斷。當我們饋送輸入值到神經網絡的第一層時，它不執行任何運算。第二層接收第一層的值，接著執行乘法、加法和激活運算，然后傳遞至下一層。后續的層重復相同過程，最后我們從最后一層獲得輸出值。