深度神經需要特殊的訓練技巧

隨著層數變多，網絡參數增多，隨之運算量增大，通常都是超過億萬級的計算。對于這樣復雜的結構，我們一定不會一個一個的計算，對于億萬級的計算，使用loop循環效率很低。

網絡的運算過程如圖所示：

上圖中，網絡的運算過程可看作是矩陣的運算。

網絡的計算方法就像是嵌套，所以整個神經網絡運算就相當于一連串的矩陣運算。

從結構上看每一層的計算都是一樣的，也就是用計算機進行并行矩陣運算。這樣寫成矩陣運算的好處是，你可以使用GPU加速，GPU核心多，可以并行做大量的矩陣運算。

神經網絡的本質：通過隱藏層進行特征轉換

隱藏層可以看作是對網絡輸入層輸入特征進行特征處理，在最后一層隱藏層進行輸出，這時的輸出可以看作一組全新的特征，將其輸出給輸出層，輸出層對這組全新的特征進行分類。

舉例：手寫數字識別

舉一個手寫數字體識別的例子：

輸入：一個16*16=256維的向量，每個pixel對應一個dimension，有顏色用（ink）用1表示，沒有顏色（no ink）用0表示，將圖片展平為一個256維的向量作為網絡輸入。

輸出：10個維度，每個維度代表一個數字的置信度（可理解為是該數字的概率有多大）

從輸出結果來看，每一個維度對應輸出一個數字，代表模型輸出為當前分類數字的概率。說明這張圖片是2的可能性就是最大的。

在這個問題中，唯一確定的就是，輸入是256維的向量，輸出是10維的向量，我們所需要找的函數就是輸入和輸出之間的神經網絡這個函數。

從上圖看神經網絡的結構決定了函數集（function set），通常來講函數集中的函數越多越復雜，網絡的表達空間就越大，越能handle復雜的模式，所以說網絡結構（network structured）很關鍵。

接下來有幾個問題：

• 多少層？每層有多少神經元？這個問我們需要用嘗試加上直覺的方法來進行調試。對于有些機器學習相關的問題，我們一般用特征工程來提取特征，但是對于深度學習，我們只需要設計神經網絡模型來進行就可以了。對于語音識別和影像識別，深度學習是個好的方法，因為特征工程提取特征并不容易。
• 結構可以自動確定嗎？有很多設計方法可以讓機器自動找到神經網絡的結構的，比如進化人工神經網絡（Evolutionary Artificial Neural Networks）但是這些方法并不是很普及 。
• 我們可以設計網絡結構嗎？可以的，比如 CNN卷積神經網絡（Convolutional Neural Network ）

Step2：模型評估

損失示例

對于模型的評估，我們一般采用損失函數來反應模型的優劣，所以對于神經網絡來說，我們可以采用交叉熵（cross entropy）函數來對