4.2高層次視角（high-level perspective）

我們來談一談從高層次視角看這個卷積實際在做什么。這些濾波器中的每一個都可以被認為是特征標識符。當我說特征時，我指的是直邊、簡單的顏色和曲線。假設我們第一個濾波器為7 x 7 x 3，將成為一個曲線檢測器。（在本節中，我們忽略了濾波器為3單位深的事實，為了簡單起見，僅考慮濾波器和圖像的頂層深度）。作為曲線檢測器，濾波器將具有像素結構，其中存在的是沿著曲線形狀的區域的更高的數值（記住，我們正在談論的這些過濾器只是數字！）。

?

現在，讓我們回想一下數學上的可視化。當我們在輸入的左上角有這個過濾器時，它是該區域中濾波器和像素值之間的計算乘法。現在，讓我們舉一個我們要分類的圖像的例子，讓我們把過濾器放在左上角。

?

記住：我們要做的是將濾波器中的值與圖像的原始像素值相乘。

?

在輸入圖像中，如果存在類似于該濾波器表示的曲線的形狀，則所有乘法相加在一起將導致較大的值！現在我們來看看當我們移動過濾器時會發生什么。

?

值要低得多！這是因為圖像部分中沒有任何響應曲線濾波器中的內容。請記住，此轉換圖層的輸出是激活圖。因此，在一個濾波器卷積的簡單情況下（如果該濾波器是曲線檢測器），那么激活圖將顯示圖像中最可能出現曲線的區域。在這個例子中，我們的28 x 28 x 1激活圖的左上角值將為6600。我們的激活圖中右上角的值將為0，因為輸入中沒有任何內容導致過濾器被激活（或者更簡單地說，原始圖像的該區域中沒有曲線）。記住，這只是一個濾波器。它用于檢測向外和向右彎曲的線條。我們也可以使用其他濾波器，用于向左或直邊彎曲的線條。

?

4.3深入網絡
在傳統的卷積神經網絡架構中，其他層次之間非常分明。我強烈地建議有興趣的人閱讀并理解他們的功能和效果，但總體來說，它們提供了非線性的維度，有助于提高網絡的魯棒性和控制過度。經典的CNN架構如下所示：

然而，最后一層是非常重要的，我稍后會介紹。讓我們回顧一下我們剛剛所學到的東西。

我們討論了第一個轉換層中的濾波器被設計為檢測什么。它們檢測低級特征，如邊緣和曲線。可以想象，為了預測圖像是否是一種對象，我們需要網絡能夠識別更高級別的特征，例如手或爪子或耳朵。所以讓我們考慮第一個轉換層之后的網絡輸出。當我們通過另一個轉換層時，第一個轉換層的輸出成為第二個轉換層的輸入。

當我們談論第一層時，輸入只是原始圖像。然而，當我們談論第二個轉換層時，輸入是從第一層產生的激活圖。因此，輸入的每一層基本上都描述了原始圖像中出現某些低級特征的位置。現在當你應用一組濾波器（通過第二個轉換層）時，輸出將是表示較高級特征的激活圖。這些特征的類型可以是半圓（曲線和直邊的組合）或正方形（幾條直邊的組合）。當你通過網絡并通過更多的轉換層時，你將獲得代表越來越復雜特征的激活圖。

4.4完全連接層
現在我們可以檢測到這些高級特征，接下來就是一個完全連接的層。該層基本上接收一個輸入卷（volume）（無論是在其前面的conv或ReLU或池層的輸出），并輸出N維向量，其中N是程序必須選擇的類的數量。例如，如果你想要一個數字分類程序，N將是10，因為有10位數字。該N維向量中的每個數字表示某一類的概率。例如，如果用于數字分類程序的結果向量是[0，1，1，75，0，0 ，0，0，0，05]，則這表示圖像為1的概率為10％，10％的概率為圖像是2，圖像為3的概率為75％，圖像為9的概率為5％。（注：還有其他方式可以表示輸出，但我只是顯示softmax方法。）

這個完全連接層可以查看上一層的輸出（表示高級特征的激活圖），并確定與特定類最相關的特征。例如，如果程序預測某些圖像是狗，則在激活圖中將具有高值，這些圖表示諸如爪或四條腿等高級特征。類似地，如果程序預測某些圖像是鳥，它將具有高值的激活圖，代表高級特征，如翅膀或喙等。完全連接層最后輸出的是一個概率。

?

4.5訓練
這是我有意沒有提到的神經網絡的另一個方面，它可能是最重要的部分。第一個轉換層中的濾波器如何查找邊和曲線？完全連接層如何看激活圖？每個層中的濾波器如何知道這是什么值？計算機能夠調整其濾波器值（或權重）的方式是通過稱為反向傳播的訓練過程。

在進行反向傳播之前，我們必須先退后一步，談一談神經網絡為了工作需要什么。現在我們都出生了，我們不知道什么是貓或狗或鳥。以類似的方式，在CNN啟動之前，權重或濾波器值被隨機化。過濾器不知道如何尋找邊緣和曲線。然而，隨著年齡的增長，我們的父母和老師向我們展示了不同的圖片，并給了我們相應的標簽。給予圖像和標簽其實就是CNN的訓練過程。我們有一個訓練集，有成千上萬的狗，貓和鳥的圖像，而且每個圖像都有一個標簽。

回到backprop（反向傳播）

反向傳播可以分為四個不同的部分：正向傳遞，損失函數，后向傳遞和權重更新。在我們的第一個訓練中，由于所有權重或濾波器值都被隨機初始化，所以輸出可能會像[.1 .1 .1 .1 .1 .1 .1 .1 .1]。具有當前權重的網絡不能尋找那些低級特征，因此不能對分類有什么合理的結論。記住，我們現在正在使用的是訓練數據，該數據同時具有圖像和標簽。例如，輸入的第一個訓練圖像為3，圖像的標簽為[0 0 0 1 0 0 0 0 0 0]。損失函數可以以許多不同的方式定義，但常見的是MSE（均方誤差），它是?倍（實際預測）平方。

現在，我們想要達到預測標簽（ConvNet的輸出）與訓練標簽相同的點（這意味著我們的網絡獲得了預測能力）。為了達到目的，我們要盡量減少損失量。將其視為微積分中的優化問題，我們希望了解哪些輸入直接地導致了網絡的丟失。

?

現在，我們想要做的是執行一個向后傳遞的網絡，這是決定哪些權重有助于損失，并找到調整方式，以使損失減少。這是權重更新。這時我們把所有權重和更新，以便它們沿梯度的相反方向改變。

?

向前傳遞>損失函數>向后傳遞>參數更新是一個訓練迭代。該程序將對每組訓練圖像（通常稱為批次）重復此過程以進行固定次數的迭代。一旦完成了最后一個訓練示例的參數更新，網絡應該被訓練得很好，以保證層的權重得到調整。

4.6測試
最后，要看我們的CNN是否有效，我們有一套不同的圖像和標簽，并通過CNN傳遞圖像。我們將輸出與地面事實進行比較，看看我們的網絡是否正常工作！

5.總結：

雖然這篇文章應該是了解CNN的一個好的開始，但絕不是全面的概述。這篇文章中沒有討論包括非線性和匯集層以及網絡的超參數，如濾波器大小，步幅和填充。還沒有討論如網絡架構，批量歸一化，梯度消失，dropout，初始化，非凸優化，偏差，損失函數的選擇，數據增加，正則化方法，反向傳播的修改等問題。如果你想要了解這些，請繼續關注我！