前面的八篇學習筆記，基本上都是圍繞著深度神經網絡（DNN）和全連接網絡（FCN）在學習。從本篇開始，筆者將跟著大家一起學習和研究深度學習的另一個主題——卷積神經網絡（Convolutional Neural Network），也就是我們平常眼熟的 CNN。卷積神經網絡作為當前計算機視覺領域的核心技術，發展到如今已是枝繁葉茂。筆者對于這一塊的初步打算是從卷積網絡的基本原理講起，將卷積網絡的前向傳播和反向傳播過程講清楚，以及如何使用 numpy 和 tensorflow 實現卷積網絡。然后會從深度卷積網絡的發展歷程出發，對主要的經典深度網絡進行深度剖析，對計算機視覺的三大核心任務：圖像分別、目標檢測和圖像分割等技術算法進行詳細學習和講解。

從前面的學習中，我們了解了深度神經網絡的一般結構，它的前向傳播和反向傳播機制，而卷積神經網絡相較于深度神經網絡，其主要區別就在于卷積層，卷積層的存在使得神經網絡具備更強的學習能力。除了卷積層之外，池化層（Pooling layer）的存在也使得卷積神經網絡的魯棒性更強，最后則是 DNN 中常見的全連接層（Fully Connected layer）。一個典型的卷積神經網絡通常包括這三層。

卷積神經網絡的結構

那到底什么是卷積？
從數學來說，卷積可以理解為一種類似于加權運算一樣的操作。在圖像處理中，針對圖像的像素矩陣，卷積操作就是用一個卷積核來逐行逐列的掃描像素矩陣，并與像素矩陣做元素相乘，以此得到新的像素矩陣。這個過程是為卷積。其中卷積核也叫過濾器或者濾波器，濾波器在輸入像素矩陣上掃過的面積稱之為感受野。可能你還有點暈，讓我來更詳細的解釋下。

卷積過程

且看上面的動圖（這里感謝一下 NG 大大給我們提供這么好的教學資料），我們用一個 3x3 的濾波器去掃描一個 5x5 的像素矩陣，用濾波器中每一個元素與像素矩陣中感受野內的元素進行乘積運算，可得到了一個 3x3 的輸出像素矩陣，這個輸出的 3x3 像素矩陣能夠較大程度的提取原始像素矩陣的圖像特征，這也是卷積神經網絡之所以有效的原因。為防止有同學不清楚卷積是如何計算的，筆者以輸出像素矩陣中第一個元素 4 為例，演示一下計算過程：

1x1 + 1x0 + 1x1 + 0x0 +1x1 + 1x0 + 0x1 +0x0 + 1x1 = 4

當然，這里你可能會問：如何確定經過卷積后的輸出矩陣的維度？我們是有計算公式的。假設原始輸入像素矩陣的 shape 為 nxn，濾波器的 shape 為 fxf，那么輸出像素矩陣的 shape 為 (n-f+1)x(n-f+1) 。

大體上卷積操作就是這么個過程，是不是非常簡單。但這里我們也需要注意兩個問題：第一個就是濾波器移動的步幅問題，上面的例子中我們的濾波器的移動步長為 1 ，即在像素矩陣上一格一格平移。但如果濾波器是以兩個單位或者更多單位平移呢？這里就涉及到卷積過程中的 stride 問題。第二個問題涉及到卷積操作的兩個缺點，第一個缺點在于每次做卷積，你的圖像就會變小，可能做了幾次卷積之后，你的圖像就變成 1x1，這就不好辦了。第二個缺點在于原始輸入像素矩陣的邊緣和角落的像素點只能被濾波器掃到一次，而靠近像素中心點的像素點則會被多次掃到進行卷積。這就使得邊緣和角落里的像素特征提取不足，這就涉及到卷積過程中的 padding 問題。

針對第一個問題，也就是卷積步長問題，其實也很簡單，就是按照正常的卷積過程去操作，只不過每次多走一個像素單位而已。且看卷積步幅為 2 的卷積操作示例：

我們用一個 3x3 的濾波器去對原始像素為 7x7 的圖像進行卷積操作，設定卷積步長為 2，可看到輸出像素矩陣的第二行第一個元素 69 的計算跨越了兩個像素格點，計算過程為：

3x3 + 4x4 + 8x4 + 7x1 + 8x0 + 3x2 + 4x-1 + 2x0 + 1x3 = 69

加入步長之后我們的輸出像素矩陣的 shape 的計算公式需要更新一下為：
((n-f)/s+1)x((n-f)/s+1) 。其中 s 為步長。

針對第二個問題，卷積神經網絡采用一種叫做 padding 的操作，即對原始像素邊緣和角落進行零填充，以期能夠在卷積過程中充分利用邊緣和角落的像素特征。至于填充多少 0 像素值，一般有兩個選擇，一是 valid 填充，也就是不填充，所以就不用管它了。我們在意的是有填充，就是第二種，same 填充方法。即填充后，輸入和輸出大小是一致的，對于nxn大小的輸入像素，如果你用填充了 p 個像素點之后，n 就變成了 n+2p，最后輸出像素的 shape 計算公式就變成了 ((n+2p-f)/s+1)x((n+2p-f)/s+1)，要想讓 n+2p-f+1=n 的話，輸入輸出大小相等，則 p=(f-1)/2。所以，一般而言，濾波器的大小 f 都會選擇為奇數個。

實際操作中，padding 的編程寫法如下：

def zero_pad(X, pad):
  X_pad = np.pad(X, ((0,0), (pad, pad), (pad, pad), (0, 0)), 'constant')  
  return X_pad

numpy 一行代碼即可搞定。測試效果如下：

np.random.seed(1)
x = np.random.randn(4, 3, 3, 2)
x_pad = zero_pad(x, 2)
fig, axarr = plt.subplots(1, 2)
axarr[0].set_title('x')
axarr[0].imshow(x[0,:,:,0])
axarr[1].set_title('x_pad')
axarr[1].imshow(x_pad[0,:,:,0])

本節對卷積神經網絡的卷積細節進行了詳細的講解和筆記。關于帶有顏色通道的卷積操作我們下次筆記見。

本文由《自興動腦人工智能》項目部 凱文 投稿。