基于以上兩個，假設(shè)，我們就能把第一層網(wǎng)絡(luò)結(jié)構(gòu)簡化如下：

我們用100個10x10的小過濾器，就能夠描述整幅圖片上的底層特征。

卷積（Convolution）
卷積運(yùn)算的定義如下圖所示：

如圖所示，我們有一個5x5的圖像，我們用一個3x3的卷積核：

1　　0　　1

0　　1　　0

1　　0　　1

來對圖像進(jìn)行卷積操作（可以理解為有一個滑動窗口，把卷積核與對應(yīng)的圖像像素做乘積然后求和），得到了3x3的卷積結(jié)果。

這個過程我們可以理解為我們使用一個過濾器（卷積核）來過濾圖像的各個小區(qū)域，從而得到這些小區(qū)域的特征值。

在實(shí)際訓(xùn)練過程中，卷積核的值是在學(xué)習(xí)過程中學(xué)到的。

在具體應(yīng)用中，往往有多個卷積核，可以認(rèn)為，每個卷積核代表了一種圖像模式，如果某個圖像塊與此卷積核卷積出的值大，則認(rèn)為此圖像塊十分接近于此卷積核。如果我們設(shè)計(jì)了6個卷積核，可以理解：我們認(rèn)為這個圖像上有6種底層紋理模式，也就是我們用6中基礎(chǔ)模式就能描繪出一副圖像。以下就是24種不同的卷積核的示例：

池化（Pooling）
池化聽起來很高深，其實(shí)簡單的說就是下采樣。池化的過程如下圖所示：

上圖中，我們可以看到，原始圖片是20x20的，我們對其進(jìn)行下采樣，采樣窗口為10x10，最終將其下采樣成為一個2x2大小的特征圖。

之所以這么做的原因，是因?yàn)榧词棺鐾炅司矸e，圖像仍然很大（因?yàn)榫矸e核比較小），所以為了降低數(shù)據(jù)維度，就進(jìn)行下采樣。

之所以能這么做，是因?yàn)榧词箿p少了許多數(shù)據(jù)，特征的統(tǒng)計(jì)屬性仍能夠描述圖像，而且由于降低了數(shù)據(jù)維度，有效地避免了過擬合。

在實(shí)際應(yīng)用中，池化根據(jù)下采樣的方法，分為最大值下采樣（Max-Pooling）與平均值下采樣（Mean-Pooling）。

LeNet介紹
下面再回到LeNet網(wǎng)絡(luò)結(jié)構(gòu)：

這回我們就比較好理解了，原始圖像進(jìn)來以后，先進(jìn)入一個卷積層C1，由6個5x5的卷積核組成，卷積出28x28的圖像，然后下采樣到14x14（S2）。

接下來，再進(jìn)一個卷積層C3，由16個5x5的卷積核組成，之后再下采樣到5x5（S4）。

注意，這里S2與C3的連接方式并不是全連接，而是部分連接，如下圖所示：

其中行代表S2層的某個節(jié)點(diǎn)，列代表C3層的某個節(jié)點(diǎn)。

我們可以看出，C3-0跟S2-0,1,2連接，C3-1跟S2-1,2,3連接，后面依次類推，仔細(xì)觀察可以發(fā)現(xiàn)，其實(shí)就是排列組合：

0 0 0 1 1 1

0 0 1 1 1 0

0 1 1 1 0 0

...

1 1 1 1 1 1

我們可以領(lǐng)悟作者的意圖，即用不同特征的底層組合，可以得到進(jìn)一步的高級特征，例如：/ + = ^ （比較抽象O(∩_∩)O~），再比如好多個斜線段連成一個圓等等。

最后，通過全連接層C5、F6得到10個輸出，對應(yīng)10個數(shù)字的概率。

最后說一點(diǎn)個人的想法哈，我認(rèn)為第一個卷積層選6個卷積核是有原因的，大概也許可能是因?yàn)?~9其實(shí)能用以下6個邊緣來代表：

是不是有點(diǎn)道理呢，哈哈

然后C3層的數(shù)量選擇上面也說了，是從選3個開始的排列組合，所以也是可以理解的。

其實(shí)這些都是針對特定問題的trick，現(xiàn)在更加通用的網(wǎng)絡(luò)的結(jié)構(gòu)都會復(fù)雜得多，至于這些網(wǎng)絡(luò)的參數(shù)如何選擇，那就需要我們好好學(xué)習(xí)了。

訓(xùn)練過程
卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過程與傳統(tǒng)神經(jīng)網(wǎng)絡(luò)類似，也是參照了反向傳播算法。

第一階段，向前傳播階段：

a）從樣本集中取一個樣本(X,Yp)，將X輸入網(wǎng)絡(luò)；

b）計(jì)算相應(yīng)的實(shí)際輸出Op。