導語：

記得前些年在買火車票時，還得玩個“大家來找茬”的驗證碼游戲，比如讓你找出孫楠、楊臣剛、王大冶中的某一位，這對于那些臉盲患者而言，無疑是崩潰的。

當然了，撞臉這事可不是娛樂圈獨有的，在AI界也有很多“長相相似”的專有名詞，比如我們今天要說的“三胞胎”DNN（深度神經網絡）、CNN（卷積神經網絡）、RNN（遞歸神經網絡），就讓許許多多的AI初學者們傻傻分不清楚。

而今天，就讓我們一起擦亮眼睛，好好的把它們給區分出來！

什么是神經網絡？

DNN（深度神經網絡）、CNN（卷積神經網絡）、RNN（遞歸神經網絡）都屬于第三代神經網絡，在認識它們之前，讓我們簡單了解下，第一代和第二代神經網絡是什么樣子的。

第一代神經網絡又稱為感知機，在上世紀五、六十年代被提出來，感知機屬于二分類的線性分類模型，其輸入為實例的特征向量，輸出為實例的類別（取+1和-1），即只能做到線性的區分工作（一分為二），不能解決重疊不可分的問題，對稍微復雜一些的函數就無能為力。

為了解決第一代神經網絡的缺陷，在1980年左右Rumelhart、Williams、Hinton、LeCun等人提出第二代神經網絡多層感知器（MLP）。MLP可以看成一個輸入層由學習到的非線性轉化phi進行轉化的邏輯回歸分類器。這種轉化將輸入數據投影到線性可分空間，這個中間層被稱為隱藏層。

第二代神經網絡讓科學家們發現神經網絡的層數直接決定了它對現實的表達能力，但是隨著層數的增加，優化函數愈發容易出現局部最優解的現象，由于存在梯度消失的問題（在神經網絡中，隨著隱藏層數目的增加，分類準確率反而會降低的現象，被稱為消失的梯度問題），深層網絡往往難以訓練，效果還不如淺層網絡。

2006年，Hinton利用預訓練方法緩解了梯度消失的問題，使得深度神經網絡變得可訓練，將隱含層發展到7層，神經網絡真正意義上有了“深度”，由此揭開了深度學習的浪潮，第三代神經網絡開始正式興起。

第三代深度神經網絡最常用的三大算法

DNN：深度神經網絡

從結構上來說，DNN和傳統意義上的NN（神經網絡）并無太大區別，最大的不同是層數增多了，并解決了模型可訓練的問題。

簡言之，DNN比NN多了一些隱層，但這些隱層的作用是巨大的，帶來的效果是非常顯著和神奇的。

DNN中的“deep”意為深度，但深度學習中深度沒有固定的定義或者衡量標準，不同問題的解決所需要的隱含層數自然也是不相同的，就大家比較熟識的語音識別來說，解決問題可能4層就夠了，但一般圖像識別需要達到20多層才能夠解決問題。

DNN最大的問題是只能看到預先設定長度的數據，對于語音和語言等前后相關的時序信號的表達能力還是有限的。

CNN：卷積神經網絡

卷積神經網絡主要是模擬人的視覺神經系統提出來的。

以CNN做人臉識別任務為例，先得到一些像素信息，再往上層得到一些邊界信息，然后再往上提取就是一些人臉的部件信息，包括眼睛、耳朵、眉毛嘴巴等，最后是人臉識別，這整個過程和人的視覺神經系統是非常相似的。

對于CNN來說，并不是所有上下層神經單元都直接相連，而是通過“卷積核”作為中介。同一個卷積核在所有圖像內是共享的，圖像通過卷積操作后仍然保留原有的位置關系。

每次卷積操作就會產生多個通道的“圖像”，每幅“圖像”都是對原始圖像不同特征的響應，并按照這樣的結構繼續傳遞下去。

RNN：遞歸神經網絡

在普通的全連接神經網絡或卷積神經網絡中，每層神經元的信號只能向上一層傳播，樣本的處理在各個時刻獨立，無法對時間序列上的變化進行建模。然而，樣本出現的時間順序對于自然語言處理、語音識別、手寫體識別等應用非常重要，為了應對這種需求，業內提出了遞歸神經網絡RNN。

在RNN中，神經元的輸出可以在下一時間段直接作用到本身。換句話說，就是遞歸神經網絡的隱層不但可以接收到上一層的輸入，也可以得到上一時刻當前隱層的輸入。

這一個變化的重要意義就在于使得神經網絡具備了歷史記憶的功能，原則上它可以看到無窮長的歷史信息，這非常適合于像語音語言這種具有長時相關性的任務。

結語：

相信看到這里大家應該對DNN、CNN、RNN有了一個大致的了解。雖然他們各有特點，各有不同，但他們在實際應用中常常都是混合使用的。值得期待的是，隨著人工智能的不斷發展，更多的神經網絡結構將被發展應用起來！