人工智能之深度學(xué)習(xí)

深度學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)（NeuralNetwork）架構(gòu)

? 感知器（Perceptron）

o 感知器是所有神經(jīng)網(wǎng)絡(luò)中最基本的，也是更復(fù)雜的神經(jīng)網(wǎng)絡(luò)的基本組成部分。它只連接一個(gè)輸入神經(jīng)元和一個(gè)輸出神經(jīng)元。

? 前饋（Feed-Forward）網(wǎng)絡(luò)

o 前饋網(wǎng)絡(luò)是感知器的集合，其中有三種基本類型的層: 輸入層、隱藏層和輸出層。在每個(gè)連接過程中，來自前一層的信號(hào)被乘以一個(gè)權(quán)重，增加一個(gè)偏置，然后通過一個(gè)激活函數(shù)。前饋網(wǎng)絡(luò)使用反向傳播迭代更新參數(shù)，直到達(dá)到理想的性能。

? 循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network/RNN）

o 循環(huán)神經(jīng)網(wǎng)絡(luò)是一種特殊類型的網(wǎng)絡(luò)，它包含環(huán)和自重復(fù)，因此被稱為“循環(huán)”。由于允許信息存儲(chǔ)在網(wǎng)絡(luò)中，RNNs使用以前訓(xùn)練中的推理來對(duì)即將到來的事件做出更好、更明智的決定。它是具有時(shí)間聯(lián)結(jié)的前饋神經(jīng)網(wǎng)絡(luò)：它們有了狀態(tài)，通道與通道之間有了時(shí)間上的聯(lián)系。神經(jīng)元的輸入信息，不僅包括前一神經(jīng)細(xì)胞層的輸出，還包括它自身在先前通道的狀態(tài)。

? 長短期記憶網(wǎng)絡(luò)(Long Short Term Memory Network/LSTM）

o 由于上下文信息的范圍在實(shí)踐中是非常有限的，所以RNNs有個(gè)大問題。給定的輸入對(duì)隱藏層(即對(duì)網(wǎng)絡(luò)的輸出）輸入的影響(反向傳播誤差），要么指數(shù)級(jí)爆炸，要么網(wǎng)絡(luò)連接循環(huán)衰減為零。解決這個(gè)梯度消失問題的方法是長短期記憶網(wǎng)絡(luò)(LSTM）。

? 自動(dòng)編碼器(Auto Encoder/AE）

o 自動(dòng)編碼器的基本思想是將原始的高維數(shù)據(jù)“壓縮”成高信息量的低維數(shù)據(jù)，然后將壓縮后的數(shù)據(jù)投影到一個(gè)新的空間中。自動(dòng)編碼器有許多應(yīng)用，包括降維、圖像壓縮、數(shù)據(jù)去噪、特征提取、圖像生成和推薦系統(tǒng)。它既可以是無監(jiān)督的方法，也可以是有監(jiān)督的，可以得到對(duì)數(shù)據(jù)本質(zhì)的洞見。

? 變分自動(dòng)編碼器(Variational Auto Encoder/VAE）

o 自動(dòng)編碼器學(xué)習(xí)一個(gè)輸入（可以是圖像或文本序列）的壓縮表示，例如，壓縮輸入，然后解壓縮回來匹配原始輸入，而變分自動(dòng)編碼器是學(xué)習(xí)基于數(shù)據(jù)的概率分布。不僅僅是學(xué)習(xí)一個(gè)代表數(shù)據(jù)的函數(shù)，它還獲得了更詳細(xì)和細(xì)致的數(shù)據(jù)視圖，從分布中抽樣并生成新的輸入數(shù)據(jù)樣本。

? 卷積神經(jīng)網(wǎng)絡(luò)（Deep Convolutional Network/DCN）

o 圖像具有非常高的維數(shù)，因此訓(xùn)練一個(gè)標(biāo)準(zhǔn)的前饋網(wǎng)絡(luò)來識(shí)別圖像將需要成千上萬的輸入神經(jīng)元，除了顯而易見的高計(jì)算量，還可能導(dǎo)致許多與神經(jīng)網(wǎng)絡(luò)中的維數(shù)災(zāi)難相關(guān)的問題。卷積神經(jīng)網(wǎng)絡(luò)提供了一個(gè)解決方案，利用卷積和池化層，來降低圖像的維度。由于卷積層是可訓(xùn)練的，但參數(shù)明顯少于標(biāo)準(zhǔn)的隱藏層，它能夠突出圖像的重要部分，并向前傳播每個(gè)重要部分。傳統(tǒng)的CNNs（卷積神經(jīng)網(wǎng)絡(luò)）中，最后幾層是隱藏層，用來處理“壓縮的圖像信息”。

? 反卷積神經(jīng)網(wǎng)絡(luò)（Deconvolutional Network/DN）

o 正如它的名字所暗示的那樣，反卷積神經(jīng)網(wǎng)絡(luò)與卷積神經(jīng)網(wǎng)絡(luò)操作相反。DN不是通過卷積來降低圖像的維數(shù)，而是利用反卷積來創(chuàng)建圖像，通常是從噪聲中獲得圖像。

? 生成對(duì)抗網(wǎng)絡(luò)(Generative Adversarial Network/GAN）

o 生成對(duì)抗網(wǎng)絡(luò)是一種專門設(shè)計(jì)用于生成圖像的網(wǎng)絡(luò)，由兩個(gè)網(wǎng)絡(luò)組成: 一個(gè)鑒別器和一個(gè)生成器。鑒別器的任務(wù)是區(qū)分圖像是從數(shù)據(jù)集中提取的還是由生成器生成的，生成器的任務(wù)是生成足夠逼真的圖像，以至于鑒別器無法區(qū)分圖像是否真實(shí)。隨著時(shí)間的推移，在謹(jǐn)慎的監(jiān)督下，這兩個(gè)對(duì)手相互競爭，彼此都想成功地改進(jìn)對(duì)方。最終的結(jié)果是一個(gè)訓(xùn)練有素的生成器，可以生成逼真的圖像。鑒別器是一個(gè)卷積神經(jīng)網(wǎng)絡(luò)，其目標(biāo)是最大限度地提高識(shí)別真假圖像的準(zhǔn)確率，而生成器是一個(gè)反卷積神經(jīng)網(wǎng)絡(luò)，其目標(biāo)是最小化鑒別器的性能。

? 馬爾可夫鏈（Markov Chain/MC）

o 馬爾可夫鏈（MC：Markov Chain）或離散時(shí)間馬爾可夫鏈（DTMC：MC or discrete time Markov Chain）在某種意義上是BMs和HNs的前身。

? 霍普菲爾網(wǎng)絡(luò)（Hopfield network/HN）

o 一種每一個(gè)神經(jīng)元都跟其它神經(jīng)元相互連接的網(wǎng)絡(luò)。

? 玻爾茲曼機(jī)（Boltzmann machines/BM）

o 和霍普菲爾網(wǎng)絡(luò)很接近，差別只是：一些神經(jīng)元作為輸入神經(jīng)元，剩余的則是作為隱神經(jīng)元。在整個(gè)神經(jīng)網(wǎng)絡(luò)更新過后，輸入神經(jīng)元成為輸出神經(jīng)元。剛開始神經(jīng)元的權(quán)重都是隨機(jī)的，通過反向傳播（back-propagation）算法進(jìn)行學(xué)習(xí)，或是最近常用的對(duì)比散度（contrastive divergence）算法（馬爾可夫鏈用于計(jì)算兩個(gè)信息增益之間的梯度）。

? 回聲狀態(tài)網(wǎng)絡(luò)（Echo state networks/ESN）

o 回聲狀態(tài)網(wǎng)絡(luò)是另一種不同類型的（循環(huán)）網(wǎng)絡(luò)。它的不同之處在于：神經(jīng)元之間的連接是隨機(jī)的（沒有整齊劃一的神經(jīng)細(xì)胞層），其訓(xùn)練過程也有所不同。不同于輸入數(shù)據(jù)后反向傳播誤差，ESN先輸入數(shù)據(jù)、前饋、而后更新神經(jīng)元狀態(tài)，最后來觀察結(jié)果。它的輸入層和輸出層在這里扮演的角色不太常規(guī)，輸入層用來主導(dǎo)網(wǎng)絡(luò)，輸出層作為激活模式的觀測器隨時(shí)間展開。在訓(xùn)練過程中，只有觀測和隱藏單元之間連接會(huì)被改變。

? 深度殘差網(wǎng)絡(luò)（Deep residual networks/DRN）

o 是非常深的FFNN網(wǎng)絡(luò)，它有一種特殊的連接，可以把信息從某一神經(jīng)細(xì)胞層傳至后面幾層（通常是2到5層）。

? Kohonen 網(wǎng)絡(luò)（KN）

o KN利用競爭學(xué)習(xí)來對(duì)數(shù)據(jù)進(jìn)行分類，不需要監(jiān)督。先給神經(jīng)網(wǎng)絡(luò)一個(gè)輸入，而后它會(huì)評(píng)估哪個(gè)神經(jīng)元最匹配該輸入。然后這個(gè)神經(jīng)元會(huì)繼續(xù)調(diào)整以更好地匹配輸入數(shù)據(jù)，同時(shí)帶動(dòng)相鄰的神經(jīng)元。相鄰神經(jīng)元移動(dòng)的距離，取決于它們與最佳匹配單元之間的距離。

? 神經(jīng)圖靈機(jī)（Neural Turing machines/NTM）

o 可以理解為對(duì)LSTM的抽象，它試圖把神經(jīng)網(wǎng)絡(luò)去黑箱化（以窺探其內(nèi)部發(fā)生的細(xì)節(jié)）。NTM不是把記憶單元設(shè)計(jì)在神經(jīng)元內(nèi)，而是分離出來。NTM試圖結(jié)合常規(guī)數(shù)字信息存儲(chǔ)的高效性、永久性與神經(jīng)網(wǎng)絡(luò)的效率及函數(shù)表達(dá)能力。它的想法是設(shè)計(jì)一個(gè)可作內(nèi)容尋址的記憶庫，并讓神經(jīng)網(wǎng)絡(luò)對(duì)其進(jìn)行讀寫操作。NTM名字中的“圖靈（Turing）”是表明，它是圖靈完備（Turing complete）的，即具備基于它所讀取的內(nèi)容來讀取、寫入、修改狀態(tài)的能力，也就是能表達(dá)一個(gè)通用圖靈機(jī)所能表達(dá)的一切。

審核編輯：湯梓紅