Caffe的核心概念是Layer，每一個(gè)神經(jīng)網(wǎng)絡(luò)的模塊都是一個(gè)Layer。Layer接收輸入數(shù)據(jù)，同時(shí)經(jīng)過(guò)內(nèi)部計(jì)算產(chǎn)生輸出數(shù)據(jù)。設(shè)計(jì)網(wǎng)絡(luò)結(jié)構(gòu)時(shí)，只需要把各個(gè)Layer拼接在一起構(gòu)成完整的網(wǎng)絡(luò)（通過(guò)寫(xiě)protobuf配置文件定義）。比如卷積的Layer，它的輸入就是圖片的全部像素點(diǎn)，內(nèi)部進(jìn)行的操作是各種像素值與Layer參數(shù)的convolution操作，最后輸出的是所有卷積核filter的結(jié)果。每一個(gè)Layer需要定義兩種運(yùn)算，一種是正向（forward）的運(yùn)算，即從輸入數(shù)據(jù)計(jì)算輸出結(jié)果，也就是模型的預(yù)測(cè)過(guò)程；另一種是反向（backward）的運(yùn)算，從輸出端的gradient求解相對(duì)于輸入的gradient，即反向傳播算法，這部分也就是模型的訓(xùn)練過(guò)程。實(shí)現(xiàn)新Layer時(shí)，需要將正向和反向兩種計(jì)算過(guò)程的函數(shù)都實(shí)現(xiàn)，這部分計(jì)算需要用戶(hù)自己寫(xiě)C++或者CUDA（當(dāng)需要運(yùn)行在GPU時(shí)）代碼，對(duì)普通用戶(hù)來(lái)說(shuō)還是非常難上手的。正如它的名字Convolutional?Architecture?for?Fast?Feature?Embedding所描述的，Caffe最開(kāi)始設(shè)計(jì)時(shí)的目標(biāo)只針對(duì)于圖像，沒(méi)有考慮文本、語(yǔ)音或者時(shí)間序列的數(shù)據(jù)，因此Caffe對(duì)卷積神經(jīng)網(wǎng)絡(luò)的支持非常好，但對(duì)時(shí)間序列RNN、LSTM等支持得不是特別充分。同時(shí)，基于Layer的模式也對(duì)RNN不是非常友好，定義RNN結(jié)構(gòu)時(shí)比較麻煩。在模型結(jié)構(gòu)非常復(fù)雜時(shí)，可能需要寫(xiě)非常冗長(zhǎng)的配置文件才能設(shè)計(jì)好網(wǎng)絡(luò)，而且閱讀時(shí)也比較費(fèi)力。

Caffe的一大優(yōu)勢(shì)是擁有大量的訓(xùn)練好的經(jīng)典模型（AlexNet、VGG、Inception）乃至其他state-of-the-art（ResNet等）的模型，收藏在它的Model?Zoo（github.com/BVLC/?caffe/wiki/Model-Zoo）。因?yàn)?a target="_blank">知名度較高，Caffe被廣泛地應(yīng)用于前沿的工業(yè)界和學(xué)術(shù)界，許多提供源碼的深度學(xué)習(xí)的論文都是使用Caffe來(lái)實(shí)現(xiàn)其模型的。在計(jì)算機(jī)視覺(jué)領(lǐng)域Caffe應(yīng)用尤其多，可以用來(lái)做人臉識(shí)別、圖片分類(lèi)、位置檢測(cè)、目標(biāo)追蹤等。雖然Caffe主要是面向?qū)W術(shù)圈和研究者的，但它的程序運(yùn)行非常穩(wěn)定，代碼質(zhì)量比較高，所以也很適合對(duì)穩(wěn)定性要求嚴(yán)格的生產(chǎn)環(huán)境，可以算是第一個(gè)主流的工業(yè)級(jí)深度學(xué)習(xí)框架。因?yàn)镃affe的底層是基于C++的，因此可以在各種硬件環(huán)境編譯并具有良好的移植性，支持Linux、Mac和Windows系統(tǒng)，也可以編譯部署到移動(dòng)設(shè)備系統(tǒng)如Android和iOS上。和其他主流深度學(xué)習(xí)庫(kù)類(lèi)似，Caffe也提供了Python語(yǔ)言接口pycaffe，在接觸新任務(wù)，設(shè)計(jì)新網(wǎng)絡(luò)時(shí)可以使用其Python接口簡(jiǎn)化操作。不過(guò)，通常用戶(hù)還是使用Protobuf配置文件定義神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，再使用command?line進(jìn)行訓(xùn)練或者預(yù)測(cè)。Caffe的配置文件是一個(gè)JSON類(lèi)型的.prototxt文件，其中使用許多順序連接的Layer來(lái)描述神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。Caffe的二進(jìn)制可執(zhí)行程序會(huì)提取這些.prototxt文件并按其定義來(lái)訓(xùn)練神經(jīng)網(wǎng)絡(luò)。理論上，Caffe的用戶(hù)可以完全不寫(xiě)代碼，只是定義網(wǎng)絡(luò)結(jié)構(gòu)就可以完成模型訓(xùn)練了。Caffe完成訓(xùn)練之后，用戶(hù)可以把模型文件打包制作成簡(jiǎn)單易用的接口，比如可以封裝成Python或MATLAB的API。不過(guò)在.prototxt文件內(nèi)部設(shè)計(jì)網(wǎng)絡(luò)節(jié)構(gòu)可能會(huì)比較受限，沒(méi)有像TensorFlow或者Keras那樣在Python中設(shè)計(jì)網(wǎng)絡(luò)結(jié)構(gòu)方便、自由。更重要的是，Caffe的配置文件不能用編程的方式調(diào)整超參數(shù)，也沒(méi)有提供像Scikit-learn那樣好用的estimator可以方便地進(jìn)行交叉驗(yàn)證、超參數(shù)的Grid?Search等操作。Caffe在GPU上訓(xùn)練的性能很好（使用單塊GTX?1080訓(xùn)練AlexNet時(shí)一天可以訓(xùn)練上百萬(wàn)張圖片），但是目前僅支持單機(jī)多GPU的訓(xùn)練，沒(méi)有原生支持分布式的訓(xùn)練。慶幸的是，現(xiàn)在有很多第三方的支持，比如雅虎開(kāi)源的CaffeOnSpark，可以借助Spark的分布式框架實(shí)現(xiàn)Caffe的大規(guī)模分布式訓(xùn)練。

Theano

Theano誕生于2008年，由蒙特利爾大學(xué)Lisa?Lab團(tuán)隊(duì)開(kāi)發(fā)并維護(hù)，是一個(gè)高性能的符號(hào)計(jì)算及深度學(xué)習(xí)庫(kù)。因其出現(xiàn)時(shí)間早，可以算是這類(lèi)庫(kù)的始祖之一，也一度被認(rèn)為是深度學(xué)習(xí)研究和應(yīng)用的重要標(biāo)準(zhǔn)之一。Theano的核心是一個(gè)數(shù)學(xué)表達(dá)式的編譯器，專(zhuān)門(mén)為處理大規(guī)模神經(jīng)網(wǎng)絡(luò)訓(xùn)練的計(jì)算而設(shè)計(jì)。它可以將用戶(hù)定義的各種計(jì)算編譯為高效的底層代碼，并鏈接各種可以加速的庫(kù)，比如BLAS、CUDA等。Theano允許用戶(hù)定義、優(yōu)化和評(píng)估包含多維數(shù)組的數(shù)學(xué)表達(dá)式，它支持將計(jì)算裝載到GPU（Theano在GPU上性能不錯(cuò)，但是CPU上較差）。與Scikit-learn一樣，Theano也很好地整合了NumPy，對(duì)GPU的透明讓Theano可以較為方便地進(jìn)行神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)，而不必直接寫(xiě)CUDA代碼。Theano的主要優(yōu)勢(shì)如下。