集成NumPy，可以直接使用NumPy的ndarray，API接口學(xué)習(xí)成本低。
計(jì)算穩(wěn)定性好，比如可以精準(zhǔn)地計(jì)算輸出值很小的函數(shù)（像log(1+x)）。
動(dòng)態(tài)地生成C或者CUDA代碼，用以編譯成高效的機(jī)器代碼。

因?yàn)門(mén)heano非常流行，有許多人為它編寫(xiě)了高質(zhì)量的文檔和教程，用戶可以方便地查找Theano的各種FAQ，比如如何保存模型、如何運(yùn)行模型等。不過(guò)Theano更多地被當(dāng)作一個(gè)研究工具，而不是當(dāng)作產(chǎn)品來(lái)使用。雖然Theano支持Linux、Mac和Windows，但是沒(méi)有底層C++的接口，因此模型的部署非常不方便，依賴于各種Python庫(kù)，并且不支持各種移動(dòng)設(shè)備，所以幾乎沒(méi)有在工業(yè)生產(chǎn)環(huán)境的應(yīng)用。Theano在調(diào)試時(shí)輸出的錯(cuò)誤信息非常難以看懂，因此DEBUG時(shí)非常痛苦。同時(shí)，Theano在生產(chǎn)環(huán)境使用訓(xùn)練好的模型進(jìn)行預(yù)測(cè)時(shí)性能比較差，因?yàn)轭A(yù)測(cè)通常使用服務(wù)器CPU（生產(chǎn)環(huán)境服務(wù)器一般沒(méi)有GPU，而且GPU預(yù)測(cè)單條樣本延遲高反而不如CPU），但是Theano在CPU上的執(zhí)行性能比較差。

Theano在單GPU上執(zhí)行效率不錯(cuò)，性能和其他框架類似。但是運(yùn)算時(shí)需要將用戶的Python代碼轉(zhuǎn)換成CUDA代碼，再編譯為二進(jìn)制可執(zhí)行文件，編譯復(fù)雜模型的時(shí)間非常久。此外，Theano在導(dǎo)入時(shí)也比較慢，而且一旦設(shè)定了選擇某塊GPU，就無(wú)法切換到其他設(shè)備。目前，Theano在CUDA和cuDNN上不支持多GPU，只在OpenCL和Theano自己的gpuarray庫(kù)上支持多GPU訓(xùn)練，速度暫時(shí)還比不上CUDA的版本，并且Theano目前還沒(méi)有分布式的實(shí)現(xiàn)。不過(guò)，Theano在訓(xùn)練簡(jiǎn)單網(wǎng)絡(luò)（比如很淺的MLP）時(shí)性能可能比TensorFlow好，因?yàn)槿看a都是運(yùn)行時(shí)編譯，不需要像TensorFlow那樣每次feed?mini-batch數(shù)據(jù)時(shí)都得通過(guò)低效的Python循環(huán)來(lái)實(shí)現(xiàn)。

Theano是一個(gè)完全基于Python（C++/CUDA代碼也是打包為Python字符串）的符號(hào)計(jì)算庫(kù)。用戶定義的各種運(yùn)算，Theano可以自動(dòng)求導(dǎo)，省去了完全手工寫(xiě)神經(jīng)網(wǎng)絡(luò)反向傳播算法的麻煩，也不需要像Caffe一樣為L(zhǎng)ayer寫(xiě)C++或CUDA代碼。Theano對(duì)卷積神經(jīng)網(wǎng)絡(luò)的支持很好，同時(shí)它的符號(hào)計(jì)算API支持循環(huán)控制（內(nèi)部名scan），讓RNN的實(shí)現(xiàn)非常簡(jiǎn)單并且高性能，其全面的功能也讓Theano可以支持大部分state-of-the-art的網(wǎng)絡(luò)。Theano派生出了大量基于它的深度學(xué)習(xí)庫(kù)，包括一系列的上層封裝，其中有大名鼎鼎的Keras，Keras對(duì)神經(jīng)網(wǎng)絡(luò)抽象得非常合適，以至于可以隨意切換執(zhí)行計(jì)算的后端（目前同時(shí)支持Theano和TensorFlow）。Keras比較適合在探索階段快速地嘗試各種網(wǎng)絡(luò)結(jié)構(gòu)，組件都是可插拔的模塊，只需要將一個(gè)個(gè)組件（比如卷積層、激活函數(shù)等）連接起來(lái)，但是設(shè)計(jì)新模塊或者新的Layer就不太方便了。除Keras外，還有學(xué)術(shù)界非常喜愛(ài)的Lasagne，同樣也是Theano的上層封裝，它對(duì)神經(jīng)內(nèi)網(wǎng)絡(luò)的每一層的定義都非常嚴(yán)謹(jǐn)。另外，還有scikit-neuralnetwork、nolearn這兩個(gè)基于Lasagne的上層封裝，它們將神經(jīng)網(wǎng)絡(luò)抽象為兼容Scikit-learn接口的classifier和regressor，這樣就可以方便地使用Scikit-learn中經(jīng)典的fit、transform、score等操作。除此之外，Theano的上層封裝庫(kù)還有blocks、deepy、pylearn2和Scikit-theano，可謂是一個(gè)龐大的家族。如果沒(méi)有Theano，可能根本不會(huì)出現(xiàn)這么多好用的Python深度學(xué)習(xí)庫(kù)。同樣，如果沒(méi)有Python科學(xué)計(jì)算的基石NumPy，就不會(huì)有SciPy、Scikit-learn和?Scikit-image，可以說(shuō)Theano就是深度學(xué)習(xí)界的NumPy，是其他各類Python深度學(xué)習(xí)庫(kù)的基石。雖然Theano非常重要，但是直接使用Theano設(shè)計(jì)大型的神經(jīng)網(wǎng)絡(luò)還是太煩瑣了，用?Theano實(shí)現(xiàn)Google?Inception就像用NumPy實(shí)現(xiàn)一個(gè)支持向量機(jī)（SVM）。且不說(shuō)很多用戶做不到用Theano實(shí)現(xiàn)一個(gè)Inception網(wǎng)絡(luò)，即使能做到但是否有必要花這個(gè)時(shí)間呢？畢竟不是所有人都是基礎(chǔ)科學(xué)工作者，大部分使用場(chǎng)景還是在工業(yè)應(yīng)用中。所以簡(jiǎn)單易用是一個(gè)很重要的特性，這也就是其他上層封裝庫(kù)的價(jià)值所在：不需要總是從最基礎(chǔ)的tensor粒度開(kāi)始設(shè)計(jì)網(wǎng)絡(luò)，而是從更上層的Layer粒度設(shè)計(jì)網(wǎng)絡(luò)。

Torch

Torch給自己的定位是LuaJIT上的一個(gè)高效的科學(xué)計(jì)算庫(kù)，支持大量的機(jī)器學(xué)習(xí)算法，同時(shí)以GPU上的計(jì)算優(yōu)先。Torch的歷史非常悠久，但真正得到發(fā)揚(yáng)光大是在Facebook開(kāi)源了其深度學(xué)習(xí)的組件之后，此后包括Google、Twitter、NYU、IDIAP、Purdue等組織都大量使用Torch。Torch的目標(biāo)是讓設(shè)計(jì)科學(xué)計(jì)算算法變得便捷，它包含了大量的機(jī)器學(xué)習(xí)、計(jì)算機(jī)視覺(jué)、信號(hào)處理、并行運(yùn)算、圖像、視頻、音頻、網(wǎng)絡(luò)處理的庫(kù)，同時(shí)和Caffe類似，Torch擁有大量的訓(xùn)練好的深度學(xué)習(xí)模型。它可以支持設(shè)計(jì)非常復(fù)雜的神經(jīng)網(wǎng)絡(luò)的拓?fù)鋱D結(jié)構(gòu)，再并行化到CPU和GPU上，在Torch上設(shè)計(jì)新的Layer是相對(duì)簡(jiǎn)單的。它和TensorFlow一樣使用了底層C++加上層腳本語(yǔ)言調(diào)用的方式，只不過(guò)Torch使用的是Lua。Lua的性能是非常優(yōu)秀的（該語(yǔ)言經(jīng)常被用來(lái)開(kāi)發(fā)游戲），常見(jiàn)的代碼可以通過(guò)透明的JIT優(yōu)化達(dá)到C的性能的80%；在便利性上，Lua的語(yǔ)法也非常簡(jiǎn)單易讀，擁有漂亮和統(tǒng)一的結(jié)構(gòu)，易于掌握，比寫(xiě)C/C++簡(jiǎn)潔很多；同時(shí)，Lua擁有一個(gè)非常直接的調(diào)用C程序的接口，可以簡(jiǎn)便地使用大量基于C的庫(kù)，因?yàn)榈讓雍诵氖荂寫(xiě)的，因此也可以方便地移植到各種環(huán)境。Lua支持Linux、Mac，還支持各種嵌入式系統(tǒng)（iOS、Android、FPGA等），只不過(guò)運(yùn)行時(shí)還是必須有LuaJIT的環(huán)境，所以工業(yè)生產(chǎn)環(huán)境的使用相對(duì)較少，沒(méi)有Caffe和TensorFlow那么多。

為什么不簡(jiǎn)單地使用Python而是使用LuaJIT呢？官方給出了以下幾點(diǎn)理由。