幾乎所有深度學習的研究者都在使用GPU

熟悉深度學習的人都知道，深度學習是需要訓練的，所謂的訓練就是在成千上萬個變量中尋找最佳值的計算。這需要通過不斷的嘗試實現收斂，而最終獲得的數值并非是人工確定的數字，而是一種常態的公式。通過這種像素級的學習，不斷總結規律，計算機就可以實現像像人一樣思考。如今，幾乎所有的深度學習（機器學習）研究者都在使用GPU進行相關的研究。當然，只是“幾乎”。除了GPU之外，包括MIC和FPGA也提供了不同的解決方案。

“技術發展和科技的發展，是需要不同的技術一起來參與。無論是GPU也好、FPGA也好或者是專用的神經網芯片也好，它的主要目的都是推動深度學習（機器學習）這個方向的技術發展。那么我們在初期，確實可以嘗試不同的技術，來探討哪種技術可以更好的適合這項應用。從目前來看，深度學習大量的使用，主要集中在訓練方面。那么在這個領域，GPU確實是非常適合的，這也體現在所有的這些工業界的大佬如BAT、谷歌，Facebook等等，都在使用GPU在做訓練。”NVIDIA如是說。面對FPGA以及ASIC的挑戰，NVIDIA表示“考慮是否設計低功耗的GPU，來滿足用戶的需求”。

除了硬件方面的因素之外，英偉達從軟件方面解答了GPU對于深度學習應用的價值。首先從深度學習應用的開發工具角度，具備CUDA支持的GPU為用戶學習Caffe、Theano等研究工具提供了很好的入門平臺。其實GPU不僅僅是指專注于HPC領域的Tesla，包括Geforce在內的GPU都可以支持CUDA計算，這也為初學者提供了相對更低的應用門檻。除此之外，CUDA在算法和程序設計上相比其他應用更加容易，通過NVIDIA多年的推廣也積累了廣泛的用戶群，開發難度更小。最后則是部署環節，GPU通過PCI-e接口可以直接部署在服務器中，方便而快速。得益于硬件支持與軟件編程、設計方面的優勢，GPU才成為了目前應用最廣泛的平臺。

深度學習發展遇到瓶頸了嗎？

我們之所以使用GPU加速深度學習，是因為深度學習所要計算的數據量異常龐大，用傳統的計算方式需要漫長的時間。但是，如果未來深度學習的數據量有所下降，或者說我們不能提供給深度學習研究所需要的足夠數據量，是否就意味著深度學習也將進入“寒冬”呢？“做深度神經網絡訓練需要大量模型，然后才能實現數學上的收斂。深度學習要真正接近成人的智力，它所需要的神經網絡規模非常龐大，它所需要的數據量，會比我們做語言識別、圖像處理要多得多。假設說，我們發現我們沒有辦法提供這樣的數據，很有可能出現寒冬”。

其實深度學習目前還在蓬勃發展往上的階段。比如說我們現階段主要做得比較成熟的語音、圖像方面，整個的數據量還是在不斷的增多的，網絡規模也在不斷的變復雜。

對于NVIDIA來說，深度學習是GPU計算發展的大好時機，其實這是一場各個能夠實現深度學習各個芯片，以及巨頭賽跑的結局。誰最先找到自己逼近深度學習最適合的芯片模式，誰就是勝利者。

GPU、FPGA 還是專用芯片？

盡管深度學習和人工智能在宣傳上炙手可熱，但無論從仿生的視角抑或統計學的角度，深度學習的工業應用都還是初階，深度學習的理論基礎也尚未建立和完善，在一些從業人員看來，依靠堆積計算力和數據集獲得結果的方式顯得過于暴力——要讓機器更好地理解人的意圖，就需要更多的數據和更強的計算平臺，而且往往還是有監督學習——當然，現階段我們還沒有數據不足的憂慮。未來是否在理論完善之后不再依賴數據、不再依賴于給數據打標簽（無監督學習）、不再需要向計算力要性能和精度？

退一步說，即便計算力仍是必需的引擎，那么是否一定就是基于GPU？我們知道，CPU和FPGA已經顯示出深度學習負載上的能力，而IBM主導的SyNAPSE巨型神經網絡芯片（類人腦芯片），在70毫瓦的功率上提供100萬個“神經元”內核、2.56億個“突觸”內核以及4096個“神經突觸”內核，甚至允許神經網絡和機器學習負載超越了馮·諾依曼架構，二者的能耗和性能，都足以成為GPU潛在的挑戰者。

不過，這些都尚未產品化的今天，NVIDIA并不擔憂GPU會在深度學習領域失寵。首先，NVIDIA認為，GPU作為底層平臺，起到的是加速的作用，幫助深度學習的研發人員更快地訓練出更大的模型，不會受到深度學習模型實現方式的影響。其次，NVIDIA表示，用戶可以根據需求選擇不同的平臺，但深度學習研發人員需要在算法、統計方面精益求精，都需要一個生態環境的支持，GPU已經構建了CUDA、cuDNN及DIGITS等工具，支持各種主流開源框架，提供友好的界面和可視化的方式，并得到了合作伙伴的支持，例如浪潮開發了一個支持多GPU的Caffe，曙光也研發了基于PCI總線的多GPU的技術，對熟悉串行程序設計的開發者更加友好。相比之下，FPGA可編程芯片或者是人工神經網絡專屬芯片對于植入服務器以及編程環境、編程能力要求更高，還缺乏通用的潛力，不適合普及。

目前來說，GPU貴，功耗高，運行效率比FPGA高，易使用。FPGA功耗，單顆性能是低的，單顆FPGA的硬件設計挑戰沒有GPU大，但是總體性價比和效率不占優;Intel收購Altera是否可以通過其工藝實力，給其帶來極具的功能提升，我們還在長期的期待過程中。FPGA如果實現深度學習功能，還需要大批量使用，才能實現完整的功能，且需要與CPU相結合。

另外一個問題是，FPGA的大規模開發難度偏高，從業人員少。我們可以通過ARM戰勝MIPS、以及STM32的迅速發展可以看到，一個好的生態環境，更多的從業人口，比技術、性價比本身更利于其發展。所以易用性是幾個并行技術發展的一個重要考量維度。

FPGA猶如樂高，其靈活性，根據實際應用的需求，構建我所需要的硬件組件。但是樂高本身就是一種浪費：其功耗性能比，可變布線資源、多余的邏輯資源，其實都是浪費。所以你如果用樂高做一個機器人跟一個專門為格斗而開發的機器人對抗，結果可想而知。

FPGA在深度學習的應用場景，存在的價值在于其靈活性。DNN是深度神經網絡系統的統稱，實際使用的時候，使用幾層網絡，最終結果用什么樣的篩選策略，在不同的應用和不同的設計框架下面，對硬件的訴求并不相同。

要看設計者的建模方案。GPU的一個缺點是，他的組件模塊是乘法器、加法器。雖然深度學習的參數都是數學模型，需要對RTL級別的變化，但是GPU的硬件資源是以乘法器、加法器這樣量級的硬件單元組成的。如果GPU的預先配置與使用者的模型相差甚遠。例如：加法器配置15個，乘法器配置15個。但實際使用的時候，乘法器使用量是15個，但是加法器只需要2個。這就浪費了13個加法器的資源。而FPGA是以查找表和觸發器子單元，組合成任意運算單元。

但是換種角度來看FPGA本身就是一種浪費。

當然ASIC是能效最高的，但目前，都在早期階段，算法變化各異。想搞一款通用的ASIC適配多種場景，還是有很多路需要走的。但是，在通信領域，FPGA曾經也是風靡一時，但是隨著ASIC的不斷發展和蠶食，FPGA的份額和市場空間已經岌岌可危。如果深度學習能夠迅速發展，有可能這個過程會比通信領域過程更短。

人機大戰落幕后的兩個月，谷歌硬件工程師 Norm Jouppi 才公開了其加速硬件的存在。在博客中，他解釋道，谷歌給數據中心裝備這些加速器卡已經有超過一年的時間。雖然谷歌對技術細節嚴格保密，但已透露它們專為谷歌開源項目 TensorFlow 而優化;它采取了：ASIC。

谷歌發布了人工智能芯片：Tensor Processing Unit，這是ASIC

據知情人士說，TPU已經在谷歌的數據中心運行了一年時間，由于谷歌嚴守TPU的秘密，所以TPU一直不為外界所知。這位知情人士說，從目前的運行效果來看，TPU每瓦能耗的學習效果和效率都比傳統的CPU、GPU高出一個數量級，達到了摩爾定律預言的七年后的CPU的運行效果。這位知情人士不無煽情的說，請忘掉CPU、GPU、FPGA吧。

如此看來，在深度學習方面，TPU可以兼具桌面機與嵌入式設備的功能，也就是低能耗高速度。

據報道，TPU之所以具有良好的機器學習能力，是因為這種芯片具有比較寬的容錯性，這就意味著，達到與通用芯片相同的學習效果，TPU不需要通用芯片那樣多的晶體管，不需要通用芯片上那樣多的程序操作步驟，也就是說，相同數量的晶體管，在TPU上能做更多的學習工作。

谷歌研發TPU并非要取代CPU或者FPGA，谷歌認為，TPU是介于CPU和ASIC （application-specific integrated circuit：應用集成電路）之間的芯片。ASIC用于專門的任務，比如去除噪聲的電路，播放視頻的電路，但是ASIC明顯的短板是不可更改任務。通用CPU可以通過編程來適應各種任務，但是效率能耗比就不如ASIC。一如前邊所言，在機器學習方面，TPU兼具了CPU與ASIC的特點，可編程，高效率，低能耗。