這幾天被Google I/O開發者大會刷屏，尤其是會上Google的現任CEO桑德爾·皮查伊（Sundar Pichai）公布了在AlphaGo戰勝李世石的“秘密武器”就是一塊晶片“TPU”（張量處理單元，Tensor Processing Unit，），它使得機器學習類深度神經網絡模型在每瓦特性能性能支撐上優于傳統硬件。

　　其實早在去年年底，Google就已開源深度學習系統TensorFlow。

　　關于深度學習開源軟件

　　簡單回顧下TensorFlow——一個開源軟件庫使用數據流圖進行數值計算。圖中的節點代表數學運算，而圖形邊緣表示多維數據數組（張量）之間的溝通，靈活的架構允許你計算部署到一個或多個CPU或GPU，雖然一開始谷歌大腦開發團隊是主要進行機器學習的目的，和深層神經網絡的研究，但總體系統足以適用于各種各樣的其他領域。

　　這就已經使得第一代系統DistBelief大幅度被簡化。因為在深度學習算法CNN流行之前，機器學習的特征學習主要是通過人類根據自身擁有的領域知識或經驗來提取合適的特征，而特征的好壞直接決定了機器學習運用的成敗。

　　但是對于圖像或者語音而言，人類提取特征的標準也較難形容，譬如我們識別一朵紅玫瑰，我們會覺得紅玫瑰有刺、有顏色、有葉子、有花瓣和莖，而且這幾個部件之間有一定組織關聯以及空間約束，譬如刺在莖上的分布有一定的距離、花瓣在開放之后與尚未開放之前有一定的緊密度差距等，但是我們該用怎樣的語言來描述人類“眼睛”呢？如果認真想一想就會發現挺難的。

　　但是人類本質上是小樣本監督學習，或者無監督學習，現有的深度學習還無法做到這一點，這也是深度學習領域的研究著重需要突破的點。因為我們只要給幾張開放程度不同的紅玫瑰的照片給人看，他就可以學習到都些是什么樣的紅玫瑰。人似乎可以自動“學習”出特征，或者說你給了他看幾張紅玫瑰的照片，然后問紅玫瑰有什么特征，他也會就可以隱約告訴你紅玫瑰有什么特征，甚至是不同開放程度特有的特征，這些特征是百合花、水仙花或者其他的花沒有的。

　　而深度學習就是人工神經網絡ANN （Artificial Neural Network），是在借鑒一些人腦運行的機制基礎上模擬神經元的連接設計的。因為深度學習算法相較于傳統的機器學習在一些重要的任務上取得了大幅度的提升，以至于引發一場熱潮甚至形容為革命也不為過，但是深度學習需要海量已標記的數據進行長時間的訓練，其對計算能力的要求非常高。深度學習是計算密集型的算法，在近幾年，隨著計算能力的增強，深度神經網絡對比許多傳統機器學習數據集優勢體現出來之后，逐漸用到圖像、語言，它不再需要人工提取特征，自動學出特征后效果提升更明顯。

　　最初使用傳統的CPU（中央處理器，Central Processing Unit）計算時，為了保證算法的實時性，會需要使用大量的CPU來進行并行計算，就像Google Brain項目用了16000個CPU Core的并行計算平臺訓練來保證算法的運行速度。

　　深度學習是計算密集型的算法，所以在GPU （圖形處理器，Graphic Processing Unit）、FPGA（現場可編程門陣列，Field－Programmable Gate Array）和TPU等超速處理硬件發展起來后，CPU 在機器學習上進行的計算量大大減少，但是CPU并不會完全被取代，因為CPU較為靈活，且擅長于單一而有深度的運算，還可以做其他事情。

　　比如當使用GPU做深度學習計算時，CPU還是需要在代碼中寫入并讀取變量、執行指令、啟動在GPU上的函數調用、創建小批量的數據等，但是不再需要取指、譯碼等，所以Google在I/O大會上也強調了其并沒完全拋棄CPU，TPU 只是在一些輔助使用在特定的應用中。

　　TPU對谷歌意味著什么？

　　谷歌專門開發的應用于深度神經網絡的軟件引擎。谷歌表示，按照摩爾定律的增長速度，現在的TPU的計算能力相當于未來七年才能達到的計算水平，每瓦能為機器學習提供更高的量級指令，這意味它可以用更少的晶體進行每一個操作，也就是在一秒內進行更多的操作。并且谷歌將其與Deep learning系統平臺TensorFlow進行了深度綁定，可以獲得更好的支持，做更強的生態，包括搜索、無人駕駛汽車、智能語音等100多個需要使用機器學習技術的項目。