相比于當今的其它機器學習技術，深度學習能夠提供更加精細和復雜的行為，也因此得到了很大的重視，被應用在了范圍非常廣泛的應用中。

這些性質非常重要，尤其是對于輔助駕駛和自動駕駛汽車等安全性至關重要的設備以及自然語言處理（機器可以根據對話的上下文識別詞句的意圖）等領域。

和人工智能與機器學習一樣，深度學習已經得到了數十年的研究。現在不同的是深度學習正被添加到各種類型的芯片中——從數據中心到簡單的微控制器。而隨著用于訓練和推理的算法越來越有效，機器學習/人工智能的這一部分正涌現出各種各樣的應用模型——有些針對的是應用范圍非常狹窄的應用，有的則面向遠遠更加廣泛的環境決策。

Babblabs 的 CEO Chris Rowen 說：“其中有些預計是用于自動汽車的芯片將會需要的。使用神經網絡的技術是有效的，而且功耗成本也相當低。所以增加深度學習子系統是有意義的。我們看到很多創業公司正在涌入這一市場。光是深度學習領域就有 25 家。有的公司面向云，它們希望在這一領域淘汰英偉達。但也還有一些公司處于市場低端。這兩種情況都是高度結構化的矩陣乘法在需要盡可能快地運行低精度或中等精度計算的領域內的一種非常專門化的應用方式。這些計算對計算能力的需求是無止盡的。”

對于實現這些目標的各種工具、芯片、軟件和專業知識技能而言，這是個很好的預兆。

西門子旗下 Mentor 的總裁兼 CEO Wally Rhines 說：“汽車市場領域內有大量模式識別工作。你也可以在數據對數據中心的需求增長上看到這一現象。有數十家公司在做用于自適應學習的專用處理器。”

在所有這些市場和許多其它市場中，深度學習都是一個正在增長的領域。目前正在開發深度學習芯片的 eSilicon 的營銷副總裁 Mike Gianfagna 說：“深度學習已經被用來執行 iPhoneX 的人臉識別以及用于自然語言處理了，而且它也被設計用于自動汽車中以識別一個物體是狗還是貓。從表面上看，深度學習芯片很像是數據中心芯片。它可能會使用 HBM 內存堆棧來存儲訓練數據，從而使數據能快速輸入芯片，而且可能使用的是定制的存儲器。但這會比網絡芯片更容易實現。一個網絡芯片可能需要 50 到 90 個模塊，但它們全都各不相同。深度學習芯片的模塊數量雖然非常大，但大都是同種模塊的重復。所以它的布局布線更容易，它的模塊也更為緊湊并且表現更好。”

從商業角度看，深度學習、機器學習和人工智能可以實現規模經濟，這能繼續推動 PC、智能手機/平板電腦和云的銷量。

Rowen 說：“在過去，每秒執行數十億次乘法被認為是很大量的。但現在甚至邊緣設備也能執行數億次乘法。如果你有數萬億次，它們就可以發揮很大的價值。你可以在英偉達最新一代芯片上看到這一點。它們不再是每秒 10 萬億次浮點運算，而是每秒 100 萬億次。但這些也正變得越來越專用，設計的通用性也越來越差。在提供這種規模的計算上存在一些非常簡潔的方法。”

圖 1：深度學習與機器學習的比較，來自 XenonStack

深度學習是什么？

盡管深度學習很熱門，但深度學習的定義仍然還有些晦暗不清。它位于人工智能之下，要么與機器學習并列，要么就是機器學習的子集。不同之處在于機器學習使用的是為特定任務開發的算法。深度學習則更多是矩陣在多層結構上的數據表征，其中每一層都使用前一層的輸出作為輸入。這種方法更近似地模擬了人腦的活動，它不僅能識別一個棒球是否在運動，而且還能大致預測它落地的位置。

但在這背后，對深度學習的確切工作方式還不存在共識，尤其是在其從訓練轉向推理時。深度學習更多的是復雜行為的數學分布。為了得到這種表征并且塑造它，可以利用多種形式的架構。深度神經網絡（DNN）和卷積神經網絡（CNN）是最常見的。循環神經網絡（RNN）也所應用，這種架構增加了時間維。RNN 的缺點是處理、內存和存儲需求非常巨大，這將其使用限制在了大型數據中心上。

英國計算機科學家和認知心理學家 Geoffrey Hinton 也一直在推動 capsule 網絡的概念，這種網絡是在一個神經網絡的層中堆疊層，基本上也就是增加這些層的密度。據 Hinton 稱，這能得到好得多的結果，因為它能識別高度重疊的數字。而且這是當今這一領域的大部分研究的主題之一——如何加速這整個過程。

這個問題非常復雜，人腦已經沒辦法搞懂所有一切，所以所有這些都必須得到建模和理論化。對于芯片制造商來說，這不是什么新鮮事。自從芯片達到 1 微米工藝節點以來，就已經難以可視化一項設計中的所有不同部分了。但在計算機科學中，很多進展一直在很大程度上是二維的。旋轉和傾斜對象的數學表示難度要大得多，而且需要大量計算資源。為了提升速度和效率，研究者正試圖找到能約減這些計算的方法。不管，這是一個大難題，而且深度學習專家很大程度上對此也還沒有清晰的理解。

Optimal+ 的 CTO Michael Schuldenfrei：“深度學習某些部分處于黑箱之中。理解實際的決策過程是很困難的。你可以解釋一個機器學習算法源自哪種模型。你要做大量比較不同算法的工作。深度學習算法比機器學習算法更加復雜。但我們發現它們全都有一個共同點：在不同的產品中，來自這些算法的答案可能是不同的。所以在產品 A 上可能隨機森林效果好，而在產品 B 上效果好的卻是另一種算法或算法組合。”

深度學習算法可以回溯到 20 世紀 80 年代末。Cadence 的杰出工程師 David White 說：“很多工作都是從美國郵局開始的，它需要識別手寫的數字。他們意識到他們需要一種減少輸入空間的規模的方法，所以他們使用了額外的層來提取特征。自那以后，深度學習算法已經得到了很大的發展。”

與機器學習相比，深度學習算法通常需要遠遠更多的計算能力。White 說：“深度學習使用的架構是特定的。它使用了卷積、池化和特定的激活函數。有些技術類似于機器學習，有些則不同。”

但是，這種方法并不能讓所有事情都受益。

Babblabs 的 Rowen 說：“更多參數本質上就可以建模非常復雜的行為。但你必須使用對應的數據集訓練它。如果你的問題很簡單，深度神經網絡不會更準確。統計建模只能做到這么多。人類可以學習到關于物體的大量事物以及旋轉它們時它們會如何移動。比起當前的機器學習或深度學習方法，人腦只需要少得多的樣本就能將這些知識構建到人腦中。目前而言，機器還沒有你正在旋轉一個物體的概念。它不知道透視。它只能從數以百萬計的足夠樣本中學習到。”

更多市場中的深度學習

盡管深度學習和機器學習分界線并不總是很清楚，但這些不同部分的應用正在得到人們的重點關注。

Synopsys 的嵌入式視覺處理器部門的產品經理 Gordon Cooper 表示：“用于嵌入式視覺的深度學習有良好的定義。我們也正看到它被用于雷達和音頻處理——你可以應用 CNN 算法來處理。我們也看到有很多有關 IT 流程的請求，要將深度學習和人工智能應用到這些方面。”

這種技術越來越容易使用的原因是很多技術構建模塊可以直接使用了，其中包括很多現成可用的算法以及各種現成和定制或半定制的處理器、加速器和廉價的存儲器。Cooper 說：“使用 RNN 時，你可以選擇長短期記憶（LSTM）。如果功耗不是問題，你可以使用 GPU。另外還有嵌入式芯片，它們性能更低，但是更加注重功耗和尺寸。帶寬仍然是一個大問題，尤其是當你從 DRAM 存取數據時，所以在芯片內部有內存管理技術和乘法/累加。”

圖 2：深度學習應用的增長，來自 Semiconductor Engineering

芯片公司也已經通過對這項技術的內部使用而得到一些第一手經驗。

eSilicon 的 Gianfagna 說：“現在我們使用機器學習來管理我們用于 I/O 吞吐的計算農場，這個任務是很有難度的。我們追蹤所有的 CPU，然后根據工作來調校它們并創建預測負載。這基本上就是預測負載平衡問題，而且其中大部分工作都是在軟件中完成的。谷歌和 AWS（Amazon Web Services）等云公司使用深度學習來處理它們的工作流程和負載平衡，而且它們是用硬件來做的。深度學習可能是這些操作中使用芯片最密集的部分。”

這種技術的一種更新型的應用涉及到機器人。Cadence 的 White 說：“這里的關鍵在于這些設備需要持續不斷地學習，因為機器人所做的任務會變化，環境也會變化。所以如果你在菲律賓而不是歐洲從事生產制造，那么軟件可能就必須適應這一點。對于物聯網領域的很多設備也是如此。傳感器會出現在差異很大的環境條件下的系統中。這需要自適應的系統，這可能是機器學習、深度學習和人工智能的下一個大浪潮。對于檢測不同波長的氣體傳感器而言，傳感器的性能會隨信號改變而下降。所以問題是一個系統能否適應這種變化并且仍然能完成工作。你總不希望每次鏡頭上冷凝了水珠的時候都關閉系統吧。”

深度學習也正在手機中出現。蘋果公司的 iPhoneX 使用了深度學習來做人臉識別。Synopsys 的 Cooper 說：“你也可以在手機上使用它來優化圖片，應用基于深度神經網絡技術的濾鏡。但每個市場都有自己的需求。對于癌癥檢測，難點是獲取足夠多的數據點。幾萬個是不夠的。汽車行業則相反，你有大量視頻，但你能用這些數據做什么？這里的關鍵是如何使用技術找到這些視頻中重要的部分。”

總結

深度學習如何才能得到有效地應用，如何理解它能在哪里以及不能在哪里提升價值？半導體行業才剛剛觸及表面。如何才能使用最少的功耗快速完成所有必需的訓練和推理？這方面還將繼續模糊不清。

在過去，深度學習技術是與大型計算機和超級計算機密切關聯的。但隨著設備越來越小而深度學習在更受限的應用中得到使用，這項技術將會在越來越多的市場中產生更大的影響。這個市場的騰飛才剛剛開始。