什么是深度學習

為了解釋深度學習，有必要了解神經網絡。

神經網絡是一種模擬人腦的神經元和神經網絡的計算模型。

神經元和神經網絡

作為具體示例，讓我們考慮一個輸入圖像并識別圖像中對象類別的示例。這個例子對應機器學習中的分類任務。

首先，我們以一張“貓的圖像”作為輸入，教它輸入和輸出的對應關系，這樣神經網絡的輸出就是“這張圖像是一只貓”。這個階段稱為學習。

在完成一定量的學習后，當一張新的貓圖像輸入到訓練好的神經網絡中時，就可以輸出“This image is a cat”等圖像識別結果。推理是使用經過訓練的神經網絡從未知輸入中猜測輸出的階段。

神經網絡內部有很多參數。具體來說，上圖中連接節點的邊被賦予了一個參數，稱為“權重”，代表連接的強度。學習是通過逐漸改變這個參數來進行的。分配給某個神經網絡的一組特定參數稱為模型。

給定模型的一些輸入，我們可以根據內部參數得到一些輸出，但我們需要一些跡象表明這有多合理。此指標有多種類型，但經常使用稱為準確性的一種。假設將 10 張貓的圖像輸入到預訓練模型中，其中 9 張被確定為“貓”。在這一點上，該模型可以說具有 90% 的準確率。

一般來說，你可以通過學習大量的輸入輸出對來獲得更準確的模型。

有了上述機制，現在可以通過讓神經網絡模型學習各種問題來自動解決問題，創建高精度模型，并對新數據進行推理。

然而，由于單個神經網絡只能解決簡單的問題，人們嘗試通過構建深度神經網絡 (DNN) 來解決更復雜的問題，深度神經網絡是一種將這些問題多層連接起來的更深層網絡。這稱為深度學習。

深度學習的簡單機制

目前，深度學習被用于現實世界中的各種場景，例如圖像和語音識別、自然語言處理和異常檢測，并且在某些情況下，它的記錄精度超過了人類。這些是通過卷積神經網絡 (CNN) 和遞歸神經網絡 (RNN) 實現的，它們是在結構上進一步設計普通神經網絡或其變體和組合的計算模型。

特別是，CNN 在圖像識別領域表現非常出色，除了上述分類之外，還被用于多項任務（下面顯示了四個示例）。

?

許多使用深度學習的技術、服務和業務已經出現，預計未來還會繼續增加。

有許多關于深度學習主題的通俗易懂的書籍、網絡文章和視頻內容。

在 FPGA 上進行深度學習的好處

我們已經提到，許多服務和技術都使用深度學習，而 GPU 大量用于這些計算。這是因為矩陣乘法作為深度學習中的主要運算，其特點是計算所需數據的局部性和可重用性高，通過GPU計算很容易達到性能。

特別是當只需要推理時，由于不需要將神經元之間的運算結果保存在內存中，因此所需的數據量會減少。基于這一特性，也開始嘗試使用FPGA進行深度學習推理。

事實上，微軟的“ Project Brainwave ”在云端使用 FPGA 進行推理，并宣布將搜索引擎中 RNN 計算的延遲和吞吐量提高了 10 倍以上。

然而，深度學習仍然主要使用 GPU 和 CPU 完成。因此，在這里我們將仔細研究使用 FPGA 進行深度學習推理的好處。

可構建低功耗、節省空間的系統

FPGA 的計算并行度不如 GPU，但在很多計算上可以達到比 CPU 更高的并行度。此外，單位時間的功耗往往低于 GPU，因此在功率受限系統中，FPGA 實現可能比 GPU 更適合 DNN 推理。然而，計算性能和功耗之間存在折衷（Operations / Watt），因此需要根據系統要求進行仔細評估。

FPGA 還具有能夠將整個系統安裝在單個芯片上的優勢。例如，將連接到FPGA的相機輸入連接到深度學習計算電路，并根據計算結果改變系統的控制等應用可以在單個芯片上完成。與 GPU 不同，它可以在沒有 CPU 的情況下運行，因此可以構建一個比 CPU 使用更少功率和空間的系統。

實現超低延遲、節省空間的推理

FPGA的優勢之一是低延遲，這對深度學習推理也很有效。

上述圖像識別的深度學習有望應用于自動駕駛等對精度要求較高的系統中。然而，由于它也是一個具有嚴格延遲約束的系統，因此可能難以通過 CPU 和 GPU 實現，它們容易受到 DRAM 的響應速度和與外圍設備的 IO 性能的影響。

使用低位寬數據可以減少延遲

FPGA可以使用任意位寬的數據，因此通過采用4位、2位等CPU和GPU難以獲得的位寬，可以降低延遲，節省計算資源。

眾所周知，即使使用具有一定低位寬的數據，深度學習推理也不會降低最終精度。目前據說8位左右可以提供穩定的準確率，但最新的研究表明，已經出現了即使降低到4位或2位也能獲得很好準確率的模型和學習方法，越來越多的正在FPGA實現。

易于適應新的神經網絡結構

深度學習是一個非常活躍的研究領域，每天都在設計新的 DNN。其中許多結合了現有的標準計算，但有些需要全新的計算方法。特別是在具有特殊結構的網絡難以在 GPU 上實現高效的情況下，計算成為瓶頸并減慢整個深度學習過程。由于 FPGA 是可重構的，因此它們可能能夠靈活地應對這種不規則的計算。

到目前為止，我們重點介紹了 FPGA 深度學習推理的優點，但也存在缺點。

運行頻率低于 CPU 和 GPU，除非設計實現，否則性能往往較差。

與 CPU 和 GPU 相比實施成本高，FPGA 上支持深度學習的軟件較少

很多DNN參數量大，很難在FPGA上簡單實現

需要高數據精度的 DNN，例如單精度浮點數，往往會出現性能下降

需要高級專業知識來創建具有高推理準確性和低數據準確性的模型

有很多情況學習成為處理時間的瓶頸而不是推理，但用FPGA很難解決（幾乎連研究水平都沒有）

近年來，許多為深度學習計算而優化的 ASIC 被推向市場，GPU 配備了專門用于深度學習的電路。

基于這些，不得不說用FPGA做深度學習的好處并不多。然而，與 DNN 權重降低相關的技術，如參數量化（或精度降低）和網絡修剪，正在積極研究中，這些方法與 FPGA 非常兼容。

也有FPGA供應商發布高速深度學習IP，以及配備適合深度學習計算的硬件的SoC型FPGA等利好因素。深度學習與FPGA的實際應用還有很長的路要走，但我認為它在未來有很大的潛力。

總結

在這篇文章中，解釋了兩點：“什么是深度學習？”和“深度學習在FPGA上的優缺點”。

在后續文章中，我們將為簡單的圖像分類任務在 FPGA 上創建推理設計。本教程中創建的設計不會是利用上述 FPGA 優勢的優秀設計，而是非常簡單的設計。我將在后面的文章中展示之后的優化策略，但我希望能看出，如果不考慮復雜的優化，FPGA 上的開發非常簡單。

審核編輯：劉清