人工智能（AI）模型的規模和復雜度以每年大約 10 倍的速度不斷增加，AI 解決方案提供商面臨著巨大的壓力，他們必須縮短產品上市時間，提高性能，快速適應不斷變化的形勢。模型復雜性日益增加，AI 優化的硬件隨之出現。

例如，近年來，圖形處理單元（GPU）集成了 AI 優化的算法單元，以提高 AI 計算吞吐量。然而，隨著 AI 算法和工作負載的演變與發展，它們會展現出一些屬性，讓我們難以充分利用可用的 AI 計算吞吐量，除非硬件提供廣泛的靈活性來適應這種算法變化。近期的論文表明，許多 AI 工作負載都難以實現 GPU 供應商報告的全部計算能力。即使對于高度并行的計算，如一般矩陣乘法（GEMM），GPU 也只能在一定規模的矩陣下實現高利用率。因此，盡管 GPU 在理論上提供較高的 AI 計算吞吐量（通常稱為“峰值吞吐量”），但在運行 AI 應用時，實際性能可能低得多。

FPGA 可提供一種不同的 AI 優化的硬件方法。與 GPU 不同，FPGA 提供獨特的精細化空間可重構性。這意味著我們可以配置 FPGA 資源，以極為準確的順序執行精確的數學函數，從而實施所需的操作。每個函數的輸出都可以直接路由到需要它的函數的輸入之中。這種方法支持更加靈活地適應特定的 AI 算法和應用特性，從而提高可用 FPGA 計算能力的利用率。此外，雖然 FPGA 需要硬件專業知識才能編程（通過硬件描述語言），但專門設計的軟核處理單元（也就是重疊結構），允許 FPGA 以類似處理器的方式編程。FPGA 編程完全通過軟件工具鏈來完成，簡化了任何特定于 FPGA 的硬件復雜性。

FPGA與GPU架構的背景

2020 年，英特爾 宣布推出首款 AI 優化的 FPGA — 英特爾 Stratix 10 NX FPGA 器件。英特爾 Stratix 10 NX FPGA 包括 AI 張量塊，支持 FPGA 實現高達 143 INT8 和 286 INT4 峰值 AI 計算 TOPS 或 143 塊浮點 16（BFP16）和 286 塊浮點 12（BFP12）TFLOPS。最近的論文表明，塊浮點精度可為許多 AI 工作負載提供更高的精度和更低的消耗。NVIDIA GPU 同樣也提供張量核。但從架構的角度來看，GPU 張量核和 FPGA AI 張量塊有很大的不同，如下圖所示。

GPU 和 FPGA 都有張量核心。FPGA 有可以在數據流內外編織的軟邏輯

（左）GPU 數據從張量核心處理的內存系統中讀取，寫回內存系統。（右）FPGA 數據可以從內存中讀取，但數據流可以并行安排到一個或多個張量核心。任意數量的張量核心都能以最小的傳輸開銷使用輸出。數據可以被寫回內存或路由到其他任何地方

英特爾研究人員開發了一種名為神經處理單元（NPU）的 AI 軟處理器。這種 AI 軟處理器適用于低延遲、低批量推理。它將所有模型權重保持在一個或多個連接的 FPGA 上以降低延遲，從而確保模型持久性。

NPU 重疊架構和用于編程 NPU 軟核處理器的前端工具鏈高級概述

FPGA與GPU性能比較

本次研究的重點是計算性能。下圖比較了英特爾 Stratix 10 NX FPGA 上的 NPU 與 NVIDIA T4 和 V100 GPU 運行各種深度學習工作負載的性能，包括多層感知器（MLP）、一般矩陣向量乘法（GEMV）、遞歸神經網絡（RNN）、長期短期記憶（LSTM）和門控循環單元（GRU）。GEMV 和 MLP 由矩陣大小來指定，RNN、LSTM 和 GRU 則通過大小和時間步長來指定。例如，LSTM-1024-16 工作負載表示包含 1024x1024 矩陣和 16 個時間步長的 LSTM。

NVIDIA V100 和 NVIDIA T4 與英特爾 Stratix 10 NX FPGA 上的 NPU 在不同批處理規模下的性能。虛線顯示 NPU 在批次大小可被 6 整除情況下的性能

從這些結果可以充分地看出，英特爾 Stratix 10 NX FPGA 不僅可以在低批次實時推理時實現比 GPU 高一個數量級的性能，還可以有效地進行高批次實時推理。

由于架構上的差異和靈活編程模型，英特爾 Stratix 10 NX FPGA 還可實現更出色的端到端性能。不會產生與 GPU 相同的開銷。

短序列和長序列時 RNN 工作負載的系統級執行時間（越低越好）

結論

英特爾 Stratix 10 NX FPGA 采用高度靈活的架構，所實現的平均性能比 NVIDIA T4 GPU 和 NVIDIA V100 GPU 分別高 24 倍和 12 倍。

由于其較高的計算密度，英特爾 Stratix 10 NX FPGA 可為以實際可達到性能為重要指標的高性能、延遲敏感型 AI 系統提供至關重要的功能。

審核編輯 ：李倩