對許多 AI 工作負載而言，完全實現 GPU 廠商所宣稱的計算容量并非易事。即使對一般矩陣乘法 （GEMM） 等高度并行計算而言，GPU 也只能在某些大矩陣條件下實現高利用率。FPGA 提供了不同的 AI 優化硬件方法。

不同于 GPU，FPGA 提供了獨特的細粒度空間可重配置性，支持將每個功能的輸出直接傳送至相關功能的輸入，以滿足其需求。該方法可提升靈活性，支持特定的 AI 算法和應用特征，從而提高可用 FPGA 計算功能的利用率，進而提升性能。專用軟核處理器（也稱為疊加）支持與處理器類似的 FPGA 編程，即 FPGA 編程完全通過軟件工具鏈進行。這種編程方法可消除 FPGA 特定的硬件復雜性問題。

我們對全新英特爾 Stratix 10 NX FPGA 進行了首次性能評估，并將其與 Nvidia T4 和 V100 GPU 進行了比較。此次性能評估采用了 2020 年 IEEE 國際現場可編程技術會議中一篇論文所公布的結果，考察了一系列實時推理工作負載的運行表現。我們使用被稱為神經處理單元 （NPU） 的軟核 AI 處理器疊加實現方案部署了支持 FPGA 的工作負載，工具鏈支持以軟件為中心的 FPGA 編程，無需調用 FPGA 特定硬件 EDA 工具。

結果顯示，相比于測試的 GPU，英特爾 Stratix 10 NX FPGA 能夠為這些 AI 工作負載提供顯著改進的利用率和性能。

編輯：jq