UIUC、IBM 和 Inspirit IoT, Inc（英睿物聯網）的研究人員提出 DNN 和 FPGA 加速器的協同設計方案（DNN/FPGA co-design），通過首創的「Auto-DNN」網絡搜索引擎 +「Auto-HLS」加速器生成技術，自動生成適用于終端設備的 DNN 模型及 FPGA 加速器設計。在使用相同的終端設備，由該協同設計自動生成的物體檢測方案在檢測精度、速度和效能方面均大幅領先現時最優的 DAC'18 System Design Contest 冠軍方案。

嵌入式 FPGA 助力 AI 應用靈活部署

現時，大量的 AI 應用被部署在物聯網設備中以滿足實際場景需求。縱使云端服務器能分擔大部分 AI 應用的計算壓力，部分對實時性要求高的任務受限于網絡延時，還是需要在終端設備處理，如自動駕駛車輛、無人機上的物體識別，場景分割任務等。在物聯網終端設備中部署 DNN，設計者需要克服 DNN 精度要求高、實時性要求強、能耗要求低、終端設備可用資源少等困難。

通過在終端中使用嵌入式 FPGA 作為 DNN 加速器，設計人員可獲得更低的延時和能耗（對比 CPU/GPU 解決方案），以及更高的靈活度和更短的產品上市周期（對比 ASIC 解決方案）。然而，在資源受限的嵌入式 FPGA 中部署 DNN 加速器依然困難重重。

高質量 AI 應用需要 DNN/FPGA 協同設計

通常，DNN 及 FPGA 加速器會被分成兩步獨立設計。

一方面，DNN 設計會優先滿足精度需求，并在部署時寄望硬件加速器能提供足夠高的吞吐率和實時性能。但由于 DNN 在設計初期缺乏對目標硬件特性的考量，網絡結構會過分復雜并產生冗余，容易超出目標硬件可承受范圍。

另一方面，DNN 加速器在架構確定后會通過比例縮放計算和存儲單元以適應不同大小的 FPGA。在硬件資源極度受限時，過分縮小加速器會大幅減慢 DNN 推理計算效率，最終導致無法滿足應用實時性、吞吐率等要求。

上述獨立設計方法需要經歷多次反復設計 DNN 及加速器，如在 DNN 設計時嘗試網絡剪枝、稀疏化、參數量化等以減少網絡推理計算量，在加速器設計時嘗試不同核心計算單元、調試并行參數等以適配硬件可用資源。這類設計需要探索巨大的設計空間，異常繁瑣和耗時。

為此，作者認為業界需要一種更高效的自動 DNN/FPGA 協同設計方案：在設計 DNN 時充分考慮加速器架構、資源約束等硬件因素；并且，同時生成高度優化的 FPGA 加速器以用于物聯網終端設備。

自動客制化 DNN/FPGA 加速方案

本文提出的協同設計流程（圖 1）共包含 4 個主要模塊：1）DNN 結構模板 Bundle-Arch；2）網絡搜索引擎 Auto-DNN；3）低延時加速器基礎架構 Tile-Arch；4）加速器生成器 Auto-HLS。其中，前兩個模塊用于 DNN 結構搜索，而后兩模塊對應 FPGA 加速器設計。

協同設計第一步是搭建 Bundle 并對 Bundle 建立計算延時和資源消耗模型。對于給定的 AI 任務（分類、物體檢測等），系統從硬件 IP 池中選取神經網絡組件并組合成多個 Bundle（如圖 1 左下的 Bundle 1 包含了 Conv3x3，Conv5x5，Pooling 和 Relu 共 4 個 IP）作為 DNN 基本結構，并通過分析模型獲取每一個 Bundle 在目標 FPGA 上的延時和資源消耗。這確保 DNN 在設計之初就包含了足夠的硬件信息。

在第二步，該方案選擇前 N 個滿足性能和資源要求且精度最高的 Bundle 搭建原型網絡。在對 Bundle 作粗 / 細粒度評估后，每一個 Bundle 將被置于「硬件性能 - DNN 精度」空間，并將硬件性能指標相近的 Bundle 分為一組。每組精度最高的若干個 Bundle（共 N 個）會被選中并交由下一步處理。

最后一步，Auto-HLS 產生精準硬件性能信息協助 Auto-DNN 更新原型網絡。基于 Bundle 的 DNN 結構（圖 2）擁有網絡層數多寡、通道數增減等不同配置。Auto-DNN 使用隨機坐標下降（SCD）算法探索 DNN 配置，并借助 Auto-HLS 產生的硬件性能信息（如運算延時、資源消耗等）為反饋，選擇最適合目標硬件且精度最好的設計。