1.?? 引言

基于RJIBI公司硬件開發套件的YOLO-V3物體識別檢測算法的相應軟、硬件實現。

本文主要闡述和規定了兩大部分內容：（1）機器學習推理框架針對在MPSOC FPGA平臺上的ARM核心的軟件部署方法（2）針對MPSOC FPGA平臺的YOLOV-V3算法和相關接口的硬件實現和部署流程。

主要指標

（1）FPGA硬件計算平臺為 RJIBI FACE系列板卡套件

（2）深度學習訓練框架：采用YOLO 原作者使用的 Darknet 訓練框架

（3）深度學習推理框架：TensorFlow Lite、Caffe2

（4）支持目標檢測網絡模型：YOLO-V3，YOLO-V3-Tiny

（5）目標檢測網絡模型推理精度（mAP）在COCO數據集上：

YOLO-V3 ≥ 55%

YOLO-V3-Tiny ≥ 30%

（6）目標檢測網絡參數存儲位寬要求：

YOLO-V3 采用IEEE 754 標準的32-bit浮點數

YOLO-V3-Tiny 采用16-bit定點數

（7）關鍵性能指標在416X416圖片上的參數：

目標檢測速率：

YOLO-V3 ≥ 10幀/秒

YOLO-V3-Tiny ≥ 60 幀/秒

系統設計功耗：

FPGA + ARM 異構處理器 ≤ 20W

系統峰值32-bit浮點計算能力：

FPGA + ARM 異構處理器 ≥ 100GFlops

（8）模塊化、可重用、可配置的深度學習FPGA加速IP核：

卷積層、Batch Normalization 層、池化層

硬件資源評估：

（1）??? ARM CPU：MPSOC異構芯片整合了ARM比較先進的64位雙核Cortex-A53核心，其運行頻率最高可達1.3GHz。這款CPU內核對于邊緣計算的嵌入式設備來說已經是非常強大的通用計算核心，所以在這款CPU上搭載常用的64位Linux 操作系統（Ubuntu 16.04/18.04 LTS）。

（2）??? ARM CPU 對應內存：板卡中為 ARM核配備的內存只有512MB，這個內存容量對于動輒內存占用GB級別的大型深度學習推理框架（TensorFlow、Pytorch）來說是明顯不夠的。因此擬采用針對嵌入式平臺的深度學習推理框架（TensorFlow Lite、Caffe2）對YOLO-V3物體識別網絡進行支持。

（3）??? FPGA 硬件資源：MPSOC異構芯片的FPGA核心部分擁有600K以上系統邏輯單元（System Logic Cell）、32.1Mb片上存儲資源、2520個數字信號處理單元（DSP Slice）和328個IO接口。其FPGA邏輯部分最高頻率可到500MHz。

（4）??? FPGA 核心對應內存：FACE板卡為FPGA核心配備了可以獨立于CPU核心進行DMA操作的 4GB DDR4 64-bit SODIMM 內存，經過乙方的深度、詳盡的測試，其峰值讀寫性能可達4GB/s。經過乙方的詳細估算，其DMA訪存的讀寫性能是可以滿足甲方所提的YOLO-V3目標檢測網絡的關鍵性能指標。因此，乙方擬將參數模型和推理所用的數據集預先存儲在FPGA核心對應的DDR4內存上，隨后再進行推理操作，并測量YOLO-V3網絡的具體性能指標。

軟件概述

（1）?????? YOLO-V3 和 YOLO-V3-Tiny 網絡的深度學習訓練框架，采用YOLO原作者使用的Darknet框架，因為這個框架是開源框架中唯一能完美復現YOLO-V3和YOLO-V3-Tiny網絡訓練結果的框架。 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?
? ?針對FPGA的深度學習網絡加速器性能設計的關鍵是在具體的計算并行度和訪存并行度之間進行一個最有的折中，因為任何計算平臺都有其理論的計算和訪存性能峰值。為此，針對計算平臺的Roofline 性能尋優的具體算法和程序。該算法或程序的輸入參數為：（1）需要加速的YOLO網絡具體參數（格式可以常用的.cfg深度神經網絡配置文件格式）（2）FPGA平臺的FPGA核心硬件資源和對應片外訪存的峰值性能指標。該算法對應的輸出為，在不同訪存/計算并行度條件下，位于最優的帕累托曲線上的硬件設計。其輸入結果如下圖所示。

硬件方案概述

硬件平臺的具體形況分析，本軟件方案簡要概述如下：

（1）? ??ARM-FPGA片上AMBA總線接口如下圖紅色方框所示。在可編程邏輯（Programmable Logic）也就是FPGA和ARM核心之間是通過片上的AMBA高速總線進行信息交互的。因此為了使用CPU+FPGA的異構架構對YOLO目標檢測網絡進行硬件加速，乙方需要為ARM核心上的軟件程序提供調用FPGA硬件深度學習IP硬件核心的軟件調用方法和相應的硬件支持接口和協議。為此開發針對卷積、Batch Normalization和池化層的硬件調用接口。

（2）??? FPGA核心DMA訪存硬件接口。根據硬件開發平臺和相應YOLO-V3網絡算法的分析，將YOLO網絡參數和推理所需的圖片存儲在FPGA核心對用的DDR4內存中。根據Roofline 模型，DMA訪存帶寬的大小直接決定了相應加速器的最終系統性能指標。因此針對YOLO-V3模型參數的讀取、不同網絡層中間結果緩存和識別結果的寫入提供了靈活、模塊化、和高度優化的DMA訪存硬件模塊設計。

（3）??? FPGA硬件算子設計。YOLO目標檢測網絡主要由卷積層、Batch Normalization層和池化層這三種算子組成。接口均采用AXI總線的標準格式進行封裝，并且采用模塊化、可復用、易懂的代碼風格進行編寫。

（4）?? YOLO 硬件加速器算子間流水線、緩存優化設計。在將YOLO網絡的某一層映射到FPGA硬件的過程中，有非常多的優化參數需要確定，如每一個數據點的處理順序、存儲位置和并行處理單元的數量和實現算法，這些參數并不會改變神經網絡原有的結構和運算的結果，但卻是決定流水線性能、能耗和資源消耗的關鍵指標。為解決這個問題，需基于線性緩沖區的單層網絡調度方案，降低流水線延遲和提高數據在FPGA片上的重用率。從性能和能效性考慮，將YOLO神經網絡的不同層連接起來并實現層與層之間的流水線是最好的選擇，但是在具體實現過程中有很多困難。首先，在神經網絡的實際運行過程中，上一層的輸出數據和下一層的輸入數據的格式、速率和排布方式等并不相同，因此如何合理的實現不同層之間的數據互聯是是一個亟待解決的問題。其次，FPGA的片上資源是有限的，如何將盡可能多的甚至整個神經網絡層都映射到FPGA上并實現高效的流水線非常困難的，這
就需要一個跨層的流水線整體調度方案。

lw