FPGA是支持大量計算并行的器件，從模型結構上尋找更高維度的并行性，對于計算效率以及減少內存訪問都十分有意義。在Inception V1中，我們可以看到branch a branch b branch c的第一層1x1卷積層，其輸入數據完全一致，且卷積layer的stride以及pad均一致。那我們是否可以在output feature map維度上對齊進行疊加？疊加后對input data的訪存需求就降低到了原來的1/3。

另一方面，為了充分發揮FPGA硬件加速的特性，模型的Inference過程需要對模型進行定點化操作。在fpga中，int8的性能可以做到int16的2倍，但是為了使公司內以及騰訊云上的客戶可以無感知的部署其訓練的浮點模型，而不需要retrain int8模型來控制精度損失，我們采用了支持動態精度調整的定點化int16方案。通過此種方法，用戶訓練好的模型可以直接通過編譯器進行部署，而幾乎無任何精度損失。

內存架構設計

帶寬問題始終是計算機體系結構中制約性能的瓶頸之一，同時內存訪問直接影響加速器件功耗效率。

為了最大化的減少模型計算過程中的DDR訪存，我們設計了如下的內存架構：

Input buff以及output buffer ping-pong設計，最大化流水以及并行能力

支持Input buff和output buffer自身之間的inner-copy操作

Input buff和output buffer之間的cross-copy操作

通過這種架構，對于大多數目前主流模型，加速器可以做到將中間數據全部hold在FPGA片上，除了模型權重的加載外，中間無需消耗任何額外的內存操作。對于無法將中間層feature map完全存儲在片上的模型，我們在設計上，在Channel維度上引入了slice分片的概念，在feature map維度上引入了part分片的概念。通過編譯器將一次卷積或是poolingNorm操作進行合理的拆分，將DDR訪存操作與FPGA加速計算進行流水化操作，在優先保證DSP計算效率的前提下盡量減少了DDR的訪存需求。

計算單元設計

基于FPGA的通用CNN加速器的核心是其計算單元，本加速器當前版本基于Xilinx Ku115芯片設計，PE計算單元由4096個工作在500MHz的MAC dsp核心構成，理論峰值計算能力4Tflops。其基本組織框架如下圖所示。

KU115芯片由兩個DIE對堆疊而成，加速器平行放置了兩組處理單元PE。每個PE由4組32x16=512的MAC計算DSP核心組成的XBAR構成，設計的關鍵在于提升設計中的數據復用降低帶寬，實現模型權重復用和各layer feature map的復用，提升計算效率。

應用場景及性能對比

當前深度學習主流使用GPU做深度學習中的Training過程，而線上Inference部署時需綜合考慮實時性、低成本以及低功耗特性選擇加速平臺。按深度學習落地場景分類，廣告推薦、語音識別、圖片/視頻內容實時監測等屬于實時性AI服務以及智慧交通、智能音箱以及無人駕駛等終端實時低功耗的場景，FPGA相較于GPU能夠為業務提供強有力的實時高性能的支撐。

對于使用者而言，平臺性能、開發周期以及易用性究竟如何呢？

加速性能

以實際googlenet v1模型為例，CPU測試環境：2個6核CPU（E5-2620v3），64G內存。
將整機CPU打滿，單張基于KU115的加速器相較于CPU性能提升16倍，單張圖片檢測延時從250ms降低到4ms，TCO成本降低90%。

同時，FPGA預測性能略強于Nvidia的GPU P4，但延時上有一個數量級的優化。

開發周期

通用的CNN FPGA加速架構，能夠支持業務快速迭代持續演進中的深度學習模型，包括Googlenet/VGG/Resnet/ShuffleNet/MobileNet等經典模型以及新的模型變種。

對于經典模型以及基于標準layer自研的算法變種，現有加速架構已經可以支持，可以在一天內通過編譯器實現模型對應指令集，實現部署上線。

對于自研的特殊模型，例如不對稱卷積算子和不對稱pooling操作等，需要根據實際模型結構在本平臺上進行相關算子迭代開發，開發周期可縮短在一到兩周之內進行支持。

易用性

FPGA CNN加速器對底層加速過程進行封裝，向上對加速平臺的業務方提供易用SDK。業務方調用簡單的API函數即可完成加速操作，對業務自身邏輯幾乎無任何改動。

結語

基于FPGA的通用CNN加速設計，可以大大縮短FPGA開發周期，支持業務深度學習算法快速迭代；提供與GPU相媲美的計算性能，但擁有相較于GPU數量級的延時優勢。通用的RNN/DNN平臺正在緊張研發過程中，FPGA加速器為業務構建最強勁的實時AI服務能力。

在云端，2017年初，我們在騰訊云首發了國內第一臺FPGA公有云服務器，我們將會逐步把基礎AI加速能力推出到公有云上。

AI異構加速的戰場很大很精彩，為公司內及云上業務提供最優的解決方案是架平FPGA團隊持續努力的方向。
如果線上模型需要改動，只需調用模型初始化函數，將對應的模型指令集初始化FPGA即可，加速業務可以在幾秒內進行切換。

作者簡介：
derickwang(王玉偉)，2014年碩士畢業于華中科技大學，主要研究和實踐方向是數據中心FPGA異構計算，項目在深度學習、高性能網絡以及大數據加速等方向成功落地?，F為架構平臺部基礎研發組成員，為向互聯網數據中心提供優秀基礎架構而不懈努力。