網(wǎng)上對于FPGACNN加速的研究已經(jīng)很多了，神經(jīng)網(wǎng)絡(luò)的硬件加速似乎已經(jīng)滿大街都是了，這里我們暫且不討論誰做的好誰做的不好，我們只是根據(jù)許許多多的經(jīng)驗(yàn)來總結(jié)一下實(shí)現(xiàn)硬件加速，需要哪些知識，考慮哪些因素。

很多人都說在做FPGA的神經(jīng)網(wǎng)絡(luò)加速，可是有多少人真正拿出了實(shí)際結(jié)果，可能大部分人就是用HLS（高層次綜合）寫了個(gè)四五層的小網(wǎng)絡(luò)，或者簡單實(shí)現(xiàn)了一下卷積操作。真正要用FPGA做加速，得先明白算法的整體流程以及數(shù)據(jù)的輸入輸出形式，然后結(jié)合FPGA的特點(diǎn)設(shè)計(jì)相應(yīng)的加速結(jié)構(gòu)，在結(jié)構(gòu)設(shè)計(jì)層次里面涉及到一些關(guān)鍵的點(diǎn)。例如，如何加速原始卷積（winograd、fft或者其他），如何對數(shù)據(jù)進(jìn)行復(fù)用減少數(shù)據(jù)的搬移次數(shù)，如何設(shè)計(jì)合理的流水線結(jié)構(gòu)。在算法層次，需要對計(jì)算進(jìn)行量化，因?yàn)楝F(xiàn)有的算法大部分都是浮點(diǎn)運(yùn)算，F(xiàn)PGA 擅長定點(diǎn)運(yùn)算，所以必須量化，卷積層量化方法有dynamic fixed point 方法，有聚類方法，也有mini float point 方法等等，當(dāng)然除了卷積，還有softmax等分類算法如何量化，NMS如何在硬件上實(shí)現(xiàn)。另外目前的神經(jīng)網(wǎng)絡(luò)越做越大，F(xiàn)PGA資源有限，因此對網(wǎng)絡(luò)進(jìn)行裁剪也是一個(gè)需要關(guān)注的問題。

總的來說用FPGA 加速神經(jīng)網(wǎng)絡(luò)，是一個(gè)整體性工程，需要軟件和硬件協(xié)同配合，另外硬件這邊除了核心算法，還需要考慮數(shù)據(jù)的輸入以及調(diào)度形式，可能需要用PCIE 等高速接口實(shí)時(shí)傳入圖像，再利用DDR3/4對計(jì)算的部分結(jié)果進(jìn)行緩存，當(dāng)網(wǎng)絡(luò)確定，而一個(gè)FPGA 資源又不夠用的時(shí)候，可能需要考慮兩個(gè)FPGA 互聯(lián)，那就需要用到光口或者其他高速接口，這些外圍高速接口，如果之前沒有接觸過，任何一個(gè)都可能花費(fèi)相當(dāng)長的時(shí)間。所以說，做FPGA 加速，一個(gè)人是絕對不行的，另外，目前能夠進(jìn)行神經(jīng)網(wǎng)絡(luò)加速的FPGA ，xilinx 的UltraScale K/V/Zynq系列是比較合適的，但是這些屬于高端FPGA，當(dāng)然，不是說中低端不行，而是以目前主流網(wǎng)絡(luò)和現(xiàn)有的優(yōu)化手段，在資源較少的FPGA 上進(jìn)行加速難度較大，而高端FPGA 價(jià)格都比較高，所以必須得考慮成本問題。