脈沖神經(jīng)網(wǎng)絡( Spiking neural network-SNN ) 是更接近自然神經(jīng)網(wǎng)絡的人工神經(jīng)網(wǎng)絡。除了神經(jīng)元和突觸狀態(tài)之外，SNN 還將時間概念納入其操作模型。這個想法是， SNN 中的神經(jīng)元不會在每個傳播周期傳輸信息（就像典型的多層感知器網(wǎng)絡一樣），而是僅在膜電位發(fā)生時才傳輸信息 - 與膜電荷相關的神經(jīng)元的內(nèi)在質(zhì)量 - 達到特定值，稱為閾值。當膜電位達到閾值時，神經(jīng)元會放電，并產(chǎn)生一個信號，該信號傳播到其他神經(jīng)元，這些神經(jīng)元又會根據(jù)該信號增加或降低它們的電位。在閾值交叉時觸發(fā)的神經(jīng)元模型也稱為脈沖神經(jīng)元模型。

SNN 原則上可以應用于與傳統(tǒng) ANN 相同的應用。此外，SNN 可以模擬生物有機體的中樞神經(jīng)系統(tǒng)，例如在事先不了解環(huán)境的情況下尋找食物的昆蟲。由于它們的相對真實性，它們可用于研究生物神經(jīng)回路的運作。從關于生物神經(jīng)元電路的拓撲結(jié)構(gòu)及其功能的假設開始，可以將該電路的記錄與相應 SNN 的輸出進行比較，從而評估該假設的合理性。然而，SNN 缺乏有效的訓練機制，這可能會抑制某些應用，包括計算機視覺任務。

基于 FTJ 的人工突觸

下面介紹幾個SNN的開源項目。

關于CNN vs. RNN vs. ANN區(qū)別，請看下文：

https://www.analyticsvidhya.com/blog/2020/02/cnn-vs-rnn-vs-mlp-analyzing-3-types-of-neural-networks-in-deep-learning/

https://zhuanlan.zhihu.com/p/107993566

ODIN Spiking Neural Network (SNN) Processor

https://github.com/ChFrenkel/ODIN

項目介紹

ODIN 是一種在線學習數(shù)字脈沖神經(jīng)處理器，在 2019 年發(fā)表在IEEE Transactions on Biomedical Circuits and Systems期刊上，在魯汶天主教大學 ( UCLouvain ) 采用 28 納米 FDSOI CMOS 設計和原型制作。ODIN 基于單個 256 神經(jīng)元 64k 突觸橫桿神經(jīng)突觸核心，具有以下關鍵特性：

基于脈沖依賴的突觸可塑性 (SDSP) 在線學習，

神經(jīng)元可以再現(xiàn) 20 種 Izhikevich 行為。

因此，ODIN 是一個用于邊緣學習的多功能實驗平臺，同時與所有先前提出的尖峰神經(jīng)網(wǎng)絡 (SNN) 相比，記錄神經(jīng)元和突觸密度更高。

使用源代碼時，請引用相關論文：

https://arxiv.org/pdf/1804.07858.pdf

同時該項目也有詳細的設計文檔：

https://github.com/ChFrenkel/ODIN/tree/master/doc

HedgeHog-Fused-Spiking-Neural-Network-Emulator-Compute-Engine

https://github.com/jerry-D/HedgeHog-Fused-Spiking-Neural-Network-Emulator-Compute-Engine

用于 RISC-V 的 HedgeHog 融合脈沖神經(jīng)網(wǎng)絡仿真器/計算引擎(有FPGA驗證)

介紹

在 Xilinx Kintex Ultra Plus 中運行時鐘頻率約為 100MHz，它可以執(zhí)行大約 312qty。每個時鐘周期的浮點運算約每秒 310 億次浮點運算。指令集中的累積和激活位可以連接8個神經(jīng)元膜。如果你正在探索或試驗使用 RISC-V 作為主機 CPU 的 FPGA 嵌入式 AI 應用程序的脈沖神經(jīng)網(wǎng)絡，那么 SYMPL HedgeHog 非常適合你。

這是有關 HedgeHog FSNN 模擬器/計算引擎的 .pdf 信息表：

https://github.com/jerry-D/HedgeHog-Fused-Spiking-Neural-Network-Emulator-Compute-Engine/blob/master/HedgeHog.pdf

在 Xilinx Vivado IDE 中進行仿真

Vivado需要的所有 Verilog RTL 源文件都位于此存儲庫的“RTL”、“ASM”、“test bench”和“sim”文件夾中。頂級模塊是“HedgeHog.v”。建議第一次在 Vivado 中創(chuàng)建項目時，選擇 Xilinx Kintex Ultra+ xcku5p-ffvd-900-3-e 作為目標器件。在 Vivado 中創(chuàng)建項目后，需要設置“HedgeHog.v”為項目“Top”文件。

下一步是將“SpiNNe_tb.v”測試文件拉入 Vivado 作為激勵。然后向下滑動到“Simulation Sources”>“sim_1”，對測試文件“SpiNNe_tb.v”執(zhí)行與“HedgeHog”相同的操作，在仿真源中將其設置為“top”。

完成后，單擊“運行仿真”。之后，會注意到仿真失敗。這是因為仿真需要“spikeDemo.HEX”程序來執(zhí)行 HedgeHog。為了解決這個問題，將“spikeDemo.HEX”文件粘貼到仿真工作目錄中：“C:projectNameprojectName.simsim_1ehavxsimspikeDemo.HEX”，在“ASM”文件夾中可以找到匯編語言源代碼和對象列表。

接下來，演示仿真，它只是將一系列脈沖推入 HedgeHog，需要“spike_trains.txt”尖峰輸入文件和位于“sim”文件夾中的“weights.txt”文件，因此將這兩個文件粘貼到與放置“spikeDemo .HEX”文件的工作目錄相同。

完成后，再次單擊“運行仿真”按鈕以啟動仿真即可看到仿真結(jié)果。

該項目還有很多詳細的設計文檔，就不一一說明了。

CSE237D-PYNQ-SNN-Accelerator

https://github.com/snagiri/CSE237D-PYNQ-SNN-Accelerator

脈沖神經(jīng)網(wǎng)絡在 PYNQ-Z1 板上的硬件實現(xiàn)

S2NN-HLS

https://github.com/eejlny/S2NN-HLS

該項目提出了一種用于脈沖神經(jīng)網(wǎng)絡的高性能架構(gòu)，可優(yōu)化在主存儲器中的配置數(shù)據(jù)的數(shù)據(jù)精度和流式傳輸。神經(jīng)網(wǎng)絡基于 Izhikevich 模型，并使用HLS映射到 CPU-FPGA 混合設備。實驗表明，將電壓和頻率縮放應用于 DDR 存儲器和可編程邏輯可以分別將其能量需求降低高達 77% 和 76%。

詳細設計論文：

http: //dx.doi.org/10.1016 /j.micpro.2017.06.018。

Conversion from CNNs to SNNs

https://github.com/Dengyu-Wu/spkeras

SpKeras 可以通過以下步驟獲取和評估基于速率的脈沖神經(jīng)網(wǎng)絡 (SNN)：

使用 Tensorflow-keras 預訓練卷積神經(jīng)網(wǎng)絡 (CNN)

使用 SpKeras 將 CNN 轉(zhuǎn)換為 SNN

評估 SNN 并獲取參數(shù)，例如權(quán)重、偏差和閾值

其他

https://github.com/oshears/SNN-FPGA-Implementation

https://github.com/jasha64/SNN-FPGA

https://github.com/Minz9/SNN-on-FPGA

https://github.com/oshears/fpga_snn_models

總結(jié)

今天介紹了主要3個SNN的項目，主要是SNN復雜度較TPU或者CNN或者DNN又高了幾個臺階，所以用它來直接對FPGA進行移植難度很大，建議對第一個前三個項目進行研究，其他都不怎么推薦（想研究也沒有文檔）。

關于DNN或者CNN或者SNN也介紹了幾十個項目了，后面可能就不會出神經(jīng)網(wǎng)絡的項目了，感覺大家也看膩了，后續(xù)會出一些視頻處理或者圖像處理的項目。

最后還是強推一波官方神經(jīng)網(wǎng)絡加速的項目：

官方提供的各種案例也是基本覆蓋了常規(guī)應用。

最后，還是感謝各個大佬開源的項目，讓我們受益匪淺。后面有什么感興趣方面的項目，大家可以在后臺留言或者加微信留言，今天就到這，我是爆肝的碎碎思，期待下期文章與你相見。

審核編輯 ：李倩