循環神經網絡（RNNs）具有保留記憶和學習數據序列的能力。由于RNN的循環性質，難以將其所有計算在傳統硬件上實現并行化。當前CPU不具有大規模并行性，而由于RNN模型的順序組件，GPU只能提供有限的并行性。針對這個問題，普渡大學的研究人員提出了一種LSTM在Zynq 7020 FPGA的硬件實現方案，該方案在FPGA中實現了2層128個隱藏單元的RNN，并且使用字符級語言模型進行了測試。該實現比嵌入在Zynq 7020 FPGA上的ARM Cortex-A9 CPU快了21倍。
?

LSTM是一種特殊的RNN，由于獨特的設計結構，LSTM適合于處理和預測時間序列中間隔和延遲非常長的重要事件。標準的RNN可以保留和使用最近的過去信息，但是不能學習長期的依賴關系。并且由于存在梯度消失和爆炸的問題，傳統的RNN無法訓練較長的序列。為了解決上述問題，LSTM添加了記憶控制單元來決定何時記住、遺忘和輸出。LSTM的單元結構如圖1所示。其中⊙代表element-wise的乘法。

圖1

用數學表達式表示圖1如圖2所示。其中表示Sigmoid函數，是層的輸入向量，是模型參數，是記憶單元激活值，是候選記憶單元門，是層的輸出向量。下標表示前一時刻，就是相應的輸入、遺忘和輸出門。這些門決定何時記住或遺忘一個輸入序列，以及何時輸出。人們需要對模型進行訓練，從而得到所需的輸出參數。簡單來說，模型訓練是一個迭代過程，其中訓練數據被輸入，然后將得到的輸出與目標進行比較。模型通過BP算法進行訓練。由于添加了更多的層和更多的不同的功能，模型可以變得相當復雜。 對于LSTM，每個模塊有四個門和一些element-wise的操作。 深層LSTM網絡具有多個LSTM模塊級聯，使得一層的輸出是下一層的輸入。

圖2

了解完了LSTM的特性后，如何設計LSTM在FPGA上的實現呢？下面我們來看一下實現方案。

1）硬件

硬件實現的主要操作就是矩陣向量乘法和非線性函數。

矩陣向量乘法由MAC單元計算， MAC單元需要兩個流：輸入向量流和加權矩陣的行向量流。將相同的矢量流與每個權重矩陣行相乘并累加，以產生與權重矩陣的高相同尺寸的輸出向量。在計算每個輸出元素之后，MAC被重置以避免累積先前的矩陣行計算。可以通過向權重矩陣的最后一列添加偏置向量來將偏置b添加到乘法累加中，同時為輸入向量增加一個額外的單位值。這樣就不需要為偏置添加額外的輸入端口，也可以向MAC單元添加額外的預配置步驟。 將MAC單元的結果加在一起。加法器的輸出是一個元素的非線性函數，它是用線性映射來實現的。
非線性函數被分割成線性y = ax + b，其中x限于特定范圍。在配置階段，a，b和x范圍的值存儲在配置寄存器中。每個線性函數段用MAC單元和比較器實現。輸入值與線性范圍之間的比較決定是處理輸入還是將其傳遞給下一個線性函數段模塊。非線性函數分為13個線段，因此非線性模塊包含13個流水線段模塊。 實施設計的主要組成部分是如圖3所示的門模塊。

圖3

實現模塊使用直接存儲訪問（DMA）端口來進行數據的讀入或寫出。由于DMA端口是獨立的，因此即使模塊同時激活端口，輸入流也不會同步。因此，需要流同步模塊。該同步塊用來緩存一些流數據，直到所有端口都是流式傳輸。當最后一個端口開始傳輸時，同步塊開始輸出同步流。這樣就能確保到MAC單元的向量和矩陣行元素對齊。另外，圖3中的門模塊還包含一個將32位值轉換為16位值的重分區塊。MAC單元執行16位乘法，產生32位值。然后使用32位值執行加法以保持精度。

圖2中的公式1,2,3,4都能用上述模塊實現，剩下的只是計算公式5和6的一些element-wise的運算。為此，方案引入了如圖4所示的包含額外的乘法器和加法器的模塊。

圖4

最終形成的實現LSTM的方案如圖5所示。該方案使用圖3中的三個模塊和圖4中的一個。門被預配置為具有非線性函數（tanh或S形）。內部模塊由狀態機控制以執行一系列操作。實現的設計使用四個32位DMA端口。由于操作以16位完成，每個DMA端口可以傳輸兩個16位流。權重和連接在主存儲器中以利用該特征。然后根據要執行的操作將流路由到不同的模塊。

圖5

2）驅動軟件