（文章來源：粵訊）

EdgeBoard是百度打造的基于FPGA的嵌入式AI解決方案及基于此方案實現的系列硬件。作為端側的解決方案，沒有在PL側為FPGA設計專用的內存，而是采用了PS和PL側共用DDR內存的結構。因此，對這種異構系統的CPU和FPGA的協調就落在了內存的管理方面，這就是驅動系統中關于內存管理的子系統。

在FPGA芯片PS側，CPU使用多級緩存來訪問DDR，在Linux操作系統中，使用內存映射頁面，而對DDR的物理連續性沒有要求，它們被映射到虛擬連續的地址空間中。而在PL側的FPGA一般未使用任何緩存機制，它們在計算中都是直接訪問DDR。每一次讀寫操作都是讀或寫一個連續的內存空間，而且要求這片內存的起始地址要對齊在一個特定的地址偏移處。一次計算中的多次讀寫都要求訪問的DDR是一致連續的。

針對CPU和FPGA這樣的內存需求，我們設計Linux驅動內存的子系統時，就要充分考慮到：1）cache的影響；2）FPGA使用內存的物理連續性；3）傳遞給FPGA使用的內存塊要滿足偏移要求。

針對上述需求，我們采用分隔物理內存的設計方案，從整體系統中保留其中的一部分內存，讓Linux只使用另一部分內存。這部分被保留的內存，分配權歸內存驅動，驅動從保留部分中分配的內存塊在Linux系統中和FPGA系統中都可以訪問。在此期間，分配時要保證物理連續和起始偏移特性，使其能滿足FPGA的需求。

在EdgeBoard實踐中，我們采用的是Xilinx的ZynqMP系列的FPGA芯片，使用PetaLinux工具鏈來編譯Linux內核,并采用DeviceTree中的reserved-memory節點來實現內存的保留。例如，系統總體2GB內存，保留1GB給FPGA，留下1GB給Linux操作系統，DeviceTree中相關節點的設定就是這樣的：

FPGA總體設備驅動是采用字符設備platform driver的形式來編寫的：在Device的probe階段，對驅動內所保留的內存塊做好內存映射（memremap），并使用合理的數據結構，保存好各個參數，以供后續使用。例如：

mem_start、mem_end、base_addr 等結構成員的定義如下：

關于內存的分配，采用了mmap調用的方式：在FPGA設備的初始化期間，初始化字符設備時傳遞了file_operations結構變量，這個結構變量的mmap指針初始化為我們的內存分配函數。內存分配中，我們使用了內核提供的bitmap數據結構，來管理我們保留的內存區域——bitmap位數組中的每一位代表著16k的一個內存塊，另外還使用相同長度的數組來管理內存被分配的客戶owner（即file指針）、內存分配的塊的數量等信息。

另外，在分配的內存對應的vma中，我們還注冊了自己的私有數據private data來記錄對應內存的必要信息：如對應內存塊的總線物理地址范圍和映射地址、bitmap位數組的索引等，用于地址轉換；再如對應內存塊的一些finger信息，用來標識保留內存塊。已分配出去的內存塊都需要回收，其中有兩種最具代表性的情況，一種是用戶release一塊內存的處理，另一種則是用戶關閉設備時對未release的內存塊的清理回收。

當用戶release一個內存塊時，對應的vma的close函數會被自動執行。為此，我們注冊這個函數作為內存釋放處理函數：函數實現中，首先檢測private data避免錯誤處理，然后恢復對應的bitmap位數組中的位信息，清理owner和塊數量信息，使得這塊保留內存又回到了待分配的狀態。

當用戶關閉設備時，會調用設備注冊的release函數。因此，在設備的release函數中，我們遍歷owner數組來清理owner與設備的file指針相同的內存塊，以此達到批量回收的目的。內存的地址轉換，是完成總線物理地址和虛擬邏輯地址的雙向轉換，為內存cache的flush/invalidate、以及交由FPGA之時要進行的處理等提供支撐。系統也通過兩個IOCTL向用戶層暴露這兩個轉換操作。

地址轉換操作中，首先找到對應的vma，然后計算出offset，最后檢查vma對應的標識是不是保留的內存塊——如果是，就使用我們vma保存的private_data中的信息及offset完成相關的計算。在CPU及其異構兄弟FPGA之間，使用DDR內存來傳送數據時，需要使用flush或invalidate來消除對應緩存的影響。

首先，我們的驅動代碼是運行在CPU上面的，當針對一片內存的處理從CPU轉移到FPGA之前，需要對這片內存的cache執行flush操作，使得內存cache中的所有改動都寫入到DDR，然后FPGA開始對它的處理工作。其次，當針對一片內存的處理從FPGA轉移到CPU之前，需要對這片內存的cache執行invalidate操作，使得cache內容無效，下次CPU直接讀取即從DDR中去主動load從而刷新cache。這樣，CPU就可以很好地跟FPGA相處了。

另外，我們可以通過建立一些IOCTL的方式為不同進程之間的內存共享做出一些快速、簡潔的方案，這也是我們可以在內存驅動中設計考慮的。
? ? ? ? （責任編輯：fqj）