本文主要交流設計思路，在本博客已給出相關博文近100篇，希望對初學者有用。注意這里只是拋磚引玉，切莫認為參考這就可以完成商用IP設計。

連接管理模塊負責管理 RoCE v2 高速數(shù)據(jù)傳輸系統(tǒng)與后端PC/服務器/GPU等主機之間的連接和斷開。
在 RoCE v2 中，有兩種建立連接的方式，分別是基于 CM API 的 QP 間建鏈和基于Socket API 的 QP 間建鏈。其中，CM API 是一種建立在 Infiniband/RoCE 協(xié)議基礎之上的通信管理協(xié)議；Socket 是基于 TCP/IP 協(xié)議的一個中間層，其建鏈過程需要兩個網(wǎng)絡節(jié)點先建立 TCP/IP 連接，然后通過該連接來交換雙方 QP 信息。針對FPGA實際應用需求，本IP使用 RoCEv2 協(xié)議，它基于 UDP/IP 的傳輸協(xié)議。因此，使用 CM API 進行建鏈的方式可以避免搭建 TCP/IP 協(xié)議棧，從而節(jié)約系統(tǒng)資源并提高建鏈效率。

在 CM API 中，每條 CM 指令由多個字段組成，不同指令的包長度及對應字段的含義也不相同。因此當系統(tǒng)控制模塊發(fā)起建鏈或斷鏈請求時，連接管理模塊將對應寄存器中的信息整合為CM 包，并將該數(shù)據(jù)包寫入發(fā)送隊列中。在接收到完成隊列中的條目后，連接管理模塊提取其中的信息并執(zhí)行指令完成流程。

隊列管理模塊負責 RoCE v2 發(fā)送隊列、接收隊列和完成隊列的創(chuàng)建、存儲、仲裁，以及 RoCE v2 指令的提交和完成機制。RoCE v2 隊列對是實現(xiàn) RoCE v2 指令提交與完成機制的核心組件，其隊列數(shù)量、隊列深度和仲裁方式將直接影響數(shù)據(jù)傳輸性能。為了適應不同的應用場景，隊列管理模塊將隊列存儲與隊列指令控制分離，實現(xiàn)了運行時的動態(tài)隊列配置功能，以更少的資源消耗實現(xiàn)多場景下更優(yōu)的性能表現(xiàn)。

RoCE v2 發(fā)送模塊及 RoCE v2 接收模塊則負責發(fā)送或接收 RoCE v2 數(shù)據(jù)包。其中，RoCE v2 發(fā)送模塊從隊列管理模塊中提取用戶指令并將其轉(zhuǎn)換為 RoCE v2 包，然后發(fā)送到遠程主機。對于包含數(shù)據(jù)的 RoCE v2 包，RoCE v2 發(fā)送模塊將同時與 DMA控制器進行數(shù)據(jù)交換，從系統(tǒng)存儲中讀取數(shù)據(jù)后發(fā)送到遠程主機。同樣的，RoCE v2接收模塊接收并解析 RoCE v2 數(shù)據(jù)包，而后根據(jù)包類型與 DMA 控制器進行數(shù)據(jù)交換，進行數(shù)據(jù)讀取或?qū)懭氩僮鳌Ｍ瑫r其也將包信息發(fā)送到隊列管理模塊以實現(xiàn)指令釋放。

ICRC 生成校驗模塊負責 RoCE v2 包 ICRC 的計算、插入、校驗和刪除工作。其中，對于即將發(fā)送的 RoCE v2 包，ICRC 生成校驗模塊通過內(nèi)置的 CRC 計算單元計算 ICRC 并插入到包尾部。此模塊同樣負責對接收到的 RoCE v2 包進行 ICRC 校驗，若校驗通過，該包進入 RoCE v2 接收模塊；若校驗未通過，則該包由隊列管理模塊進行丟棄。
擁塞管理模塊采用 DCQCN 算法進行網(wǎng)絡擁塞的監(jiān)測及處理，其由通知單元和響應單元組成。通知單元檢測到報文 ECN 標志位有效時，將其轉(zhuǎn)換為 CNP 包反饋給發(fā)送方以降低速度。而響應單元收到 CNP 包后降速，未收到時則升速。上述功能僅在含交換機的多主機連接鏈路中生效。
DMA 控制器則負責對 RoCE v2 發(fā)送模塊和 RoCE v2 接收模塊的數(shù)據(jù)請求進行仲裁，并將這些請求轉(zhuǎn)換為 AXI4 總線請求，與系統(tǒng)內(nèi)存儲進行交互。DMA 控制器支持突發(fā)傳輸和 Outstanding 功能，以進一步提高數(shù)據(jù)吞吐量。

B站已給出相關性能的視頻，如想進一步了解，請搜索B站用戶：專注與守望

https://www.bilibili.com/video/BV1mPV5eCE8z/?spm_id_from=333.337.search-card.all.click&vd_source=c355545d27a44fe96188b7caefeda6e7

審核編輯 黃宇