作者：劉偉

擁有14年網絡設備開發領域的從業經驗，當前就職于浪潮電子信息產業股份有限公司體系結構研究部，負責高性能網卡的架構設計和驅動程序開發工作。

RDMA 技術基于傳統以太網的網絡概念，但與以太網網絡中的同類技術存在差異。關鍵區 別在于，RDMA 提供了一種消息服務，應用程序可以使用該服務直接訪問遠程計算機上的虛擬內存。消息服務可用于進程間通信（IPC）、與遠程服務器的通信以及使用上層協議與存儲設備進行通信，這些上層協議包括對 RDMA 的 iSCSI 擴展（ISER）、SMB、Samba、Lustre、ZFS 等。RDMA 通過繞過軟件協議棧和避免不必要的數據復制來實現低時延、降低 CPU 占用率、減少內存帶寬瓶頸和提供高帶寬。RDMA 提供的好處主要來自 RDMA 消息服務呈現給應用程序的方式，以及用于傳輸和傳遞這些消息的底層技術。RDMA 提供基于通道的 I/O，該通道使得應用程序可以使用 RDMA 設備直接讀取和寫入遠程虛擬內存。

在傳統的以太網應用場景中，運行在用戶態的應用程序通過調用套接字（socket）API 從操作系統請求網絡資源，然后使用這些 API 執行數據收發。RDMA 應用也依賴操作系統，但只是使用操作系統建立通道，而后允許用戶態的程序直接操作硬件交互信息，無須內核態程序的進一步協助。這些信息交互方式可以是 RDMA Read、RDMA Write、Send 和 Receive。

另外，RDMA 協議 InfiniBand 和 RoCE 還支持多播傳輸。目前 RDMA 已經是一個比較成熟的架構，主要應用在高性能計算（HPC）領域和大型數據中心中，典型的應用場景包括分布式神經網絡計算（比如 TensorFlow+MPI+RDMA）和大數據存儲（比如 HDFS+RDMA+NVMe）等。

RDMA 的控制通路和數據通路

第 5 章在介紹內核協議棧方案時，使用圖 5-1 展示了 Linux 內核協議棧方案涉及的主要軟件和硬件模塊以及它們之間的關系；圖 5-2 描述了此方案的數據流；最后通過分析，給出了此方案的幾個缺點，比如不必要的數據復制、頻繁地在內核態與用戶態之間切換等。下面介紹 RDMA 方案的控制通路和數據通路（如圖 13-1 所示）以及數據流（如圖 13-2 所示），如果和圖 5-1、圖 5-2 進行比較，就能明顯地看出 RDMA 方案的優點。

圖 13-1 中有一左一右兩臺機器，可互相發送和接收數據。圖中首先將 RDMA 整體方案橫向劃分為三層；上面兩層是軟件，根據執行權限的不同又分為用戶態和內核態；最下面一層是硬件。然后，圖中將 RDMA 的橫向分層模型再從豎向劃分為控制通路和數據通路。控制通路需要進入內核態準備通信所需的各種資源，比如創建和配置后面章節會介紹的各 RDMA 基本元素（如 CQ、QP 等），主要操作由軟件完成，硬件接受配置。數據通路專門負責數據收發，由軟件和硬件合作完成 RDMA Write（寫）、RDMA Read（讀）、Send（發送）和 Receive（接收）等操作。

至于把控制通路和數據通路分開的原因，可以這樣理解：一般和控制有關的操作所需的權限較高，所以需要進入內核態處理，導致消耗的時間較長，不過實際進行的操作次數有限，

RDMA 技術簡介

屬于低頻且耗時的操作類型；而數據收發相關的操作所需的權限較低，直接在用戶態處理即可，只有這樣才能起到旁路（bypass）內核和快速收發數據的效果，并且在程序運行的大部分時間里，執行的都是這種高頻操作。

圖 13-1 RDMA 方案的控制通路和數據通路

Send 和 Receive 操作為例，一次 RDMA 通信的過程簡單描述如下。

（1）發送端和接收端的軟件都通過控制通路進入內核態，創建通信所需的各種資源，包 括 MR、QP、CQ 等。

（2）在數據通路上，接收端的應用程序通知硬件準備接收數據，并將存放數據的緩存地 址告知硬件。

（3）在數據通路上，發送端的應用程序通知硬件發送數據，并將待發送數據所在的緩存 地址和數據長度告知硬件。

（4）發送端硬件使用 DMA 操作從位于主機內存的緩存中將數據復制到自己的硬件內部 緩存，然后按照協議封裝數據包并發送給對端。

（5）接收端硬件收到數據包，按照協議對其進行解析，并通過 DMA 操作將有效的應用 數據寫入主機內存。

（6）在數據通路上，接收端的應用程序獲知收到的數據已被放入本地緩存。

圖 13-2 展示了使用 RDMA 方案時，用戶數據在兩個運行在不同機器上的應用程序之間 傳遞的過程。圖中的機器 1 為發送端，機器 2 為接收端。包括在網線/光纖上的數據傳輸，整 個數據傳遞過程共進行了 3 次數據復制，按照編號依次如下。

① 發送端網卡通過 DMA 操作，從主機內存的用戶空間將數據復制到自己的硬件內部緩 存中，并進行封裝，即添加各層協議報頭和校驗信息。

② 發送端網卡通過網線/光纖將封裝好的數據發送給接收端的網卡。

③ 接收端網卡接收到數據后，先進行數據解析，即把各層協議報頭和校驗信息剝離，然 后將硬件緩存中的數據通過 DMA 操作復制到主機內存的用戶空間。

如果跟圖 5-1 和圖 5-2 做一下比較，明顯可以看出 RDMA 方案的三個優點。 ? 本地內存零復制，即省去了數據在主機內存的用戶空間和內核空間之間復制的步驟， 降低了整個數據收發過程的時延。 ? 內核旁路（bypass），即數據通路繞過內核，避免了系統調用和上下文切換的時間 開銷。 ? 把數據包的封裝和解析工作交由網卡來實現，降低了 CPU 負載。

編輯：黃飛

?