RDMA是一種直接內存訪問技術，RDMA 通過網絡把資料直接傳入計算機的存儲區，將數據從一個系統快速移動到遠程系統存儲器中，而不對操作系統造成任何影響，這樣就不需要用到多少計算機的處理功能。它消除了外部存儲器復制和文本交換操作，因而能解放內存帶寬和CPU 周期用于改進應用系統性能。這允許高通量、低延遲的網絡通信，尤其適合在大規模并行計算機集群中使用。

常見的 RDMA 實現包括 iWARP、RoCE 與 InfiniBand。其中，InfiniBand 是超級計算機最常用的技術，其可以做到 1ms 的延遲及超過 100Gb 每秒的傳輸速率。這對于超大規模的計算機集群是必要的。超級計算機、人工智能，云計算的數據中心都會受益于 InfiniBand 的卓越效能。世界 TOP500 超級計算機（2017年 6 月排行榜）中 36%使用了 InfiniBand 技術。

Mellanox 提供從 HPC（高性能計算中心）、數據中心、WEB2.0、機器學習、云服務器等解決方案，并專門針對目前火熱的人工智能算法進行了架構優化。其客戶包括 Facebook、Paypal、NVIDIA、百度、京東、騰訊等。

E級超算已經成為世界各國在超算領域追逐的新目標。目前，由江南計算所、國防科大和中科曙光公司根據不同技術路線研制的三臺 E 級原型系統已經完成并分別安裝在濟南、天津和深圳國家超級計算中心。據 Hyperion Research 公司按照系統驗收的時間估算，2021 至 2026 年期間，全球將建成 28～38 臺 E 級或接近 E 級的超級計算機，總價值約在 100～150 億美元。

在實現上，RDMA 實際上是一種智能網卡與軟件架構充分優化的遠端內存直接高速訪問技術，通過將 RDMA 協議固化于硬件(即網卡)上，以及支持 Zero-copy和 Kernel bypass 這兩種途徑來達到其高性能的遠程直接數據存取的目標。其通信過程使得用戶在使用 RDMA 時具備如下優勢：

? 零拷貝(Zero-copy) - 應用程序能夠直接執行數據傳輸，在不涉及到網絡軟件棧的情況下。數據能夠被直接發送到緩沖區或者能夠直接從緩沖區里接收，而不需要被復制到網絡層。

? 內核旁路(Kernel bypass) - 應用程序可以直接在用戶態執行數據傳輸，不需要在內核態與用戶態之間做上下文切換。

? 不需要 CPU 干預(No CPU involvement) - 應用程序可以訪問遠程主機內存而不消耗遠程主機中的任何 CPU。遠程主機內存能夠被讀取而不需要遠程主機上的進程（或 CPU)參與。遠程主機的 CPU 的緩存(cache)不會被訪問的內存內容所填充。

? 消息基于事務(Message based transactions) - 數據被處理為離散消息而不是流，消除了應用程序將流切割為不同消息/事務的需求。

? 支持分散/聚合條目(Scatter/gather entries support) - RDMA 原生態支持分散/聚合。也就是說，讀取多個內存緩沖區然后作為一個流發出去或者接收一個流然后寫入到多個內存緩沖區里去。

目前，RDMA 技術在超算、AI 訓練、存儲等多個高性能場景大量部署，已形成廣泛應用。但是 RDMA 技術路線也有很多，用戶及各家廠商對于 RDMA 技術路線的選擇也不盡相同。

在三種主流的 RDMA 技術中，可以劃分為兩大陣營。一個是 IB 技術, 另一個是支持 RDMA 的以太網技術(RoCE 和 iWARP)。其中，IBTA 主要聚焦 IB 和 RoCE 技術，而 iWARP 則是在 IEEE/IETF 標準化的技術。

在存儲領域，支持 RDMA 的技術早就存在，比如SRP(SCSI RDMA Protocol)和iSER(iSCSI Extensions for RDMA)。如今興起的 NVMe over Fabrics 如果使用的不是 FC 網絡的話，本質上就是 NVMeover RDMA。換句話說，NVMe over InfiniBand, NVMe over RoCE 和 NVMe over iWARP 都是 NVMe over RDMA。

1、總線級數據中心網絡技術白皮書.pdf

2、RDMA提高數據傳輸效率.pdf

3、配置 InfiniBand 和 RDMA 網絡.pdf

4、華為RDMA.pdf

5、面向AI智能無損數據中心網絡.pdf

6、面向分布式 AI智能網卡低延遲Fabric技術.pdf

7、NVMe存儲SPDK 加速前后端 IO.pdf

8、基于RDMA多播機制的分布式持久性內存文件系統.pdf

9、云環境下分布式存儲性能優化實踐.pdf

《RDMA技術合集（上）》

1、智能網卡低延遲Fabric技術.pdf

2、RDMA參數選擇.pdf

3、RDMA在數據中心中的應用研究.pdf

4、RDMA系統的挑戰.pdf

5、RDMA網絡人工智能訓練重要硬件

6、RDMA技術白皮書（中文版）

7、RDMA技術調研

8、RDMA在數據中心中的應用研究

審核編輯 ：李倩