和娛樂圈的明星八卦一樣，IT行業里面的各種并購也是非常有市場的。畢竟，像EMC，Cisco，Broadcom 這樣的公司都是一路并購成長起來的。最近比較熱門的應該是Mellanox說自己準備賣自己了。在25G/50G/100G市場上占據了69%的市場份額，2018年前三個季度，出貨了2.1M的網絡端口。[1] 這么好的標的，一時各種傳聞都出來了。Xilinx[2]，Microsoft[3]，Intel[4]，估計還有Broadcom[5]都在準備，以色列人的確有水平，已經從5.5B到了6B。陳福陽在華爾街籌錢的能力，估計還有大招。

Mellanox是個什么公司，一句話，就是目前RDMA技術的事實的技術定義者。雖然海有很多公司也有RDMA技術，但是在IB和Ethernet兩個市場都能夠呼風喚雨，只有它了。

Remote DMA技術在Ethernet上的應用不能不提微軟，目前微軟是目前在數據中心大規模部署RDMA的第一家HyperScale公司。微軟在2015/6/7/8年的Sigcomm [6]有大量的論文來講RDMA在數據中心的部署，很多人講微軟的風格是自己做了100分，但是對外只講1分。因此可以想象Microsoft對于Mellanox準備賣身的關注，自己的技術投入不能打水漂，不僅自己下手，而且鼓勵合作伙伴一起團購。

RDMA的技術是在一個有Mellanox主導的行業組織OFA[7]主導的。目前的成員如下圖，可以看到還是集中在HPC的專業領域。

OFA是2004年成立的工業組織，在整個HPC行業從Myrinet[8]轉換到IB的時候成立的。在2005年, Myrinet在TOP500的市場份額占到了28%，之后就一路下降，被IB替換掉了。對于誕生于HPC專業的領域，可用性一直是個大問題，HPC一切為了性能，不要虛擬化，不要通用操作系統和架構，每臺超算恨不得自成一臺體系。大家看看Mellanox的Linux 驅動的家族就知道這個有多復雜了。[7]

這路吐一個槽，作為Mellanox卡的資深用戶，我很早就自己畫了一份他們的OFED驅動的加載流程，作為Mellanox，這么基本的文檔在2018年12月才發布，而且很多模塊沒有upstream，讓人無奈的是，到現在為止我還沒有找到卸載rdma_cm （ connection mangament ) 的有效方法。每次都需要重啟。

因此看到AWS說要發布他們的EFA的時候，覺得他們還是真有勇氣，但是仔細一看，原來和AWS的HPC業務緊密結合，而且利用了libfabric 的生態[8]

很明顯，libfabric在網路傳輸層和流行的HPC編程框架之間做了一個統一。更重要的是，對于原來OFA的功能定義做了一個大大減法。俺曾經自己研究總結了Mellanox CX系列網卡的功能。大家可以自己看看這個復雜度。

對于像AWS這樣的Hyperscale公司也要部署RDMA，這個做法和之前的微軟有很大的不同。對于微軟，他們從40G開始規模部署RDMA，就是為了Azure的云環境的低延時網絡，目前微軟的網絡還是天下第一。[9]當然微軟為了大規模部署RoCEv2的所作的各種流控算法以及應用的優化對于整個業界都是非常有用的，但是他們主要停留在傳統的網絡上面。

AWS則不同，對于低延時網絡來講，在2014年之前，大部分的場景就是SDS，太多的存儲startup公司，使用PCIE Flash和RDMA 網卡來構建自己的分布式存儲系統，比較典型就是EMC收購的ScaleI/O了。[10]

2014年之后，由于ALexnet的出色表現，RMDA和Nvidia有了深度合作，利用GPU Direct，在GPU集群中快速傳遞數據成了RDMA的另一個

大眾應用。[11]

GPU+RDMA也是目前在TOP500部署量最大的應用，因此可以很明確地看出AWS使用Nitro做EFA的目的了。

貌似只有一款機型部署了EFA。[12] 對于這個機型，定位很清楚，HPC和分布式機器學習的訓練，因此功能實現也非常有目的，不要指望EFA會和Mellanox一樣功能強大。

因此，可以看出，傳統的Nitro芯片在升級了25G的Serdes之后，利用libfabric的生態實現了部分的RDMA的功能，可以滿足AWS上的HPC和ML的業務需求。這個和國內的大廠的想法類似。

因此，對于未來RDMA在數據中心的使用場景，存儲和HPC是兩個比較明確的方向。對于存儲，如何和NVMe這樣的存儲介質，以及NVMeoF和Cephover RDMA這樣的存儲后端結合是一個方向，在這個方向上，是不是要支持IB的編程框架并不重要。對于HPC的方向，則是如何和GPU這樣的計算引擎結合，簡單數據傳輸的延時，和上層的ML的框架緊密結合。

廣告時間： Xilinx在2018.1 中就推出了自己的RDMA的實現，目前主要關注在存儲應用這個方向。[13]實現了對10G/25G/40G/100G的網絡速率的支持，在Vivado 2019.1中會在延時上有進一步的提升，在512Byte上和標準的Mellanox類似，當然我們也是兼容Mellanox。歡迎大家垂詢。

[1]https://www.businesswire.com/news/home/20181025005197/en/Mellanox-Ships-2.1-Million-Ethernet-Adapters-Quarters

[2]https://www.cnbc.com/2018/11/07/xilinx-working-with-barclays-to-buy-mellanox-possible-december-deal.html

[3]https://www.cbronline.com/news/microsoft-mellanox

[4]https://www.hpcwire.com/2019/01/30/intel-reportedly-in-6b-bid-for-mellanox/

[5]https://en.globes.co.il/en/article-mellanox-acquisition-fits-broadcom-like-a-glove-1001258241

[6]http://www.sigcomm.org/

[7]https://community.mellanox.com/s/article/mellanox-linux-driver-modules-relationship--mlnx-ofed-x

[8]https://ofiwg.github.io/libfabric/

[9]https://mspoweruser.com/report-microsoft-azure-beats-google-cloud-and-amazon-aws-in-network-performance/

[10]https://en.wikipedia.org/wiki/Dell_EMC_ScaleIO

[11]https://devblogs.nvidia.com/benchmarking-gpudirect-rdma-on-modern-server-platforms/

[12]https://aws.amazon.com/cn/ec2/instance-types/

[13]https://www.xilinx.com/products/intellectual-property/etrnic.html