2019年，NVIDIA 69億美金收購了一家以色列的公司，Mellanox。

雖然貴，但是很值。

收購Mellanox之后，老黃把其中Mellanox產品線中一個不起眼的可編程的網卡系列bluefield改名為DPU。

后來的事情，就超出了老黃的想象，各種DPU公司風起云涌，甚至壓過“AI”一頭，成為了VC眼中的“新貴”，成為了風口。

對于網卡芯片行業，大家都在講smartnic（智能網卡）的故事，智能網卡已經很高大上了，smartnic，智能網卡。

DPU這個故事一來，smartnic這個名字就從“小甜甜成”了“牛夫人”。

此一時，彼一時。

Mellanox成立于1999年，是以Infiniband產品而起家的，Infiniband主要是是一個用于高性能計算的計算機網絡通信標準。Infiniband具有極高的吞吐量和極低的延遲，可以理解成串行化的總線。

infinity 無限的。band 帶寬；infiniband這個名字直譯“無限帶寬”，非常霸氣。

和普通人用的計算機網絡比起來，Infiniband在帶寬和時延上有優勢。成本比網絡高多了。 但是由于要額外部署的Infiniband交換機，其成本限定了只能在超算和存儲領域這些商用領域使用。

Infiniband的HCA卡和Infiniband交換機。對應就是普通組網的網卡和網絡交換機，因為Infiniband的HCA卡和網卡基本上外觀一摸一樣，技術也類似。都是一端PCIe，另一端高速的serdes。所以Mellanox輕車熟路的切入了網卡芯片領域。

在網卡芯片領域，這個和Infiniband不同，這個市場要“內卷”的多，intel在10G網卡時代，憑借82599，X710等多個型號，可以說在服務器網卡市場上，呼風喚雨。和intel的CPU一起配合，成為了各個廠商的首選。

而在網絡從10G到25G轉換節點上，Mellanox異軍突起，成為了市場的佼佼者，Microsoft和Mellanox深度合作，讓Mellanox在25G成功上位，取代了Intel和Broadcom在高端網卡的江湖地位。同時Mellanox給網卡帶來了ROCE，一種基于ethernet的Infiniband的協議，這個是Mellanox的看家本領。數據中心向25G節點轉換上，Mellanox成為了最大的贏家。

在2019年時，Mellanox已經稱霸服務器網卡市場，是25G/100G解決方案最重要玩家之一。

Mellanox被intel和NVIDIA同時都看上了，intel開出了55億-60億美金的“彩禮”，而NVIDIA開出了接近70億美金的價格。

最終NVIDIA贏了。

平心而論，intel有自己的網卡芯片團隊，收購Mellanox只不過是錦上添花，而NVIDIA在網絡這個方面毫無積累，所以NVIDIA更迫切，業務協同性更優，也更志在必得。

事實也證明如此！

從智能網卡到DPU，不僅是名字的稱呼的改變。

說到DPU，先講三個故事，看看DPU都干些什么東西。

1：卸載offload

很多剛剛入手固態硬盤的朋友，可能會對于固態硬盤容量標識產生疑惑。以某廠商 1TB固態硬盤為例，按道理來說1TB=1024GB，但是在電腦上只能看到953GB。 為什么？ 因為放了一部分FTL 固件的表項，用于均衡磨損。 簡而言之，花了100塊錢，只能得到90快錢的東西。 花兩碗粉的錢，吃了一碗粉，因為有一個空碗需要承擔的開銷 問顧客爽不爽。 肯定不爽。 云服務廠商也不爽。 以目前的公有云為例，IaaS:Infrastrure-as-Service（基礎設施即服務） 但是對IaaS廠商來說，和普通人買SSD面臨同一個情況的窘境。 買了一批處理器，內存，硬盤，機房，空調，成立了一個云中心，作為基礎設施提供給各位廠家來用。 買個100核的CPU，只能用80個核。 其他20個核去哪里了？ 跑一堆云上的軟件，OVS，安全，存儲，管理等等。 這些額外20個核的開銷部分，叫做數據中心稅，datacenter tax。 所以從云廠商來說，就是如何利益最大化。用行業“黑話”，降低TCO（總擁有成本）。 如何取消數據中心稅，那就是要讓DPU把這些活都干了。 這個故事里面。 DPU就是那個干臟活，累活的角色。

在云中心，什么臟活累活最為典型？

那非OVS卸載莫屬了！ OVS的功能說白了，就是虛擬機VM之間的虛擬交換機，原本用軟件來實現的。 說到交換機，那就是三板斧，協議解析，表項查找，動作執行。

二層交換機，解析MAC轉發，

三層交換機，解析IP轉發。 OVS虛擬交換機就是解析流表轉發。

OVS的流表有三個特點：

1：表項長。

從五元組，7元組，到更多元組；從端口號，源MAC，目的MAC，VLAN，源IP，目的IP，源端口號，目的端口號等，這還不算完，還有更多項需要參與轉發。

2：表項多。

從幾十K到幾百K的表項。隨著從虛擬機到容器這些更細粒度的劃分，表項也是直線增加。

3：查找時間短。

從10Gbps小包查找大約需要60ns，到100Gbps小包查找需要6ns查找到。

有一種說法， 如果是CPU軟件來實現OVS，25Gbps開銷需要大約20%處理器核處理，100Gbps大約需要80%的處理器核來處理，數據中心稅高了，留給業務的就更少了。

簡而言之，隨著網絡的發展，處理器的能力跟不上了。

解決這個問題核心就是，將OVS 卸載（offload）到一個處理單元上來做這個業務。因為本來就是網絡的業務，所以卸載到網卡上是最直接的想法。 如圖所示，就是軟件卸載和硬件卸載的區別。

那么DPU除了除了OVS的卸載，還有哪些卸載？

1：TCP offload；2：TLS offload；3：加密offload；4：壓縮的offload； 這些offload，最直接就是降低數據中心稅。也有把這些形式叫做IPU，基礎設施處理器。

但是，單純offload，是不能稱之為DPU的。

2：hypervisor管理

很多人都去過網吧，但是不一定都去過VIP包房。 VIP包房和大廳不一樣。 獨立，安全，隱私性好。

VIP身份不會有和普通客戶一樣的待遇。 這樣的客戶給網吧老板帶了非常高的收益。 所以要服務好VIP客戶。 賺錢嗎？不磕磣！ 個人用戶賺錢還是企業用戶賺錢。 大多數是企業用戶賺錢。 作為云服務廠商，天生有兩個用戶，個人用戶，企業用戶。 個人用戶登錄，是一個虛擬機，虛擬機好處就是一個CPU拆開來賣，分時復用，分區復用，沒錢就忍了。 企業用戶和普通用戶不一樣，肯定是VIP服務。 企業用戶需要什么VIP云服務？

極強的計算性能，具有和普通物理機一樣的計算性能；

安全隔離，物理隔離，資源獨占；

快速交付，物理機資源標準化和池化，隨取隨用；

和云產品連通，如果需要可以和云主機、云存儲、云數據庫打通，方便業務使用。

什么是云上的VIP服務，那就是裸金屬云。

裸金屬云就是為企業用戶的量身打造的VIP包房； 從物理機到虛擬機，容器這些技術是演進的方向。

但是沒有想到。重新包裝好的物理機又成了香餑餑。 還換了一個高大上的名字，裸金屬云。 云服務商把全部的CPU資源都給用戶去用了。

但是也不能放手不管。 怎么管，放在哪里來管。 用了一個hypervisor的卡來管理。

如果把CPU比喻成一個賓館大樓，每個樓里的房間就是一個CPU core，住客就是虛擬機，hypervisor可以認為這個樓的的管理員，只不過這個管理員也要住在賓館大樓里面，占用一個到幾個房間（CPU core）。 現在VIP來了，整個賓館大樓直接都給了VIP租下來了。

當然管理員（hypervisor）也不能在大樓住了，但是管理員（hypervisor）還是需要的，就得給管理員（hypervisor）找個家。 CPU里面不能住了，這個家就放在了DPU里面；

阿里云的裸金屬云的建設中，提出了一種裸金屬bm-hive（bm baremetal 裸金屬的縮寫），直接把bm-hypervisor 放在了一個網卡形態的設備上，在這種形態下，所有的計算資源都是計算板的一部分，這個可以是X86的E5，core I7，AMD ，甚至可以是ARM。也就是說，在這種結構下，X86的地位只是一個計算節點之一。 裸金屬 hypervisor通過DPDK的vswitch和SPDK的云存儲，替代了所有的計算板所有的IO需求，

裸金屬 Hive支持VGA設備，供用戶連接到bm guest的控制臺，裸金屬-Hive的架構不僅允許它無縫地集成到現有的云基礎設施中，而且使計算板的設計高度靈活——唯一的硬要求是它支持virtio接口。 這種方案，但是其核心思想是將計算節點抽象出來，更專用，更靈活的參與到整個服務中；

這種思想提出，在AWS的的nitro卡就有了。 AmazonEC2的 hypervisor 專用硬件實現。當然是個精簡的hypervisor，它基于Linux內核的虛擬機（KVM）技術構建，但不包括通用操作系統組件。

3：從網絡到數據

DPU的核心是data。

為什么從網絡到數據？

簡而言之，TCP/IP的處理效率受到了極大的挑戰。

對于10Gbps的網絡來說，最大處理約14.88Mpps的包（64byte）。 10 000 000 000/（64byte + 20byte）*8 = 14.88Mpps。

那么對于100G的網絡來說，需要處理器包的數目是148.8Mpps（64byte）。 而linux的kernel能夠處理的能力也就是1M到幾MPPS量級左右。

需求和現實，巨大的落差。

要想滿足需求，bypass掉kernel，是一個所有人看到的方向。

很多kernel bypass的手段被提出了。

例如DPDK。DPDK就是一種kernelbypass的框架。DPDK通過應用層的PMD的程序不斷的輪詢。不用中斷，而是用輪詢，這個是DPDK提升性能的關鍵。

DPDK還需要CPU一個進程不斷輪詢。

而RDMA，則是更徹底的kernel bypass，CPU則直接什么也不做，數據直接送給應用層。 DPU就是承載RDMA的另一個載體。RDMA的協議用的是infiniband（IB）。而為了減低成本，不用部署額外的infiniband（IB）。其底層用了IP來承載，主要有兩個分支，用IP/UDP承載IB是ROCEv2。用IP/TCP承載IB

Infiniband（IB）是Mellanox的強項，IB是HPC數據交換的互聯協議，高性能計算就是例如超算，全球TOP500里面有60%采用了IB進行互聯。

說回RDMA，那么RDMA到底干了什么？ 除了傳統的send receive。最重要的就是 read，write。 read，write的是什么。

是數據。

一臺主機直接直接向另一臺機器的虛擬內存的地址上讀或者寫。

這個意味著，使用外部資源就如同本地資源一樣方便。

沒有比這個更簡單的操作了。

大道至簡！ read和write的都是data； 基于這個意義上，DPU的D才開始有點意思了。 有趣的是，RDMA（IB）是在超算中發展起來的。 超算的架構都是CPU+GPU的異構。 超算的底層互聯從來不是以太網，原因無他，以太網的效率太低了，以太網只在超算邊緣作為管理網絡來使用。 而DPU的設想中，很多資源池化的想法，和HPC有一些異曲同工之妙； 2020年hotchips上初創DPU公司，Fungible就有非常準確的描述。通過DPU將X86計算資源，GPU/AI資源，SSD/HDD等存儲資源，作為池化資源的構成一個整體，提供外部使用。

Fungible用的技術叫做TrueFabric。其與RDMA的優劣不是本文要討論的部分。

但是通過DPU把整個數據中心連接起來，實現高速率，低延遲的效果。

這個模型下，整個結構更類似一個邊緣云中心。

不過在老哥看來，更類似超算和云融合的一種解決方案。

基于目前這個意義上，DPU的data還只是搬移，并沒有在嚴格意義上被處理。

某些安全處理也是為了數據搬移過程的安全特性，比如IPsec over RDMA；也就是端到端的安全特性，這些數據處理是保護數據，而非改變數據本質。

這個數據搬移還包括：

1：存儲數據DPU搬移： nvme over fabric，nvme over RMDA。

2：AI數據的DPU搬移： GPUdriect over RDMA。

低延遲，高帶寬，高性能;

核心目標就是像本地數據一樣，訪問分布式或者池化的資源。

通過DPU實現數據資源池化。

網絡是手段，數據才是目的。

只不過這種連接可以是RDMA，也可以是其他技術手段，RDMA只是其中之一。

4：誰來用DPU？

第一個卸載的故事中，DPU是offload CPU的負載，是“長工”。

第二個管理的故事中，DPU是CPU的hypervisor，是“管家”。 第三個數據的故事中，DPU高效的提供CPU 數據，是“奶媽”。

這些手段的目標都是降低TCO，是因為CPU來做這些工作不經濟。

無論如何，DPU都不是替代CPU做計算。

在DPU上一堆處理器，來和CPU比賽干活，這個是不是比CPU更有優勢？見仁見智。

DSA只有面向一個領域定制，才能有成本的優勢。

所以DPU不需要在通用計算領域來搞事情。

保持數據（data）的本色，才是真諦。

最后一個問題，關于DPU，主要場景用在云上。

云廠怎么想？ 當然是自研！

AWS的Nitro系列，以及阿里的MOC等等。都是特殊定制的DPU。目前國內幾大云廠，基本上全部都有自研方案或者自研計劃。

每家云廠的解決方案都有所不同，特別是DPU是軟件和硬件緊密耦合的產物。

云廠對業務更懂，研發能力也不弱。

目前也有很多初創公司做DPU芯片，市場一片火熱。

如何把DPU芯片賣給也做這個方面的云廠“競爭對手”？

這是一個比AI芯片更難的難題。

后記

“上周末的智能網卡研討會，老哥網上聽了下各路專家的演講，云廠面臨的問題多，市場能提供的大規模部署的解決方案很少，頭部云廠商（阿里，騰訊）都是帶著自研方案而來的，FPGA+CPU倒是成了大部分公司的DPU不約而同的系統方案，xilinx和intel的FPGA成為市場的選擇，也看出來DPU芯片前路漫漫，且行且珍惜，祝大家國慶快樂。”

責任編輯：haq