?

??CXL在大型數據中心內越來越受歡迎，作為提高不同計算元素（如內存和加速器）利用率的一種方式，同時最大限度地減少對額外服務器機架的需求。但該標準的擴展和修改速度如此之快，以至于很難跟上所有的變化，每一個變化都需要在越來越多的異構且通常是定制的設計中進行驗證和確認。

Compute Express Link?(CXL)的核心是一種用于內存、處理器和加速器的高速緩存一致性互連協(xié)議，它可以使靈活的架構更有效地處理不同的工作負載類型和大小。反過來，這將有助于減輕數據中心的壓力，以更少的資源做更多的事情，考慮到需要處理的數據量激增，這似乎是一個巨大的挑戰(zhàn)。

過去，典型的解決方案是針對任何容量問題投入更多的計算資源。但隨著摩爾定律的放緩，以及為服務器機架供電和冷卻所需的功率持續(xù)增加，系統(tǒng)公司一直在尋找替代方法。隨著電網達到極限和社會對可持續(xù)性的需求增加，這一點變得更加重要。

CXL 主要由 Intel 開發(fā)，基于 PCIe 標準，在這些相互沖突的動態(tài)中提供了一個有吸引力的提議。優(yōu)化數據中心使用內存的方式可以提高性能，同時還可以降低堆棧復雜性和系統(tǒng)成本。具體來說，CXL 允許 CPU 和連接設備上的內存之間的低延遲連接和內存一致性，從而使這些區(qū)域中的數據保持一致。

這對于大容量工作負載尤其重要，例如 AI 訓練，其中更多的數據通常等同于更高的準確性，以及日益電動化的車輛、智能工廠、藥物發(fā)現和氣象圖等所需的大規(guī)模模擬，僅舉幾例一些。

CXL 聯(lián)盟由創(chuàng)始成員谷歌、微軟、HPE、戴爾易安信、思科、Meta 和華為于 2019 年成立，當年推出了基于 PCIe 5.0 的第一版規(guī)范。此后，AMD、NVIDIA、三星、Arm、瑞薩、IBM、Keysight、Synopsys、Marvell等以各種身份加入，Gen-Z技術和OpenCAPI技術相繼加入。8月，Specification 3.0被引入，具有兩倍的帶寬，支持多級切換，以及內存共享的一致性改進。

就標準而言，這個標準進展得非常快。鑒于財力雄厚的公司對 CXL 的支持日益高漲，這一標準似乎很可能會普及。但其快速發(fā)展也讓 IP 開發(fā)人員難以快速從一個版本的標準轉向下一個版本。

前景被看好

“我們應該在未來幾年真正看到它的起飛，”?Cadence?的 PCIe、CXL 和接口 IP 產品營銷組總監(jiān)Arif Khan 說。他指出，根據一些內存制造商的預測，到 2030 年，基于 CXL 的應用程序的潛在市場總額預計將達到 200 億美元。

其他人也同樣樂觀。“有大量客戶在他們的下一代 SoC、加速器、SmartNIC 和GPU 以及內存擴展設備中采用 CXL，” Synopsys PCI Express 控制器 IP 技術營銷經理 Richard Solomon 說。

“幾乎每個人都在構建具有 CXL 功能的服務器，” Keysight Technologies高級規(guī)劃和營銷經理 Brig Asay 說。“JEDEC 等標準已與 CXL 達成協(xié)議，在標準之間開展工作并確保可操作性。CXL 還獲得了來自 Gen-Z 和Open CAPI 的資產，它們提供與 CXL 類似的功能，但CXL 具有強大的后勁。”

盡管如此，無論標準進展得有多快，廣泛采用都需要時間。盡管共享資源具有吸引力，但數據中心在采用任何新技術時都比較保守。任何故障都可能導致數百萬美元的停機時間。

“雖然 CXL 令人興奮，但該技術仍處于早期階段，”?Arm基礎設施業(yè)務線產品管理高級總監(jiān) Jeff Defilippi 說。“要實現擴散，這些解決方案在進行生產部署之前需要與 OEM 和云服務提供商一起進行嚴格的功能和性能驗證過程。”

Synopsys 高級產品營銷經理 Varun Agrawal 觀察到，在過去三年中，無數內存和服務器 SoC 公司都表示支持 CXL。但將完全支持 CXL 拓撲和帶寬的產品推向市場是一個較慢的過程。“越來越多的設計現在選擇通過 cxl.io 為其 PCIe 數據路徑采用 CXL，以期擴展到其他類型的設備。就產品推出而言，CXL 在數據中心的擴散一直很緩慢，原因之一是缺乏驗證和驗證基礎設施。”

Agrawal 指出，用戶社區(qū)越來越多地將 CXL 交易處理器、虛擬模型和主機解決方案、在線速度適配器和接口卡硬件解決方案作為他們的首要要求，同時計劃他們的驗證/驗證。“CXL 為希望同時啟動硬件-軟件驗證、軟件啟動和合規(guī)性以實現其上市時間目標的公司提供了軟件優(yōu)先方法的范例。”

系統(tǒng)級驗證也是一項要求。“根據支持的特性，驗證可以跨越資源共享、池化和擴展等內存特性；主機和設備之間的一致性；安全和路由；熱移除和添加；具有不同虛擬層次結構的多個域；和互連性能——尤其是 .cache 和 .mem 的延遲，”Agrawal 解釋道。

流行屬性

那么，盡管存在這些差距，為什么仍采用 CXL？Synopsys 的 Solomon 表示，CXL 最初的重點是緩存一致性，業(yè)界對其非對稱一致性協(xié)議很感興趣。直到后來，重點才轉移到解決傳統(tǒng)內存附件和 DRAM 接口的局限性上。

“現在你有了這種緩存方法和這種內存連接，它們中的每一種都以不同的方式將 CXL 推向數據中心，”他解釋道。“對于人工智能和機器學習，SmartNIC、數據處理單元、服務器附加設備專注于智能處理服務器中的數據，而不是主機 CPU。這些人真的對高速緩存一致性互連很感興趣。對于超大規(guī)模器，CXL 在處理器和內存之間創(chuàng)建了一個分離，允許在需要不同數量的易失性和非易失性內存的作業(yè)之間更有效地分配資源。”

此外，低延遲、跨互連的一致性以及能夠支持數據中心應用程序的內存分層需求使 CXL 具有吸引力，”Agrawal 說。“由于它使用現有的 PCIe PHY 層，互操作性有助于推動早期采用并延長產品生命周期。”

這使得 CXL 成為數據中心應用的理想選擇。“CXL 為內存訪問 CPU 提供緩存一致性，”Keysight 的 Asay 說。“它還支持內存資源池，這是理想的，因為它提高了數據中心 DRAM 的整體利用率。”

雖然 CXL 有多個用例，但 Arm 的 Defilippi 表示，云提供商對跨一組節(jié)點共享內存容量并增加關鍵應用程序的 GB/vCPU 的能力非常樂觀。“對于云供應商來說，在他們所有的系統(tǒng)中大量配置 DRAM 成本過高。但通過訪問 CXL 附加的 DRAM 池，他們現在可以采用僅具有 2GB/vCPU 的系統(tǒng)并分配額外的 DRAM 容量，使這些系統(tǒng)更適合廣泛的工作負載。對于已經高度配置的系統(tǒng)（即8GB/vCPU），額外的 CXL 附加內存現在可以使它們適合需要大量內存占用的應用程序，例如某些 ERP 系統(tǒng)，這些系統(tǒng)目前可能無法在云中運行。在此示例中，CXL 成為將額外工作負載遷移到云的網關。”

2020 年 11 月發(fā)布的CXL 2.0 引入了具有多個邏輯設備的內存池，Cadence 的 Khan 表示這是對規(guī)范的關鍵改進。“這種池功能允許跨多個系統(tǒng)共享資源，包括系統(tǒng)內存。雖然 CXL 是為加速器設計的，但它也支持內存接口。分層配置還可以支持異構內存——封裝上的高帶寬內存、連接到處理器的快速 DDR5 以及 CXL 模塊上的較慢內存。內存是數據中心的一項重要成本項目，而池化是管理系統(tǒng)的有效方式。”

圖 1：CXL 2.0 引入了具有單個和多個邏輯設備的內存池 ?

CXL 和定制

去年推出的 CXL 3.0 更進了一步，通過多級交換實現類似結構的實現。“這允許實施全局結構連接內存，將內存池與處理單元分開，”Khan 說。“內存池也可以是異構的，具有各種類型的內存。在未來，我們可以設想一個葉/主干架構，其中包含用于 NIC、CPU、內存和加速器的葉子，以及一個圍繞 CXL 3.0 構建的互連主干交換機系統(tǒng)。”

?圖 2：CXL 3.0 提供類似結構的多級交換實現 ?

這與數據中心相關，因為在 AI/HPC 世界中沒有通用的系統(tǒng)架構。

Khan 解釋說，今天的服務器提供了這些應用程序可能需要的合理超集，經常導致利用率不足和能源浪費。“異構應用程序需要非常獨特的解決方案來優(yōu)化實施。HPC/AI/ML 的常見應用程序工作負載各有不同的系統(tǒng)需求。分解系統(tǒng)的愿景是構建大型資源庫：內存、GPU、計算和存儲資源，以根據需要構建靈活、可組合的架構。換句話說，CXL 通過啟用這些功能為分解和可組合的系統(tǒng)鋪平了道路。”

CXL 的內存范例還為新的自定義 CXL 設備打開了大門，例如池內存控制器。

“另一個新興用例是異構計算，利用 CXL 設備內的緩存一致性在主機 CPU 和 CXL 連接設備之間共享內存。這里的編程模型仍在制定中，但目標是能夠在主機和加速器之間共享更大的數據集，這對于 ML 訓練等事情非常有吸引力。對于開發(fā)中的大量定制 AI 芯片和 GPU/NPU，這可能是一個有吸引力的選擇，”Defilippi 說。

當談到數據中心定制芯片設計中的 CXL 時，Keysight 的 Asay 指出，如果這些設計需要緩存一致性或訪問某些共享內存資源，則這些設計必須確保與 CXL 規(guī)范的互操作性。“一種常見的定制芯片設計是 SMART NIC，其中 CXL 作為一種傳輸數據的技術已經變得非常普遍。”

安全性也很重要，Synopsys 的 Agrawal 認為交易和系統(tǒng)級別的安全功能可能會推動數據敏感應用程序的定制設計，因為多家公司都在 CXL 上開發(fā)自己的應用程序級接口以優(yōu)化其設計。

結論

在與數據中心和 HPC 相關的更廣泛的內存生態(tài)系統(tǒng)中還有其他定制可能性，包括結合開源標準來創(chuàng)建新產品。

Blueshift Memory 是一家總部位于英國的芯片初創(chuàng)公司，其背后是一種名為 Cambridge Architecture 的替代內存架構。該公司正在使用 RISC-V 和 CXL 來部署 is 技術。該公司首席執(zhí)行官兼首席技術官 Peter Marosan 表示，使用這些開放標準使公司在制造商購買現成 CPU 方面節(jié)省了 1000 萬美元的潛在支出，并“為我們和我們的整個團隊打開了市場大門。”

至于即將發(fā)生的事情，Synopsys 高級產品營銷經理 Gary Ruggles 表示，他開始看到汽車行業(yè)對 CXL 2.0 和 CXL 3.0 的第一批詢價。“當你現在看汽車時，它們就像漫游的超級計算機。這些人看到的與我們在數據中心看到的完全一樣，這不足為奇。”

編輯：黃飛

?