自2012年以來，大規模的AI訓練所使用的數據集的計算量以每年10倍的速度增長。比如在2022年11月ChatGPT的版本參數是1750億個，今年3月的版本使用的參數則達到1.5萬億個。隨著AI模型數據量、復雜度在增加，HBM內存被徹底帶火。這種高帶寬高速的內存十分適合于AI訓練場景。最近，內存芯片廠商已經不約而同地切入HBM3E競爭當中。內存控制器IP廠商Rambus也率先發布HBM3內存控制器產品，應對這一需求的到來。

RambusHBM3控制器

Rambus HBM3內存控制器IP可提供高達9.6 Gbps的性能，可支持HBM3標準的持續演進。相比HBM3 Gen1 6.4 Gbps 的數據速率，Rambus HBM3內存控制器的數據速率提高了50%，總內存吞吐量超過1.2 TB/s，適用于推理系統的訓練、生成式AI以及其他要求苛刻的數據中心工作負載。它支持HBM3以及包括被命名為HBM3E的內存設備。

HBM3子系統包含HBM3控制器以及HBM3 PHY（物理層）。Rambus提供的控制器可以跟合作伙伴所提供的PHY來共同應用在這些內存組件上。如下圖所示。



Rambus 接口IP產品管理和營銷副總裁Joe Salvador先生表示，Rambus提供的是一整套完整的經過驗證的解決方案， HBM3控制器不僅作為獨立的產品，而且能夠跟市面上目前比較常見的HBM3以及相關的內存模組進行匹配，像是與SK海力士、美光、三星等廠商完成了一整套的測試。另外，還經過了第三方來自西門子Avery的驗證IP。并且與很多第三方PHY（物理層）也都是完全兼容的。



在此不得不提的是，早前Rambus將PHY IP業務出售給了Cadence。而在Joe Salvador看來這一戰略性地出售，是與Rambus的商業生態有關。

他表示，我們的PHY業務當時發展也非常好，但是我們的控制器IP是提供給包括Cadence以及其他的PHY IP合作伙伴。當我們把PHY的業務出售給Cadence以后，可以幫助我們更好地去跟其他的PHY合作伙伴合作，因為我們已經不構成跟他們直接的競爭關系，而是成為很好的上下游的合作伙伴關系。控制器IP可以跟客戶所選擇的PHY進行很好的結合，并且都是能夠通過大量的測試和驗證，盡可能都保證一次流片成功，這對于客戶來說是很大的價值。

Rambus接口IP的產品組合集中供貨給數據中心市場以及人工智能和邊緣計算。在內存控制器方面，Rambus所支持的內存類型包括DDR、LPDDR、GDDR以及HBM。而在接口IP所提供的互聯控制器，可以支持CXL、PCIe以及MIPI。同時還提供視頻壓縮的IP，可以應用在MIPI以及DP（DisplayPort）接口。



此外，Rambus還提供最廣泛的安全IP產品組合以及解決方案。特別是隨著AI的發展，數據安全引來越來越多的關注。Rambus 大中華區總經理蘇雷先生表示，Rambus提供安全IP全套方案可以為AI的安全保駕護航，這跟Rambus公司的使命，“讓數據傳輸更快、更安全”不謀而合。

HBM內存控制器的設計挑戰與Rambus的優勢

HBM內存控制器的設計面臨諸多挑戰，首先是對于總體架構設計的復雜度和了解程度。Rambus已經有多年的設計控制器經驗，其中包括HBM、GDDR、LPDDR以及DDR。

“正是因為這多年的經驗，使得我們所設計出來的內存控制器可以做到性能高、功耗低，而且對于客戶來說成本也相對較低。”Joe Salvador說道。

其次，Rambus擁有多年跟主流內存廠商合作的經驗，把內存組件納入到控制器的兼容性、以及相關的性能測試環節當中進行驗證。同時，在進行架構設計時已經留足了一定的自定義配置空間，這樣可以根據客戶不同需求來選擇相應的控制器。

另外，Rambus多年以來所構建的測試環境和驗證環節，是跟許多的物理層提供商的合作伙伴共同去搭建的。那么控制器和物理層能夠很好地集成在一起保持兼容，從而使得客戶的子系統設計更容易成功。

應用領域不只于AI

值得注意的是，從規格的角度上來講，目前所說的HBM3E還不是正式的行業標準規格。Joe Salvador說，，雖然英偉達H200已宣稱采用了HBM3E，幾家主流的內存廠商也都發布了HBM3E的內存，但實際上指的是9.6Gbps的HBM3。對于后續HBM4的規格和標準，目前業界有許多預測，Rambus也在進行相應的研究，會繼續努力保持在HBM技術領域的行業領先地位。

至于HBM的應用領域，未來將不限于在數據中心、高性能計算方面。Joe Salvador表示，現在已經有一些顯卡在使用HBM內存，暫時還不是主流。另外，HBM也可能會進入汽車行業，盡管目前還沒有看到哪家公司推出經過驗證的車規級芯片使用HBM內存，但前景可期。