電子發燒友網報道（文/黃晶晶）2022年11月發布的GPT-3使用1750億個參數，而今年5月發布的最新版本GPT-4o則使用超過1.5萬億個參數。在過去幾年里，這些大語言模型的規模增長了超過400倍。但我們看到，在相同時間內硬件內存的規模僅增長了兩倍。

那么要完成這些AI模型的任務，就必須投入額外數量的GPU和AI加速器，才能滿足對內存容量和帶寬的需求。同時內存系統也必須不斷升級。Rambus在內存系統領域擁有超過30年的高性能內存系統開發和研究經驗，一直以來都是市場的領導者。近日，Rambus研究員兼杰出發明家Steven Woo博士和Rambus大中華區總經理蘇雷先生接受媒體采訪，分享了Rambus的HBM4控制器IP新品，以及對內存市場的看法。

HBM內存技術演進

HBM高性能內存具有非常高的帶寬和密度，遠高于市面上常見的普通DRAM。HBM內存非常適用于AI訓練、高性能計算和網絡應用。

Steven Woo博士解析，HBM的DRAM堆棧使用多層堆棧的架構，實現高內存帶寬、高容量和高能效。其中一個內存晶片通過中介層的物理連接，與處理器進行相應的連接，每個HBM內存設備與處理器之間的數據通路由1024根“線”或信號路徑組成。上面這些部分共同與一個基板相連接，最后基板焊接在PCB上面。


他進一步指出，隨著命令、地址、時鐘和其他附加信號的加入，HBM3所需的信號路徑數量增加到約1700條。上千條信號路徑遠遠超出了標準PCB所能支持的范圍。因此，采用硅中介層作為橋梁，將內存設備和處理器連接起來。類似于集成電路，硅中介層上可以蝕刻出間距非常小的信號路徑，從而實現所需數量的信號線來滿足HBM接口的要求。正是由于這種精巧的結構設計和HBM DRAM的堆疊方式，HBM內存才能提供極高的內存帶寬、優異的能效、極低的延遲，同時占用最小的面積。

下圖可以看到，不同代際的HBM內存在數據傳輸速度、單個堆棧帶寬、堆棧厚度以及最大設備容量等方面的具體參數。



可以看到，每一代HBM最明顯變化就是單個堆棧帶寬的急劇增加。HBM3E單個設備的帶寬超過了1.2TB/s。HBM3設備正在變得非常流行，主要的DRAM制造商，如SK海力士、美光和三星，已經宣布推出HBM3E設備，數據傳輸速率最高可達9.6Gbps。從單個堆棧的角度來看，HBM4的帶寬將達到1.6TB/s，而這只是單個堆棧的帶寬，最終的實際帶寬可能會更高。隨著行業推出越來越快的HBM內存器件，Rambus作為內存控制器IP提供商，在這一過程中扮演著重要角色。

Rambus HBM4控制器IP

Rambus最新推出業內首款HBM4控制器IP，可以支持新一代HBM內存的部署，適用于最先進的處理器，包括AI加速器、圖形處理器和高性能計算應用。

HBM4的控制器IP提供了32個獨立通道的接口，總數據寬度可達2048位。基于這一數據寬度，當數據速率為6.4Gbps時，HBM4的總內存吞吐量將比HBM3高出兩倍以上，達到1.64TB/s。與Rambus的HBM3E控制器一樣，HBM4內存控制器IP也是一個模塊化、高度可配置的解決方案。




根據客戶在應用場景中的獨特需求，可提供定制化服務，涵蓋尺寸、性能和功能等方面。關鍵的可選功能包括ECC、RMW和錯誤清理等。此外，為了確保客戶能夠根據需要選擇各種第三方PHY并應用于系統中，Rambus與領先的PHY供應商開展了合作，確保客戶在開發過程中能夠一次流片成功。

依托于多年來在HBM內存領域積累的豐富經驗。在HBM市場上，Rambus的市場份額位居第一，并且已經成功完成了超過100次的HBM設計。此前，其成功交付了業界領先的HBM3E內存控制器，以及業界最高數據傳輸速率的HBM2E內存控制器，速率達到每秒4 Gbps。因此，客戶可以放心選擇Rambus，因為Rambus在構建成功系統方面擁有多年的經驗，能夠為他們提供所需的全方位支持。


為了幫助客戶實現一次流片成功，Rambus提供的三大支持包括控制器測試平臺、驗證IP、物理層PHY支持，支持各種第三方PHY。



其IP產品組合提供了高性能芯片和處理器解決方案的核心構建模塊，包括HBM和GDDR內存控制器、PCIe和CXL協議控制器，以及后量子密碼學、Root of Trust和加密等安全功能。


Rambus大中華區總經理蘇雷先生表示，得益于我們在HBM領域多年的經驗和專業知識，在整個中華區，乃至于整個全球市場份額Rambus都是排名前列。Rambus的HBM控制器IP能夠得到中國客戶的認可，除了Rambus HBM的技術先進，比如說信號完整性、電源完整性，以及應對其他挑戰等之外，也非常注重售中和售后的服務。針對客戶的項目產品規格、配置方面我們會在技術方面給予一些最佳的建議和參考。幫助客戶提前規避一些技術難題，并且更加快速地推出產品，這對客戶來說是非常寶貴的產品附加值。這些都不斷驅動著我們在HBM領域繼續保持全球領先。

Rambus HBM4控制器IP現已開放授權，早期設計客戶可立即申請。預計客戶在2025年將其集成到芯片設計中，這些芯片設計預計將在2026年上市。


小結：

Rambus認為未來的人工智能將繼續在性能、功效和內存容量方面取得重大改進。這將需要許多不同的公司共同努力，Rambus 這樣的內存IP公司將改進內存系統，處理器廠商也必須通過壓縮數據和使用新的數字格式等方式來改進處理。軟件開發人員將來要與硬件開發人員更多地合作，進行軟硬件協同設計。總之合力推動AI的應用進程。