從PC時代走向移動與AI時代，芯片的架構也從以CPU為中心走向了以數據為中心。AI帶來的考驗不僅包括芯片算力，也包括內存帶寬。縱使DDR和GDDR速率較高，在不少AI算法和神經網絡上，卻屢屢遇上內存帶寬上的限制，主打大帶寬的HBM也就順勢成了數據中心、HPC等高性能芯片中首選的DRAM方案。

當下JEDEC還沒有給出HBM3標準的最終定稿，但參與了標準制定工作的IP廠商們已經紛紛做好了準備工作。不久前，Rambus就率先公布了支持HBM3的內存子系統，近日，新思科技也公布了業界首個完整HBM3 IP與驗證方案。

IP廠商先行

早在今年初，SK海力士就對HBM3內存產品的性能給出了前瞻，稱其帶寬大于665 GB/s，I/O速度大于5.2Gbps，不過這只是一個過渡的性能。同在今年，IP廠商公布的數據進一步拉高了上限。比如Rambus公布HBM3內存子系統中，I/O速度高達8.4Gbps，內存帶寬最高可至1.075TB/s。

今年6月，臺灣創意電子發布了基于臺積電CoWoS技術的AI/HPC/網絡平臺，搭載了的HBM3控制器與PHY IP，I/O速度最高達到7.2Gbps。創意電子還在申請一項中介層布線專利，支持任何角度的鋸齒形布線，可將HBM3 IP拆分至兩個SoC上使用。

新思科技公布的完整HBM3 IP方案為2.5D多晶片封裝系統提供了控制器、PHY和驗證IP，稱設計者可在SoC中用到低功耗更大帶寬的內存。新思的DesignWare HBM3控制器與PHY IP基于經芯片驗證過的HBM2E IP打造，而HBM3 PHY IP基于5nm制程打造，每個引腳的速率可達7200 Mbps，內存帶寬最高可提升至921GB/s。

封裝加成

以上還只是單層HBM的數據，通過2.5D封裝堆疊2層或者4層后，內存帶寬也將成倍突破。以英偉達的A100加速器為例，英偉達首發的80GB版本采用了4層HBM2達到了1.6TB/s的帶寬，之后推出了5層HBM2E的版本，進一步將帶寬提高至2TB/s。而這樣的帶寬表現，只需2層HBM3即可實現，四五層的配置更是遠超市面上已有的內存規格。

此外，邏輯+HBM的方法已經不新鮮了，已經有不少GPU和服務器芯片都采用了類似的設計。然而隨著晶圓廠不斷在2.5D封裝技術上發力，單個芯片上HBM的數量也在增加。比如上文中提到的臺積電CoWoS技術，可在SoC芯片中集成4個以上的HBM，英偉達的P100就集成了4個HBM2，而NEC的Sx-Aurora向量處理器則集成了6個HBM2。

三星也在開發下一代的I-Cube 2.5D封裝技術，除了支持集成4到6個HBM以外，也在開發兩個邏輯晶片+8個HBM的I-Cube 8方案。類似的2.5D封裝技術還有英特爾的EMIB，但不過HBM主要用于其Agilex FPGA。

結語

目前美光、三星、SK海力士等內存廠商都已經在紛紛跟進這一新的DRAM標準，SoC設計廠商Socionext與新思合作，在其多晶片的設計中引入HBM3，除了必定支持的x86架構外，Arm的Neoverse N2平臺也已計劃了對HBM3的支持，SiFive的RISC-V SoC也加入了HBM3 IP。但即便JEDEC沒有“卡殼”，在年末的關頭發布了HBM3正式標準，我們也可能要等到2022年下半年才能見到HBM3相關產品的面世。

大家都已經在不少高性能芯片上見到了HBM2/2E的身影，尤其是數據中心應用，比如英偉達的Tesla P100/V100、AMD的Radeon Instinct MI25、英特爾的Nervana神經網絡處理器以及谷歌的TPU v2等等。

消費級應用卻似乎正在與HBM漸行漸遠，過去還有AMD的Radeon RxVega64/Vega 56以及英特爾的KabyLake-G這樣利用了HBM的圖形產品，再高一級也有英偉達的Quaddro GP100/GV100和AMD的Radeon Pro WX這樣的專業繪圖GPU。

如今這些產品都用回了GDDR DRAM，畢竟消費級應用目前尚未出現帶寬瓶頸，速率和成本反倒才是芯片制造商最看重的，而HBM3在優點上提及了更大帶寬更高的功效，卻并沒有降低成本。