據說HBM3E DRAM 速度更快、容量更高、散熱更好且易于兼容。

早在 6 月，就有報道稱 SK 海力士已收到英偉達的下一代 HBM3E DRAM 樣品請求，當 英偉達宣布其采用增強型 HBM3E DRAM 的 GH200 GPU（每芯片可提供高達 5 TB/s 的帶寬）時，這一請求成為現實。

SK海力士公司今天宣布成功開發出HBM3E，這是目前用于人工智能應用的下一代最高規格DRAM，并表示客戶的樣品評估正在進行中。

該公司表示，HBM3E（HBM3的擴展版本）的成功開發得益于其作為業界唯一的HBM3大規模供應商的經驗。憑借作為業界最大HBM產品供應商的經驗和量產準備水平，SK海力士計劃在明年上半年量產HBM3E，鞏固其在AI內存市場無與倫比的領導地位。

該公司表示，最新產品不僅滿足業界最高的速度標準（AI內存產品的關鍵規格），而且所有類別都包括容量、散熱和用戶友好性。

在速度方面，HBM3E 每秒可處理高達 1.15 TB 的數據，相當于每秒處理 230 多部 5GB 大小的全高清電影。

此外，該產品在最新產品上采用先進質量回流成型底部填充（MR-MUF）尖端技術，散熱性能提高了10%。它還提供向后兼容性，甚至可以在為 HBM3 準備的系統上采用最新產品，而無需修改設計或結構。

MR-MUF是指將芯片附著到電路上并在堆疊芯片時用液體材料填充芯片之間的空間而不是鋪設薄膜以提高效率和散熱的工藝。向后兼容性是無需修改設計即可實現新舊系統之間的互操作性的能力，特別是在信息技術和計算領域。具有向后兼容性的新型內存產品允許繼續使用現有的 CPU 和 GPU，而無需修改設計。

英偉達Hyperscale和HPC部門副總裁伊恩·巴克（Ian Buck）表示：“英偉達為了最先進加速計算解決方案(Accelerated Computing Solutions)所應用的HBM，與SK海力士進行了長期的合作。為展示新一代AI計算，期待兩家公司在HBM3E領域的持續合作。”

SK海力士DRAM商品企劃擔當副社長柳成洙表示：“公司通過HBM3E，在AI技術發展的同時備受矚目的HBM市場中有效提升了產品陣容的完成度，并進一步夯實了市場主導權。今后隨著高附加值產品HBM的供應比重持續加大，經營業績反彈趨勢也將隨之加速。”

根據TrendForce集邦咨詢調查顯示，為順應AI加速器芯片需求演進，各原廠計劃于2024年推出新產品HBM3E，預期HBM3與HBM3E將成為明年市場主流。HBM3E將由24Gb mono die堆棧，在8層(8Hi)的基礎下，單顆HBM3E容量將一口氣提升至24GB。除了英偉達外，Google與AWS正著手研發次世代自研AI加速芯片，將采用HBM3或HBM3E。

HBM3平均銷售單價高，2024年HBM整體營收將因此大幅提升。觀察HBM供需變化，2022年供給無虞，2023年受到AI需求突爆式增長導致客戶的預先加單，即便原廠擴大產能但仍無法完全滿足客戶需求。展望2024年，TrendForce集邦咨詢認為，基于各原廠積極擴產的策略，HBM供需比（Sufficiency Ratio）有望獲改善，預估將從2023年的-2.4%，轉為0.6%。

8月8日，英偉達創始人兼CEO黃仁勛在計算機圖形年會SIGGRAPH上發布了HBM3E內存新一代GH200 Grace Hopper超級芯片。這款芯片被黃仁勛稱為“加速計算和生成式AI時代的處理器”，旨在用于任何大型語言模型，以降低推理成本。

與今年5月發布的GH200不同，新一代GH200芯片搭載了全球首款HBM3E內存，內存容量和帶寬都有顯著提高，專為加速計算和生成式AI時代而設計。

新版GH200芯片平臺基于72核Grace CPU，配備480GB ECC LPDDR5X內存以及GH100計算GPU。此外，它還搭配著141GB的HBM3E內存，分為六個24GB的堆棧，并采用了6，144位的內存接口。盡管實際上英偉達安裝了144GB的內存，但可用的內存容量為141GB。

借助全球最快的HBM3E內存，這款芯片的內存容量高達141GB，帶寬每秒可達到5TB。每個GPU的容量比英偉達 H100 GPU多出1.7倍，帶寬比H100高1.55倍。

英偉達強調，新版GH200 Grace Hopper芯片使用了與原版相同的Grace CPU和GH100 GPU芯片，因此無需推出新的軟件版本或步進。原版GH200和升級版GH200將共存于市場，后者將以更高的價格銷售，因為它具備更先進的內存技術帶來的更高性能。

英偉達表示，新版GH200旨在處理世界上最復雜的生成式AI工作負載，包括大型語言模型、推薦系統和矢量數據庫，并將提供多種配置。