據韓國經濟日報報道，SK海力士近日在IEEE（電氣與電子工程師協會）全球半導體大會上發表論文，提出了一種全新的存儲架構。據悉，該架構名為“H3（hybrid semiconductor structure）”，同時采用了HBM和HBF兩種技術。

在SK海力士設計的仿真實驗中，H3架構將HBM和HBF顯存并置于GPU旁，由GPU負責計算。該公司將8個HBM3E和8個HBF置于英偉達Blackwell GPU旁，結果顯示，與單獨使用HBM相比，這種配置可以將每瓦性能提升高達2.69倍。

圖源：SK海力士

實驗結果顯示，H3架構在AI推理領域尤其具有優勢。推理的核心是鍵值緩存 (KV cache)，它用于臨時存儲數據，以理解 AI 服務與用戶之間交互的流程和“上下文”。然而，隨著 AI 性能的提升，KV緩存容量不斷增長，以至于HBM和GPU逐漸應接不暇。

因此，HBF被視作上述架構的核心。與堆疊DRAM芯片的HBM類似，HBF通過堆疊NAND閃存而制成。被稱作“HBM之父”的韓國科學技術院（KAIST）教授金正浩類比道，HBM與HBF就好比書房與圖書館。前者容量雖小，但使用起來方便；后者容量更大，但也意味著延遲更高。

通過在HBF中存儲KV緩存，GPU和HBM可以減輕存儲KV緩存的負擔，從而專注于它們在高速計算和創建新數據方面的優勢。SK海力士模擬了HBF處理高達1000萬個令牌的海量鍵值緩存的場景，結果表明，與僅使用HBM的配置相比，該系統處理并發查詢的能力提升了高達18.8倍。以前需要32個GPU才能完成的工作負載，現在只需兩個GPU即可完成。

該公司強調HBF在這篇論文中具有潛力。業界正在關注它是否能成為繼目前SK海力士最大利潤產品HBM之后的新AI存儲器。

圖源：SK海力士

然而，HBF要成為現實，必須解決各種問題。NAND閃存具有大的存儲容量，但具有記錄新數據或更改形式的寫入性能慢的缺點。即使HBF只放置在讀取混合結構數據的地方，寫入性能對于KV緩存來說也越來越重要，因此需要設計技術來克服這一點。HBF底部基模的控制器性能必須比HBM先進得多。