HBM高帶寬內存是什么

高帶寬存儲器（High Bandwidth Memory，HBM）是超微半導體和SK Hynix發起的一種基于3D堆棧工藝的高性能DRAM，適用于高存儲器帶寬需求的應用場合，像是圖形處理器、網絡交換及轉發設備（如路由器、交換器）等。首個使用HBM的設備是AMD Radeon Fury系列顯示核心。2013年10月HBM成為了JEDEC通過的工業標準，第二代HBM —— HBM2，也于2016年1月成為工業標準，NVIDIA在該年發表的新款旗艦型Tesla運算加速卡 —— Tesla P100、AMD的Radeon RX Vega系列、Intel的Knight Landing也采用了HBM2。

存儲器是存儲指令和數據的計算機部件。有多種類型。中央處理器從存儲器中取出指令，按指令的地址從存儲器中讀出數據，執行指令的操作。存儲容量和存儲器讀寫數據周期是存儲器的兩個基本技術的指標。

高帶寬存儲器是一種CPU/GPU 內存芯片（即 “RAM”），其實就是將很多個DDR芯片堆疊在一起后和GPU封裝在一起，實現大容量，高位寬的DDR組合陣列。HBM 堆棧沒有以物理方式與 CPU 或 GPU 集成，而是通過中介層緊湊而快速地連接，HBM 具備的特性幾乎和芯片集成的 RAM一樣，因此，具有更高速，更高帶寬。

高帶寬存儲器發展

第一，早期，AI處理器架構的探討源于學術界的半導體和體系架構領域，此時模型層數較少，計算規模較小，算力較低。

第二，模型逐漸加深，對算力需求相應增加，導致了帶寬瓶頸，即IO問題，此時可通過增大片內緩存、優化調度模型來增加數據復用率等方式解決

第三，云端AI處理需求多用戶、高吞吐、低延遲、高密度部署。計算單元劇增使IO瓶頸愈加嚴重，要解決需要付出較高代價（如增加DDR接口通道數量、片內緩存容量、多芯片互聯）

此時，片上HBM（High Bandwidth Memory，高帶寬存儲器）的出現使AI/深度學習完全放到片上成為可能，集成度提升的同時，使帶寬不再受制于芯片引腳的互聯數量，從而在一定程度上解決了IO瓶頸。