引言

2022年ChatGPT的推出推動了人工智能應用的快速發展，促使高性能計算系統需求不斷增長。隨著傳統晶體管縮放速度放緩，半導體行業已轉向通過異構集成實現系統級縮放。異構集成技術可將不同類型的芯片（chiplet）組合到統一封裝中，提供更好的性能、更低的互連延遲和更高的能源效率，這些對于數據密集型人工智能工作負載都非常重要[1]。

現有異構集成技術

圖1展示了異構集成技術的全面發展概況，從2D到3D架構的演進，包括MCM、中介層和先進的3D集成方法。

多種異構集成技術已經出現，以滿足不同的系統要求：

多芯片模塊(MCM)：作為最早的2D集成方法之一，MCM將chiplet橫向放置在有機基板上以減少線長。雖然實施簡單，但由于使用傳統有機基板和粗糙的焊料基連接技術，MCM在互連密度方面存在限制。

中介層架構：為克服MCM的局限性，采用玻璃或硅中介層的2.5D架構可實現更高的互連密度。通過硅通孔(TSV)技術和細間距微凸點，可以在堆疊芯片之間實現更高的連接密度。但是，為大型人工智能系統擴展中介層的成本較高。

橋接基解決方案：英特爾的嵌入式多芯片互連橋(EMIB)等技術在封裝基板中使用局部硅橋實現細間距布線。這種方法無需TSV，同時能實現芯片間的高密度連接。

晶圓級封裝：晶圓級封裝技術通過扇出芯片I/O信號提供高互連密度和減少延遲。但在熱管理和熱膨脹系數(CTE)失配方面存在挑戰。

三維集成

圖2說明了不同的3D集成方法，展示了從傳統2D SoC到結合邏輯和存儲器集成的各種3D架構的演進。

3D集成是下一代人工智能系統的重要發展方向。使用TSV技術和混合鍵合等先進鍵合技術，3D堆疊實現了超高的集成密度和帶寬。臺積電等公司通過系統級集成芯片(SoIC)技術已經展示了支持超過20 Tbps帶寬的系統。

3D集成的主要優勢：

與傳統方法相比，鍵合密度顯著提高

降低電氣寄生效應和功耗

更高的金屬布線密度

通過更薄的鍵合層改善熱性能

但仍面臨一些挑戰：

更多堆疊管芯增加了assembly復雜性

熱管理更加困難

混合鍵合對表面處理要求嚴格

制造成本較高

人工智能硬件的工業應用

圖3演示了3D-ICE技術工藝流程，展示了使用二氧化硅封裝和晶圓鍵合集成多個chiplet的步驟。

主要半導體公司已在人工智能加速器產品中采用異構集成：

Cerebras：WSE-3晶圓級引擎使用臺積電5nm技術，在單個晶圓上集成4萬億晶體管。

系統可訓練具有24萬億參數的模型。

NVIDIA：GB200 Grace Blackwell使用臺積電的CoWoS-L封裝技術組合兩個GPU和一個CPU。

目標是處理超過十萬億參數的大型語言模型，具有384GB內存。

AMD：MI300X封裝同時使用中介層技術和3D堆疊，結合GPU chiplet、I/O管芯和192GB HBM內存。

英特爾：Gaudi-3加速器采用EMIB技術集成計算管芯和128GB HBM內存。

新興玻璃封裝技術

玻璃封裝由于以下優勢，在人工智能應用中備受關注：

通過低介電常數實現優異的信號完整性

支持高密度互連

出色的尺寸穩定性

靈活的基板格式選項

與光電集成的兼容性

玻璃的光滑表面使其能夠實現非常精細的線條和間距，而其Si-O表面結構促進了與各種材料的良好粘附。玻璃核心封裝還可以通過銅結構和先進的熱界面材料整合熱管理解決方案。

結論

異構集成技術已超越傳統縮放限制，推進人工智能硬件能力的發展。從2.5D中介層到先進的3D堆疊和新興的玻璃封裝解決方案，這些方法實現了下一代人工智能系統所需的高帶寬、低延遲和能源效率。在熱管理和制造成本等方面仍存在挑戰，但異構集成技術的持續創新將滿足人工智能應用不斷增長的需求。

參考文獻

[1] M. Manley et al., "Heterogeneous Integration Technologies for Artificial Intelligence Applications," IEEE Journal on Exploratory Solid-State Computational Devices and Circuits, vol. 10, pp. 89-97, 2024, doi: 10.1109/JXCDC.2024.3484958.