大模型訓(xùn)練集群的有效算力

DeepSeek的創(chuàng)新引領(lǐng)大模型基座模型向MoE專家模型進(jìn)一步演進(jìn)，未來大模型的參數(shù)將從千億級別向萬億參數(shù)邁進(jìn)，開啟人工智能的新紀(jì)元。在這一過程中，端側(cè)推理模型的誕生離不開原研基座模型的精心訓(xùn)練。隨著模型參數(shù)的不斷擴(kuò)大以及AI模型的百舸爭流，訓(xùn)練側(cè)所需的算力也將進(jìn)一步激增。由此所依托的AI基礎(chǔ)設(shè)施的有效算力已成為下一代AI應(yīng)用的堅實基石。

智算集群的有效算力由包括單個加速卡的基礎(chǔ)算力、集群規(guī)模、Scale Out與Scale Up所共同構(gòu)筑的集群線性加速比以及集群有效運(yùn)營的時間等多個維度因素構(gòu)建。在不設(shè)資源限制的情況下，我們希望擁有最強(qiáng)大的單個計算卡系統(tǒng)來運(yùn)行整個AI任務(wù)，因為，AI任務(wù)作為一個單一實體運(yùn)行。因此，直接獲取最大能力的GPU/xPU是符合邏輯的選擇。

3D IC : 下一代AI芯片的加速引擎

后摩爾時代，算力的增長和芯片的性能提升之間面臨著內(nèi)存墻、功耗墻、面積墻等幾大瓶頸， 采用基于先進(jìn)封裝的3D Chiplet堆疊芯片帶來的重大升級將有效解決這些瓶頸。

3D-IC 的優(yōu)勢可概括為以下幾點(diǎn)：

1可以降低成本，Chiplet的解耦特性讓先進(jìn)制程節(jié)點(diǎn)更靈活，讓非所有功能(包括模擬和存儲器)都需要遷移到先進(jìn)制程節(jié)點(diǎn);

2更容易滿足高速互連和帶寬要求，幫助先進(jìn)存儲器技術(shù)達(dá)到 100Gbps的速度;

33D-IC 支持更小的尺寸，可以節(jié)省電路板和終端產(chǎn)品的空間;

43D-IC 可以降低功耗，因為不再需要大型驅(qū)動器。3D 堆疊可以使用小型 I/O 驅(qū)動器，功耗更低。此外，減少電阻-電感-電容 (RLC)寄生參數(shù)也有助于進(jìn)一步降低功耗;

5減少了跨封裝之間的互連，可以實現(xiàn)更快的性能和更好的功耗表現(xiàn)。

3.5D技術(shù)的引入將顯著提升AI集群的計算密度和功耗效率，使得數(shù)據(jù)中心能夠以更低的能耗處理更大的工作負(fù)載。這對于應(yīng)對生成式AI模型的指數(shù)級增長需求至關(guān)重要。本期主要介紹幾個3.5D Chiplet典型案例，分享3D IC設(shè)計架構(gòu)趨勢。

典型案例1

AMD MI300 系列開創(chuàng)3.5D IC先河

(來源：AMD)

AMD是首批采用3.5D IC設(shè)計及工藝的芯片公司，2024年發(fā)布的MI300 X GPU加速器，基于新一代CDNA計算架構(gòu)。其采用臺積電5nm/6nm FinETH技術(shù)，總共1530億個晶體管。

(來源：AMD Whitepaper)

XCD計算模塊：共計8個XCD加速計算模塊，每一個XCD擁有38個CU計算單位，所以總共304個計算單元。

IOD互聯(lián)模塊：每兩個XCD為一組，在它們底部放置一個IOD模塊，負(fù)責(zé)輸入輸出與通信連接，總共4個IOD提供了第四代Infinity Fabric連接通道，總帶寬最高896GB/s，還有多達(dá)256MB Infinity Cache無限緩存。該模塊實際上屬于一種3D Base Die，通過TSV硅通孔技術(shù)與XCD計算Die模塊形成高密度互聯(lián)。

HBM 部分：IOD與XCD外圍一共有8個HBM3共192GB內(nèi)存(每個HBM3內(nèi)存大小為24GB)。IOD部分又一次采用的是6nm工藝，XCD部分則使用5nm工藝實現(xiàn)計算與IO芯粒解耦，這也是AMD公司常用的一種IO Die芯粒技術(shù)。

(來源：知乎@sazc)

封裝工藝：上圖顯示的是MI300A APU的封裝工藝，兩者區(qū)別主要在計算Die部分，APU系列是異構(gòu)芯粒技術(shù)同時包含GPU與CPU功能。但在封裝工藝上與MI300X雷同。

8個HBM與其他芯粒使用2.5D先進(jìn)封裝工藝進(jìn)行互聯(lián)，而IOD模塊(Base Die)與XCD (MI300A還包括CCD)之間直接通過3D TSV堆疊封裝工藝互聯(lián)。

因此，MI300系列無論是A系列還是X系列制造工藝同時覆蓋2.5D和3D先進(jìn)工藝，總稱3.5D混合封裝。

(來源：AMD)

Scale Up互聯(lián)簡介：AMD Instinct MI300X 加速器提供了采用 UBB 業(yè)界標(biāo)準(zhǔn) OCP 平臺設(shè)計的普適性解決方案，支持將 8 個 GPU 整合為一個性能主導(dǎo)型節(jié)點(diǎn)，并且具有全互聯(lián)式點(diǎn)對點(diǎn)環(huán)形設(shè)計，單一平臺內(nèi)的 HBM3 顯存總計可達(dá)到 1.5 TB提供足以應(yīng)對各類 AI 或 HPC 工作負(fù)載部署的性能密集型解決方案。

典型案例2

CPO帶動Scale Out 互聯(lián)進(jìn)軍百萬卡集群時代

規(guī)模生成式 AI 模型(如 DeepSeek，Grok3 系列等)的興起，對計算能力的需求呈現(xiàn)出了爆炸式增長。訓(xùn)練這些復(fù)雜的模型往往需要龐大的計算資源，動輒依賴于 100,000 個甚至 100 萬個 XPU 的大規(guī)模集群。近期才發(fā)布的Grok 3模型，馬斯克預(yù)計下一代將搭建百萬卡AI數(shù)據(jù)中心，隨著大模型軍備賽在DeepSeek背景下展開地更加劇烈，新的互聯(lián)技術(shù)必須為未來百萬卡集群的互聯(lián)構(gòu)筑可靠的基礎(chǔ)。

(圖：各國AI大模型軍備賽進(jìn)行時)

Scale Out互聯(lián)甚至是更大規(guī)模的GPU HBD高帶寬域光進(jìn)銅退的趨勢越發(fā)明顯，一種在2018年前后就被提及的光互聯(lián)技術(shù)CPO隨著AI對訓(xùn)練的極高要求演進(jìn)速度加快。

如果要在長程范圍集成更強(qiáng)大的算力/存力(Scale Out互聯(lián))，就需要借助更高帶寬的光互連技術(shù)。這也是為何目前光模塊在計算集群中廣泛使用的重要原因。集群要上升到百萬卡互聯(lián)規(guī)模，光互聯(lián)技術(shù)將發(fā)揮重要作用，傳統(tǒng)光模塊芯片和交換機(jī)芯片在PCB上的電信號傳輸以及GPU卡間互聯(lián)的信號損耗、功耗都遠(yuǎn)大于單個Die to Die 互聯(lián)。目前，光模塊成為整個大型集群訓(xùn)推時出現(xiàn)故障延遲的主要硬件之一。

(來源：公眾號光通信女人)

CPO技術(shù)可以以解決射頻損耗的方式，將CPO光模塊與交換機(jī)主芯片ASIC專有集成電路芯片封裝在一起，降低電信號的互聯(lián)距離，從而降低射頻損耗。

(來源：公眾號光通信女人)

目前產(chǎn)業(yè)界都在研究晶圓級封裝工藝，2024、2025年基于晶圓級扇出式結(jié)構(gòu)，在逐步克服工藝難點(diǎn)，接近商用。上圖我們可以看到基于晶圓級別的3D TSV工藝實現(xiàn)相比其他工藝實現(xiàn)了更高的互聯(lián)密度。

PIC(硅光芯片)通過與EIC(電芯片)進(jìn)行3D堆疊，從而實現(xiàn)電連接更短、尺寸小、功耗低且高帶寬密度的性能。在此配置中，PIC 位于 EIC 頂部。然而，在 EIC 中創(chuàng)建 TSV 可能具有挑戰(zhàn)性，因為它通常需要在先進(jìn)的晶圓節(jié)點(diǎn)上制造。為了克服這個問題，往往采用晶圓級扇出工藝，形成高銅柱以實現(xiàn)與頂部 PIC 的垂直互連。由此產(chǎn)生的光子 FOPOP 在光耦合方面表現(xiàn)出色，因為 PIC 的懸垂部分允許光邊緣耦合。

實際上，ASIC與CPO的共同封裝同樣屬于一種3.5D IC技術(shù)，從光芯片內(nèi)部通過3D堆疊實現(xiàn)高互聯(lián)的密度，更佳的傳輸性能。在交換機(jī)芯片側(cè)，CPO OE Chiplet封裝在ASIC芯片周圍形成一個系統(tǒng)級的IC。以博通的典型CPO方案為例，整體封裝結(jié)構(gòu)為CoWoS，計算Die(ASIC)通過Interposer/Package Substrate與CPO互連，互聯(lián)接口為高速IO(例如Serdes/D2D)。

(來源：Broadcom CPO )

目前，Nvidia也在研究基于硅光集成的CPO光學(xué)，并預(yù)計2025 Q3針對一款I(lǐng)B交換機(jī)啟動CPO方案的驗證。產(chǎn)業(yè)界更多廠家也在不斷研究并推出CPO光模塊樣機(jī)如Cisco、博通、Marvell都推出了基于CPO的交換機(jī)方案。

典型案例3

博通下一代3.5D IC大規(guī)模提升單卡算力

去年底Broadcom 推出了其 3.5D eXtreme Dimension 系統(tǒng)級封裝 (3.5D XDSiP) 平臺，該平臺適用于適用于 AI 和 HPC 工作負(fù)載的超高性能處理器。新平臺依賴于 TSMC 的 CoWoS 和其他先進(jìn)封裝技術(shù)。它使芯片設(shè)計人員能夠構(gòu)建 3D 堆棧邏輯、網(wǎng)絡(luò)和 I/O 小芯片以及 HBM 內(nèi)存堆棧的系統(tǒng)級封裝 (SiP)。該平臺允許使用多達(dá) 12 個 HBM 模塊實現(xiàn)高達(dá) 6000mm2 的 3D 堆疊硅的 SiP。首批 3.5D XDSiP 產(chǎn)品將于 2026 年推出。

博通首次使用F2F(面對面)將一個邏輯Die堆疊到另外一個邏輯Die上;這種使用無凸塊混合銅鍵合直接連接頂部和底部硅芯片的上層金屬層的面對面 (F2F) 堆疊方法，是博通的 3D XDSiP 平臺的主要優(yōu)勢。據(jù) Broadcom 稱，F(xiàn)2F 方法可實現(xiàn)高達(dá) 7 倍的信號連接和更短的信號路由，將晶粒間接口的功耗降低 90%，最大限度地減少 3D 堆棧內(nèi)的延遲，并為設(shè)計團(tuán)隊提供額外的靈活性，成就更低功耗更低延遲的ASIC芯片性能。

(來源：Broadcom)

此外，它巧妙地融合了 3D 硅片堆疊與 2.5D 封裝技術(shù)的精髓。該3.5D xPU計算Die與邏輯Die Face to Face進(jìn)行鍵合，每個邏輯Die與多組HBM互聯(lián)，又與IOD通過D2D互聯(lián)。(更多閱讀：Chiplet&互聯(lián)專題：AI時代變革下 3D IC 芯粒技術(shù)的最新應(yīng)用趨勢解讀)

(來源：Broadcom)

總的來說，3.5D 集成技術(shù)通過將 3D 與 2.5D封裝相結(jié)合，能夠在不單純依賴制程工藝提升的情況下，實現(xiàn)芯片性能的顯著提升、功耗的有效降低以及成本的合理控制，從而成為了下一代 XPU 發(fā)展的必然趨勢。預(yù)計博通將繼續(xù)加大市場推廣力度，針對不同客戶的需求，提供定制化的 3.5D XPU 解決方案。

3.5D IC技術(shù)是Chiplet小芯片發(fā)展旅程中的又一重要里程碑，通過獨(dú)特的技術(shù)架構(gòu)和卓越的性能表現(xiàn)，為 AI 芯片的發(fā)展開辟了新的道路。在技術(shù)原理層面，其高密度互連、低功耗設(shè)計、多功能集成以及緊湊尺寸與穩(wěn)定性等核心要素相互協(xié)同，構(gòu)成了強(qiáng)大的技術(shù)競爭力。

奇異摩爾自2021年成立以來先從片內(nèi)互聯(lián)產(chǎn)品系列研發(fā)出發(fā)，目前可以提供包括2.5D Central IO Die及3D Base Die等AI單個計算卡算力擴(kuò)展芯粒方案，未來通過持續(xù)性的行業(yè)標(biāo)準(zhǔn)共建、產(chǎn)業(yè)鏈生態(tài)的互聯(lián)互通，相信在不久的將來，隨著國產(chǎn)Chiplet技術(shù)的突破，我們將與產(chǎn)業(yè)鏈伙伴為國產(chǎn)AI算力的釋放潛能鋪就一條寬廣的道路，共同書寫AI智能時代的輝煌篇章。

關(guān)于我們

AI網(wǎng)絡(luò)全棧式互聯(lián)架構(gòu)產(chǎn)品及解決方案提供商

奇異摩爾，成立于2021年初，是一家行業(yè)領(lǐng)先的AI網(wǎng)絡(luò)全棧式互聯(lián)產(chǎn)品及解決方案提供商。公司依托于先進(jìn)的高性能RDMA 和Chiplet技術(shù)，創(chuàng)新性地構(gòu)建了統(tǒng)一互聯(lián)架構(gòu)——Kiwi Fabric，專為超大規(guī)模AI計算平臺量身打造，以滿足其對高性能互聯(lián)的嚴(yán)苛需求。

我們的產(chǎn)品線豐富而全面，涵蓋了面向不同層次互聯(lián)需求的關(guān)鍵產(chǎn)品，如面向北向Scale out網(wǎng)絡(luò)的AI原生智能網(wǎng)卡、面向南向Scale up網(wǎng)絡(luò)的GPU片間互聯(lián)芯粒、以及面向芯片內(nèi)算力擴(kuò)展的2.5D/3D IO Die和UCIe Die2Die IP等。這些產(chǎn)品共同構(gòu)成了全鏈路互聯(lián)解決方案，為AI計算提供了堅實的支撐。

奇異摩爾的核心團(tuán)隊匯聚了來自全球半導(dǎo)體行業(yè)巨頭如NXP、Intel、Broadcom等公司的精英，他們憑借豐富的AI互聯(lián)產(chǎn)品研發(fā)和管理經(jīng)驗，致力于推動技術(shù)創(chuàng)新和業(yè)務(wù)發(fā)展。團(tuán)隊擁有超過50個高性能網(wǎng)絡(luò)及Chiplet量產(chǎn)項目的經(jīng)驗，為公司的產(chǎn)品和服務(wù)提供了強(qiáng)有力的技術(shù)保障。我們的使命是支持一個更具創(chuàng)造力的芯世界，愿景是讓計算變得簡單。奇異摩爾以創(chuàng)新為驅(qū)動力，技術(shù)探索新場景，生態(tài)構(gòu)建新的半導(dǎo)體格局，為高性能AI計算奠定穩(wěn)固的基石。