黃仁勛在GTC大會上的第一個大招是Blackwell Ultra——NVIDIA要把AI算力打成“白菜價”；

1.1 ExaFLOPS算力：相當于1.3億部iPhone同時運行ChatGPT；

20TB海量內(nèi)存：裝下整個維基百科英文版400次；

推理成本暴降：訓練GPT-5的耗電量感覺是一下從“開勞斯萊斯”降到“坐地鐵”。

對比數(shù)據(jù)更扎心：用Blackwell訓練大模型，速度比前代快1.5倍，能耗僅為1/3。

?Blackwell Ultra（GB300/B300）系列芯片
- 采用液冷與硅光子技術，單芯片集成 ?288GB HBM3e 顯存?，F(xiàn)P4 算力達 ?15 PetaFLOPS?，推理速度較前代 Hopper 架構(gòu)提升 ?40 倍??。
- 推出 ?NVL72 超節(jié)點架構(gòu)?，支持 72 顆 GPU 互聯(lián)，面向大規(guī)模推理場景，性能較傳統(tǒng) 8 卡服務器提升 ? 50% ?。
- 計劃 2025 年第三季度量產(chǎn)，HBM 容量從 192GB 升級至 288GB，運算效能較 B200 提升 ? 50% ??。

NVIDIA Blackwell數(shù)據(jù)手冊免費下載 涵蓋了NVIDIA Blackwell數(shù)據(jù)表中的關鍵信息
*附件：blackwell-datasheet-3645868.pdf

NVIDIA Blackwell 架構(gòu)打破生成式 AI 和加速計算的壁壘

探索 NVIDIA Blackwell 架構(gòu)為生成式 AI 和加速計算帶來的突破性進步。Blackwell 基于多代 NVIDIA 技術構(gòu)建，以出眾的性能、效率和規(guī)模揭開了生成式 AI 領域的新篇章。

新型 AI 超級芯片

Blackwell 架構(gòu) GPU 具有 2080 億個晶體管，采用專門定制的臺積電 4NP 工藝制造。所有 Blackwell 產(chǎn)品均采用雙倍光刻極限尺寸的裸片，通過 10 TB/s 的片間互聯(lián)技術連接成一塊統(tǒng)一的 GPU。

第二代 Transformer 引擎

第二代 Transformer 引擎將定制的 Blackwell Tensor Core技術與 NVIDIA? TensorRT? -LLM 和 NeMo? 框架創(chuàng)新相結(jié)合，加速大語言模型 (LLM) 和專家混合模型 (MoE) 的推理和訓練。

為了強效助力 MoE 模型的推理 Blackwell Tensor Core增加了新的精度 (包括新的社區(qū)定義的微縮放格式)，可提供較高的準確性并輕松替換更大的精度。Blackwell Transformer 引擎利用稱為微張量縮放的細粒度縮放技術，優(yōu)化性能和準確性，支持 4 位浮點 (FP4) AI。這將內(nèi)存可以支持的新一代模型的性能和大小翻倍，同時保持高精度。

安全 AI

Blackwell 內(nèi)置 NVIDIA 機密計算技術，可通過基于硬件的強大安全性保護敏感數(shù)據(jù)和 AI 模型，使其免遭未經(jīng)授權的訪問。Blackwell 是業(yè)內(nèi)首款具備可信執(zhí)行環(huán)境 (TEE) I/O 功能的 GPU，它不僅能夠與具備 TEE-I/O 功能的主機一同提供性能卓越的機密計算解決方案，還能通過 NVIDIA? NVLink? 技術提供實時保護。與未加密模式相比， Blackwell 機密計算功能供了幾乎相同的吞吐量性能。現(xiàn)在，除了保護 AI 知識產(chǎn)權 (IP) 和安全地實現(xiàn)機密 AI 訓練、推理和聯(lián)邦學習，企業(yè)甚至還能以高性能的方式保護最大的模型。

NVLink、NVSwitch 和 NVLink Switch 系統(tǒng)

是否能釋放百億億級計算和萬億參數(shù) AI 模型的全部潛力取決于服務器集群中每個 GPU 之間能否快速、順暢的通信。第五代 NVIDIA? NVLink? 可擴展至 576 個 GPU，為萬億和數(shù)萬億參數(shù) AI 模型釋放加速性能。

NVIDIA NVLink 交換機芯片可在一個有 72 個 GPU 的 NVLink 域 (NVL72) 中實現(xiàn) 130TB/s 的 GPU 帶寬，并通過 NVIDIA SHARP? 技術對 FP8 的支持實現(xiàn) 4 倍于原來的帶寬效率。NVIDIA NVLink 交換機芯片能以驚人的 1.8TB/s 互連速度為多服務器集群提供支持。采用 NVLink 的多服務器集群可以在計算量增加的情況下同步擴展 GPU 通信，因此 NVL72 可支持的 GPU 吞吐量是單個 8 卡 GPU 系統(tǒng)的 9 倍。

解壓縮引擎

過去，數(shù)據(jù)分析和數(shù)據(jù)庫工作流依賴 CPU 進行計算。加速數(shù)據(jù)科學可以顯著提高端到端分析性能，加速價值創(chuàng)造，同時降低成本。Apache Spark 等數(shù)據(jù)庫在接手、處理和分析大量數(shù)據(jù)等數(shù)據(jù)分析工作上發(fā)揮著關鍵作用。

Blackwell 擁有的解壓縮引擎以及通過 900GB/s 雙向帶寬的高速鏈路訪問 NVIDIA Grace? CPU 中大量內(nèi)存的能力，可加速整個數(shù)據(jù)庫查詢工作流，從而在數(shù)據(jù)分析和數(shù)據(jù)科學方面實現(xiàn)更高性能。Blackwell 支持 LZ4、Snappy 和 Deflate 等最新壓縮格式。

可靠性、可用性和可服務性 (RAS) 引擎

Blackwell 通過專用的可靠性、可用性和可服務性 (RAS) 引擎增加了智能恢復能力，以識別早期可能發(fā)生的潛在故障，從而更大限度地減少停機時間。NVIDIA AI 驅(qū)動的預測管理功能持續(xù)監(jiān)控硬件和軟件中數(shù)千個數(shù)據(jù)點的整體運行狀況，以預測和攔截停機時間和低效的來源。這建立了智能可靠性技術，節(jié)省時間、能源和計算成本。

NVIDIA 的 RAS 引擎提供深入的診斷信息，可以識別關注領域并制定維護計劃。RAS 引擎通過快速定位問題來源縮短周轉(zhuǎn)時間，并通過促進有效的補救最大限度地減少停機時間。

NVIDIA Blackwell 數(shù)據(jù)表總結(jié)

一、概述

?NVIDIA Blackwell?：被譽為新工業(yè)革命的引擎，為生成式AI和加速計算帶來突破性進展。通過第二代Transformer Engine和更快的NVLink?互聯(lián)，數(shù)據(jù)中心性能大幅提升。

二、核心組件與性能

?GB200 NVL72?
- 連接36顆Grace CPU和72顆Blackwell GPU，采用NVLink連接和液冷設計，形成單一大規(guī)模GPU，實現(xiàn)30倍更快的實時萬億參數(shù)大語言模型（LLM）推理。
- 支持高達17TB的LPDDR5X內(nèi)存和13.5TB的HBM3E內(nèi)存，NVLink域提供130TB/s的低延遲GPU通信。
?HGX B200?
- 集成NVIDIA Blackwell GPU和高速互聯(lián)，加速AI性能。
- 實現(xiàn)高達15倍更快的實時推理性能，12倍更低的成本和能耗。
- 配備8顆Blackwell GPU，支持高達1.4TB的HBM3E內(nèi)存。

三、技術亮點

?第二代Transformer Engine?：支持FP4 AI，通過新一代Tensor Cores實現(xiàn)高精度和高吞吐量。
?NVLink與液冷?：GB200 NVL72利用NVLink和液冷技術創(chuàng)建單一72-GPU機架，克服通信瓶頸。
?高速內(nèi)存與互聯(lián)?：第五代NVLink提供1.8TB/s的GPU-to-GPU互聯(lián)。
?能源效率?：液冷GB200 NVL72機架降低數(shù)據(jù)中心碳足跡和能耗，與H100空氣冷卻基礎設施相比，性能提升25倍。

四、應用場景與性能數(shù)據(jù)

?大規(guī)模訓練?
- GB200 NVL72的第二代Transformer Engine支持FP8精度，實現(xiàn)4倍更快的大規(guī)模LLM訓練。
- 訓練GPT-MoE-1.8T模型時，性能較HGX H100顯著提升。
?數(shù)據(jù)處理?
- GB200 NVL72加速關鍵數(shù)據(jù)庫查詢，性能較CPU提升18倍，總擁有成本（TCO）降低5倍。
?實時推理?
- HGX B200實現(xiàn)GPT-MoE-1.8T模型實時推理性能較HGX H100提升15倍。

五、可持續(xù)性與安全性

?可持續(xù)計算?：通過采用可持續(xù)計算實踐，數(shù)據(jù)中心可降低碳足跡和能耗，同時提高底線。HGX B200較Hopper一代在LLM推理性能上提高能源效率12倍，降低TCO 12倍。
?安全AI?：Blackwell包含NVIDIA Confidential Computing，保護敏感數(shù)據(jù)和AI模型免受未經(jīng)授權的訪問。

六、技術規(guī)格

?GB200 NVL72?：72顆Blackwell GPU，36顆Grace CPU，總FP4 Tensor Core性能達1440 PFLOPS，總內(nèi)存帶寬高達576TB/s。
?HGX B200?：8顆Blackwell GPU，總FP4 Tensor Core性能達144 PFLOPS，總內(nèi)存帶寬高達62TB/s。