GPU架構參數如CUDA核心數、顯存帶寬、Tensor TFLOPS、互聯方式等，并非 “冰冷的數字”，而是直接關系設備能否滿足需求、如何發揮最大價值、是否避免資源浪費等問題的核心要素。

本篇文章將全面分析GPU核心參數體系：算力、顯存大小、顯存帶寬、熱門架構特性等關鍵指標，旨在幫您理解不同應用場景下，如何選擇最合適的GPU算力解決方案。

1、算力

GPU執行浮點運算的能力，通常以TFLOPS(每秒浮點操作次數)為單位衡量。

浮點運算能力是針對“高精度小數計算”的專項能力，也是處理“復雜科學 / 工程任務”的核心，它能加速模型訓練、數據分析以及復雜模擬的處理速度。

那我們常提到的半精度（FP16）、單精度（FP32）、雙精度（FP64）分別是什么？

它們是電腦存儲和計算「小數」的三種“精度檔位”，就像手機拍照的 “720P、1080P、4K”，檔位越高，細節越精細，精度越高，但“處理速度”（計算效率）越慢，效率越低，成本越貴。

以前的大模型訓練以FP32為主，現在更多是FP32和FP16的混合精度；推理的話，更多是FP16及其以下。

2、顯存

是GPU用于存儲數據和紋理的專用內存，與系統內存(RAM)不同，顯存具有更高的帶寬和更快的訪問速度。顯存的大小和性能直接影響GPU處理大規模數據的能力。

3、顯存帶寬

作為GPU與顯存之間數據傳輸的橋梁;顯存帶寬=顯存位寬x顯存頻率

如何理解顯存與顯存帶寬的關系呢？

顯存容量決定了“車廂”的載貨量，顯存越大裝載的貨物越多，而顯存帶寬決定了“裝卸貨”的速度，帶寬越高裝卸貨的效率越高。

4、顯存類型

顯卡上用于存儲和處理圖形數據的專用內存技術，不同顯存類型在帶寬、功耗和性能上有顯著差異。

主流顯存類型有3種：GDDR、HBM和LPDDR。

GDDR系列主要用于游戲，HBM系列主要用于高端AI計算，如數據中心，LPDDR系列主要用于移動/邊緣設備。

5、功耗

指單位時間內的能量消耗，反應消耗能量的速率單位是瓦特(W)。

6、卡間互聯

卡間互聯的作用是“高速專用通道”（比如 NVIDIA的NVLink、行業通用的PCIe 5.0），傳輸速度能達到每秒幾百 GB（比如 NVLink 能到 400GB/s），和計算速度匹配，讓所有卡 “算得快、傳得也快”，不浪費算力。

NVLink是由NVIDIA研發的專用高速互聯技術，專為解決“多 GPU 協同計算”的瓶頸 —— 當單張 GPU 算力不足時，多張 GPU 需快速交換數據，PCIe 的帶寬和延遲成為瓶頸。

例如：訓練千億參數大模型時，8 張 GPU 需實時同步梯度數據，NVLink 讓它們直接 “面對面溝通”。

7、流處理器（CUDA核心）

CUDA全稱：CUDA 核心（Compute Unified Device Architecture Core）

它是NVIDIA GPU的基礎計算單元。每個CUDA核心只處理簡單的數學運算（如浮點加減乘除），但通過集成數千個這樣的核心，GPU能同時處理海量數據，速度遠超CPU。CUDA核心越多，并行處理能力越強。

8、張量核心（Tensor Core）

它是NVIDIA GPU中的一種專用計算單元，專門用于加速矩陣和張量運算，尤其在深度學習和高性能計算（HPC）中表現突出。

張量核心與CUDA相比，在于它能做矩陣運算，而CUDA一次只能算一個數字。所以張量核心效率更高。

9、Tensor性能

Tensor性能（Tensor TFLOPS）是衡量GPU或AI加速器在張量計算任務中的浮點運算能力的核心指標。專指通過上面的Tensor Core加速的浮點運算。數字越大，計算越快。

需要補充說明的是一般企業在做決策時不會太關注Tensor core的數量，而更看重Tensor性能。

10、英偉達GPU架構

英偉達數據中心級GPU名稱中，首字母是架構的縮寫。例如，B代表Blackwell、H代表Hopper，A代表Ampere、L代表Lovelace、都是用世界著名的科學家名字來命名。

數字往往代表GPU產品的等級或者性能表現。每一代的產品英偉達都會設計低中高不同價格、性能和功耗的GPU。數字部分越大，通常代表GPU越強大、價格越昂貴（A800和H800這類閹割版產品除外）。

比如：H100、A100、V100這類產品型號代表的同一代產品中的旗艦產品，價格最昂貴、性能最強大。也擁有最高的核心數和最大的顯存，專為大型模型推理以及訓練而設計。

Ampere架構

Ampere架構是繼Volta和Turing架構之后的新一代技術，以540億個晶體管打造，是有史以來最大的 7 納米 (nm) 芯片，于2020年首次發布。

該架構具有更多的CUDA核心，并引入了第三代Tensor Core，針對AI和深度學習計算進一步優化，支持更高效的混合精度運算，顯著提升了AI訓練和推理的性能。

Ampere GPU使用了更快的內存技術(如GDDR6X)和更大的內存容量，并支持更高數據傳輸速度的PCI Express 4.0標準，從而能夠更好地處理大規模數據集和復雜的應用程序。

典型卡型號:NVIDIA A100、A800

Hopper架構

Hopper 架構發布于 2022 年，擁有超過 800 億個晶體管，并采用新型流式處理器。Hopper支持第四代Tensor Core，能夠支持混合的 FP8 和 FP16 精度，與上一代相比，Hopper 將 TF32、FP64、FP16 和 INT8 精度的每秒浮點運算（FLOPS）提高了 3 倍，在矩陣運算中提供更高的吞吐量和效率。

Hopper Tensor Core 與 Transformer 引擎和第四代NVLink（GPU之間高達900GB/s的雙向帶寬）相結合，可使 HPC 和 AI 工作負載的加速實現數量級提升。

典型卡型號:NVIDIA H100、H200、H800、H20

Blackwell架構

Blackwell架構發布于 2024 年，具有2080億個晶體管，采用了雙倍光刻極限尺寸的裸片，通過10 TB/s的片間互聯技術連接成一塊統一的 GPU。

NVIDIA 還推出了第五代 NVLink，提供前所未有的并行性和 1.8TB/s 的芯片間通信帶寬，性能遠超Hopper架構。Blackwell GPU具備192GB的HBM3E，支持高達7400億個參數的模型，提供了高達8TB/s的帶寬。

此外，它還引入了第二代 Transformer 引擎，支持 FP4 精度和動態精度切換，有助于自動將模型轉換為適當的格式以達到最佳性能。

典型卡型號:NVIDIA B100、B200、B300

GPU 計算能力已成為推動全球技術革命的核心引擎，其作用貫穿人工智能、科學研究、工業制造等關鍵領域，深刻改變著人類解決復雜問題的能力邊界。

在這場算力革命中，誰盡早掌握GPU的核心技術，誰就能在人工智能、元宇宙、數智化轉型中占據制高點。

本文轉自：萬云智算