Exaflop 是衡量超級計算機性能的單位，表示該計算機每秒可至少進行百億億次浮點運算。

為了解決這個時代最復雜的問題，比如如何治療像新冠肺炎和癌癥這樣的疾病、以及如何緩解氣候變化等。計算機的計算量正在不斷增加。

所有這些重大挑戰將計算帶入了現今的百億億次級時代，頂級性能通常以 exaflops 來衡量。

什么是 Exaflop？

Exaflop 是衡量超級計算機性能的單位，表示該計算機每秒可以至少進行 10^18 或百億億次浮點運算。

Exaflop 中的 exa-前綴表示“百億億”，即 10 億乘以 10 億或1的后面有 18 個零。同樣，單個 exabyte 的內存子系統可以儲存百億億字節的數據。

exaflop 中的“flop”是浮點運算的縮寫。exaflop/s 是表示系統每秒浮點運算次數的單位。

浮點是指所有數字都用小數點表示的計算方法。

1000 Petaflop = 1 Exaflop

前綴 peta- 表示 10^15，即 1 的后面有 15 個零。因此 1 exaflop 等于 1000 petaflop。

1 exaflop 的計算量到底有多大？相當于十億人中的每個人都拿著十億個計算器。

如果他們同時按下等號，就是進行了 1 個 exaflop。

擁有 Big Red 200 和其他幾臺超級計算機的印第安納大學表示，exaflop 計算機的速度相當于一個人每秒鐘進行一次計算，并一直計算 31,688,765,000 年。

Exaflop 簡史

在超級計算發展史的大部分時間里，一次浮點運算就是一次，但隨著工作負載引入 AI ，這種情況也發生了變化。

人們開始使用最高的精度格式來表示數字，這種格式被稱為雙精度，由 IEEE 浮點運算標準定義。它之所以被稱為雙精度或 FP64，是因為計算中的每個數字都需要以 64 位用 0 或 1 表示的數據塊表示，而單精度為 32 位。

雙精度使用 64 位確保每個數字都精確到很細微的部分，比如 1.0001 + 1.0001 = 2.0002，而不是 1 + 1 = 2。

這種格式非常適合當時的大部分工作負載，比如從原子到飛機等全部需要確保模擬結果接近于真實的模擬。

因此，當 1993 年全球最強大的超級計算機榜單 TOP500 首次發布時，衡量 FP64 數學性能的 LINPACK 基準（又稱HPL）自然成為了默認的衡量標準。

AI 大爆炸

十年前，計算行業發生了 NVIDIA 首席執行官黃仁勛所說的 AI 大爆炸。

這種強大的新計算形式開始在科學和商業應用上展現出重大成果，而且它運用了一些非常不同的數學方法。

深度學習并不是模擬真實世界中的物體，而是在堆積如山的數據中篩選，以找到能夠帶來新洞察的模式。

這種數學方法需要很高的吞吐量，所以用經過簡化的數字（比如使用 1.01 而不是 1.0001）進行大量計算要比用更復雜的數字進行少量計算好得多。

因此 AI 使用 FP32、FP16 和 FP8 等低精度格式，通過 32 位、16 位和 8 位數讓用戶更快地進行更多計算。

混合精度不斷發展

AI 使用 64 位數就如同在周末外出時帶著整個衣柜。

研究人員一直在積極地為 AI 尋找理想的低精度技術。

例如首個 NVIDIA Tensor Core GPU——Volta，它使用了混合精度，并以 FP16 格式執行矩陣乘法，然后用 FP32 累積結果以獲得更高的精度。

Hopper 通過 FP8 加速

最近，NVIDIA Hopper 架構首次發布了速度更快的低精度 AI 訓練方法。Hopper Transformer Engine 能夠自動分析工作負載，盡可能采用 FP8 并以 FP32 累積結果。

在進行計算密集度較低的推理工作，比如在生產中運行 AI 模型時，TensorFlow 和 PyTorch 等主要框架通過支持 8 位整數實現快速性能，因為這樣就不需要使用小數點來完成工作。

好消息是，NVIDIA GPU 支持上述所有精度格式，因此用戶可以實現每個工作負載的最優加速。

去年，IEEE P3109 委員會開始為機器學習中使用的精度格式制定行業標準。這項工作可能還需要一到兩年的時間才能完成。

一些模擬軟件在低精度工作中大放異彩

雖然 FP64 在模擬工作中仍然很受歡迎，但當低精度數學能夠更快提供可用結果時，許多人會使用后者。

影響 HPC 應用程序性能的因素各不相同

例如，研究人員用 FP32 運行廣受歡迎的汽車碰撞模擬器——Ansys LS-Dyna。基因組學也傾向于使用低精度數學。

此外，許多傳統的模擬開始在部分工作流程中采用 AI。隨著越來越多的工作負載使用 AI，超級計算機需要支持較低的精度才能有效運行這些新興應用。

基準與工作負載同步發展

在認識到這些變化后，包括 Jack Dongarra（2021 年圖靈獎得主和 HPL 的貢獻者）在內的研究人員在 2019 年首次發布了 HPL-AI，這項新基準更適合測量新的工作負載。

Dongarra 在 2019 年的博客中表示：“無論是技術不斷優化的傳統模擬，還是 AI 應用，混合精度技術對于提高超級計算機的計算效率越來越重要。正如 HPL 實現了對雙精度能力的基準測試一樣，這種基于 HPL 的新方法可以對超級計算機的混合精度能力進行大規模基準測試。”

尤利希超級計算中心主任 Thomas Lippert 同意了這一觀點。

他在去年發表的一篇博客中表示：“我們使用 HPL-AI 基準是因為它既能夠準確地衡量日益增加的 AI 和科學工作負載中的混合精度工作，也能反映準確的 64 位浮點計算結果。”

現今的 Exaflop 系統

在 6 月的一份報告中，全球 20 個超級計算機中心提交了 HPL-AI 結果，其中有三個中心提供了超過 1 exaflop 的性能。

在這些系統中，橡樹嶺國家實驗室的超級計算機在 HPL 上的 FP64 性能也超過了 1 exaflop。

2022 年 6 月 HPL-AI 結果的采樣器

兩年前，一非傳統系統首次達到 1 exaflop。這臺由 Folding@home 聯盟組裝的眾源超級計算機在呼吁幫助抵御新冠疫情后，達到了這一里程碑，到現在已有超過 100 萬臺計算機加入其中。

理論和實踐中的Exaflop

許多組織從那時起就已開始安裝理論峰值性能超過 1 exaflop 的超級計算機。需要注意的是，TOP500 榜單同時發布 Rmax（實際）和 Rpeak（理論）分數。

Rmax 指計算機實際表現出的最佳性能。

Rpeak 是一切系統都處于高水平運行時的最高理論性能，而這幾乎從未發生過。該數值的計算方法通常是將系統中的處理器數量乘以其時鐘速度，然后再將結果乘以處理器在一秒鐘內可執行的浮點運算數。

因此，如果有人說他們的系統達到 1 exaflop，請詢問他說的是 Rmax（實際）還是Rpeak（理論）。

Exaflop 時代的眾多指標

這也是新百億億次時代的眾多細微變化之一。

值得注意的是，HPL 和 HPL-AI 屬于合成基準，即它們衡量的是數學程序的性能，而不是真實世界的應用。MLPerf 等其他基準則基于真實世界中的工作負載。

最后，衡量系統性能的最佳標準當然是它運行用戶應用程序的情況。該衡量標準不是基于 exaflop，而是基于投資回報率。

審核編輯：湯梓紅