NVIDIA 帶來知乎精彩問答甄選系列，將為您精選知乎上有關 NVIDIA 產品的精彩問答。

本期為問答甄選第二期 ——探索 H100 的奧秘！

NVIDIA H100 是全球 AI 基礎設施的引擎，

讓企業能夠利用其實現自身 AI 業務的加速。

今年的 GTC22 上 NVIDIA 發布其首款基于 Hopper 架構的 GPU —NVIDIA H100。

該款 GPU 集成了 800 億個晶體管。H100 是全球范圍內最大的性能出眾的加速器，擁有革命性的 Transformer 引擎和高度可擴展的 NVIDIA NVLink 互連技術等突破性功能，可推動龐大的 AI 語言模型、深度推薦系統、基因組學和復雜數字孿生的發展。

以下三個知乎甄選問答將為您了解NVIDIA H100帶來更加精彩的解答！

Q：NVIDIA GTC 2022 大會官宣，Hopper 計算架構要來了，該架構有哪些值得期待的亮點？

A：NVIDIA 宣布推出采用 NVIDIA Hopper架構的新一代加速計算平臺。與上一代產品相比，該平臺實現了數量級的性能飛躍。這一全新架構以美國計算機領域的先驅科學家 Grace Hopper 的名字命名，將取代兩年前推出的 NVIDIA Ampere 架構。

使用 Transformer 引擎訓練 AI 模型：

隨著一些模型（例如大型語言模型）達到數萬億參數，AI、高性能計算和數據分析變得日益復雜。在當今計算平臺上，大型 AI 模型可能需要數月來完成訓練。而這樣的速度對于企業來說太慢了。

NVIDIA Hopper 架構從頭開始構建，憑借強大的算力和快速的內存來加速這些新一代 AI 工作負載，從而處理日益增長的網絡和數據集。Transformer 引擎是全新 Hopper 架構的一部分，將顯著提升 AI 性能和功能，并助力在幾天或幾小時內訓練大型模型。

Transformer 引擎采用 16 位浮點精度和新增的 8 位浮點數據格式，并整合先進的軟件算法，將進一步提升 AI 性能和功能。

采用全新 DPX 指令將動態編程速度提升 40 倍：

NVIDIA Hopper GPU 架構利用全新 DPX 指令，將動態編程速度提高多達 40 倍。動態編程是一種應用于基因組學、量子計算、路線優化等領域算法中，用以解決問題的技術。

Q：基于 Hopper 架構的 NVIDIA H100 GPU 有什么突破性創新？

A：H100 GPU 為加速大規模 AI 和 HPC 設定了新的標準，帶來了六項突破性創新：

先進的芯片—— H100 由 800 億個晶體管構建而成，這些晶體管采用了專為 NVIDIA 加速計算需求設計的尖端的 TSMC 4N 工藝，因而能夠顯著提升 AI、HPC、顯存帶寬、互連和通信的速度，并能夠實現近 5TB/s 的外部互聯帶寬。H100 是首款支持 PCIe 5.0 的 GPU，也是首款采用 HBM3 的 GPU，可實現 3TB/s 的顯存帶寬。20個 H100 GPU 便可承載相當于全球互聯網的流量，使其能夠幫助客戶推出先進的推薦系統以及實時運行數據推理的大型語言模型。

新的 Transformer 引擎—— Transformer 現在已成為自然語言處理的標準模型方案，也是深度學習模型領域最重要的模型之一。H100 加速器的 Transformer 引擎旨在不影響精度的情況下，將這些網絡的速度提升至上一代的六倍。

第二代安全多實例 GPU—— MIG 技術支持將單個 GPU 分為七個更小且完全獨立的實例，以處理不同類型的作業。與上一代產品相比，在云環境中 Hopper 架構通過為每個 GPU 實例提供安全的多租戶配置，將 MIG 的部分能力擴展了 7 倍。

機密計算—— H100 是全球首款具有機密計算功能的加速器，可保護 AI 模型和正在處理的客戶數據。客戶還可以將機密計算應用于醫療健康和金融服務等隱私敏感型行業的聯邦學習，也可以應用于共享云基礎設施。

第 4 代 NVIDIA NVLink—— 為加速大型 AI 模型，NVLink 結合全新的外接 NVLink Switch，可將 NVLink 擴展為服務器間的互聯網絡，最多可以連接多達 256 個 H100 GPU，相較于上一代采用 NVIDIA HDR Quantum InfiniBand網絡，帶寬高出9倍。

DPX 指令—— 新的 DPX 指令可加速動態規劃，適用于包括路徑優化和基因組學在內的一系列算法，與 CPU 和上一代 GPU 相比，其速度提升分別可達 40 倍和 7 倍。Floyd-Warshall 算法與 Smith-Waterman 算法也在其加速之列，前者可以在動態倉庫環境中為自主機器人車隊尋找最優線路，而后者可用于 DNA 和蛋白質分類與折疊的序列比對。

H100 的多項技術創新相結合，進一步擴大了 NVIDIA在 AI 推理和訓練的領導地位，利用大規模 AI 模型實現了實時沉浸式應用。H100 將支持聊天機器人使用功能超強大的monolithic Transformer 語言模型 Megatron 530B，吞吐量比上一代產品高出 30 倍，同時滿足實時對話式 AI 所需的次秒級延遲。利用 H100，研究人員和開發者能夠訓練龐大的模型，如包含 3950 億個參數的混合專家模型，訓練速度加速高達9倍，將訓練時間從幾周縮短到幾天。

Q：NVIDIA H100 在 AI 基礎架構方面有什么作用？

A：基于 Hopper 架構的 NVIDIA H100，是“全球 AI 基礎架構的新引擎”。

語音、對話、客服和推薦系統等 AI 應用正在推動數據中心設計領域的巨大變革。“AI 數據中心需要處理海量且持續的數據，以訓練和完善 AI 模型，原始數據進來，經過提煉，然后智能輸出——企業正在制造智能并運營大型 AI 工廠。” 這些工廠全天候密集運行，即便是質量上的小幅改進也能大幅增加客戶參與和企業利潤。

H100 將幫助這些工廠更快發展。這個 “龐大” 的 800 億晶體管芯片采用了臺積電的 4 納米工藝制造而成。

“Hopper H100 是有史以來最大的一次性能飛躍——其大規模訓練性能是 A100 的 9 倍，大型語言模型推理吞吐量是 A100 的 30 倍。”

審核編輯：湯梓紅