從云端到網絡邊緣，NVIDIA GH200、H100 和 L4 GPU 以及 Jetson Orin 模組在運行生產級 AI 時均展現出卓越性能。

NVIDIA GH200 Grace Hopper 超級芯片首次亮相 MLPerf 行業基準測試，其運行了所有數據中心推理測試，進一步擴大了 NVIDIA H100 Tensor Core GPU 的領先優勢。

總體測試結果表明，NVIDIA AI 平臺無論是在云端還是網絡邊緣均展現出卓越的性能和通用性。

此外，NVIDIA 宣布推出全新推理軟件，該軟件將為用戶帶來性能、能效和總體擁有成本的大幅提升。

GH200 將一顆 Hopper GPU 和一顆 Grace CPU 連接到一個超級芯片中。這種組合提供了更大內存、更快帶寬，能夠在 CPU 和 GPU 之間自動切換計算所需要的資源，實現性能最優化。

具體而言，內置 8 顆 H100 GPU 的 NVIDIA HGX H100系統，在本輪每項 MLPerf 推理測試中均實現了最高吞吐量。

Grace Hopper 超級芯片和 H100 GPU 在所有 MLPerf 數據中心測試中均處于領先地位，包括針對計算機視覺、語音識別和醫學成像的推理，以及應用于生成式 AI 的推薦系統和大語言模型（LLM） 等對性能要求更高的用例。

總體而言，此次測試結果延續了自 2018 年 MLPerf 基準測試推出以來，NVIDIA 在每一輪 AI 訓練和推理中都處于領先性能的紀錄。

最新一輪 MLPerf 測試包括一項更新的推薦系統測試，并新增首個 GPT-J 上的推理基準測試。GPT-J 是一個由 60 億個參數組成的大語言模型（LLM），而 AI 模型的大小通常根據它有多少參數來衡量。

為了應對各類復雜的工作負載，NVIDIA 開發了一款能夠優化推理的生成式 AI 軟件——TensorRT-LLM。該開源庫使客戶能夠在不增加成本的情況下將現有 H100 GPU 的推理性能提升兩倍以上。由于時間原因，TensorRT-LLM 沒有參加 8 月的 MLPerf 提交。

NVIDIA 的內部測試表明， 在運行 GPT-J 6B 模型時，相較于沒有使用 TensorRT-LLM 的上一代 GPU，在 H100 GPU 上使用 TensorRT-LLM 能夠實現高達 8 倍的性能提升。

該軟件始于 NVIDIA 在對 Meta、AnyScale、Cohere、Deci、Grammarly、Mistral AI、MosaicML（現為 Databricks 的一部分）、OctoML、Tabnine 和Together AI 等領先公司進行加速和優化 LLM 推理時所做的工作。

MosaicML 在 TensorRT-LLM 的基礎上添加了所需的功能，并將這些功能集成到他們現有的服務堆棧中。Databricks 工程副總裁 Naveen Rao 表示：“這已成為相當輕而易舉的事情。”

Rao 補充說：“TensorRT-LLM 簡單易用、功能豐富且高效。它為正在使用 NVIDIA GPU 的 LLM 服務提供了最先進的性能，并使我們能夠將節省的成本回饋給我們的客戶。”

TensorRT-LLM 是 NVIDIA 全棧 AI 平臺持續創新的最新實例。這類持續的軟件進步為用戶帶來了無需額外成本即可實現隨著時間不斷提升的性能，并且廣泛適用于多樣化的 AI 工作負載。

在最新 MLPerf 基準測試中，NVIDIA L4 GPU 運行了所有工作負載，并全面展現了出色的性能。

例如，在緊湊型 72W PCIe 加速器中運行時，L4 GPU 的性能比功耗超出其近 5 倍的 CPU 提高了 6 倍。

此外，L4 GPU 具有專用媒體引擎，與 CUDA 軟件搭配使用，在 NVIDIA 的測試中為計算機視覺提供了高達 120 倍的加速。

谷歌云和許多系統制造商現已支持 L4 GPU，為從消費互聯網服務到藥物研發各行業的客戶提供服務。

此外，NVIDIA 采用了一種全新模型壓縮技術來展示在一個 L4 GPU 上運行 BERT LLM 的性能提升高達 4.7 倍。該結果體現在 MLPerf 的“開放分區”中，這個類別旨在展示新能力。

這項技術有望應用于所有 AI 工作負載。它尤其適用于在空間和功耗受限的邊緣設備上運行模型。

在另一個體現邊緣計算領導力的例證中，NVIDIA Jetson Orin 模塊化系統將邊緣 AI 和機器人應用場景中常見的計算機視覺用例——目標檢測的性能比上一輪測試提升高達 84%。

Jetson Orin 性能的提升得益于軟件可以充分利用該芯片的最新核心，如一個可編程視覺加速器、一顆 NVIDIA Ampere 架構 GPU 和一個專用深度學習加速器等。

MLPerf 基準測試是透明且客觀的，因此用戶可以根據其結果做出明智的購買決定。該測試還涵蓋了豐富的用例和場景，能夠讓用戶獲得可靠且可以靈活部署的性能。

本輪提交測試結果的合作伙伴包括微軟 Azure 和 Oracle Cloud Infrastructure 等云服務提供商以及華碩、Connect Tech、戴爾科技、富士通、技嘉、惠與、聯想、QCT、超微等系統制造商。

總體而言，MLPerf 已得到 70 多家機構的支持，包括阿里巴巴、Arm、思科、谷歌、哈佛大學、英特爾、Meta、微軟和多倫多大學等。

NVIDIA 在基準測試中使用的所有軟件均可從 MLPerf 軟件庫中獲得，因此每個人都能實現全球領先的結果。我們不斷將這些優化措施整合到 NVIDIA NGC 軟件中心的容器中供 GPU 應用使用。

點擊“閱讀原文”閱讀技術博客，詳細了解我們如何實現這些最新的成果。