近日，MLPerf 聯(lián)盟公布了其7項測試的首批結果，此7項測試構成了當前機器學習領域的全新行業(yè)基準測試。NVIDIA參與了其中6個類別的測試，在這6項測試中，從單節(jié)點測試到大規(guī)模測試，NVIDIA平臺的測試結果都遙遙領先，證明了NVIDIA平臺方法在加速機器學習領域的強大實力。

MLPerf 聯(lián)盟的宗旨是“ 致力于確立一套通用的基準測試，助力機器學習 (ML) 領域跨移動設備和云服務測量系統(tǒng)的訓練和推理性能。”NVIDIA 一直以來都是 MLPerf 聯(lián)盟的主要成員，與其他成員一同積極構建、完善和發(fā)展首套商定一致的工作負載，以便可以跨用例范圍地直接比較各平臺性能。

作為快速成長的新興市場，機器學習領域缺少用來評估平臺性能的行業(yè)測試基準。雖然 ResNet-50 等網絡經常用作訓練和推理的性能代理，但其仍是一套主要基于圖像任務的單一CNN，不能提供機器學習平臺的完整性能圖景。機器學習還包含許多其他用例，例如語音、翻譯和推薦系統(tǒng)等。

認識 MLPerf

MLPerf 的關鍵設計目標之一是工作負載的多樣化。因此，它涵蓋了對圖像和自然語言的使用，以及推薦系統(tǒng)和強化學習等，共 7 項測試。目前，這些工作負載僅可用于測試訓練，未來版本的工作負載將計劃以推理為重點。

NVIDIA最初致力于研究封閉組，旨在針對ML訓練系統(tǒng)（包括硬件和軟件）提供有價值的對比。為實現這一目標，封閉組要求所有提交成果均使用相同的數據準備和訓練程序來訓練相同的神經網絡模型架構。從應用程序角度看，這將確保所有條目盡可能等同，性能的差異只歸因于軟件、硬件或規(guī)模不同。選擇封閉組的網絡模型、數據集和訓練程序作為當今機器學習社區(qū)中的通用計算方法。另一方面，公開組不用于系統(tǒng)對比，而是用于鼓勵網絡模型架構和其算法方面的創(chuàng)新。

NVIDIA提交了7項測試類別中的6類測試結果，未提交強化學習測試，是因為這項測試基于戰(zhàn)略游戲《GO》，該游戲最初在配備Tesla P100 GPU的服務器上進行開發(fā)。但目前情況是，服務器中包含重要的CPU組件，因此只能提供有限的擴展。

MLPerf分數的計算方法是，首先測量訓練到達指定目標精度的時間，然后歸一化為參考平臺上未執(zhí)行優(yōu)化所需的時間。歸一化的目的是將不同的基準測試轉化為相似的分數量級，因為各基準測試所需的訓練時間不同。訓練時間和 MLPerf 分數均發(fā)布在 MLPerf 網站上，為此我們以分鐘為單位公布訓練時間。以下是 NVIDIA 達到收斂結果的時間，包括單節(jié)點和大規(guī)模的實現：

單節(jié)點封閉組 GPU 性能：

測試平臺：DGX-2H – 雙路Xeon Platinum 8174、1.5TB 系統(tǒng) RAM、16 個 32GB Tesla V100 SXM-3 GPU通過NVSwitch互通。

大規(guī)模封閉組 GPU 性能：

測試平臺：DGX-1V 集群，適用于圖像分類和非重復性翻譯。DGX-2H 集群，適用于重型物體檢測和輕量型物體檢測、重復性翻譯。每個DGX-1V配備雙路 Xeon E5-2698 V4、512GB 系統(tǒng) RAM、8 個16GB Tesla V100 SXM-2 GPU。每個DGX-2H配備雙路Xeon Platinum 8174、1.5TB系統(tǒng)RAM、16個32GB Tesla V100 SXM-3 GPU通過NVSwitch互通。

從以上數字可以看出：單個DGX-2節(jié)點能夠在20分鐘內完成多數工作負載。在大規(guī)模提交中，除1次測試外，都在7分鐘內完成這些任務。與第二快的提交相比，GPU的交付速度提高達 5.3 倍。鑒于深度學習早期階段的訓練以天和周計算，上述完成時間證明我們在過去幾年中取得了巨大進步。以下圖表說明我們在訓練 ResNet-50 模型方面取得的進步程度：

很顯然，因為一系列平臺創(chuàng)新，過去幾年里性能提升巨大。這些創(chuàng)新包括：

NVLink 結構技術：Pascal 架構中引入NVLink允許GPU以300GB/秒的速度進行通信，比PCIe快近10倍。

Tensor Cores：Volta架構中引入Tensor Cores，加速了大型矩陣運算（這是AI的核心），在單次運算中執(zhí)行混合精度矩陣乘法和累加計算。

NVSwitch：首款節(jié)點交換架構，在單個服務器節(jié)點中支持16個全互聯(lián)GPU，并驅動全部8對GPU 分別以300GB/s的速度同時通信。這16個GPU 還可作為單個大型加速器，擁有0.5TB的統(tǒng)一內存空間和每秒2千萬億次的深度學習計算性能。

全棧優(yōu)化：方法得當

NVIDIA的加速深度學習方法包含整套平臺，并在硬件、軟件和生態(tài)系統(tǒng)支持下持續(xù)創(chuàng)新。這種方法為深度學習社區(qū)帶來巨大的優(yōu)勢，允許開發(fā)人員在任何提供商的云服務上使用任何熱門框架，或者使用自己的GPU基礎架構實現卓越的性能。NVIDIA向MLPerf提交的測試使用MXNet處理圖像分類工作負載(ResNet-50)，使用PyTorch提交涵蓋翻譯、對象檢測和實例分割以及推薦器的工作負載。谷歌的TernsorFlow團隊也展示了在谷歌云平臺上使用NVIDIA V100 GPU處理ResNet-50的出色表現。

這些框架均可在NVIDIA GPU云(NGC)容器注冊服務器中免費獲取，并且每月更新一次，性能持續(xù)改進。此前發(fā)表的一篇博客中說明 11 月 18.11 版本的容器中對 NVIDIA 深度學習軟件堆棧的最新改進。以下將簡述這些改進：

MXNet

添加了 Horovod，改進跨多個節(jié)點訓練的性能。

借助小批量 (<= 32) 優(yōu)化大規(guī)模多節(jié)點訓練的性能

有關更多詳細信息，請參閱AWS上的博客，其中具體概述了MXNet的最新改進。

TensorFlow

更新了XLA圖形編譯器，優(yōu)化了運算符融合以節(jié)省內存帶寬，優(yōu)化了Tensor Core數據布局。谷歌最近的一篇博客詳細介紹了更具體的細節(jié)。

PyTorch

Apex中新添實用程序，并融合實施Adam優(yōu)化器，通過減少冗余GPU設備內存通道、改進卷積翻譯模型的層歸一化性能以及為多進程和多節(jié)點訓練改進DistributedDataParallel包裝器，以提高性能。

cuDNN

多方面顯著性改進了卷積性能，尤其在每個GPU 小批量處理數據之時；優(yōu)化了Tensor Core的Persistent RNNs算法。

DALI

對象檢測模型所需的各種圖像預處理例程提速，現在它們可在GPU上運行，而無需CPU。

結束語

NVIDIA對第一組公布結果感到深受鼓舞，并對在AI社區(qū)中與各個框架開發(fā)團隊的合作深感自豪。MLPerf作為一種工具，允許AI平臺制造商使用一組商定的用例來比較他們的產品，我們將繼續(xù)與MLPerf聯(lián)盟合作，并隨AI工作負載的進展，迭代這一基準。以上這些技術現已面向AI開發(fā)者社區(qū)開放，可從我們的 NGC容器注冊服務器獲取。敬請關注我們的開發(fā)者博客更新，了解有關 TensorFlow、PyTorch和MXNet框架中的具體優(yōu)化的更多信息。www.mlperf.org 上提供MLPerf基準模型，可根據相關基準目錄中的自述文件運行。