案例簡介

本案例中基于京東和 NVIDIA 英偉達聯合部署的 DGX SuperPOD 分布式集群，京東探索研究院聯合悉尼大學共同開發了織女模型，在 DGX SuperPOD 集群上可高效擴展并快速完成迭代，一舉刷新 GLUE 兩大挑戰性任務榜單。

? 本案例為 NVIDIA DGX SuperPOD 平臺加速大模型訓練

? 本案例主要應用到 DGX A100、Mellanox HDR Infiniband、DGX SuperPOD、和 NVPS 服務

? DGX SuperPOD 是一套完整的解決方案

客戶簡介及客戶挑戰

京東探索研究院致力于世界前沿技術的研究，其中人工智能方向涵蓋 CV、NLP、多模態等。大規模語音模型的研究更是京東探索研究院的重中之重。

以語言模型為例，在過去 2-3 年的時間，語言模型大小每年都在以 1-2 個數量級的速度在增加，如今，則已達到萬億參數的級別。而模型的結構和復雜性日益變化，這對 GPU 集群的架構提出了不一樣的要求。

從系統層面看，既有的 GPU 計算集群主要是以支持單機任務、小規模多機任務為主，相較之下，其多機之間網絡擴展能力則較弱，而大規模擴展能力也較為受限。因此，在既有的 GPU 集群架構下，較無法滿足服務大模型的計算需求。

對于京東探索研究院而言，掌握時效是關鍵，更快的模型訓練意味著能加速迭代、擴展嘗試空間、使產品落地更迅速，并提高業務收益。在模型越來越復雜多樣、計算需求越來越大、單任務計算規模越來越大的背景下，如何快速新建一個可高效擴展并易用的 GPU 集群，以滿足應對上述挑戰，是亟待解決的核心問題。

應用方案

基于以上挑戰，京東探索研究院選擇了采用 NVIDIA DGX SuperPOD 方案來提供支持，并成功給業務側帶來了巨大的提升及解決企業痛點。

NVIDIA DGX SuperPOD 是一套完整的解決方案，基于 DGX A100 服務器、HDR Infiniband 200G 網卡和 NVIDIA Quantum QM8790 交換機構建了一套全互聯架構，在保證單機計算能力最強的同時，采用計算和存儲網絡相隔離的方案，最大程度地從網絡上保證集群的互聯能力。

安裝部署方面，NVIDIA 為 DGX SuperPOD 提供專業的部署服務，包括單機系統部署、IB 網絡配置、調度安裝調試、監控部署、多機環境、基礎性能驗證等，從基礎系統方面，保證了最快交付。

使用方面，NVIDIA 為 DGX SuperPOD 部署了 Slurm 調度系統，并基于 NGC 和客戶主要的幾類模型，提供了完整的作業腳本，用戶只需簡單修改幾行參數來適配自己的模型，即可一鍵方便地運行起大規模分布式任務。

性能方面，DGX SuperPOD經過一系列的基礎優化（CUDA-X， Magnum IO， NGC）和評測驗證（MLPerf），提供最好的 AI 訓練性能，在京東探索研究院針對CV、NLP、跨模態等領域設計和研發的數十個模型上，經過雙方一系列系統級的合作優化，在 DGX SuperPOD 上達到了比較理想的加速比和擴展性。

使用 DGX SuperPOD 方案，用戶只需要關注自己的 AI 模型和算法研究，無需關注硬件和系統層的配置、優化、擴展性等問題，讓 AI 研究人員把寶貴的時間和精力專注在前沿的 AI 技術研究上。

使用效果及影響

使用了 DGX SuperPOD 集群方案，極大地加速了用戶的 AI 訓練和迭代速度，為用戶進一步探索出更強大更智能的 AI 模型建立了堅實的基石。

在 DGX SuperPOD 交付給用戶僅僅兩個多月之后，京東探索研究院就聯合悉尼大學在傳統 “預訓練-微調” 的范式下，利用 DGX SuperPOD 的高效擴展能力，通過研究和工程上的全方位創新，研發出了織女模型，在通用語言理解評估基準（GLUE）的兩項挑戰性任務，即情感分析任務 SST（The Stanford Sentiment Treebank）和指代消解任務 WNLI （Winograd NLI）中首次超越人類，位居所有參賽機構第一。

“強悍的織女模型在京東探索研究院建設的全國首個基于 DGX SuperPOD 架構的超大規模計算集群 “天琴α” 上完成訓練，該集群具有全球領先的大規模分布式并行訓練技術，其近似線性加速比的數據、模型、流水線并行技術持續助力織女模型的高效訓練。”

審核編輯：郭婷