Ian Finder，加速高性能計算基礎架構高級項目經理

當前，使用大規模AI模型執行大量任務的趨勢正在改變AI的構建方式。在微軟Build 2020上，我們利用Azure最先進的AI超級計算和支持下一代AI的新型大規模AI模型，分享了我們“AI at Scale”的愿景。大規模模型的優勢在于，僅需使用AI超級計算，基于海量數據，對其進行一次大規模訓練，而后模型就能通過自身“微調”，基于更小的數據集及資源來處理不同的任務、應對不同的領域。模型參數越多，就越能更好地捕獲數據之間的細微差別。例如，我們的Turing Natural Language Generation（T-NLG）模型具有170億參數，能夠理解語言，因此可以在第一時間回答問題或總結首次看到的文件。此類自然語言模型，比一年前最先進的模型大得多，與早期以圖像為中心的模型相比，更是大出好幾個數量級，而且支持Bing、Word、Outlook和Dynamics中的任務。

為訓練此類大規模的模型，需要將具備專用AI加速器的數百臺機器組合成為大型集群，這些加速器通過機器內部和機器之間的高帶寬網絡互連。為使所有微軟產品具備全新自然語言生成和理解的能力，并支持OpenAI完成“建立安全的通用AI”的使命，我們不斷在Azure中構建這樣的集群。我們最新的集群具備強大的聚合計算能力，因此被稱為AI超級計算機，其中有一臺專為OpenAI打造，已躋身全球前五大公開發布的超級計算機。得益于這臺超級計算機，OpenAI在5月發布了其1750億參數GPT-3模型，該模型可完成多種未進行過針對性訓練的任務，如詩歌寫作或翻譯。

我們在管理大規模計算集群、領先網絡設計和軟件堆棧（包括Azure機器學習、ONNX運行時和其他Azure AI服務）時，所采取的方法與我們的AI at Scale 戰略保持高度一致。一路以來的創新將使Azure能夠更好地滿足客戶各種規模的AI需求。例如，在NDv2虛擬機系列中，Azure是第一個，也是唯一一個提供NVIDIA V100 Tensor Core GPU虛擬機集群的公有云，這些集群通過高帶寬、低延遲的NVIDIA Mellanox InfiniBand網絡互連。這種創新如同將高端賽車行業所開創的汽車技術，應用于我們日常駕駛的普通汽車。

前沿創新規模空前

OpenAI首席執行官Sam Altman 表示：“若要將AI發展成為通用智能，那么在某種程度上就需要強大的系統來訓練日益強大的模型。如今我們終于擁有了所需的算力。Azure AI及其超算能力為我們提供了領先的系統，讓我們能夠加速創新進程。”

通過不斷創新，Azure宣布推出全新ND A100 v4虛擬機系列，這是我們迄今為止功能最強大、可擴展性最強的AI虛擬機。該虛擬機可根據需求，通過數百臺虛擬機調用八至數千個互連NVIDIA GPU。

最基本的ND A100 v4 虛擬機系列由一臺虛擬機和八個NVIDIA Ampere A100 Tensor Core GPU組成。但如同人腦由相互連接的神經元組成一樣，ND A100 v4集群可以擴展到數千個GPU，且每臺虛擬機都具有1.6 TB互連帶寬，這是前所未有的。每個GPU均具有專屬200 GB/s NVIDIA Mellanox HDR InfiniBand連接，兼容所有拓撲結構。數十、數百甚至數千個GPU均可連接到同一個Mellanox InfiniBand HDR集群進行工作，從而實現任何級別的AI目標。由于專用的GPU互連帶寬比任何其他公有云產品高16倍，因此可以更快地實現任何AI目標，如從零開始訓練模型、繼續使用自己的數據進行訓練或針對特定任務進行微調等。

ND A100 v4虛擬機系列由內置全新Azure AMD Rome的平臺提供支持，該平臺所有主要系統組件均符合最新的硬件標準，如PCIe Gen4。PCIe Gen 4和NVIDIA第三代NVLINK架構可為每臺虛擬機實現最快的GPU互連，使數據在系統中的傳輸速度提升2倍以上。

大多數客戶無需開展任何技術工作，即可將其計算性能提升至基于上一代NVIDIA V100 GPU的系統的2至3倍。如果客戶使用具備結構化稀疏加速、高精度Tensor Core核心和多實例GPU（MIG）功能的全新A100，可將性能提高多達20倍。

NVIDIA加速計算總經理兼副總裁Ian Buck表示：“Azure利用NVIDIA最先進的計算和網絡功能構建了一個令人難以置信的大型云端AI平臺。其具備的彈性架構，可將NVIDIA A100 GPU上的單一分區擴展至數千個通過NVIDIA Mellanox InfiniBand互連的A100 GPU。得益于該彈性架構，Azure客戶可運行全球最高要求的AI工作負載。”

ND A100 v4 虛擬機系列運用VM Scale Set等Azure核心可擴展模塊，可對任何規模的集群進行自動、動態且透明的配置，讓所有人在任何地方都可以實現各種規模的AI，甚至可以在數分鐘內按需對AI超級計算機進行實例化。隨后，便可使用Azure機器學習服務，獨立訪問虛擬機或啟動、管理整個集群的訓練任務。

ND A100 v4虛擬機系列和集群目前可供預覽，之后將成為Azure產品組合中的標準產品，讓所有人都能夠在云端挖掘AI at Scale的潛力。