據(jù)該公司CEO黃仁勛介紹，A100采用臺積電當時最先進的7納米工藝打造，擁有540億個晶體管，面積高達826mm2，GPU的最大功率也達到了400W。又因為同時搭載了三星HBM2顯存、第三代TensorCore和帶寬高達600GB/s的新版NVLink，英偉達的A100在多個應用領(lǐng)域也展現(xiàn)出強悍的性能。

從英偉達提供的數(shù)據(jù)可以看到，如果用PyTorch框架跑AI模型，相比上一代V100芯片，A100在BERT模型的訓練上性能提升6倍，BERT推斷時性能提升7倍。而根據(jù)MLPerf組織在十月底發(fā)布的最新推理基準測試（Benchmark）MLPerfInferencev0.7結(jié)果，英偉達A100TensorCoreGPU在云端推理的基準測試性能是最先進英特爾CPU的237倍。

但英偉達不止步于此。在昨日，他們發(fā)布了面向AI超級計算的全球最強GPU——A10080GB；與此同時，他們還帶來了一體式AI數(shù)據(jù)中心NVIDIADGXStationA100以及NVIDIAMellanox400GInfiniBand產(chǎn)品。

全球最強的AI超算GPU

據(jù)英偉達方面介紹，公司全新的A10080GBGPU的最大特點在于采用了HBM2E內(nèi)存技術(shù)，能將A10040GBGPU的高帶寬內(nèi)存增加一倍至80GB，這樣的設計也讓英偉達成為業(yè)內(nèi)首個實現(xiàn)了2TB/s以上的內(nèi)存帶寬的企業(yè)。

“若想獲得HPC和AI的最新研究成果，則需要構(gòu)建最大的模型，而這需要比以往更大的內(nèi)存容量和更高的帶寬。A10080GBGPU所提供的內(nèi)存是六個月前推出的前代產(chǎn)品的兩倍，突破了每秒2TB的限制，使研究人員可以應對全球科學及大數(shù)據(jù)方面最嚴峻的挑戰(zhàn)。”NVIDIA應用深度學習研究副總裁BryanCatanzaro表示。

此外，第三代TensorCore核心、MIG技術(shù)、結(jié)構(gòu)化稀疏以及第三代NVLink和NVSwitch，也是全新GPU能夠獲得市場認可的保證。

從英偉達提供的資料我們可以看到，該公司的第三代TensorCore核心通過全新TF32，能將上一代Volta架構(gòu)的AI吞吐量提高多達20倍；通過FP64，新核心更是能將HPC性能提高多達2.5倍；而通過INT8，新核心也可以將AI推理性能提高多達20倍，并且支持BF16數(shù)據(jù)格式。

MIG技術(shù)則能將單個獨立實例的內(nèi)存增加一倍，并可最多提供七個MIG，讓每個實例具備10GB內(nèi)存。英偉達方面表示，該技術(shù)是一種安全的硬件隔離方法，在處理各類較小的工作負載時，可實現(xiàn)GPU最佳利用率。例如在如RNN-T等自動語言識別模型的AI推理上，單個A10080GBMIG實例可處理更大規(guī)模的批量數(shù)據(jù)，將生產(chǎn)中的推理吞吐量提高1.25倍。

至于結(jié)構(gòu)化稀疏，則可以將推理稀疏模型的速度提高2倍；包括第三代NVLink和NVSwitch在內(nèi)的新一代互連技術(shù)，則可使GPU之間的帶寬增加至原來的兩倍，將數(shù)據(jù)密集型工作負載的GPU數(shù)據(jù)傳輸速度提高至每秒600gigabytes。

除了性能提升以外，基于A10040GB的多樣化功能設計的A10080GBGPU也成為需要大量數(shù)據(jù)存儲空間的各類應用的理想選擇。

以DLRM等推薦系統(tǒng)模型為例，他們?yōu)锳I訓練提供了涵蓋數(shù)十億用戶和產(chǎn)品信息的海量表單。但A10080GB可實現(xiàn)高達3倍加速，使企業(yè)可以重新快速訓練這些模型，從而提供更加精確的推薦；在TB級零售大數(shù)據(jù)分析基準上，A10080GB將其性能提高了2倍，使其成為可對最大規(guī)模數(shù)據(jù)集進行快速分析的理想平臺；對于科學應用，A10080GB可為天氣預報和量子化學等領(lǐng)域提供巨大的加速。

“作為NVIDIAHGXAI超級計算平臺的關(guān)鍵組件，A10080GB還可訓練如GPT-2這樣的、具有更多參數(shù)的最大模型。”英偉達方面強調(diào)。

下一代400GInfiniBand

在發(fā)布A10080GB的同時，英偉達還帶了下一代的400GInfiniBand產(chǎn)品。在講述英偉達的新品之前，我們有必要先了解一下什么是InfiniBand。

所謂InfiniBand，是一種網(wǎng)絡通信協(xié)議，它提供了一種基于交換的架構(gòu)，由處理器節(jié)點之間、處理器節(jié)點和輸入/輸出節(jié)點（如磁盤或存儲）之間的點對點雙向串行鏈路構(gòu)成。每個鏈路都有一個連接到鏈路兩端的設備，這樣在每個鏈路兩端控制傳輸（發(fā)送和接收）的特性就被很好地定義和控制。而早前被英偉達收購的Mellanox則是這個領(lǐng)域的專家。

資料顯示，Mellanox為服務器，存儲和超融合基礎設施提供包括以太網(wǎng)交換機，芯片和InfiniBand智能互連解決方案在內(nèi)的大量的數(shù)據(jù)中心產(chǎn)品，其中，更以InfiniBand互連，是這些產(chǎn)品中重中之重。

據(jù)英偉達介紹，公司推出的第七代MellanoxInfiniBandNDR400Gb/s上帶來了更低的延遲，與上一代產(chǎn)品相比，新的產(chǎn)品更是實現(xiàn)了數(shù)據(jù)吞吐量的翻倍。又因為英偉達為這個新品帶來了網(wǎng)絡計算引擎，這就讓其能夠獲得額外的加速。

英偉達進一步指出，作為一個面向AI超級計算的業(yè)界最強大的網(wǎng)絡解決方案，MellanoxNDR400GInfiniBand交換機，可提供3倍的端口密度和32倍的AI加速能力。此外，它還將框式交換機系統(tǒng)的聚合雙向吞吐量提高了5倍，達到1.64petabits/s，從而使用戶能夠以更少的交換機，運行更大的工作負載。

“基于MellanoxInfiniBand架構(gòu)的邊緣交換機的雙向總吞吐量可達51.2Tb/s，實現(xiàn)了具有里程碑意義的每秒超過665億數(shù)據(jù)包的處理能力。”英偉達方面強調(diào)。而通過提供全球唯一的完全硬件卸載和網(wǎng)絡計算平臺，NVIDIAMellanox400GInfiniBand實現(xiàn)了大幅的性能飛躍，可加快相關(guān)研究工作的進展。

“我們的AI客戶的最重要的工作就是處理日益復雜的應用程序，這需要更快速、更智能、更具擴展性的網(wǎng)絡。NVIDIAMellanox400GInfiniBand的海量吞吐量和智能加速引擎使HPC、AI和超大規(guī)模云基礎設施能夠以更低的成本和復雜性，實現(xiàn)無與倫比的性能。”NVIDIA網(wǎng)絡高級副總裁GiladShainer表示。

從他們提供的數(shù)據(jù)我們可以看到，包括Atos、戴爾科技、富士通、浪潮、聯(lián)想和SuperMicro等公司在內(nèi)的全球領(lǐng)先的基礎設施制造商，計劃將Mellanox400GInfiniBand解決方案集成到他們的企業(yè)級產(chǎn)品中去。此外，包括DDN、IBMStorage以及其它存儲廠商在內(nèi)的領(lǐng)先的存儲基礎設施合作伙伴也將支持NDR。

全球唯一的千兆級工作組服務器

為了應對不同開發(fā)者對AI系統(tǒng)的需求，在推出芯片和連接解決方案的同時，英偉達在2017年還推出一體式的AI數(shù)據(jù)中心NVIDIADGXStation。作為世界上首款面向AI開發(fā)前沿的個人超級計算機，開發(fā)者只需要對其執(zhí)行簡單的設置，就可以用Caffe、TensorFlow等去做深度學習訓練、高精度圖像渲染和科學計算等傳統(tǒng)HPC應用，避免了裝驅(qū)動和配置環(huán)境等麻煩，這很適合高校、研究所、以及IT力量相對薄弱的企業(yè)。

昨日，英偉達今日發(fā)布了全球唯一的千兆級工作組服務器NVIDIADGXStationA100。作為開創(chuàng)性的第二代人工智能系統(tǒng)，DGXStationA100加速滿足位于全球各地的公司辦公室、研究機構(gòu)、實驗室或家庭辦公室中辦公的團隊對于機器學習和數(shù)據(jù)科學工作負載的強烈需求。而為了支持諸如BERTLarge推理等復雜的對話式AI模型，DGXStationA100比上一代DGXStation提速4倍以上。對于BERTLargeAI訓練，其性能更是提高近3倍。

從性能來看，英偉達方面表示，DGXStationA100的AI性能可達2.5petaflops，是唯一一臺配備四個通過NVIDIANVLink完全互連的全新NVIDIAA100TensorCoreGPU的工作組服務器，可提供高達320GB的GPU內(nèi)存，能夠助力企業(yè)級數(shù)據(jù)科學和AI領(lǐng)域以最速度取得突破。

作為唯一支持NVIDIA多實例GPU（MIG）技術(shù)的工作組服務器，單一的DGXStationA100最多可提供28個獨立GPU實例以運行并行任務，并可在不影響系統(tǒng)性能的前提下支持多用戶。

為了支持更大規(guī)模的數(shù)據(jù)中心工作負載，DGXA100系統(tǒng)還將配備全新NVIDIAA10080GBGPU使每個DGXA100系統(tǒng)的GPU內(nèi)存容量增加一倍（最高可達640GB），從而確保AI團隊能夠使用更大規(guī)模的數(shù)據(jù)集和模型來提高準確性。

“全新DGXA100640GB系統(tǒng)也將集成到企業(yè)版NVIDIADGXSuperPODTM解決方案，使機構(gòu)能基于以20個DGXA100系統(tǒng)為單位的一站式AI超級計算機，實現(xiàn)大規(guī)模AI模型的構(gòu)建、訓練和部署。”英偉達方面強調(diào)。

該公司副總裁兼DGX系統(tǒng)總經(jīng)理CharlieBoyle則表示：“DGXStationA100將AI從數(shù)據(jù)中心引入可以在任何地方接入的服務器級系統(tǒng)。數(shù)據(jù)科學和AI研究團隊可以使用與NVIDIADGXA100系統(tǒng)相同的軟件堆棧加速他們的工作，使其能夠輕松地從開發(fā)走向部署。”

從英偉達提供的資料我們可以看到，配備A10080GBGPU的NVIDIADGXSuperPOD系統(tǒng)將率先安裝于英國的Cambridge-1超級計算機，以加速推進醫(yī)療保健領(lǐng)域研究，以及佛羅里達大學的全新HiPerGatorAI超級計算機，該超級計算機將賦力這一“陽光之州”開展AI賦能的科學發(fā)現(xiàn)。

在今年發(fā)布的第二季財報上，英偉達數(shù)據(jù)中心業(yè)務首超游戲，成為公司營收最大的業(yè)務板塊。從營收增長上看，與去年同期相比，英偉達數(shù)據(jù)中心業(yè)務業(yè)務大幅增長167%，由此可以看到英偉達在這個市場影響力的提升以及公司對這個市場的信心。

考慮到公司深厚的技術(shù)積累和過去幾年收購所做的“查漏補缺”，英偉達必將成為Intel在數(shù)據(jù)中心的最強勁挑戰(zhàn)者。
責任編輯人：CC