11 月 30 日，由深度學(xué)習(xí)技術(shù)及應(yīng)用國(guó)家工程研究中心主辦、百度飛槳承辦的 WAVE SUMMIT+ 2022 深度學(xué)習(xí)開(kāi)發(fā)者峰會(huì)圓滿(mǎn)落幕。

本次峰會(huì)上，百度 AI 技術(shù)生態(tài)總經(jīng)理馬艷軍發(fā)布了飛槳開(kāi)源框架 2.4 版本，并攜手 NVIDIA 等 12 家生態(tài)伙伴發(fā)布了飛槳生態(tài)發(fā)行版，為開(kāi)發(fā)者提供更好的軟硬一體化體驗(yàn)。

作為飛槳的深度合作伙伴，NVIDIA 也出席了這場(chǎng)盛大的線(xiàn)上峰會(huì)。NVIDIA 亞太區(qū)資深產(chǎn)品負(fù)責(zé)人 Adam Zheng 還帶來(lái)了以“NVIDIA 全新一代產(chǎn)品，極致性能賦能飛槳落地千行百業(yè)”為主題的分享。以下為內(nèi)容概要。

NVIDIA 推出 Hopper 架構(gòu)

掀起新一代加速計(jì)算浪潮

NVIDIA 作為計(jì)算加速行業(yè)的領(lǐng)導(dǎo)者，正在通過(guò)全棧創(chuàng)新推動(dòng)高性能計(jì)算的發(fā)展。從芯片和系統(tǒng)，到它們運(yùn)行的算法和應(yīng)用程序，NVIDIA 平臺(tái)將 AI 帶入了全球最大的行業(yè)，提供包括推薦系統(tǒng)、AR、VR、自動(dòng)駕駛汽車(chē)等解決方案，并加速科學(xué)研究。

今年春季 GTC 大會(huì)上，NVIDIA 發(fā)布了 Hopper 全新一代 GPU 架構(gòu)，提供了六項(xiàng)突破性創(chuàng)新（如上圖）：

一、世界上最先進(jìn)的芯片。由 800 億個(gè)晶體管構(gòu)建而成，這些晶體管采用了專(zhuān)為 NVIDIA 加速計(jì)算需求設(shè)計(jì)的尖端的 TSMC 4N 工藝，因而能夠顯著提升 AI、HPC、顯存帶寬、互連和通信的速度，并能夠?qū)崿F(xiàn)近 5TB/s 的外部互聯(lián)帶寬。此外，該款芯片也是首款支持 PCIe 5.0 的 GPU，也是首款采用 HBM3 的 GPU，可實(shí)現(xiàn) 3TB/s 的顯存帶寬。20 個(gè)芯片便可承載相當(dāng)于全球互聯(lián)網(wǎng)的流量，使其能夠幫助客戶(hù)推出先進(jìn)的推薦系統(tǒng)以及實(shí)時(shí)運(yùn)行數(shù)據(jù)推理的大型語(yǔ)言模型。

二、新的 Transformer 引擎——Transformer 現(xiàn)在已成為自然語(yǔ)言處理的標(biāo)準(zhǔn)模型方案，也是深度學(xué)習(xí)模型領(lǐng)域最重要的模型之一。新的 Transformer 引擎，可以將這些網(wǎng)絡(luò)的速度提升至上一代的六倍，而不會(huì)損失精度。

三、第二代安全多實(shí)例 GPU —— MIG 技術(shù)支持將單個(gè) GPU 分為七個(gè)更小且完全隔離的實(shí)例，以處理不同類(lèi)型的作業(yè)。與上一代產(chǎn)品相比，在云環(huán)境中 Hopper 架構(gòu)通過(guò)為每個(gè) GPU 實(shí)例提供安全的多租戶(hù)配置。

四、機(jī)密計(jì)算——全球首款具有機(jī)密計(jì)算功能的加速器，可保護(hù) AI 模型和正在處理的客戶(hù)數(shù)據(jù)。客戶(hù)還可以將機(jī)密計(jì)算應(yīng)用于醫(yī)療健康和金融服務(wù)等隱私敏感型行業(yè)的學(xué)習(xí)，也可以應(yīng)用于共享云基礎(chǔ)設(shè)施。

五、第 4 代 NVIDIA NVLink——為加速大型 AI 模型，NVLink 結(jié)合全新的外接 NVLink Switch，可將 NVLink 擴(kuò)展為服務(wù)器間的互聯(lián)網(wǎng)絡(luò)。相比上一代 HDR Quantum InfiniBand，實(shí)現(xiàn) 9 倍的速度提升，并可連接多達(dá) 256 個(gè) GPU。

六、DPX 指令——新的 DPX 指令可加速動(dòng)態(tài)規(guī)劃，適用于包括路徑優(yōu)化和基因組學(xué)在內(nèi)的一系列算法，與 CPU 和上一代 GPU 相比，其速度提升分別可達(dá) 40 倍和 7 倍。

AI 開(kāi)發(fā)只有頂尖的芯片是不夠的，還需要軟硬全棧和廣闊的生態(tài)。NVIDIA 提供端到端的 AI 軟件套件，覆蓋數(shù)據(jù)準(zhǔn)備、訓(xùn)練、推理優(yōu)化到大規(guī)模部署等多個(gè)環(huán)節(jié)，以強(qiáng)大的資源調(diào)度和管理能力助力客戶(hù)加速 AI 開(kāi)發(fā)與部署。

NVIDIA 在加速計(jì)算領(lǐng)域的沉淀，以及其全新一代產(chǎn)品，為賦能飛槳生態(tài)奠定了基礎(chǔ)。

NVIDIA 攜手百度飛槳

加速 535 萬(wàn)開(kāi)發(fā)者的 AI 進(jìn)程

百度飛槳是中國(guó)首個(gè)自主研發(fā)、功能豐富、開(kāi)源開(kāi)放的產(chǎn)業(yè)級(jí)深度學(xué)習(xí)平臺(tái)。近年來(lái)，飛槳的技術(shù)實(shí)力深受廣大硬件廠(chǎng)商認(rèn)可，合作日趨緊密，軟硬一體協(xié)同發(fā)展，生態(tài)共創(chuàng)碩果累累。

NVIDIA 非常重視中國(guó)市場(chǎng)，特別關(guān)注中國(guó)的生態(tài)伙伴，而當(dāng)前飛槳擁有 535 萬(wàn)的開(kāi)發(fā)者。過(guò)去的幾年中，NVIDIA 與飛槳一直保持著深度全面的合作關(guān)系。雙方一起做了大量的開(kāi)發(fā)與優(yōu)化工作。

今年我們將飛槳列為 NVIDIA 全球前三的深度學(xué)習(xí)框架合作伙伴，在中國(guó)設(shè)立了專(zhuān)門(mén)的工程團(tuán)隊(duì)支持，賦能飛槳。關(guān)于 NVIDIA 與飛槳的合作，由于篇幅原因，我們僅從硬件適配的角度，沿用上圖的四個(gè)階段做一個(gè)簡(jiǎn)要的介紹。在數(shù)據(jù)處理方面，幫助飛槳集成 DALI；大規(guī)模訓(xùn)練，支持各類(lèi)數(shù)據(jù)格式，ASP、CUDA 等算子函數(shù) API；優(yōu)化推理方面，開(kāi)發(fā)了 Paddle-TRT，Deep Learning Examples；在規(guī)模部署方面，集成了 NCCL，開(kāi)發(fā)了 Triton PaddlePaddle Backend。

剛才這些適配僅僅是讓飛槳的開(kāi)發(fā)者擁有高性能的推理訓(xùn)練成為可能，但是這些離行業(yè)開(kāi)發(fā)者還很遠(yuǎn)，門(mén)檻還很高，難度還很大。為此，NVIDIA 將剛剛這些集成和優(yōu)化的工作整合到三大產(chǎn)品線(xiàn)中：

• NVIDIA NGC PaddlePaddle Container——NGC 飛槳容器，致力為開(kāi)發(fā)者提供了一個(gè)最佳的飛槳開(kāi)發(fā)環(huán)境，包含最新的 NVIDIA 工具包版本（CUDA, DALI 等）。

• NVIDIA Deep Learning Examples——飛槳深度學(xué)習(xí)模型示例，讓開(kāi)發(fā)者能夠快速使用一系列擁有極致性能的經(jīng)典模型 ，例如 ResNet 50、BERT 等。

• NVIDIA DLI （Deep Learning Institute）——飛槳共建課程。為了能更好地提高推訓(xùn)性能并簡(jiǎn)化代碼，NVIDIA 深度學(xué)習(xí)培訓(xùn)中心（DLI）也準(zhǔn)備了系列免費(fèi)課程，以及由 NVIDIA 與飛槳聯(lián)名的 DLI 課程證書(shū)，賦能開(kāi)發(fā)者并給于權(quán)威認(rèn)可。

在這三大舉措中，NGC 飛槳容器最為引人注目。

飛槳和 NVIDIA 團(tuán)隊(duì)從與開(kāi)發(fā)者用戶(hù)的持續(xù)交流中，收集到了一些使用上的痛點(diǎn)需求。比如，在提供 NGC 飛槳容器前，飛槳用戶(hù)如果希望使用 NVIDIA 最新軟件棧進(jìn)行開(kāi)發(fā)、訓(xùn)練、部署，需要做大量的手動(dòng)配置工作，這對(duì)不少用戶(hù)而言是一個(gè)巨大的工程挑戰(zhàn)。

針對(duì)這些需求，NVIDIA 與百度飛槳聯(lián)合開(kāi)發(fā)了 NGC 飛槳容器，將最新的飛槳與最新的 NVIDIA 的軟件棧進(jìn)行了無(wú)縫的集成與性能優(yōu)化，最大程度地釋放飛槳框架在 NVIDIA 最新硬件上的計(jì)算能力。這樣，用戶(hù)不僅可以快速開(kāi)啟 AI 應(yīng)用，專(zhuān)注于創(chuàng)新和應(yīng)用本身，還能夠在 AI 訓(xùn)練和推理任務(wù)上獲得飛槳 + NVIDIA 帶來(lái)的飛速體驗(yàn)。

NGC 飛槳容器具有以下優(yōu)點(diǎn)：

• 以月為單位升級(jí)更新，每月底發(fā)布全新版本，無(wú)需注冊(cè)即可下載，支持多 GPU 和多節(jié)點(diǎn)系統(tǒng)。

• 適配最新版本的 NVIDIA 軟件棧（例如最新版本 CUDA），更多功能，更高性能。

• 安全可靠。掃描漏洞和加密，適合在工作站、服務(wù)器、云上運(yùn)行并經(jīng)過(guò)測(cè)試。滿(mǎn)足 NVIDIA NGC 開(kāi)發(fā)及驗(yàn)證規(guī)范，質(zhì)量管理。

• 專(zhuān)為企業(yè)和高性能計(jì)算設(shè)計(jì)，支持 Docker。

• 適配各種硬件環(huán)境：裸機(jī)、虛擬機(jī)、K8S、X86、ARM、Power、云、本地、邊緣等。

• 應(yīng)用廣泛。適合各種工作內(nèi)容、工作場(chǎng)景、各行業(yè)的應(yīng)用。

• 性能優(yōu)化。我們將其進(jìn)行優(yōu)化，并且具有很好的可擴(kuò)展性。

為了讓飛槳開(kāi)發(fā)者用上基于 NVIDIA 最新的高性能硬件和軟件棧，我們借用 NVIDIA NGC 完善的開(kāi)發(fā)體系、質(zhì)量管理、測(cè)試流程、文檔規(guī)范、安全掃描等，開(kāi)發(fā)了基于 NVIDIA GPU 平臺(tái)最好的飛槳開(kāi)發(fā)環(huán)境。

NGC 飛槳容器現(xiàn)已上線(xiàn)飛槳官網(wǎng)，開(kāi)發(fā)者可以通過(guò)飛槳官網(wǎng)快速獲取（如下圖）。

下面，我們介紹一下 NVIDIA Deep Learning Examples，這是 NVIDIA 優(yōu)化的工業(yè)級(jí)模型庫(kù)，目標(biāo)是讓基于 NVIDIA GPU 的開(kāi)發(fā)者復(fù)現(xiàn)極致精度和高性能的模型。NVIDIA Deep Learning Examples 中包括針對(duì)不同行業(yè)的模型，包括機(jī)器人、數(shù)字孿生、金融等等。

今年我們發(fā)布了 NVIDIA Deep Learning Examples PaddlePaddle ResNet50，只需要在 GitHub 中打開(kāi) NVIDIA Deep Learning Examples Repo，找到主頁(yè)中的 PaddlePaddle Classification ResNet50 文件就可以得到它，里面有非常豐富的文檔和信息。NVIDIA 基于各類(lèi)網(wǎng)卡、A10、A30，基于各類(lèi)拓?fù)浣Y(jié)構(gòu)，單機(jī)單卡、單機(jī)多卡等，都做了大量測(cè)試，并分享了詳細(xì)的 Benchmark 供開(kāi)發(fā)者參考（如下圖）。

在本屆 WAVE SUMMIT+ 開(kāi)始前，NVIDIA 更與百度飛槳聯(lián)合主辦了“2022 飛槳 × NVIDIA AI 技術(shù)開(kāi)放日”。作為 WAVE SUMMIT+ 的 “前哨站” ，本次活動(dòng)邀請(qǐng)雙方公司的 AI 技術(shù)專(zhuān)家與超過(guò) 2000 名開(kāi)發(fā)者共同開(kāi)展深度技術(shù)交流，內(nèi)容囊括 NGC 飛槳容器特點(diǎn)、應(yīng)用場(chǎng)景、模型優(yōu)化，以及部署實(shí)踐案例。

欲了解更多 NGC 飛槳容器，可查看以下延展介紹，或關(guān)注微信公眾號(hào)【NVIDIA 英偉達(dá)企業(yè)解決方案】。

詳細(xì)產(chǎn)品介紹視頻

【飛槳開(kāi)發(fā)者說(shuō)｜NGC 飛槳容器全新上線(xiàn) NVIDIA 產(chǎn)品專(zhuān)家全面解讀】

https://www.bilibili.com/video/BV16B4y1V7ue?share_source=copy_web&vd_source=266ac44430b3656de0c2f4e58b4daf82

詳細(xì)安裝介紹

【NGC 飛槳容器安裝指南】

https://www.paddlepaddle.org.cn/documentation/docs/zh/install/install_NGC_PaddlePaddle_ch.html