隨著數(shù)據(jù)集的增長和分析神經(jīng)網(wǎng)絡(luò)的復(fù)雜化，越來越多的用戶選擇通過NVIDIA GPU加速AI推理。當(dāng)前，人工智能的應(yīng)用正從農(nóng)業(yè)領(lǐng)域擴(kuò)展到X射線領(lǐng)域，而NVIDIA GPU正是AI推理跨行業(yè)創(chuàng)新的助燃劑。

人工智能的應(yīng)用，正從農(nóng)業(yè)領(lǐng)域拓展醫(yī)學(xué)、X射線等各個(gè)領(lǐng)域，原因是因?yàn)樗鼈儞碛兄诤Ａ繑?shù)據(jù)迅速推斷出精明之選的神奇能力。

隨著數(shù)據(jù)集的增長和分析神經(jīng)網(wǎng)絡(luò)的復(fù)雜化，越來越多的用戶選擇用NVIDIA GPU來加速AI推理。

想要了解它們的實(shí)際應(yīng)用，看看下面這些家喻戶曉的公司產(chǎn)品就能明白。

美國通用的GEResearch在航空、醫(yī)療保健、電力和運(yùn)輸行業(yè)中部署了使用GPU加速的AI模型。這些模型實(shí)現(xiàn)了工廠檢查自動(dòng)化，為智能列車的運(yùn)行提供保障，并能監(jiān)控電站以及解釋醫(yī)學(xué)圖像。

這些AI模型被運(yùn)行在裝載了V100Tensor Core GPU的NVIDIADGX系統(tǒng)上的數(shù)據(jù)中心服務(wù)器上，以及裝載了JetsonAGX Xavier模塊的邊緣計(jì)算網(wǎng)絡(luò)中。該硬件運(yùn)行NVIDIA的TensorRT推理引擎及其用于深度學(xué)習(xí)的CUDA/ cuDNN加速庫，以及用于Jetson模塊的NVIDIAJetPack工具套件。

推理賦能視頻應(yīng)用程序與合同管理

在消費(fèi)市場上，全球兩個(gè)最受歡迎的移動(dòng)視頻應(yīng)用程序均在NVIDIA GPU上運(yùn)行AI推理。

TikTok及其在中國的前身“抖音”在2019年2月全球下載量達(dá)到10億次。字節(jié)跳動(dòng)作為這兩個(gè)應(yīng)用程序的開發(fā)者和所有者，每天為4億活躍用戶每天上傳多達(dá)5000萬個(gè)新視頻。

字節(jié)跳動(dòng)在數(shù)千個(gè)NVIDIA T4和P4 GPU服務(wù)器上運(yùn)行TensorRT，用戶因此可以搜索并獲得有關(guān)精彩視頻的推薦。該公司估計(jì)， NVIDIA產(chǎn)品已幫助公司節(jié)省了數(shù)百萬美元，同時(shí)將在線服務(wù)的延遲減少了一半。

在商業(yè)領(lǐng)域，德勤在其dTrax軟件中使用AI推理來幫助公司管理復(fù)雜的合同。例如，當(dāng)法規(guī)發(fā)生變化或公司計(jì)劃進(jìn)行大規(guī)模收購時(shí)，dTrax可以定位并更新長期協(xié)議中的關(guān)鍵條款。

當(dāng)前全球有多家公司使用dTrax。該軟件在數(shù)據(jù)中心的NVIDIA DGX-1系統(tǒng)和云中的AWS P3實(shí)例上運(yùn)行，在2019年獲得了《金融時(shí)報(bào)》的智能商業(yè)獎(jiǎng)。

GPU加速推理運(yùn)行速度

金融服務(wù)公司Square的測試結(jié)果顯示，一般模型的推理任務(wù)在GPU上的運(yùn)行速度是CPU的兩倍，而在大型模型（例如RoBERTa）上，推理工作的完成速度提升了10倍。

因此，NVIDIA GPU對于其實(shí)現(xiàn)將Square Assistant從虛擬調(diào)度程序擴(kuò)展到驅(qū)動(dòng)公司所有產(chǎn)品的對話式AI引擎的目標(biāo)至關(guān)重要。

寶馬集團(tuán)近期宣布將使用NVIDIA Isaac機(jī)器人平臺開發(fā)五種新型機(jī)器人，以增強(qiáng)其汽車制造廠的物流水平。其中一款由NVIDIA Jetson AGX Xavier支持的機(jī)器人可以每秒執(zhí)行多達(dá)32萬億次操作，以執(zhí)行諸如感知、姿勢估計(jì)和路徑規(guī)劃之類的計(jì)算機(jī)視覺任務(wù)。

AI推理也在汽車內(nèi)部發(fā)生。中國的小鵬汽車于4月下旬推出了P7純電動(dòng)轎車，它使用NVIDIA DRIVE AGX Xavier通過推理傳感器的數(shù)據(jù)以幫助實(shí)現(xiàn)3級自動(dòng)駕駛功能。

過去三年來，NVIDIA數(shù)據(jù)中心平臺的推理性能提高了近50倍，這在很大程度上要?dú)w功于Tensor Core的引入以及TensorRT中正在進(jìn)行的軟件優(yōu)化以及PyTorch和TensorFlow等AI框架的提速。

來自世界各地的醫(yī)學(xué)專家在2020年GPU技術(shù)大會(huì)（GTC）上就放射、基因組學(xué)、顯微學(xué)和其他醫(yī)療保健領(lǐng)域的AI應(yīng)用進(jìn)行了數(shù)十次演講。在一次演講中，美國放射學(xué)院主席杰拉爾丁·麥金提（Geraldine McGinty）將AI稱為同時(shí)達(dá)成提高醫(yī)療質(zhì)量和降低成本的“千載難逢的機(jī)會(huì)”。

在農(nóng)業(yè)領(lǐng)域，越來越多的初創(chuàng)公司正在使用AI來提高效率。例如，NVIDIA 初創(chuàng)加速計(jì)劃會(huì)員Rabbit Tractors通過在多功能機(jī)器人上使用Jetson Nano模塊，從攝像頭和雷達(dá)數(shù)據(jù)中推斷出需要進(jìn)行播種、澆水或收獲作物的位置。

還有其他公司也在通過GPU加速推理，其中包括美國運(yùn)通的欺詐檢測、寶潔的工業(yè)檢查以及網(wǎng)絡(luò)巨頭的搜索引擎。

AI推理在NVIDIA DGX A100 GPU上的增益高達(dá)7倍

GPU推理的潛力在不斷上升，準(zhǔn)確性不斷提高。

借助多實(shí)例GPU功能，NVIDIA Ampere架構(gòu)將推理速度提高了7倍。A100 GPU中支持深度神經(jīng)網(wǎng)絡(luò)中稀疏性的新方法有望帶來更多收益。這是在A100 GPU的技術(shù)概述中討論的架構(gòu)的幾個(gè)新功能之一。