深度學(xué)習(xí)是一個(gè)對(duì)計(jì)算有著大量需求的領(lǐng)域，從一定程度上來說，GPU的選擇將從根本上決定深度學(xué)習(xí)的體驗(yàn)。因此，選擇購買合適的GPU是一項(xiàng)非常重要的決策。那么2022年，如何選擇合適的GPU呢？這篇文章整合了網(wǎng)絡(luò)上現(xiàn)有的GPU選擇標(biāo)準(zhǔn)和評(píng)測信息，希望能作為你的購買決策的參考。

1 是什么使一個(gè)GPU比另一個(gè)GPU更快？

有一些可靠的性能指標(biāo)可以作為人們的經(jīng)驗(yàn)判斷。以下是針對(duì)不同深度學(xué)習(xí)架構(gòu)的一些優(yōu)先準(zhǔn)則： Convolutional networks and Transformers:?Tensor Cores > FLOPs > Memory Bandwidth > 16-bit capability Recurrent networks:?Memory Bandwidth > 16-bit capability > Tensor Cores > FLOPs ?

2?如何選擇NVIDIA/AMD/Google

NVIDIA的標(biāo)準(zhǔn)庫使在CUDA中建立第一個(gè)深度學(xué)習(xí)庫變得非常容易。早期的優(yōu)勢加上NVIDIA強(qiáng)大的社區(qū)支持意味著如果使用NVIDIA GPU，則在出現(xiàn)問題時(shí)可以輕松得到支持。但是NVIDIA現(xiàn)在政策使得只有Tesla GPU能在數(shù)據(jù)中心使用CUDA，而GTX或RTX則不允許，而Tesla與GTX和RTX相比并沒有真正的優(yōu)勢，價(jià)格卻高達(dá)10倍。 ? AMD功能強(qiáng)大，但缺少足夠的支持。AMD GPU具有16位計(jì)算能力，但是跟NVIDIA GPU的Tensor內(nèi)核相比仍然有差距。 ? Google TPU具備很高的成本效益。由于TPU具有復(fù)雜的并行基礎(chǔ)結(jié)構(gòu)，因此如果使用多個(gè)云TPU（相當(dāng)于4個(gè)GPU），TPU將比GPU具有更大的速度優(yōu)勢。因此，就目前來看，TPU更適合用于訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)。 ?

3?多GPU并行加速

卷積網(wǎng)絡(luò)和循環(huán)網(wǎng)絡(luò)非常容易并行，尤其是在僅使用一臺(tái)計(jì)算機(jī)或4個(gè)GPU的情況下。TensorFlow和PyTorch也都非常適合并行遞歸。但是，包括transformer在內(nèi)的全連接網(wǎng)絡(luò)通常在數(shù)據(jù)并行性方面性能較差，因此需要更高級(jí)的算法來加速。如果在多個(gè)GPU上運(yùn)行，應(yīng)該先嘗試在1個(gè)GPU上運(yùn)行，比較兩者速度。由于單個(gè)GPU幾乎可以完成所有任務(wù)，因此，在購買多個(gè)GPU時(shí)，更好的并行性（如PCIe通道數(shù)）的質(zhì)量并不是那么重要。 ?

4?性能評(píng)測

1）來自Tim Dettmers的成本效益評(píng)測[1] https://timdettmers.com/2019/04/03/which-gpu-for-deep-learning/

卷積網(wǎng)絡(luò)（CNN），遞歸網(wǎng)絡(luò)（RNN）和transformer的歸一化性能/成本數(shù)（越高越好）。RTX 2060的成本效率是Tesla V100的5倍以上。對(duì)于長度小于100的短序列，Word RNN表示biLSTM。使用PyTorch 1.0.1和CUDA 10進(jìn)行基準(zhǔn)測試。 ? 從這些數(shù)據(jù)可以看出，RTX 2060比RTX 2070，RTX 2080或RTX 2080 Ti具有更高的成本效益。原因是使用Tensor Cores進(jìn)行16位計(jì)算的能力比僅僅擁有更多Tensor Cores內(nèi)核要有價(jià)值得多。 ? 2）來自Lambda的評(píng)測[2,3] https://lambdalabs.com/blog/best-gpu-tensorflow-2080-ti-vs-v100-vs-titan-v-vs-1080-ti-benchmark/ https://lambdalabs.com/blog/choosing-a-gpu-for-deep-learning/ ?

GPU平均加速/系統(tǒng)總成本 ?

GPU性能，以每秒處理的圖像為單位 ?

?以 Quadro RTX 8000 為基準(zhǔn)的針對(duì)Quadro RTX 8000的圖像模型訓(xùn)練吞吐量 ? 3) 來自知乎@Aero的「在線」GPU評(píng)測[4] https://www.zhihu.com/question/299434830/answer/1010987691 ? 大家用的最多的可能是Google Colab，畢竟免費(fèi)，甚至能選TPU ?

? 編輯：黃飛

?