GPU是什么 GPU常見計(jì)算精度

GPU的歷史

目前GPU 虛擬化市場有三個(gè)大玩家，分別是核彈廠、農(nóng)企和牙膏廠（NVIDIA、AMD 和Intel）。 1981:? IBM PC Monochrome Display Adapter (2D) 1996:? 3D graphics (e.g., 3dfx Voodoo) 1999:? register combiner (NVIDIA GeForce 256) 2001:? programmable shaders (NVIDIA GeForce 3) 2002:? floating-point (ATI Radeon 9700) 2005:? unified shaders (ATI R520 in Xbox 360) 2006:? compute (NVIDIA GeForce 8800) GPU最早是用來處理圖像的，為什么要想到用GPU做計(jì)算呢？GPU比CPU使用更大比例的芯片占比用作計(jì)算。在峰值性能下，GPU每次操作消耗的能量比CPU少一個(gè)數(shù)量級。 GPU 最大的組成部分是著色器（Shader），負(fù)責(zé)所有的模型和3D 渲染工作。也就是說，著色器越多，GPU 能同時(shí)做的事越多，著色器越快，GPU 的運(yùn)行速度也就越快。著色器不僅僅可以用在圖形渲染上，也可以用作GPGPU(General Purpose GPU 通過GPU)。因?yàn)镚PU 中有很多的著色器，著色器也就是浮點(diǎn)運(yùn)算處理器，所以GPU 可以同時(shí)處理大量的計(jì)算工作。不管是物理GPU 還是虛擬GPU，不同的生產(chǎn)廠商在這方面的支持不一樣。你可能聽說過CUDA 或者OpenCL，這些就是可以API調(diào)用來實(shí)現(xiàn)利用著色器進(jìn)行GPGPU 任務(wù)的庫。除了著色器外，GPU 中還包含視頻解碼器和編碼器。通常來說，這些只占GPU 的很小一部分。 ?

GPU是什么

圖形處理器（英語：Graphics Processing Unit，縮寫：GPU），又稱顯示核心、視覺處理器、顯示芯片，是一種專門在個(gè)人電腦、工作站、游戲機(jī)和一些移動(dòng)設(shè)備（如平板電腦、智能手機(jī)等）上圖像運(yùn)算工作的微處理，是顯卡或GPU卡的“心臟”。

其中Control是控制器、ALU算術(shù)邏輯單元、Cache是cpu內(nèi)部緩存、DRAM就是內(nèi)存。可以看到GPU設(shè)計(jì)者將更多的晶體管用作執(zhí)行單元，而不是像CPU那樣用作復(fù)雜的控制單元和緩存。從實(shí)際來看，CPU芯片空間的5%是ALU，而GPU空間的40%是ALU。這也是導(dǎo)致GPU計(jì)算能力超強(qiáng)的原因。

GPU主流廠商 ? ?

?英特爾：基本為集成顯卡芯片，用于英特爾的主板和英特爾的CPU。 ? ?

?NVIDIA：NVIDIA是現(xiàn)在最大的獨(dú)立顯卡芯片生產(chǎn)銷售商。 ? ?

?AMD(ATI)：AMD是世界上第二大的獨(dú)立顯卡芯片生產(chǎn)銷售商，他的前身就是ATI，2006年AMD以54億美元收購ATI。

?GPU通信知識

GPU是協(xié)處理器，與CPU端存儲(chǔ)是分離的，故GPU運(yùn)算時(shí)必須先將CPU端的代碼和數(shù)據(jù)傳輸?shù)紾PU，GPU才能執(zhí)行kernel函數(shù)。涉及CPU 與GPU通信，其中通信接口PCI-E的版本和性能會(huì)直接影響通信帶寬。

NvLink 技術(shù)：提供更高帶寬與更多鏈路，并可提升多 GPU 和多 GPU/CPU 系統(tǒng)配置的可擴(kuò)展性，因而可以解決這種互聯(lián)問題。單個(gè) NVIDIA Tesla V100 GPU 即可支持多達(dá)六條 NVLink 鏈路，總帶寬為 300 GB/秒，這是 PCIe 3 帶寬的 10 倍。NVLink提升GPU服務(wù)器單機(jī)的GPU通信性能

GPUDirect RDMA技術(shù)：則提升了不同服務(wù)器間GPU的通信性能，其實(shí)就是計(jì)算機(jī)A的GPU可以直接訪問計(jì)算機(jī)B的GPU內(nèi)存；深度學(xué)習(xí)模型越來越復(fù)雜，計(jì)算數(shù)據(jù)量暴增，對于大規(guī)模深度學(xué)習(xí)訓(xùn)練任務(wù)，單機(jī)已經(jīng)無法滿足計(jì)算需求，多機(jī)多卡的分布式訓(xùn)練成為了必要的需求，這個(gè)時(shí)候多機(jī)間的通信成為了分布式訓(xùn)練性能的重要指標(biāo)。

GPU常見計(jì)算精度

浮點(diǎn)計(jì)數(shù)是利用浮動(dòng)小數(shù)點(diǎn)的方式使用不同長度的二進(jìn)制來表示一個(gè)數(shù)字，與之對應(yīng)的是定點(diǎn)數(shù)。同樣的長度下浮點(diǎn)數(shù)能表達(dá)的數(shù)字范圍相比定點(diǎn)數(shù)更大，但浮點(diǎn)數(shù)并不能精確表達(dá)所有實(shí)數(shù)，而只能采用更加接近的不同精度來表達(dá)。